WO2020189265A1 - 回転状態推定装置、方法及びプログラム - Google Patents

回転状態推定装置、方法及びプログラム Download PDF

Info

Publication number
WO2020189265A1
WO2020189265A1 PCT/JP2020/009014 JP2020009014W WO2020189265A1 WO 2020189265 A1 WO2020189265 A1 WO 2020189265A1 JP 2020009014 W JP2020009014 W JP 2020009014W WO 2020189265 A1 WO2020189265 A1 WO 2020189265A1
Authority
WO
WIPO (PCT)
Prior art keywords
rotation state
image
time
hypothesis
state estimation
Prior art date
Application number
PCT/JP2020/009014
Other languages
English (en)
French (fr)
Inventor
弾 三上
麻理子 五十川
康輔 高橋
草地　良規
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US17/438,867 priority Critical patent/US20220152453A1/en
Publication of WO2020189265A1 publication Critical patent/WO2020189265A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021—Tracking a path or terminating locations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/0002—Training appliances or apparatus for special sports for baseball
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021—Tracking a path or terminating locations
    • A63B2024/0028—Tracking the path of an object, e.g. a ball inside a soccer pitch
    • A63B2024/0034—Tracking the path of an object, e.g. a ball inside a soccer pitch during flight
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2102/00—Application of clubs, bats, rackets or the like to the sporting activity ; particular sports involving the use of balls and clubs, bats, rackets, or the like
    • A63B2102/18—Baseball, rounders or similar games
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/05—Image processing for measuring physical parameters

Definitions

  • the present invention relates to estimating the rotational state of an object such as a flying ball.
  • Non-Patent Document 1 The technique described in Non-Patent Document 1 is known as a technique for estimating the rotational state of an object.
  • FIG. 4A is a simplified diagram of the pattern of the ball 5 in an easy-to-understand manner.
  • FIG. 4B is a diagram showing how the ball 5 flies straight with respect to the camera 6.
  • FIG. 4C is a diagram showing how the ball 5 flies obliquely with respect to the camera 6.
  • the period T is first obtained based on the similarity in appearance.
  • the frame corresponding to the period T is about 25 frames ahead, although it depends on the ball rotation speed and the shooting frame rate. For example, when the number of rotations of the ball is 2000 RPM and the shooting frame rate is 960 FPS, the ball makes one rotation at 28.8 frames.
  • the period T is obtained by detecting the time t + T at which the appearance of the ball at a certain frame t reappears. Then, in the technique of Non-Patent Document 1, the number of rotations of the ball is estimated from the obtained period T. Further, in the technique of Non-Patent Document 1, the rotation axis is further estimated by obtaining the amount of rotation between one frame of video from the estimated rotation speed.
  • An object of the present invention is to provide a rotation state estimation device, a method, and a program capable of estimating the rotation state of an object even when an image for one cycle is not obtained.
  • the rotation state estimation device has an object image generation unit that generates an object image, which is an image of an object, from an input image, and t c as a predetermined integer of 1 or more at a time t.
  • An image of an object in which the object in the object image at a certain time is rotated by t c unit time based on the hypothesis of the rotation state using the object image of the time t + t c and the object image of the time t + t c.
  • the rotation state of the object can be estimated even when the image for one cycle is not obtained.
  • FIG. 1 is a diagram showing an example of a functional configuration of a rotation state estimation device.
  • FIG. 2 is a diagram showing an example of a processing procedure of the rotation state estimation method.
  • FIG. 3 is a diagram showing an example of the processing procedure in step S3.
  • FIG. 4A is a simplified diagram of the pattern of the ball 5 in an easy-to-understand manner.
  • FIG. 4B is a diagram showing how the ball 5 flies straight with respect to the camera 6.
  • FIG. 4C is a diagram showing how the ball 5 flies obliquely with respect to the camera 6.
  • FIG. 5 is a diagram for explaining an example of calculation of the depth z of the object.
  • 6 (a) and 6 (b) are diagrams showing that when the position of the ball changes, different shadows are formed on the ball depending on the lighting environment.
  • 7 (a) and 7 (b) are diagrams showing an example of the texture of the object.
  • 8 (a) and 8 (b) are diagrams showing that the width of the likelihood distribution differs depending on the texture of the object.
  • FIG. 9 is a diagram showing that the width of the likelihood distribution becomes narrower when a plurality of frames are used.
  • the rotation state estimation device includes, for example, an object image generation unit 1 and a rotation state estimation unit 3.
  • the rotation state estimation method is realized, for example, by each component of the rotation state estimation device performing the processes of steps S1 and S3 described below and shown in FIG.
  • An image of the object is input to the object image generation unit 1.
  • An object is an object whose rotational state is estimated.
  • An example of an object is a ball.
  • the rotation state is at least one of the rotation speed and the rotation axis of the object.
  • the object image generation unit 1 generates an object image, which is an image of the object, from the input video (step S1).
  • the object image is, for example, a partial region in a one-frame image in an input video cut out so as to include the entire object with the center of the object as the center of the image.
  • the object image generation unit 1 cuts out a partial area from the one-frame image in the input video so as to form a rectangle having a size including the entire object and a margin of a known size around the object. It is an object image. As an example of a known size margin, it can be 0.5 times the radius of the object.
  • the generated object image is output to the rotation state estimation unit 3.
  • the object image generation unit 1 needs to detect the object before generating the object image.
  • the object image generation unit 1 may use an existing object detection method for detecting the object. For example, when the object is a baseball ball, the object image generation unit 1 can detect the ball by matching with a ball template, detecting a circle by Hough transform, and the like.
  • the existing circle detection method may be used to detect the circle.
  • the object image generation unit 1 resizes the object image so that the size of the object is the same among the plurality of object images corresponding to each frame image. For example, when the object is a baseball ball, the object image generation unit 1 resizes the object image so that the diameter of the ball is the same among the plurality of object images corresponding to each frame image.
  • the rotation state estimation unit 3 uses the object image at time t and the object image at time t + t c to t c units the object in the object image at a certain time based on the hypothesis of the rotation state.
  • the rotation state of the object is estimated by selecting the rotation state hypothesis in which the likelihood of the image of the object rotated by the time is high from the plurality of rotation state hypotheses (step S3).
  • the rotation state estimation unit 3 rotates the object in the object image at a certain time by t c unit time based on the hypothesis of the rotation state, and the object image and the t c unit time than the certain time.
  • the rotation state of the object is estimated by selecting the rotation state hypothesis that is close to the object image at a later time from among a plurality of rotation state hypotheses.
  • unit time the elapsed time in one frame is used. However, the elapsed time in two frames can be set as a unit time.
  • the rotation state estimation unit 3 repeats the processes of steps S31 to S32 described below until the estimated rotation state converges.
  • Step S31 is a process in which the rotation state estimation unit 3 generates a plurality of rotation state hypotheses.
  • Step S32 is a process for evaluating the hypothesis by the rotation state estimation unit 3.
  • steps S31 and S32 of the rotation state estimation unit 3 will be described by giving an example of estimating the rotation state using the object image at time t and the object image at time t + t c. ..
  • the rotation state estimation unit 3 generates a plurality of rotation state hypotheses (step S31). For example, the rotation state estimation unit 3 generates a plurality of hypotheses based on a probability distribution given in advance. Since there is generally no prior information in the initial state, a plurality of hypotheses are generated based on a uniformly distributed probability distribution.
  • the rotation state estimation unit 3 generates an image of the object in which the object in the object image at time t is rotated by t c unit time based on the hypothesis of each rotation state.
  • the object is a baseball ball and is spherical, and the hemisphere of the ball is visible in the object image.
  • the radius of the ball which is a sphere
  • the center of the ball is taken as the origin
  • the unit if the actual size of the object is known, the unit of the actual length may be used, or the number of pixels may be used as the unit.
  • the rotation state estimation unit 3 rotates the three-dimensional position (x, y, z). For example, it can be rotated by applying the Rodrigues rotation formula.
  • the Rodrigues rotation formula the rotation matrix of rotation when ⁇ -rotated clockwise around the rotation axis (n x , n y , n z ) of length 1
  • the rotation state estimation unit 3 includes an image of the object in which the object in the object image at time t is rotated by t c unit time based on the hypothesis of each rotation state, and an object at the actual time t + t c . The plausibility of each hypothesis is verified by comparing with the image.
  • the rotation state estimation unit 3 rotates the object image at the actual time t + t c and the object in the object image at the time t by t c unit times based on the hypothesis of a certain rotation state.
  • the similarity between the image of the object and the image of the object is calculated and used as the likelihood of a certain hypothesis (step S32).
  • the similarity between the two images is, for example, an output value when the Euclidean distance of the corresponding sample in the two images is input to a predetermined non-increasing function.
  • the rotation state estimation unit 3 calculates the likelihood of this hypothesis for each of the plurality of generated hypotheses (step S32).
  • the rotation state estimation unit 3 determines whether the calculated likelihood of the hypothesis satisfies a predetermined convergence condition (step S33).
  • a predetermined convergence condition is whether the magnitude of the difference between the maximum value of the likelihood of the hypothesis calculated last time and the maximum value of the likelihood of the hypothesis calculated this time is equal to or less than the predetermined threshold value.
  • the rotation state estimation unit 3 selects, for example, the hypothesis corresponding to the maximum value of the likelihood of the hypothesis calculated this time, and is selected.
  • the hypothetical rotation state is output as the estimation result of the rotation state of the object.
  • the rotation state estimation unit 3 When the likelihood of the calculated hypothesis does not satisfy the predetermined convergence condition, the rotation state estimation unit 3 performs a plurality of hypotheses by random sampling based on the probability distribution of the hypothesis determined by the likelihood calculated in step S32. Is newly generated (step S31).
  • the rotation state estimation unit 3 determines a hypothesis from a plurality of hypotheses generated this time so that the hypothesis with a higher likelihood calculated this time is determined with a higher probability, and the rotation of the determined hypothesis.
  • a plurality of hypotheses are newly generated by repeating the process of making the rotation state of the value obtained by adding a random number to the state value a new hypothesis a plurality of times.
  • the rotation state estimation unit 3 uses a rotation state of a value obtained by adding a random number to each value of the rotation state of hypothesis I as a new hypothesis.
  • the rotation state of Hypothesis I is composed of the rotation axis (r x (I), r y (I), r z (I)) and the rotation speed ⁇ (I), and the random numbers are Gaussian noise n x , n. Let y , n z , n ⁇ .
  • the rotation state of the new hypothesis is (r x (I) + n x , r y (I) + n y , r z (I) + n z , ⁇ (I) + n ⁇ ).
  • the rotation state estimation unit 3 newly generates a plurality of hypotheses by repeating this process a plurality of times (for example, N times).
  • the rotation state estimation unit 3 performs the process of step S32 based on the newly generated plurality of hypotheses.
  • the rotation state estimation unit 3 repeats the processes of steps S31 and S32 until the calculated likelihood of the hypothesis satisfies a predetermined convergence condition.
  • the rotation state estimation unit 3 rotates the object in the object image at time t by t c unit time based on the rotation state hypothesis for each of the plurality of rotation state hypotheses.
  • the rotation state of the object is estimated by repeating the process of calculating the likelihood of the image of the object and the process of newly generating hypotheses of a plurality of plausible rotation states based on the calculated likelihood.
  • the rotation state of the object can be estimated by using the object image at time t and the object image at time t + t c .
  • t c may be smaller than the period T. Therefore, according to the above embodiment, the rotation state of the object can be estimated even when the image for one cycle is not obtained.
  • the factor of the change in the appearance of the object is the change in the position.
  • the change in the position of the object is a factor of the change in the appearance of the object.
  • the above embodiment can estimate the rotational state of the object using images at shorter time intervals than the techniques described in the background art, and thus the position of the object. The effect of changes in appearance due to changes can be reduced. Therefore, even when the object flies diagonally with respect to the camera as shown in FIG. 4C, the object has higher accuracy than the technique described in the background technique according to the above embodiment.
  • the rotation state can be estimated.
  • the rotation state estimation device may further include a feature-enhanced object image generation unit 2 that generates a feature-enhanced object image in which the features of the object are emphasized by using the object image.
  • the feature-enhanced object image generation unit 2 is shown by a broken line in FIG.
  • the object image generated by the object image generation unit 1 is input to the feature-enhanced object image generation unit 2.
  • the feature-enhanced object image generation unit 2 generates a feature-enhanced object image in which the features of the object are emphasized by using the object image (step S2).
  • the generated feature-enhanced object image is output to the rotation state estimation unit 3.
  • the feature-enhanced object image generation unit 2 generates a feature-enhanced object image by performing edge extraction on the object image. This makes it possible to emphasize the characteristics of the object.
  • FIGS. 6 (a) and 6 (b) when the position of the ball changes, different shadows may be formed on the ball depending on the lighting environment.
  • the feature-enhanced object image generation unit 2 can remove the influence of the lighting environment as much as possible and clarify the appearance of the object by performing a feature-enhancing process such as edge processing. Specifically, the seam of the ball becomes easy to understand.
  • the rotation state estimation unit 3 uses the feature-enhanced object image instead of the object image to perform the processes of steps S31 to S32 and the processes of the modified examples 2 to 4 described later.
  • the object image used by the rotation state estimation unit 3 to estimate the rotation state may be a feature-enhanced object image.
  • the rotation state estimation unit 3 may calculate the likelihood of the hypothesis by considering only a predetermined region in the two images. For example, the rotation state estimation unit 3 calculates the normal direction of the object at the position of the pixel for each pixel included in the area where the object is displayed in the object image, and the pixel in the direction toward the camera. You may calculate the likelihood of the hypothesis by using only pixels or by using the position in the depth direction with respect to the image plane of the camera and using only the pixels located on the camera side of the predetermined threshold. ..
  • ⁇ Modification example 3> The above method was a method that can be executed by using object images for two frames at time t and time t + t c .
  • the estimation based on the likelihood may be performed over a plurality of frames.
  • the rotation state estimation unit 3 has an object image at time t 1 , t 2 ,..., t K and an object at time t 1 + t c , t 2 + t c ,..., t K + t c .
  • the object in the object image at time t 1 , t 2 , ..., t K is rotated by t c unit time based on the hypothesis of the rotation state, and the likelihood of the image of the object is high.
  • the rotation state of the object may be estimated by selecting the rotation state hypothesis to be from a plurality of rotation state hypotheses.
  • the texture of the object is FIG. 7 (a)
  • it is easy to determine the corresponding points (in this example, three corresponding points) in the image at time t and the image at time t + t c. is there.
  • the likelihood distribution as shown in FIG. 8A can be obtained by the likelihood calculation using the rotation only between the times t and t + t c .
  • the horizontal axis of FIG. 8A is the posture, and the vertical axis is the likelihood. In this way, in the case where the corresponding points can be easily specified, the width of the likelihood distribution is narrow.
  • the object has rotation in the vertical direction (rotation about the horizontal direction (horizontal direction) in FIG. 7 (b)).
  • the horizontal axis of FIG. 8A is the posture, and the vertical axis is the likelihood. In this way, in cases where it is difficult to specify the corresponding points, the range of the likelihood distribution is wide.
  • the distribution will be as shown in FIG. That is, the width of the likelihood distribution with respect to the posture is wide in each frame set, but the width of the likelihood distribution is narrowed by considering a plurality of sets of frames, and the posture can be estimated more appropriately. it is conceivable that.
  • Deformation example 3 is effective when the object is an object such as a baseball ball, which has only features such as seams that change smoothly.
  • Rotation state estimation unit 3 in the repetition processing in step S32, and t c used in the processing of the previous step S32, may be changed value of t c used in the process of this step S32.
  • the rotation axis in the rotation state estimated by the above embodiment is the rotation axis in the camera coordinate system, and changes depending on the position and posture in which the camera is placed. Therefore, when the object is a baseball ball, the rotation axis of the ball in the coordinate system of the baseball field may be obtained by estimating the position and posture of the camera in advance and performing calibration.
  • the following steps a) to f) may be performed.
  • the internal parameters of the camera include distortion of the lens of the camera and can be obtained by the method of Reference 1.
  • the rotation axis of the ball in the coordinate system of the baseball stadium can be obtained from the rotation axis obtained in step e) and the posture of the camera obtained in step d).
  • data may be exchanged directly between the constituent units of the rotation state estimation device, or may be performed via a storage unit (not shown).
  • the program that describes this processing content can be recorded on a computer-readable recording medium.
  • the computer-readable recording medium may be, for example, a magnetic recording device, an optical disk, a photomagnetic recording medium, a semiconductor memory, or the like.
  • the distribution of this program is carried out, for example, by selling, transferring, or renting a portable recording medium such as a DVD or CD-ROM on which the program is recorded.
  • the program may be stored in the storage device of the server computer, and the program may be distributed by transferring the program from the server computer to another computer via a network.
  • a computer that executes such a program first stores, for example, a program recorded on a portable recording medium or a program transferred from a server computer in its own storage device. Then, when the process is executed, the computer reads the program stored in its own storage device and executes the process according to the read program. Further, as another execution form of this program, a computer may read the program directly from a portable recording medium and execute processing according to the program, and further, the program is transferred from the server computer to this computer. It is also possible to execute the process according to the received program one by one each time. In addition, the above processing is executed by a so-called ASP (Application Service Provider) type service that realizes the processing function only by the execution instruction and result acquisition without transferring the program from the server computer to this computer. May be. It should be noted that the program in this embodiment includes information to be used for processing by a computer and equivalent to the program (data that is not a direct command to the computer but has a property of defining the processing of the computer, etc.).
  • the present device is configured by executing a predetermined program on the computer, but at least a part of these processing contents may be realized by hardware.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Power Engineering (AREA)
  • Image Analysis (AREA)

Abstract

一周期分の映像が得られていない場合であっても、対象物の回転状態を推定することができる技術を提供する。回転状態推定装置は、入力された映像から、対象物の画像である対象物画像を生成する対象物画像生成部１と、tcを所定の１以上の整数として、時刻tの対象物画像と、時刻t+tcの対象物画像とを用いて、ある時刻の対象物画像中の対象物を回転状態の仮説に基づいてtc単位時間だけ回転させた対象物の画像の尤度が高くなる回転状態の仮説を複数の回転状態の仮説の中から選択することで、対象物の回転状態を推定する回転状態推定部３と、を備えている。

Description

回転状態推定装置、方法及びプログラム
　本発明は、飛翔するボール等の対象物の回転状態を推定するに関する。
　対象物の回転状態を推定する技術として、非特許文献１に記載された技術が知られている。
　図４を用いて非特許文献１の技術及びより詳細な説明をする。図４(a)は、ボール５の模様を分かりやすく簡易化した図である。図４(b)は、ボール５がカメラ６に対して真っすぐに飛翔する様子を示した図である。図４(c)は、ボール５がカメラ６に対して斜めに飛翔する様子を示した図である。
　非特許文献１の技術では、まず外見の類似に基づいて、周期Tが求められる。周期Tに対応するフレームは、ボール回転数と撮影フレームレートにも依存するが、25フレーム程度先となる。例えば、ボールの回転数が2000RPM、撮影フレームレートが960FPSの場合、28.8フレームでボールが１回転する。
　このようにして、非特許文献１の技術では、あるフレームｔにおけるボールの外見（アピアランス）が再び現れる時刻t+Tを検出することで、周期Tが求められる。そして、非特許文献１の技術では、求まった周期Tからボールの回転数が推定される。また、非特許文献１の技術では、推定された回転数から、映像１フレームの間での回転量を求めることで回転軸が更に推定される。
Takashi Ijiri, Atsushi Nakamura, Akira Hirabayashi, Wataru Sakai, Takeshi Miyazaki, Ryutaro Himeno, "Automatic spin measurements for pitched Baseballs via consumer-grade high-speed cameras", Signal, Image and Video Processing, Vol.11, Issue 7, 2017.
　非特許文献１の技術では、ボールを観察することができる時間が短い場合、言い換えれば一周期分の映像が得られていない場合には、回転状態を推定することができない。
　本発明は、一周期分の映像が得られていない場合であっても、対象物の回転状態を推定することができる回転状態推定装置、方法及びプログラムを提供することを目的とする。
　この発明の一態様による回転状態推定装置は、入力された映像から、対象物の画像である対象物画像を生成する対象物画像生成部と、tcを所定の１以上の整数として、時刻tの対象物画像と、時刻t+tcの対象物画像とを用いて、ある時刻の対象物画像中の対象物を回転状態の仮説に基づいてtc単位時間だけ回転させた対象物の画像の尤度が高くなる回転状態の仮説を複数の回転状態の仮説の中から選択することで、対象物の回転状態を推定する回転状態推定部と、を備えている。
　一周期分の映像が得られていない場合であっても、対象物の回転状態を推定することができる。
図１は、回転状態推定装置の機能構成の例を示す図である。 図２は、回転状態推定方法の処理手続きの例を示す図である。 図３は、ステップＳ３の処理手続きの例を示す図である。 図４(a)は、ボール５の模様を分かりやすく簡易化した図である。図４(b)は、ボール５がカメラ６に対して真っすぐに飛翔する様子を示した図である。図４(c)は、ボール５がカメラ６に対して斜めに飛翔する様子を示した図である。 図５は、対象物の奥行zの計算の例を説明するための図。 図６(a)及び図６(b)は、ボールの位置が変化すると、照明環境に応じて、ボールに異なる影ができることを示す図。 図７(a)及び図７(b)は、対象物のテクスチャの例を示す図。 図８(a)及び図８(b)は、対象物のテクスチャにより、尤度の分布の幅が異なることを示す図。 図９は、複数フレームを用いた場合に、尤度の分布の幅が狭くなることを示す図。
　[実施形態]
　以下、本発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
　回転状態推定装置は、図１に示すように、対象物画像生成部１及び回転状態推定部３を例えば備えている。
　回転状態推定方法は、回転状態推定装置の各構成部が、以下に説明する及び図２に示すステップＳ１及びステップＳ３の処理を行うことにより例えば実現される。
　以下、回転状態推定装置の各構成部について説明する。
　<対象物画像生成部１>
　対象物画像生成部１には、対象物の映像が入力される。対象物とは、回転状態の推定の対象となる物体のことである。対象物の例は、ボールである。以下、対象物が、野球のボールである場合を例に挙げて説明する。もちろん、対象物は、野球のボールに限られない。回転状態とは、対象物の回転数及び回転軸の少なくとも一方である。
　対象物画像生成部１は、入力された映像から、対象物の画像である対象物画像を生成する（ステップＳ１）。対象物画像は、例えば、対象物の中心を画像の中心として、対象物の全体が含まれるように切り出された、入力された映像中の１フレーム画像中の部分領域である。対象物画像生成部１は、対象物の全体を含み、周辺に既知のサイズの余白を含むサイズの矩形となるように、入力された映像中の１フレーム画像中から部分領域を切り出して、対象物画像とする。既知のサイズの余白の例として、対象物の半径の0.5倍とすることができる。すなわち、対象物の左側の余白（対象物の半径の0.5倍）、対象物（半径の2倍の直径）、対象物の左側の余白で合計対象物の半径の3倍の長さを持つ正方形とすることが考えられる。
　生成された対象物画像は、回転状態推定部３に出力される。
　対象物画像生成部１は、対象物画像の生成の前に、対象物の検出をする必要がある。対象物画像生成部１は、対象物の検出には既存の対象物の検出方法を用いればよい。例えば対象物が野球のボールである場合には、対象物画像生成部１は、ボールテンプレートとのマッチング、Hough変換による円の検出等によりボールの検出を行うことができる。なお、円の検出には既存の円の検出方法を用いればよい。
　必要に応じて、対象物画像生成部１は、対象物の大きさが各フレーム画像に対応する複数の対象物画像中で同一になるように対象物画像をリサイズする。例えば対象物が野球のボールである場合には、対象物画像生成部１は、ボールの直径が各フレーム画像に対応する複数の対象物画像中で同一になるように対象物画像をリサイズする。
　<回転状態推定部３>
　回転状態推定部３には、対象物画像生成部１で生成された対象物画像が入力される。
　回転状態推定部３は、時刻tの対象物画像と、時刻t+tcの対象物画像とを用いて、ある時刻の対象物画像中の対象物を回転状態の仮説に基づいてtc単位時間だけ回転させた対象物の画像の尤度が高くなる回転状態の仮説を複数の回転状態の仮説の中から選択することで、対象物の回転状態を推定する（ステップＳ３）。
　言い換えれば、回転状態推定部３は、ある時刻の対象物画像中の対象物を回転状態の仮説に基づいてtc単位時間だけ回転させた対象物の画像とそのある時刻よりもtc単位時間だけ後の時刻の対象物画像とが近い回転状態の仮説を複数の回転状態の仮説の中から選択することで、対象物の回転状態を推定する。
　tcは、所定の１以上の整数である。例えば、tc=1である。tcは、対象物の想定される回転の周期Tよりも小さくてもよい。単位時間の例として、１フレームでの経過時間を利用する。ただし、２フレームでの経過時間を単位時間とすることもできる。
　例えば、回転状態推定部３は、推定される回転状態が収束するまで、以下に説明するステップＳ３１からステップＳ３２の処理を繰り返す。
　ステップＳ３１は、回転状態推定部３による、回転状態の仮説を複数生成する処理である。
　ステップＳ３２は、回転状態推定部３による、仮説の評価を行う処理である。
　以下では、時刻tの対象物画像と、時刻t+tcの対象物画像とを用いて回転状態を推定する例を挙げて、回転状態推定部３のステップＳ３１及びステップＳ３２の処理を説明する。
　まず、回転状態推定部３は、回転状態の仮説を複数生成する（ステップＳ３１）。例えば、回転状態推定部３は、事前に与えられた確率分布に基づいて複数の仮説を生成する。なお、初期状態においては、一般に事前情報が存在しないため、一様分布の確率分布に基づいて複数の仮説を生成する。
　そして、回転状態推定部３は、時刻tの対象物画像中の対象物を各回転状態の仮説に基づいてtc単位時間だけ回転させた対象物の画像を生成する。
　例えば、対象物が、野球のボールであり、球状であり、対象物画像にはボールの半球分が見えているとする。この場合、図５に示すように、球であるボールの半径をRとして、ボールの中心を原点に取ったときに、任意の座標(x,y)に対応する奥行zは、z=(R2-x2-y2)(1/2)となる。これにより、ボールの領域の各ピクセルについての三次元位置（x,y,z)を求めることができる。なお、単位として、対象物の実際の大きさが既知であれば実際の長さの単位を用いても構わないし、ピクセル数を単位として用いてもよい。
　回転状態推定部３は、三次元位置（x,y,z)を回転する。例えば、ロドリゲス回転公式を適用することで回転することができる。ロドリゲス回転公式によれば、長さ１となる回転軸（nx,ny,nz)を中心に右まわりにθ回転した時の回転の回転行列が、
Figure JPOXMLDOC01-appb-M000001
で定義できる。
　回転状態推定部３は、時刻tの対象物画像中の対象物を各回転状態の仮説に基づいてtc単位時間だけ回転させた対象物の画像と、実際の時刻t+tcの対象物画像とを比較することで、各仮説の尤もらしさを検証する。
　より詳細には、回転状態推定部３は、実際の時刻t+tcの対象物画像と、時刻tの対象物画像中の対象物をある回転状態の仮説に基づいてtc単位時間だけ回転させた対象物の画像との間の類似度を計算して、そのある仮説の尤度とする（ステップＳ３２）。ここで、２個の画像の類似度とは、例えば２個の画像の中の対応するサンプルのユークリッド距離を所定の非増加関数に入力したときの出力値である。所定の非増加関数の例はf(x)=1/xである。回転状態推定部３は、この仮説の尤度の計算を、生成された複数の仮説のそれぞれについて行う（ステップＳ３２）。
　回転状態推定部３は、計算された仮説の尤度が所定の収束条件を満たしているか判断する（ステップＳ３３）。所定の収束条件の例は、前回計算された仮説の尤度の最大値と、今回計算された仮説の尤度の最大値との差の大きさが、所定の閾値以下であるかである。
　計算された仮説の尤度が所定の収束条件を満たしている場合には、回転状態推定部３は、例えば、今回計算された仮説の尤度の最大値に対応する仮説を選択し、選択された仮説の回転状態を、対象物の回転状態の推定結果として出力する。
　計算された仮説の尤度が所定の収束条件を満たしていない場合には、回転状態推定部３は、ステップＳ３２で計算された尤度によって定まる仮説の確率分布に基づくランダムサンプリングにより、複数の仮説を新たに生成する（ステップＳ３１）。
　言い換えれば、回転状態推定部３は、今回計算された尤度が大きい仮説ほど高い確率で決定されるように、今回生成された複数の仮説の中から仮説を決定し、決定された仮説の回転状態の値に乱数を加えた値の回転状態を新たな仮説とする処理を複数回繰り返すことで、複数の仮説を新たに生成する。
　例えば、今回生成された仮説の数はN個であり、仮説をi(i=1,…,N)とする。i=1,…,Nとして、今回計算された仮説iの尤度をxiとする。回転状態推定部３は、今回計算された仮説iの尤度xiの総和S=Σi=1 Nxiを計算する。そして、回転状態推定部３は、区間[0,S)の一様乱数xを発生させる。そして、回転状態推定部３は、(x-Σi=1 I-1xi)>0≧(x-Σi=1 Ixi)の関係を満たす仮説Iを決定する。回転状態推定部３は、仮説Iの回転状態の各値に対して乱数を加えた値の回転状態を新たな仮説とする。例えば、仮説Iの回転状態が回転軸(rx(I),ry(I),rz(I))と回転数θ(I)で構成されており、乱数はガウスノイズnx,ny,nz,nθであるとする。この場合、新たな仮説の回転状態は、(rx(I)+nx,ry(I)+ny,rz(I)+nz,θ(I)+nθ)となる。回転状態推定部３は、この処理を複数回（例えばN回）繰り返すことで、複数の仮説を新たに生成する。
　その後、回転状態推定部３は、新たに生成された複数の仮説に基づいて、ステップＳ３２の処理を行う。
　このようにして、回転状態推定部３は、計算された仮説の尤度が所定の収束条件を満たすまで、ステップＳ３１及びステップＳ３２の処理を繰り返し行う。
　以上のように、回転状態推定部３は、複数の回転状態の仮説のそれぞれについて、時刻tの対象物画像中の対象物を回転状態の仮説に基づいてtc単位時間だけ回転させた対象物の画像の尤度を計算する処理と、計算された尤度に基づいて尤もらしい複数の回転状態の仮説を新たに生成する処理と、を繰り返し行うことで、対象物の回転状態を推定する。
　背景技術に記載された技術では、対象物の回転状態を推定するためには、一周期分の映像が必要であった。これに対して、上記の実施形態によれば、時刻tの対象物画像と、時刻t+tcの対象物画像とを用いて、対象物の回転状態を推定することができる。ここで、tcは、周期Tよりも小さくてもよい。このため、上記の実施形態によれば、一周期分の映像が得られていない場合であっても、対象物の回転状態を推定することができる。
　なお、対象物の外見の変化の要因には、対象物の姿勢の変化以外にも、位置の変化がある。例えば、図４(c)のように対象物がカメラに対して斜めに飛翔する等の場合には、対象物の位置の変化は、対象物の外見の変化の要因となっている。tcが周期Tよりも小さい場合には、上記の実施形態は、背景技術に記載された技術よりも短い時間間隔の画像を用いて対象物の回転状態を推定できるため、対象物の位置の変化による外見の変化の影響を低減することができる。このため、図４(c)のように対象物がカメラに対して斜めに飛翔する等の場合にも、上記の実施形態により、背景技術に記載された技術よりも高い精度で、対象物の回転状態を推定できる。
　[変形例]
　<変形例１>
　回転状態推定装置は、対象物画像を用いて、対象物の特徴が強調された特徴強調対象物画像を生成する特徴強調対象物画像生成部２を更に備えていてもよい。特徴強調対象物画像生成部２は、図１で破線で示されている。
　この場合、対象物画像生成部１で生成された対象物画像は、特徴強調対象物画像生成部２に入力される。
　そして、特徴強調対象物画像生成部２は、対象物画像を用いて、対象物の特徴が強調された特徴強調対象物画像を生成する（ステップＳ２）。
　生成された特徴強調対象物画像は、回転状態推定部３に出力される。
　例えば、特徴強調対象物画像生成部２は、対象物画像に対してエッジ抽出を行うことで、特徴強調対象物画像を生成する。これにより、対象物の特徴を強調することができる。
　対象物の例である野球のボールには、多くの場合、マークが付与され、縫い目が存在する。また、図６(a)及び図６(b)に例示するように、ボールの位置が変化すると、照明環境に応じて、ボールに異なる影ができることもある。
　特徴強調対象物画像生成部２が、例えばエッジ処理等の特徴を強調する処理を行うことにより、照明環境の影響をなるべく取り除き、対象物の外見を明確にすることができる。具体的には、ボールのシーム（縫い目）が分かりやすくなる。
　この場合、回転状態推定部３は、対象物画像に代えて、特徴強調対象物画像を用いて、ステップＳ３１からステップＳ３２の処理、及び、後述する変形例２から変形例４の処理を行う。言い換えれば、回転状態推定部３が回転状態を推定するために用いる対象物画像は、特徴強調対象物画像であってもよい。
　特徴強調対象物画像生成部２が対象物の特徴を強調する処理を行うことにより、後続の回転状態推定部３の処理の精度が高まるというメリットがある。
　<変形例２>
　回転状態推定部３は、ステップＳ３２において、２個の画像の中の所定の領域のみを考慮して、仮説の尤度を計算してもよい。例えば、回転状態推定部３は、対象物画像の、対象物が表示されている領域に含まれる各ピクセルについて、当該ピクセルの位置における対象物の法線方向を計算し、カメラに向かう方向のピクセルのみを利用する方法や、カメラの画像平面に対して奥行き方向の位置を利用して、所定の閾値よりもカメラ側に位置するピクセルのみを利用して、仮説の尤度を計算してもよい。
　<変形例３>
　上記の手法は、時刻t、時刻t+tcの２フレーム分の対象物画像により実行可能な手法であった。
　これに対して、尤度に基づく推定を複数フレーム分に跨って行ってもよい。言い換えれば、回転状態推定部３は、時刻t1,t2,…,tKの対象物画像と、時刻t1+tc,t2+tc,…,tK+tcの対象物画像とを用いて、時刻t1,t2,…,tKの対象物画像中の対象物を回転状態の仮説に基づいてtc単位時間だけ回転させた対象物の画像の尤度が高くなる回転状態の仮説を複数の回転状態の仮説の中から選択することで、対象物の回転状態を推定してもよい。
　なお、回転数の最大値が2800程度の野球のボールが対象物であり、960fpsで撮影された場合、経験的にk=10程度で回転状態の推定の精度が安定する。
　対象物に外見の特徴が少ない場合には、時刻t、時刻t+tcの２フレーム分の対象物画像を考慮しただけでは、対象物の回転状態を適切に推定ができない場合がある。これは、対象物に外見の特徴が少ない場合には、対象物の姿勢の変化による外見の変化も少なくなるためである。
　例えば、対象物のテクスチャが図７(a)である場合、時刻tの画像と、時刻t+tcの画像において、対応点（この例では、３点の対応点）を定めることは容易である。この場合、時刻tとt+tcの間だけの回転を用いた尤度計算によって、図８(a)のような尤度分布となることが期待される。図８(a)の横軸は姿勢であり、縦軸は尤度である。このように、対応点の指定が容易なケースでは、尤度の分布の幅は狭い。
　これに対して、例えば、対象物のテクスチャが図７(b)である場合で、対象物が縦方向に回転（図７(b)の左右方向（水平方向）を軸とする回転）を有する場合には、対応点を定めることは困難である。この場合、時刻tとt+tcの間だけの回転を用いた尤度計算によって、図８(b)のような尤度分布となることが期待される。図８(a)の横軸は姿勢であり、縦軸は尤度である。このように、対応点の指定が困難なケースでは、尤度の分布の幅は広い。
　図７(b)及び図８(b)の場合、対象物画像は画像中で垂直方向に延びるエッジ成分から構成されるため、回転量による尤度の変化が小さくなる。このため、１組のフレームを用いた場合には、精度低下の主な要因となる。
　これに対して、複数組のフレームを用いることで、図９のような分布になることが期待される。すなわち、ひとつひとつのフレームの組においては姿勢に対する尤度の分布の幅は広いが、複数組のフレームを考慮することで尤度の分布の幅は狭くなり、姿勢をより適切に推定することができると考えられる。
　対象物が、野球のボールのように縫い目など滑らかに変化するシームしか特徴がみられない物体である場合に、変形例３は有効である。
　<変形例４>
　回転状態推定部３は、ステップＳ３２の繰り返し処理において、前回のステップＳ３２の処理で用いたtcと、今回のステップＳ３２の処理で用いるtcの値を変えてもよい。
　例えば、回転状態推定部３は、最初のN回のステップＳ３２の処理においてはtc=1として処理を行い、その後のステップＳ３２の処理においてはtc=2として処理を行ってもよい。
　これにより、生成される仮説の回転状態の値の変化量が大きくなり、回転状態の推定を安定して行うことができる。
　<変形例５>
　上記の実施形態により推定される回転状態の回転軸は、カメラ座標系での回転軸であり、カメラを置く位置及び姿勢により変化してしまう。このため、対象物が野球のボールである場合には、事前にカメラの位置及び姿勢の推定を行い較正を行うことで、野球場の座標系におけるボールの回転軸を求めてもよい。
　対象物が野球のボールである場合には、例えば以下のステップa)からf)の処理を行ってもよい。
　a) カメラをもっともワイドに撮影する状態とする。
　b) その状態でカメラの内部パラメータを推定する。カメラの内部パラメータとは、カメラのレンズの歪みなどを含み、参考文献１の手法などで求めることができる。
　〔参考特許文献１〕Zhengyou Zhang, "A flexible new technique for camera calibration", IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):1330-1334, 2000.
　なお、カメラの内部パラメータについては、参考文献２に詳しい。
　〔参考文献２〕Ryo Komiyama、"カメラの内部パラメータ、外部パラメータ、歪み、復習用"、［online］、［平成31年03月14日検索］、インターネット〈URL：https://qiita.com/ryokomy/items/fee2105c3e9bfccde3a3〉
　c) 撮影位置から、ホーム、１～３塁ベース及びピッチャープレートが観察可能なように撮影する。
　d) 野球場において位置が既知であるホーム、１～３塁ベースを用いてPNP（perspective n-point problem）を解くことで、野球場の座標系におけるカメラの位置及び姿勢を求める。なお、PNPについては、参考文献３に詳しい。参考文献３では、P3Pとして解を求めることを想定している。
　〔参考文献３〕"カメラの位置・姿勢推定２　PNP問題　理論編"、［online］、［平成31年03月14日検索］、インターネット〈URL：http://daily-tech.hatenablog.com/entry/2018/01/21/185633〉
　e) 必要に応じてズームして、上記の実施形態によりボール画像を取得して、カメラ座標系におけるボールの回転軸を求める。
　f) ステップe)で求まった回転軸とステップd)で求めたカメラの姿勢とから野球場の座標系におけるボールの回転軸が得られる。
　以上、本発明の実施形態及び変形例について説明したが、具体的な構成は、これらの実施形態及び変形例に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜設計の変更等があっても、本発明に含まれることはいうまでもない。
　例えば、上記の変形例は、適宜組み合わせてもよい。
　また、回転状態推定装置の構成部間のデータのやり取りは直接行われてもよいし、図示していない記憶部を介して行われてもよい。
　さらに、実施形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
　[プログラム、記録媒体]
　上記説明した回転状態推定装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
　この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
　また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
　このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
　また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
１     対象物画像生成部
２     特徴強調対象物画像生成部
３     回転状態推定部

Claims (6)

  1. 　入力された映像から、対象物の画像である対象物画像を生成する対象物画像生成部と、
    　tcを所定の１以上の整数として、時刻tの前記対象物画像と、時刻t+tcの前記対象物画像とを用いて、前記ある時刻の前記対象物画像中の対象物を回転状態の仮説に基づいてtc単位時間だけ回転させた対象物の画像の尤度が高くなる回転状態の仮説を複数の回転状態の仮説の中から選択することで、前記対象物の回転状態を推定する回転状態推定部と、
    　を含む回転状態推定装置。
  2. 　請求項１の回転状態推定装置であって、
    　前記回転状態推定部は、時刻t1,t2,…,tKの前記対象物画像と、時刻t1+tc,t2+tc,…,tK+tcの前記対象物画像とを用いて、時刻t1,t2,…,tKの前記対象物画像中の対象物を回転状態の仮説に基づいてtc単位時間だけ回転させた対象物の画像の尤度が高くなる回転状態の仮説を複数の回転状態の仮説の中から選択することで、前記対象物の回転状態を推定する、
    　回転状態推定装置。
  3. 　請求項１又は２の回転状態推定装置であって、
    　前記回転状態推定部は、複数の回転状態の仮説のそれぞれについて、前記時刻t又は前記時刻t1,t2,…,tKの前記対象物画像中の対象物を回転状態の仮説に基づいてtc単位時間だけ回転させた対象物の画像の尤度を計算する処理と、計算された尤度に基づいて尤もらしい複数の回転状態の仮説を新たに生成する処理と、を繰り返し行う、
    　回転状態推定装置。
  4. 　請求項３の回転状態推定装置であって、
    　前記回転状態推定部の、計算された尤度に基づいて尤もらしい複数の回転状態の仮説を新たに生成する処理は、前記計算された尤度が大きい仮説ほど高い確率で決定されるように、前記複数の回転状態の仮説の中から仮説を決定し、前記決定された仮説の回転状態の値に乱数を加えた値の回転状態を新たな仮説とする処理を複数回繰り返すことで、複数の仮説を新たに生成する処理である、
    　回転状態推定装置。
  5. 　対象物画像生成部が、入力された映像から、対象物の画像である対象物画像を生成する対象物画像生成ステップと、
    　回転状態推定部が、tcを所定の１以上の整数として、時刻tの前記対象物画像と、時刻t+tcの前記対象物画像とを用いて、前記ある時刻の前記対象物画像中の対象物を回転状態の仮説に基づいてtc単位時間だけ回転させた対象物の画像の尤度が高くなる回転状態の仮説を複数の回転状態の仮説の中から選択することで、前記対象物の回転状態を推定する回転状態推定ステップと、
    　を含む回転状態推定方法。
  6. 　請求項１から４の何れかの回転状態推定装置の各部としてコンピュータを機能させるためのプログラム。
PCT/JP2020/009014 2019-03-18 2020-03-04 回転状態推定装置、方法及びプログラム WO2020189265A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/438,867 US20220152453A1 (en) 2019-03-18 2020-03-04 Rotation state estimation device, method and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-049667 2019-03-18
JP2019049667A JP7115376B2 (ja) 2019-03-18 2019-03-18 回転状態推定装置、方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2020189265A1 true WO2020189265A1 (ja) 2020-09-24

Family

ID=72520198

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/009014 WO2020189265A1 (ja) 2019-03-18 2020-03-04 回転状態推定装置、方法及びプログラム

Country Status (3)

Country Link
US (1) US20220152453A1 (ja)
JP (1) JP7115376B2 (ja)
WO (1) WO2020189265A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022162829A1 (ja) * 2021-01-28 2022-08-04 日本電信電話株式会社 回転状態推定装置、その方法、およびプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240104750A1 (en) 2021-01-28 2024-03-28 Nippon Telegraph And Telephone Corporation Rotation state estimation apparatus, method thereof, and program
US20240069055A1 (en) 2021-01-28 2024-02-29 Nippon Telegraph And Telephone Corporation Rotation state estimation apparatus, method thereof, and program

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5233541A (en) * 1990-08-10 1993-08-03 Kaman Aerospace Corporation Automatic target detection process
JP2007249309A (ja) * 2006-03-13 2007-09-27 Toshiba Corp 障害物追跡装置及びその方法
JP2011022066A (ja) * 2009-07-17 2011-02-03 National Institute Of Advanced Industrial Science & Technology ３次元物体位置姿勢計測方法
US20150178927A1 (en) * 2013-12-23 2015-06-25 Metaio Gmbh Method and system for determining a transformation associated with a capturing device
JP2018205074A (ja) * 2017-06-02 2018-12-27 株式会社Ｇｐｒｏ 飛行パラメータ測定装置及び飛行パラメータ測定方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0921610A (ja) * 1995-07-04 1997-01-21 N T T Data Tsushin Kk 画像処理装置及び画像処理方法
IL136080A0 (en) * 2000-05-11 2001-05-20 Yeda Res & Dev Sequence-to-sequence alignment
KR100480780B1 (ko) * 2002-03-07 2005-04-06 삼성전자주식회사 영상신호로부터 대상물체를 추적하는 방법 및 그 장치
ES2270254T3 (es) * 2003-10-06 2007-04-01 Yxlon International Security Gmbh Un procedimiento para determinar el cambio de posicion de una unidad de equipaje para inspeccionar una zona sospechosa en esta unidad de equipaje.
US8238612B2 (en) * 2008-05-06 2012-08-07 Honeywell International Inc. Method and apparatus for vision based motion determination
US9213938B2 (en) * 2010-06-22 2015-12-15 University Of Florida Research Foundation, Inc. Systems and methods for estimating pose
US8908913B2 (en) * 2011-12-19 2014-12-09 Mitsubishi Electric Research Laboratories, Inc. Voting-based pose estimation for 3D sensors
US9361730B2 (en) * 2012-07-26 2016-06-07 Qualcomm Incorporated Interactions of tangible and augmented reality objects
CN103679186B (zh) * 2012-09-10 2017-04-05 华为技术有限公司 检测和跟踪目标的方法和装置
US20150371440A1 (en) * 2014-06-19 2015-12-24 Qualcomm Incorporated Zero-baseline 3d map initialization
EP3182373B1 (en) * 2015-12-17 2019-06-19 STMicroelectronics S.A. Improvements in determination of an ego-motion of a video apparatus in a slam type algorithm
US10319108B2 (en) * 2017-02-14 2019-06-11 Jx Imaging Arts, Llc System and method for machine vision object orientation measurement
US10489656B2 (en) * 2017-09-21 2019-11-26 NEX Team Inc. Methods and systems for ball game analytics with a mobile device
CN110709841B (zh) * 2017-12-13 2023-09-12 谷歌有限责任公司 用于检测和转换旋转的视频内容项的方法、系统和介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5233541A (en) * 1990-08-10 1993-08-03 Kaman Aerospace Corporation Automatic target detection process
JP2007249309A (ja) * 2006-03-13 2007-09-27 Toshiba Corp 障害物追跡装置及びその方法
JP2011022066A (ja) * 2009-07-17 2011-02-03 National Institute Of Advanced Industrial Science & Technology ３次元物体位置姿勢計測方法
US20150178927A1 (en) * 2013-12-23 2015-06-25 Metaio Gmbh Method and system for determining a transformation associated with a capturing device
JP2018205074A (ja) * 2017-06-02 2018-12-27 株式会社Ｇｐｒｏ 飛行パラメータ測定装置及び飛行パラメータ測定方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022162829A1 (ja) * 2021-01-28 2022-08-04 日本電信電話株式会社 回転状態推定装置、その方法、およびプログラム

Also Published As

Publication number Publication date
JP7115376B2 (ja) 2022-08-09
US20220152453A1 (en) 2022-05-19
JP2020153677A (ja) 2020-09-24

Similar Documents

Publication Publication Date Title
WO2020189265A1 (ja) 回転状態推定装置、方法及びプログラム
Garon et al. Deep 6-DOF tracking
JP5950973B2 (ja) フレームを選択する方法、装置、及びシステム
US8411966B2 (en) Estimation of image relations from point correspondences between images
TWI485650B (zh) 用於多相機校準之方法及配置
US20210227132A1 (en) Method for tracking target in panoramic video, and panoramic camera
US20180359415A1 (en) Panoramic video processing method and device and non-transitory computer-readable medium
US9253415B2 (en) Simulating tracking shots from image sequences
TWI687689B (zh) 球狀體之旋轉之測定裝置、測定方法以及非暫時性資訊記錄媒體
JP6515039B2 (ja) 連続的な撮影画像に映り込む平面物体の法線ベクトルを算出するプログラム、装置及び方法
US20150104067A1 (en) Method and apparatus for tracking object, and method for selecting tracking feature
KR20150126768A (ko) 이미지 합성 방법 및 그 전자 장치
CN109902675B (zh) 物体的位姿获取方法、场景重构的方法和装置
Kotera et al. Intra-frame object tracking by deblatting
US8903124B2 (en) Object learning method, object tracking method using the same, and object learning and tracking system
US20200036961A1 (en) Constructing a user&#39;s face model using particle filters
WO2021056501A1 (zh) 提取特征点的方法、可移动平台及存储介质
JP7214007B2 (ja) ゴルフボールオントップ式検出方法、システム及び記憶媒体
CN111476056B (zh) 目标物体的识别方法、装置、终端设备及计算机存储介质
CN111192308A (zh) 图像处理方法及装置、电子设备和计算机存储介质
JP7107440B2 (ja) 学習データ生成装置、学習データ生成方法、プログラム
CN111199179B (zh) 目标对象的跟踪方法、终端设备及介质
CN113920196A (zh) 视觉定位方法、装置及计算机设备
JP5643147B2 (ja) 動きベクトル検出装置、動きベクトル検出方法及び動きベクトル検出プログラム
JP2010267029A (ja) 特定動作検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20773851

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20773851

Country of ref document: EP

Kind code of ref document: A1