WO2024047848A1 - 映像処理装置、映像処理方法、および映像処理プログラム - Google Patents

映像処理装置、映像処理方法、および映像処理プログラム Download PDF

Info

Publication number
WO2024047848A1
WO2024047848A1 PCT/JP2022/032994 JP2022032994W WO2024047848A1 WO 2024047848 A1 WO2024047848 A1 WO 2024047848A1 JP 2022032994 W JP2022032994 W JP 2022032994W WO 2024047848 A1 WO2024047848 A1 WO 2024047848A1
Authority
WO
WIPO (PCT)
Prior art keywords
player
players
movement
unit
distance
Prior art date
Application number
PCT/JP2022/032994
Other languages
English (en)
French (fr)
Inventor
翔大 山田
和 宮川
精一 紺谷
弘員 柿沼
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2022/032994 priority Critical patent/WO2024047848A1/ja
Publication of WO2024047848A1 publication Critical patent/WO2024047848A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a video processing device, a video processing method, and a video processing program.
  • the arena used for the match does not have a standard, such as the soccer goal in soccer, or the direction in which athletes aim. . Therefore, even if the player's position or movement direction is visualized, there is a problem in that it is difficult to grasp the tendency of the player's movement during the match.
  • This invention was made with attention to the above circumstances, and its purpose is to focus on the fact that in martial arts including boxing and judo, players face each other one on one, and to improve the relative relationship between players.
  • the objective is to provide a visualization method that makes it easier to understand the movement trends of players during a match by visualizing their movement trends.
  • one aspect of the present invention is a video processing device, which includes an acquisition unit that acquires a photographed video including two players in a match photographed by a camera; a coordinate detection section that detects each of the player's positions; a storage section that stores the detected player's position; and a coordinate detection section that stores the detected player's position, and a coordinate detection section that stores the player's position a predetermined time ago and the current player's position that are stored in the storage section.
  • the apparatus includes a visualization result drawing section that visualizes information about the distance, movement direction, and movement distance, and an output control section that controls display of the visualized result on an output device.
  • the relative movement between the athletes that is, the tendency of the opponent athlete's movement as seen from the athlete's perspective. It becomes possible to provide a visualization method that makes it easier to understand the situation and the state of the players.
  • FIG. 1 is a block diagram showing an example of the hardware configuration of a video processing device according to an embodiment.
  • FIG. 2 is a block diagram showing the software configuration of the video processing apparatus in the embodiment in relation to the hardware configuration shown in FIG. 1.
  • FIG. 3 is a flowchart illustrating an example of an operation performed by the video processing device to obtain a matrix for performing coordinate transformation from the video acquired from the camera.
  • FIG. 4 is a flowchart illustrating an example of an operation for the video processing device to select an optimal video from the videos acquired from the camera.
  • FIG. 5 is a diagram showing an example of a frequency distribution arrangement.
  • FIG. 6 is a diagram showing an example of a frequency distribution arrangement.
  • FIG. 7 is a diagram showing an example of visualization results displayed on the output device.
  • FIG. 8 is a diagram showing another example of the visualization result displayed on the output device.
  • FIG. 9 is a diagram showing another example of the visualization result displayed on the output device.
  • FIG. 1 is a block diagram showing an example of the hardware configuration of a video processing device 1 according to an embodiment.
  • the video processing device 1 is a computer that analyzes input data, generates and outputs output data.
  • the video processing device 1 is installed, for example, at an arbitrary location in a venue where a martial arts event or the like is held or at an arbitrary location away from the venue.
  • the video processing device 1 includes a control section 10, a program storage section 20, a data storage section 30, a communication interface 40, and an input/output interface 50.
  • the control unit 10, program storage unit 20, data storage unit 30, communication interface 40, and input/output interface 50 are communicably connected to each other via a bus.
  • the communication interface 40 may be communicably connected to an external device via a network.
  • the input/output interface 50 is communicably connected to the input device 2, the output device 3, and the camera 4.
  • the control unit 10 controls the video processing device 1.
  • the control unit 10 includes a hardware processor such as a central processing unit (CPU).
  • the control unit 10 may be an integrated circuit capable of executing various programs.
  • the program storage unit 20 includes non-volatile memories that can be written to and read from at any time such as EPROM (Erasable Programmable Read Only Memory), HDD (Hard Disk Drive), and SSD (Solid State Drive), as well as ROM ( It can be used in combination with non-volatile memory such as Read Only Memory).
  • the program storage unit 20 stores programs necessary to execute various processes. That is, the control unit 10 can implement various controls and operations by reading and executing programs stored in the program storage unit 20.
  • the data storage unit 30 is a storage that uses a combination of a non-volatile memory that can be written to and read from at any time, such as an HDD or a memory card, and a volatile memory such as a RAM (Random Access Memory), as a storage medium. .
  • the data storage unit 30 is used to store data acquired and generated while the control unit 10 executes programs and performs various processes.
  • the communication interface 40 includes one or more wired or wireless communication modules.
  • the communication interface 40 includes a communication module that makes a wired or wireless connection to an external device via a network.
  • Communication interface 40 may include a wireless communication module that wirelessly connects to external devices such as Wi-Fi access points and base stations.
  • the communication interface 40 may include a wireless communication module for wirelessly connecting to an external device using short-range wireless technology. That is, the communication interface 40 may be any general communication interface as long as it is capable of communicating with an external device and transmitting and receiving various information under the control of the control unit 10.
  • the input/output interface 50 is connected to the input device 2, the output device 3, the plurality of cameras 4, etc.
  • the input/output interface 50 is an interface that allows information to be transmitted and received between the input device 2, the output device 3, and the plurality of cameras 4.
  • the input/output interface 50 may be integrated with the communication interface 40.
  • the video processing device 1, the input device 2, the output device 3, and at least one of the plurality of cameras 4 are wirelessly connected using short-range wireless technology, etc., and information is transmitted using the short-range wireless technology. may also be sent and received.
  • the input device 2 includes, for example, a keyboard, a pointing device, etc. for a user to input various information to the video processing device 1.
  • the input device 2 also includes a reader for reading data to be stored in the program storage section 20 or the data storage section 30 from a memory medium such as a USB memory, and a disk device for reading such data from a disk medium. May be included.
  • the output device 3 includes a display that displays the video from the video processing device 1 to be displayed to the spectators at the match venue. Furthermore, the output device 3 may include a plurality of displays that display images to be displayed to the operator inside the venue.
  • the camera 4 is placed in the venue to photograph martial arts such as boxing or judo. In this embodiment, only one camera 4 is shown for simplicity, but it goes without saying that there may be a plurality of cameras 4.
  • the camera 4 outputs to the control unit 10 of the video processing device 1 through the input/output interface 50.
  • FIG. 2 is a block diagram showing the software configuration of the video processing device 1 in the embodiment in relation to the hardware configuration shown in FIG. 1.
  • the control unit 10 includes a video acquisition unit 101, a coordinate detection unit 102, a coordinate conversion unit 103, a derivation unit 104, a frequency distribution creation unit 105, a frequency distribution update unit 106, a visualization result drawing unit 107, and an output A control unit 108 is provided.
  • the data storage section 30 includes a video storage section 301, a coordinate storage section 302, and a frequency distribution storage section 303.
  • the video acquisition unit 101 acquires a captured video from the camera 4.
  • the video acquisition unit 101 may output the acquired video to the coordinate detection unit 102.
  • the coordinate detection unit 102 detects the coordinates of a predetermined location on the match field, for example, the four corner points of the ring. For example, if the playing field is not rectangular, the particular locations may be at each vertex of the rectangle selected to fit the playing field. That's fine. Further, the origin of the coordinates may be any location in the captured video. Further, the coordinate detection unit 102 detects the position of the player. The coordinate detection unit 102 acquires the captured video stored in the video storage unit 301, and applies an object detection method using a general deep learning model (Mask R-CNN, YOLO, etc.) to the acquired captured video. Detects the position of the player in the photo. Further, the coordinate detection unit 102 labels the detected players.
  • a general deep learning model Mosk R-CNN, YOLO, etc.
  • the coordinate transformation unit 103 calculates a matrix M for projective transformation to the four corner points of the playing field from the bird's-eye view point.
  • locations designated in advance by the user of the video processing device 1 may be used instead of the four corner points of the match field.
  • the coordinate transformation unit 103 transforms the coordinate system of player coordinates.
  • the coordinate transformation unit 103 performs a geometric transformation from camera coordinates to ring coordinates at an overhead viewpoint on the player's coordinates received from the coordinate detection unit 102. Note that a specific conversion method will be described later.
  • the derivation unit 104 derives a vector representing the positional relationship of the players and a vector representing movement information. Note that a specific method for deriving the vector will be described later.
  • the frequency distribution creation unit 105 creates a frequency distribution for each player. Note that a specific method for creating the frequency distribution will be described later.
  • the frequency distribution creation unit 105 stores the generated frequency distribution in the frequency distribution storage unit 303.
  • the frequency distribution update unit 106 updates the frequency distribution.
  • the frequency distribution update unit 106 acquires the frequency distribution from the frequency distribution storage unit 303. Then, the frequency distribution update unit 106 performs a count-up process for the elements of the corresponding frequency distribution based on each vector. Note that a specific method of count-up processing will be described later.
  • the visualization result drawing unit 107 draws the visualization result.
  • the visualization result drawing unit 107 calculates a ratio indicating in which direction the player moved or remained stationary based on the frequency distribution. Note that a specific method for calculating the ratio will be described later.
  • the output control unit 108 outputs the visualization results to the output device 3.
  • the output control unit 108 controls the display of the output device 3 to display the visualization result. Further, the output control unit 108, which is also a transmitting unit, may distribute the selected video over the Internet via the communication interface 40 and the network.
  • the video storage unit 301 is used to store the shot video acquired by the video acquisition unit 101. Note that the captured video stored in the video storage unit 301 may be controlled by the control unit 10 so that it is deleted after a predetermined period of time has elapsed.
  • the coordinate storage unit 302 is used to store a matrix M for converting the coordinates of the player in the photographed video into the coordinates at the bird's-eye view point calculated by the coordinate conversion unit 103. Further, the coordinate storage unit 302 is used to store the player coordinates after coordinate transformation and the player coordinates received from the coordinate detection unit 102.
  • the frequency distribution storage unit 303 is used to store the frequency distribution created by the frequency distribution creation unit 105. Furthermore, the frequency distribution storage unit 303 is used to store the frequency distribution updated by the frequency distribution update unit 106.
  • FIG. 3 is a flowchart showing an example of an operation in which the video processing device 1 calculates a matrix for performing coordinate transformation from the video acquired from the camera 4. The operation of this flowchart is realized by the control unit 10 of the video processing device 1 reading and executing the program stored in the program storage unit 20.
  • This operation flow may be performed before or during the match. Then, the operation of this flow starts when the camera outputs a shot video including the entire match field to the video acquisition unit 101.
  • step ST101 the video acquisition unit 101 acquires a captured video.
  • the video acquisition unit 101 outputs the acquired captured video to the coordinate detection unit 102.
  • the coordinate detection unit 102 detects the coordinates of a predetermined location on the match field, for example, the four corner points of the ring. Note that if the match field is not rectangular, the specific location may be any point that characterizes the match field. Further, the origin of the coordinates may be any location in the captured video. Then, the coordinate detection unit 102 outputs the detected coordinates to the coordinate conversion unit 103.
  • step ST103 the coordinate conversion unit 103 converts the four corners of the playing field from the bird's-eye view point (top left (0,0), top right (1,0), bottom left (0,1), bottom right (1,1)) Calculate the matrix M to be projectively transformed into .
  • the match field is not rectangular, locations designated in advance by the user of the video processing device 1 may be used instead of the four corner points of the match field.
  • the coordinate conversion unit 103 stores the calculated matrix M in the coordinate storage unit 302. In this way, the matrix M is calculated in advance.
  • FIG. 4 is a flowchart illustrating an example of an operation in which the video processing device 1 selects an optimal video from the videos acquired from the camera 4. The operation of this flowchart is realized by the control unit 10 of the video processing device 1 reading and executing the program stored in the program storage unit 20.
  • This operation flow represents, for example, processing for one frame of each captured video. Therefore, it goes without saying that the video processing device 1 repeatedly executes this operation flow during the match or any period during the match.
  • This flow starts when the camera 4 outputs a shot video including the two competing players to the video acquisition unit 101 at the start of the match or during the match.
  • step ST201 the video acquisition unit 101 acquires a captured video.
  • the video acquisition unit 101 may store the acquired captured video in the video storage unit 301.
  • the coordinate detection unit 102 detects the position of the player.
  • the coordinate detection unit 102 acquires the captured video stored in the video storage unit 301, and detects the position of the player in the acquired captured video using an object detection method using a general deep learning model.
  • the player's position refers to the coordinates (x p , y p ) corresponding to the player's feet (the intersection of the player's midline and the floor). Note that the origin of the coordinates may be any position in the captured video.
  • the coordinate detection unit 102 labels the detected players. For example, in the case of a boxing match, the detected player is labeled as either a player on the red corner side or a player on the blue corner side. For example, the coordinate detection unit 102 labels two players as player A and player B, respectively. The coordinate detection unit 102 determines whether the player is Player A (player in the red corner) based on, for example, prior information about the player (what color pants he is wearing, what color gloves he is wearing), etc. Or you can tell if it is Player B (player in the blue corner). Then, the coordinate detection unit 102 generates label information including information about the labeled player. The coordinate detection unit outputs the captured video, player coordinate information indicating the detected position of the player, and label information to the coordinate conversion unit 103.
  • the coordinate detection unit 102 may receive the coordinates instead of detecting the coordinates.
  • the control unit 10 of the video processing device 1 may control the output device 3 to display the captured video.
  • the user of the video processing device 1 or the like may use a mouse or the like included in the input device 2 to indicate the player's position and label information.
  • the output device 3 may output the indicated information (player coordinate information) and label information to the coordinate conversion unit 103.
  • the coordinate transformation unit 103 transforms the coordinate system of the player coordinates.
  • the coordinate transformation unit 103 performs a geometric transformation from camera coordinates to ring coordinates at an overhead viewpoint on the player's coordinates received from the coordinate detection unit 102.
  • the coordinate conversion unit 103 acquires the coordinates of four corners (upper left, upper right, lower left, and lower right) of the match venue (ring in the case of boxing) in the captured video. Furthermore, the coordinate transformation unit 103 obtains the matrix M stored in the coordinate storage unit 302 in advance. Then, the coordinates (x p ′ , y p ′ ) after projective transformation are calculated from the player coordinates (x p , y p ) using the following formula.
  • the coordinate conversion unit 103 may cause the coordinate storage unit 302 to store the player coordinates after the coordinate conversion.
  • the coordinates used in the subsequent processing are the coordinates after coordinate transformation, but for the sake of simplicity, x' and y' are simply expressed as x and y.
  • the coordinate transformation unit 103 acquires the player coordinates of the past frame after coordinate transformation for a preset time ⁇ from the coordinate storage unit 302. Note that if there are no player coordinates for the corresponding frame, the coordinate conversion unit 103 may end the processing for this frame because it cannot acquire the information. Then, the coordinate conversion unit 103 outputs the converted player coordinates, the player coordinates of the frame before the time ⁇ , the label information, etc. to the derivation unit.
  • the derivation unit 104 derives a vector representing the positional relationship of the players and a vector representing movement information.
  • the derivation unit 104 represents the coordinates of player A (x t A , y t A ) and the coordinates of player B (x t B , y t B ) in the current frame (time t) received from the coordinate conversion unit 103.
  • a position vector p AB representing the positional relationship between player A and player B at time t' and a movement vector m A representing movement information from time t' to time t are calculated as follows.
  • position vector P BA represents the positional relationship between player B and player A at time t'
  • movement vector m B represents movement information from time t' to time t.
  • the frequency distribution creation unit 105 creates a frequency distribution.
  • the frequency distribution creation unit 105 divides the distance between players by the number of samples N p in the range from a predetermined threshold value ⁇ p to the maximum value
  • the maximum distance between players is the length of the diagonal line of the playing field.
  • max may be a value defined in advance by the user of the video processing device 1.
  • the frequency distribution creation unit 105 divides the angle representing the moving direction into a range from ⁇ to ⁇ by the number of samplings N ⁇ .
  • the frequency distribution creation unit 105 divides the moving speed in the range from a predetermined threshold value ⁇ v to the maximum value
  • max of the player's movement speed is the length of the diagonal line of the match venue divided by the time ⁇ .
  • max of the moving speed may be a value defined in advance by the user of the video processing device 1.
  • the frequency distribution generation unit 105 generates frequency distribution arrays F A and F B of size N p ⁇ N ⁇ ⁇ N v for each of player A and player B.
  • the elements of the frequency distribution F are expressed as f p, ⁇ , v .
  • FIGS. 5 and 6 are diagrams showing an example of the frequency distribution array F.
  • An example of the array of F is shown.
  • frequency distribution arrays G A and G B of size N p representing the case of moving speed 0 to ⁇ v are generated.
  • an element of the frequency distribution G is expressed as gp .
  • the frequency distribution creation unit 105 stores the created frequency distribution F and frequency distribution G in the frequency distribution storage unit 303. Further, step ST205 may be skipped in the flow after the frequency distribution creation unit 105 creates the frequency distribution F and the frequency distribution G. That is, during a match, the flow shown in FIG. 3 may be executed only when it operates for the first time.
  • the frequency distribution updating unit 106 updates the frequency distribution.
  • the frequency distribution update unit 106 obtains the frequency distribution F and the frequency distribution G from the frequency distribution storage unit 303. Then, for example, the movement of player A is considered from the viewpoint of player B. In this case, the distance between players
  • the angle ⁇ AB is expressed by the following formula.
  • the frequency distribution update unit 106 stores the updated frequency distributions F and G in the frequency distribution storage unit 303 and outputs them to the visualization result drawing unit 107.
  • step ST207 the visualization result drawing unit 107 draws the visualization result.
  • the visualization result drawing unit 107 performs addition processing on the frequency distribution of the movement speed axis from the frequency distributions F A and G A , and determines in which direction the players moved or remained stationary for each distance between the players. A ratio q i,j is calculated.
  • the visualization result drawing unit 107 draws the visualization result based on this ratio q i,j .
  • an example is explained in which all addition processing is performed in the axial direction of the movement speed to calculate the ratio, but it is also possible to set a range for the player's movement speed and add only the speed elements within that range.
  • the ratio may be determined by processing.
  • the visualization result drawing unit 107 outputs the drawn visualization result to the output control unit 108.
  • step ST208 the output control unit 108 outputs the visualization result to the output device 3.
  • the output control unit 108 controls the visualization result to be displayed on the display of the output device 3.
  • FIG. 7 is a diagram showing an example of visualization results displayed on the output device 3. As shown in FIG. 7, player A has a strong tendency to move sideways or backwards relative to player B. Furthermore, since the circle has a certain size, this indicates that player A may be stationary relative to player B to some extent.
  • FIG. 8 and 9 are diagrams showing other examples of visualization results displayed on the output device 3.
  • the visualization results may be drawn side by side for a plurality of ranges of distance specified by the user.
  • multiple ranges of distance specified by the user may be drawn together.
  • the user may select whether to display the player's icon and a circle indicating a stationary situation.
  • the video processing device 1 visualizes the relative movements between the athletes in a combat sport in which two athletes compete, that is, the tendency of the opponent athlete's movement as seen from the athlete's perspective. It becomes possible to provide a visualization method that makes it easier to understand the situation of the match and the state of the players.
  • the video processing device 1 shows an example in which the visualization results for one player are displayed, but the results for each player may be displayed on the display of the output device 3.
  • the method described in the above embodiments can be applied to, for example, magnetic disks (floppy (registered trademark) disks, hard disks, etc.), optical disks (CD-ROMs, DVDs, etc.) as programs (software means) that can be executed by a computer. , MO, etc.), semiconductor memory (ROM, RAM, flash memory, etc.), and can also be transmitted and distributed via a communication medium.
  • the programs stored on the medium side also include a setting program for configuring software means (including not only execution programs but also tables and data structures) in the computer to be executed by the computer.
  • a computer that realizes this device reads a program stored in a storage medium, and if necessary, constructs software means using a setting program, and executes the above-described processing by controlling the operation of the software means.
  • the storage medium referred to in this specification is not limited to those for distribution, and includes storage media such as magnetic disks and semiconductor memories provided inside computers or devices connected via a network.
  • the present invention is not limited to the above-described embodiments, and various modifications can be made at the implementation stage without departing from the spirit of the invention. Moreover, each embodiment may be implemented in combination as appropriate as possible, and in that case, the combined effects can be obtained. Further, the embodiments described above include inventions at various stages, and various inventions can be extracted by appropriately combining the plurality of disclosed constituent elements.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

一実施形態に係る映像処理装置は、カメラによって撮影された対戦中の2人の選手を含む撮影映像を取得する取得部と、撮影映像に写った選手の位置それぞれを検出する座標検出部と、検出された選手の位置を記憶する記憶部と、記憶部に記憶された所定の時間だけ前の選手の位置と現在の選手の位置に基づいて選手間の位置関係を表す位置ベクトルと、選手間の移動情報を表す移動ベクトルを算出する導出部と、位置ベクトルおよび移動ベクトルに基づいて、一方の選手から見た他方の選手との距離、移動方向、移動距離についての情報を可視化する可視化結果描画部と、可視化された結果を出力装置に表示するように制御する出力制御部と、を備える。

Description

映像処理装置、映像処理方法、および映像処理プログラム
 この発明は、映像処理装置、映像処理方法、および映像処理プログラムに関する。
 スポーツ分野において、試合や選手から取得したデータを可視化することが可能である。そして、この可視化されたデータにより、その競技に対しより深く理解し、且つより熱狂できる鑑賞体験の提供を可能としている。例えば、サッカー等の3人以上で行う球技において、試合中に位置している選手の場所と、選手の位置していた時間を色の濃さで表すヒートマップ表現または選手の移動方向を矢印で表すベクトル表現によって可視化することが可能である。このように可視化されたデータにより、試合の状況または試合中の選手の動きの傾向を表現している(例えば、非特許文献1および非特許文献2参照)。
C. Perin, et, al, "SoccerStories: A Kick-off for Visual Soccer Analysis," IEEE Trans. Vis. Comput. Graph., 19, 12 (2013). J. Gudmundsson and M. Horton, "Spatio-Temporal Analysis of Team Sports," ACM Computing Surveys, 50, 2 (2018).
 ボクシングまたは柔道のような1対1で対戦する格闘技の場合、試合に用いる試合場(ボクシングの場合はリング)では、サッカーにおけるサッカーゴールのような選手が目指す場所または方向のような基準が存在しない。そのため、選手の位置または移動方向を可視化しても、試合中の選手の動きの傾向を掴みづらいという問題がある。
 この発明は上記事情に着目してなされたもので、その目的とするところは、ボクシングまたは柔道を含む格闘技において、1対1で選手が正対していることに着目し、選手間の相対的な移動傾向を可視化することにより、試合中の選手の動きの傾向を掴みやくする可視化手法を提供することにある。
 上記課題を解決するためにこの発明の一態様は、映像処理装置であって、カメラによって撮影された対戦中の2人の選手を含む撮影映像を取得する取得部と、前記撮影映像に写った選手の位置それぞれを検出する座標検出部と、前記検出された選手の位置を記憶する記憶部と、前記記憶部に記憶された所定の時間だけ前の前記選手の位置と現在の選手の位置に基づいて選手間の位置関係を表す位置ベクトルと、選手間の移動情報を表す移動ベクトルを算出する導出部と、前記位置ベクトルおよび前記移動ベクトルに基づいて、一方の選手から見た他方の選手との距離、移動方向、移動距離についての情報を可視化する可視化結果描画部と、可視化された結果を出力装置に表示するように制御する出力制御部と、を備えるようにしたものである。
 この発明の一態様によれば、2人の選手が対戦する格闘技において、選手間の相対的な動き、すなわち、選手視点から見た相手選手の動きの傾向を可視化することにより、格闘技において試合の状況および選手の様子が把握しやすくなる可視化手法を提供することが可能となる。
図1は、実施形態に係る映像処理装置のハードウェア構成の一例を示すブロック図である。 図2は、実施形態における映像処理装置のソフトウェア構成を、図1に示したハードウェア構成に関連付けて示すブロック図である。 図3は、映像処理装置がカメラから取得した映像から座標変換を行うための行列を求めるための動作の一例を示すフローチャートである。 図4は、映像処理装置がカメラから取得した映像から最適な映像を選択するための動作の一例を示すフローチャートである。 図5は、頻度分布の配列の一例を示した図である。 図6は、頻度分布の配列の一例を示した図である。 図7は、出力装置に表示される可視化結果の一例を示す図である。 図8は、出力装置に表示される可視化結果の別の一例を示す図である。 図9は、出力装置に表示される可視化結果の別の一例を示す図である。
 以下、図面を参照してこの発明に係る実施形態を説明する。なお、以降、説明済みの要素と同一または類似の要素には同一または類似の符号を付し、重複する説明については基本的に省略する。例えば、複数の同一または類似の要素が存在する場合に、各要素を区別せずに説明するために共通の符号を用いることがあるし、各要素を区別して説明するために当該共通の符号に加えて枝番号を用いることもある。
 [実施形態] 
 (構成) 
 図1は、実施形態に係る映像処理装置1のハードウェア構成の一例を示すブロック図である。
 映像処理装置1は、入力されたデータを解析して、出力データを生成し出力する、コンピュータである。映像処理装置1は、例えば、格闘技等が開催される会場の任意の場所または会場から離れた任意の場所に設置される。
 図1に示すように、映像処理装置1は、制御部10、プログラム記憶部20、データ記憶部30、通信インタフェース40、および入出力インタフェース50を備える。制御部10、プログラム記憶部20、データ記憶部30、通信インタフェース40、および入出力インタフェース50は、バスを介して互いに通信可能に接続されている。さらに通信インタフェース40は、ネットワークを介して外部装置と通信可能に接続されてよい。また、入出力インタフェース50は、入力装置2、出力装置3、カメラ4と通信可能に接続される。
 制御部10は、映像処理装置1を制御する。制御部10は、中央処理ユニット(CPU:Central Processing Unit)等のハードウェアプロセッサを備える。例えば、制御部10は、様々なプログラムを実行することが可能な集積回路であっても良い。
 プログラム記憶部20は、記憶媒体として、例えば、EPROM(Erasable Programmable Read Only Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)等の随時書込みおよび読出しが可能な不揮発性メモリと、ROM(Read Only Memory)等の不揮発性メモリとを組み合わせて使用することができる。プログラム記憶部20は、各種処理を実行するために必要なプログラムを格納している。すなわち、制御部10は、プログラム記憶部20に格納されたプログラムを読み出して実行することにより各種制御および動作を実現し得る。
 データ記憶部30は、記憶媒体として、例えば、HDD、メモリカード等の随時書込みおよび読出しが可能な不揮発性メモリと、RAM(Random Access Memory)等の揮発性メモリとを組み合わせて使用したストレージである。データ記憶部30は、制御部10がプログラムを実行して各種処理を行う過程で取得および生成されたデータを記憶するために用いられる。
 通信インタフェース40は、1つ以上の有線または無線の通信モジュールを含む。例えば、通信インタフェース40は、ネットワークを介して外部装置と有線または無線接続する通信モジュールを含む。通信インタフェース40は、Wi-Fiアクセスポイントおよび基地局等の外部装置と無線接続する無線通信モジュールを含んでも良い。さらに、通信インタフェース40は、近距離無線技術を利用して外部装置と無線接続するための無線通信モジュールを含んでも良い。すなわち、通信インタフェース40は、制御部10の制御の下、外部装置との間で通信を行い、各種情報を送受信することができるものであれば一般的な通信インタフェースで良い。
 入出力インタフェース50は、入力装置2、出力装置3、および複数のカメラ4等と接続される。入出力インタフェース50は、入力装置2、出力装置3、および複数のカメラ4との間で情報の送受信を可能にするインタフェースである。入出力インタフェース50は、通信インタフェース40と一体であってもよい。例えば、映像処理装置1と、入力装置2、出力装置3、複数のカメラ4の少なくとも1つとは、近距離無線技術等を使用して無線接続されており、当該近距離無線技術を用いて情報の送受信を行ってもよい。
 入力装置2は、例えば、ユーザが映像処理装置1に対して各種情報を入力するためのキーボードやポインティングデバイス等を含む。また、入力装置2は、プログラム記憶部20またはデータ記憶部30に格納するべきデータを、USBメモリ等のメモリ媒体から読み出すためのリーダや、そのようなデータをディスク媒体から読み出すためのディスク装置を含んでも良い。
 出力装置3は、映像処理装置1から試合会場にいる観客に表示すべき映像を表示するディスプレイ等を含む。また、出力装置3は、会場内の運営者に表示すべき映像を表示する複数のディスプレイを含んで良い。
 カメラ4は、ボクシングまたは柔道等のような格闘技を撮影するために、会場内に配置される。本実施形態では、簡単化のため1台のみを示しているが、複数のカメラ4があって良いのは勿論である。カメラ4は、入出力インタフェース50を通じて、映像処理装置1の制御部10に出力する。
 図2は、実施形態における映像処理装置1のソフトウェア構成を、図1に示したハードウェア構成に関連付けて示すブロック図である。
 制御部10は、映像取得部101と、座標検出部102と、座標変換部103と、導出部104と、頻度分布作成部105と、頻度分布更新部106と、可視化結果描画部107と、出力制御部108と、を備える。また、データ記憶部30は、映像記憶部301と、座標記憶部302と、頻度分布記憶部303と、を備える。
 映像取得部101は、カメラ4から撮影映像を取得する。映像取得部101は、取得した映像を座標検出部102に出力して良い。
 座標検出部102は、試合場の所定の場所、例えば、リングの隅4点の座標を検出する。例えば、試合場が四角形ではない場合、特定の場所は、試合場が収まるように選択された四角形の各頂点であって良い。であって良い。また、座標の原点は、撮影映像中の任意の場所であって良い。さらに、座標検出部102は、選手の位置を検出する。座標検出部102は、映像記憶部301に記憶された撮影映像を取得し、一般的な深層学習モデル(Mask R-CNN、YOLO等)を用いた物体検出手法を用いて、取得した撮影映像に写っている選手の位置を検出する。さらに、座標検出部102は、検出した選手のラベル付けを行う。
 座標変換部103は、俯瞰視点での試合場の隅4点への射影変換する行列Mを算出する。ここで、試合場が四角形ではない場合、試合場の隅4点の代わりに映像処理装置1のユーザが事前に指定した場所を用いても良い。また、座標変換部103は、選手座標の座標系の変換を行う。座標変換部103は、座標検出部102から受信した選手の座標において、カメラ座標から俯瞰視点でのリング座標への幾何学変換を行う。なお、具体的な変換方法は、後述する。
 導出部104は、選手の位置関係を表すベクトルおよび移動情報を表すベクトルを導出する。なお、ベクトルの具体的な導出方法は、後述する。
 頻度分布作成部105は、各選手それぞれにおける頻度分布を作成する。なお、頻度分布の具体的な作成方法は後述する。頻度分布作成部105は、生成した頻度分布を頻度分布記憶部303に記憶させる。
 頻度分布更新部106は、頻度分布を更新する。頻度分布更新部106は、頻度分布記憶部303から頻度分布を取得する。そして、頻度分布更新部106は、各ベクトルに基づいて、該当する頻度分布の要素のカウントアップ処理を行う。なお、カウントアップ処理の具体的な方法は、後述する。
 可視化結果描画部107は、可視化結果を描画する。可視化結果描画部107は、頻度分布に基づいて、選手がどの方向に移動したか、または静止していたかを示す比率を算出する。なお、比率の具体的な算出方法は、後述する。
 出力制御部108は、可視化結果を出力装置3に出力する。出力制御部108は、出力装置3のディスプレイに可視化結果を表示するように制御する。また、送信部でもある出力制御部108は、通信インタフェース40およびネットワークを通じて、選択した映像をインターネット配信しても良い。
 映像記憶部301は、映像取得部101が取得した撮影映像を記憶するために用いられる。なお、映像記憶部301に記憶された撮影映像は、所定の時間経過後削除されるように制御部10によって制御されていても良い。
 座標記憶部302は、撮影映像での選手の座標を座標変換部103が算出した俯瞰視点での座標に変換するための行列Mを記憶するために用いられる。また、座標記憶部302は、座標変換後の選手座標および座標検出部102から受信した選手座標を記憶するために用いられる。
 頻度分布記憶部303は、頻度分布作成部105が作成した頻度分布を記憶するために用いられる。さらに、頻度分布記憶部303は、頻度分布更新部106が更新した頻度分布を記憶するために用いられる。
 (動作) 
 (1)事前準備 
 図3は、映像処理装置1がカメラ4から取得した映像から座標変換を行うための行列を求めるための動作の一例を示すフローチャートである。
 映像処理装置1の制御部10がプログラム記憶部20に記憶されたプログラムを読み出して実行することにより、このフローチャートの動作が実現される。
 この動作フローは、試合が始まる前または試合中に行って良い。そして、カメラが試合場全体を含む撮影映像を映像取得部101に出力することによりこのフローの動作が開始する。
 ステップST101で、映像取得部101は、撮影映像を取得する。映像取得部101は、取得した撮影映像を座標検出部102に出力する。
 ステップST102で、座標検出部102は、試合場の所定の場所、例えば、リングの隅4点の座標を検出する。なお、試合場が4角形ではない場合、特定の場所は、試合場を特徴づける任意の点であって良い。また、座標の原点は、撮影映像中の任意の場所であって良い。そして、座標検出部102は、検出した座標を座標変換部103に出力する。
 ステップST103で、座標変換部103は、俯瞰視点での試合場の隅4点(左上(0,0),右上(1,0),左下(0,1),右下(1,1))への射影変換する行列Mを算出する。ここで、試合場が四角形ではない場合、試合場の隅4点の代わりに映像処理装置1のユーザが事前に指定した場所を用いても良い。座標変換部103は、算出した行列Mを座標記憶部302に記憶させる。このようにして、事前に行列Mを算出しておく。
 (2)可視化処理 
 図4は、映像処理装置1がカメラ4から取得した映像から最適な映像を選択するための動作の一例を示すフローチャートである。
 映像処理装置1の制御部10がプログラム記憶部20に記憶されたプログラムを読み出して実行することにより、このフローチャートの動作が実現される。
 この動作フローは、例えば、各撮影映像の1フレーム分の処理を表したものである。そのため、試合中、或いは試合中の任意の期間、映像処理装置1は、この動作フローを繰り返し実行することになるのは勿論である。
 試合開始、または試合中において、カメラ4が対戦中の2人の選手を含む撮影映像を映像取得部101に出力することによりこのフローの動作が開始する。
 ステップST201で、映像取得部101は、撮影映像を取得する。映像取得部101は、取得した撮影映像を映像記憶部301に記憶させて良い。
 ステップST202で、座標検出部102は、選手の位置を検出する。座標検出部102は、映像記憶部301に記憶された撮影映像を取得し、一般的な深層学習モデルを用いた物体検出手法を用いて、取得した撮影映像に写っている選手の位置を検出する。ここで、選手の位置とは、選手の足元(選手の正中線と床との交点)にあたる座標(x,y)を指す。なお、座標の原点は撮影映像中の任意の位置であって良い。物体検出手法を用いて選手を検出する場合、座標検出部102は、検出された選手を矩形表現(x,y,x,y)で表すことになる。この場合、座標検出部102は、x=(x+x)/2,y=yとして選手の足元にあたる座標への変換を行う。
 また、座標検出部102は、検出した選手のラベル付けを行う。例えば、ボクシングの試合の場合、検出された選手が赤コーナー側の選手である、または青コーナー側の選手のいずれであるかのラベル付けを行う。例えば、座標検出部102は、2人の選手をそれぞれ選手Aおよび選手Bとしてラベル付けする。座標検出部102は、例えば、選手についての事前の情報(何色のパンツをはいているか、何色のグローブを身に着けているか)等に基づいて、選手が選手A(赤コーナーの選手)または選手B(青コーナーの選手)であるかを見分けて良い。そして、座標検出部102は、ラベル付けされた選手についての情報を含むラベル情報を生成する。座標検出部は、撮影映像および検出した選手の位置を示す選手座標情報およびラベル情報を座標変換部103に出力する。
 なお、座標検出部102は、座標を検出するのではなく、座標を受信しても良い。例えば、映像処理装置1の制御部10は、出力装置3に撮影映像を映すように制御して良い。そして、映像処理装置1のユーザ等が入力装置2に含まれるマウス等を用いて選手の位置およびラベル情報を示しても良い。この場合、出力装置3は、当該示した情報(選手座標情報)およびラベル情報を座標変換部103に出力して良い。
 ステップST203で、座標変換部103は、選手座標の座標系の変換を行う。座標変換部103は、座標検出部102から受信した選手の座標において、カメラ座標から俯瞰視点でのリング座標への幾何学変換を行う。
 例えば、座標変換部103は、撮影映像中の試合会場(ボクシングの場合リング)の隅4点(左上,右上,左下,右下)の座標を取得する。さらに、座標変換部103は、事前準備により、座標記憶部302に記憶された行列Mを取得する。そして、選手座標(x,y)から射影変換後の座標(x´,y´)を以下の式より算出する。
Figure JPOXMLDOC01-appb-M000001
 座標変換部103は、座標変換後の選手座標を座標記憶部302に記憶させて良い。ここで、これ以降の処理で使用する座標は、座標変換後の座標を用いるが、説明の簡単化のため、x´およびy´を単にxおよびyと表記する。さらに座標変換部103は、事前に設定した時間Δだけ過去のフレームの座標変換後の選手座標を座標記憶部302から取得する。なお、該当するフレームの選手座標がない場合、座標変換部103は、当該情報を取得できないため、このフレームに対する処理を終了して良い。そして、座標変換部103は、変換した選手座標、時間Δだけ前のフレームの選手座標、ラベル情報等を導出部に出力する。
 ステップST204で、導出部104は、選手の位置関係を表すベクトルおよび移動情報を表すベクトルを導出する。導出部104は、座標変換部103から受信した、現在のフレーム(時刻t)の選手Aの座標(x ,y )および選手Bの座標(x ,y )と表記し、時間Δだけ過去のフレーム(時刻T=t-Δ)の選手Aの座標(x ,y )および選手Bの座標(x ,y )と表記する。
 選手Bの視点から選手Aの動きについて考慮する。この場合、時刻t´における選手Aと選手Bの位置関係を表す位置ベクトルpAB,時刻t´から時刻tの移動情報を表す移動ベクトルmは、以下のように算出される。
Figure JPOXMLDOC01-appb-M000002
 これらは相対的な位置情報および移動情報である。同様に選手Aの視点から選手Bの動きを考えた際の時刻t´における選手Bと選手Aの位置関係を表す位置ベクトルPBAおよび時刻t´から時刻tの移動情報を表す移動ベクトルmを算出する。導出部104は、算出した各ベクトル(pAB,m)および(PBA,m)を頻度分布作成部105および頻度分布更新部106に出力する。
 ステップST205で、頻度分布作成部105は、頻度分布を作成する。初めに、頻度分布作成部105は、選手間の距離を所定の閾値εから選手間の距離の最大値|p|maxまでの範囲についてサンプリング数Nで分割する。ここで、選手間の距離の最大値は、試合場の対角線の長さである。しかしながら、この値が現実的な値ではない場合、距離の最大値|p|maxは、映像処理装置1のユーザが事前に定義した値であっても良い。頻度分布作成部105は、移動方向を表す角度を-πからπまでの範囲についてサンプリング数Nθで分割する。さらに、頻度分布作成部105は、移動速度を所定の閾値εから移動速度の最大値|v|maxまでの範囲についてサンプリング数Nで分割する。ここで、選手の移動速度の最大値|v|maxは、試合会場の対角線の長さを時間Δで割ったものである。しかしながら、この値が現実的な値ではない場合、移動速度の最大値|v|maxは、映像処理装置1のユーザが事前に定義した値であっても良い。そして、頻度分布作成部105は、選手Aおよび選手Bそれぞれにおける、サイズN×Nθ×Nから成る頻度分布の配列FおよびFを生成する。ここで、頻度分布Fの要素は、fp,θ,vと表す。
 図5および図6は、頻度分布の配列Fの一例を示した図である。
 図5は、N=kである場合のN×Nθの頻度分布Fの配列の例を示しており、図6は、N=iである場合のN×Nθの頻度分布Fの配列の例を示す。ここで、図5および図6に示されるi,j,kは、それぞれ、i=1,2,…,N,j=1,2,…,Nθ,k=1,2,…,Nである。例えば、図5において、i=1の時の範囲は、ε~|p|max/Nとなる。また、j=1の時の範囲は、-π~-π+2π/Nθとなる。同様に、図6において、k=1の時の範囲は、ε~vmax/Nとなる。
 また、移動速度0からεの場合を表す、サイズNから成る頻度分布の配列G,Gを生成する。ここで、頻度分布Gの要素は、gと表す。
 頻度分布作成部105は、作成した頻度分布Fおよび頻度分布Gを頻度分布記憶部303に記憶させる。また、ステップST205は、頻度分布作成部105が頻度分布Fおよび頻度分布Gを作成した後のフローではスキップして良い。すなわち、試合中において、図3で示すフローが最初に動作する際にのみ実行されて良い。
 ステップST206で、頻度分布更新部106は、頻度分布を更新する。最初に、頻度分布更新部106は、頻度分布記憶部303から頻度分布Fおよび頻度分布Gを取得する。そして、例えば、選手Bの視点から選手Aの動きについて考慮する。この場合、選手間の距離|PAB|を選手Aの移動方向を表す角度θABおよび選手Aの移動速度vAB=|m|/Δに対してそれぞれ量子化処理を行い、頻度分布Fの該当する範囲の要素fi,j,kにカウントアップ処理を行う。ここで、角度θABは、以下の式で表される。
Figure JPOXMLDOC01-appb-M000003
 但し、|PAB|>ε且つ|m|>εであるとする。この時(P)は、ベクトルpのz軸成分を表し、sgn(・)は、符号関数を表す。また、移動速度vABが0からεである場合、頻度分布Gの要素gにカウントアップ処理を行う。
 頻度分布更新部106は、更新された頻度分布FおよびGを頻度分布記憶部303に記憶させるとともに、可視化結果描画部107に出力する。
 ステップST207で、可視化結果描画部107は、可視化結果を描画する。可視化結果描画部107は、頻度分布FおよびGから、移動速度軸の頻度分布についての加算処理を行い、選手間の距離それぞれにおいて、選手がどの方向に移動したか、または静止していたかを示す比率qi,jを算出する。
Figure JPOXMLDOC01-appb-M000004
 比率qi,jの大きさに応じて、1≦j≦Nθの要素については矢印の線の太さ(比率qi,jが大きいほど線を太くする)で、j=Nθ+1については円の大きさ(比率qi,jが大きいほど円を大きくする)で選手の移動傾向を表す。可視化結果描画部107は、この比率qi,jに基づいて可視化結果を描画する。なお、本実施形態では、移動速度の軸方向にすべての加算処理を行って比率を求める例を説明しているが、選手の移動速度に範囲を設けて、その範囲内の速度の要素のみ加算処理を行って比率を求めても良い。可視化結果描画部107は、描画した可視化結果を出力制御部108に出力する。
 ステップST208で、出力制御部108は、可視化結果を出力装置3に出力する。出力制御部108は、可視化結果を出力装置3のディスプレイに表示するように制御する。
 図7は、出力装置3に表示される可視化結果の一例を示す図である。
 図7に示すように、選手Aは、選手Bに対して横または後ろに多く動く傾向が強いことを表している。また、円がある程度の大きさがあることから、選手Aは、選手Bに対して止まっている場合もある程度あることを示している。
 図8および図9は、出力装置3に表示される可視化結果の別の一例を示す図である。
 図8に示すように、可視化の結果は、ユーザが指定した複数の範囲の距離について並べて描画しても良い。また、図9に示すように、ユーザが指定した複数の範囲の距離について1つにまとめて描画しても良い。さらに図9に示すように選手のアイコンおよび静止していた状況を示す円を表示するかどうかをユーザが選択しても良い。
 (作用効果) 
 実施形態によれば、映像処理装置1は、2人の選手が対戦する格闘技において、選手間の相対的な動き、すなわち、選手視点から見た相手選手の動きの傾向を可視化することにより、格闘技において試合の状況および選手の様子が把握しやすくなる可視化手法を提供することが可能となる。
 [他の実施形態]
 上記の実施形態では、映像処理装置1は、1人の選手に対する可視化の結果を表示する例を示したが、互いの選手の結果を出力装置3のディスプレイに表示するようにしても良い。
 また、前記実施形態に記載した手法は、計算機(コンピュータ)に実行させることができるプログラム(ソフトウェア手段)として、例えば磁気ディスク(フロッピー(登録商標)ディスク、ハードディスク等)、光ディスク(CD-ROM、DVD、MO等)、半導体メモリ(ROM、RAM、フラッシュメモリ等)等の記憶媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウェア手段(実行プログラムのみならずテーブル、データ構造も含む)を計算機内に構成させる設定プログラムをも含む。本装置を実現する計算機は、記憶媒体に記憶されたプログラムを読み込み、また場合により設定プログラムによりソフトウェア手段を構築し、このソフトウェア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書で言う記憶媒体は、頒布用に限らず、計算機内部或いはネットワークを介して接続される機器に設けられた磁気ディスク、半導体メモリ等の記憶媒体を含むものである。
 要するに、この発明は上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。さらに、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。
 1…映像処理装置
 2…入力装置
 3…出力装置
 4…カメラ
 10…制御部
 101…映像取得部
 102…座標検出部
 103…座標変換部
 104…導出部
 105…頻度分布作成部
 106…頻度分布更新部
 107…可視化結果描画部
 108…出力制御部
 20…プログラム記憶部
 30…データ記憶部
 301…映像記憶部
 302…座標記憶部
 303…頻度分布記憶部
 40…通信インタフェース
 50…入出力インタフェース
 
 

Claims (8)

  1.  カメラによって撮影された対戦中の2人の選手を含む撮影映像を取得する取得部と、
     前記撮影映像に写った選手の位置それぞれを検出する座標検出部と、
     前記検出された選手の位置を記憶する記憶部と、
     前記記憶部に記憶された所定の時間だけ前の選手の位置と現在の選手の位置に基づいて選手間の位置関係を表す位置ベクトルと、選手間の移動情報を表す移動ベクトルを算出する導出部と、
     前記位置ベクトルおよび前記移動ベクトルに基づいて、一方の選手から見た他方の選手との距離、移動方向、移動距離についての情報を可視化する可視化結果描画部と、
     可視化された結果を出力装置に表示するように制御する出力制御部と、
     を備える、映像処理装置。
  2.  前記選手の位置は、前記選手の正中線と試合会場の床との交点にあたる座標を指す、請求項1に記載の映像処理装置。
  3.  前記撮影映像に写る試合場の所定の点の座標を俯瞰視点での試合場の所定の点に射影変換する行列を用いて、前記選手の座標を俯瞰視点での座標に変換する変換部をさらに備える、請求項2に記載の映像処理装置。
  4.  前記可視化結果描画部は、前記位置ベクトル、前記移動ベクトル、および前記所定の時間に基づいて、選手間の距離における前記他方の選手がどの方向に移動したか、または静止していたかを示す比率を算出し、前記算出された比率に基づいて前記移動方向および前記移動距離についての情報を可視化する、請求項1に記載の映像処理装置。
  5.  前記可視化結果描画部は、前記位置ベクトル、前記移動ベクトル、および前記所定の時間に基づいて、前記一方の選手から見た他方の選手との距離を、前記他方の選手の移動方向を表す角度および移動速度に対して量子化処理を行い、予め作成された頻度分布の該当する範囲の要素にカウントアップ処理を行い、前記カウントアップ処理が行われた要素に基づいて前記比率を算出する、請求項4に記載の映像処理装置。
  6.  前記頻度分布は、選手間の距離において第1の閾値から選手間の距離の最大値までの範囲を第1の数で分割し、移動方向を表す角度を第2の数で分割し、選手の移動速度を第2の閾値から選手がとり得る最大移動速度までの範囲を第3の数で分割し、サイズが前記第1の数×前記第2の数×前記第3の数からなる第1の頻度分布と、前記一方の選手から見た他方の選手の移動速度が0から前記第2の閾値の場合を表し、且つサイズが前記第3の数から成る第2の頻度分布を備える、請求項5に記載の映像処理装置。
  7.  映像処理装置のプロセッサが実行する映像処理方法であって、
     カメラによって撮影された対戦中の2人の選手を含む撮影映像を取得することと、
     前記撮影映像に写った選手の位置それぞれを検出することと、
     前記検出された選手の位置を記憶することと、
     記憶された、所定の時間だけ前の前記選手の位置と現在の選手の位置に基づいて選手間の位置関係を表す位置ベクトルと、選手間の移動情報を表す移動ベクトルを算出することと、
     前記位置ベクトルおよび前記移動ベクトルに基づいて、一方の選手から見た他方の選手との距離、移動方向、移動距離についての情報を可視化することと、
     可視化された結果を出力装置に表示するように制御することと、
     を備える、映像処理方法。
  8.  カメラによって撮影された対戦中の2人の選手を含む撮影映像を取得することと、
     前記撮影映像に写った選手の位置それぞれを検出することと、
     前記検出された選手の位置を記憶することと、
     記憶された、所定の時間だけ前の前記選手の位置と現在の選手の位置に基づいて選手間の位置関係を表す位置ベクトルと、選手間の移動情報を表す移動ベクトルを算出することと、
     前記位置ベクトルおよび前記移動ベクトルに基づいて、一方の選手から見た他方の選手との距離、移動方向、移動距離についての情報を可視化することと、
     可視化された結果を出力装置に表示するように制御することと、
     を映像処理装置のプロセッサによって実行させるための命令を備える映像処理プログラム。
PCT/JP2022/032994 2022-09-01 2022-09-01 映像処理装置、映像処理方法、および映像処理プログラム WO2024047848A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/032994 WO2024047848A1 (ja) 2022-09-01 2022-09-01 映像処理装置、映像処理方法、および映像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/032994 WO2024047848A1 (ja) 2022-09-01 2022-09-01 映像処理装置、映像処理方法、および映像処理プログラム

Publications (1)

Publication Number Publication Date
WO2024047848A1 true WO2024047848A1 (ja) 2024-03-07

Family

ID=90099020

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/032994 WO2024047848A1 (ja) 2022-09-01 2022-09-01 映像処理装置、映像処理方法、および映像処理プログラム

Country Status (1)

Country Link
WO (1) WO2024047848A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6710713B1 (en) * 2002-05-17 2004-03-23 Tom Russo Method and apparatus for evaluating athletes in competition
JP2017209237A (ja) * 2016-05-24 2017-11-30 日本電信電話株式会社 攻撃パターン抽出装置、攻撃パターン表示装置、攻撃パターン抽出方法、攻撃パターン表示方法、及び攻撃パターン抽出プログラム
JP2020107071A (ja) * 2018-12-27 2020-07-09 日本放送協会 オブジェクト追跡装置及びそのプログラム
JP2021135619A (ja) * 2020-02-25 2021-09-13 日本放送協会 状況識別装置、状況学習装置及びプログラム
JP2021137470A (ja) * 2020-03-09 2021-09-16 株式会社Jvcケンウッド 観戦支援装置、観戦支援方法、及び観戦支援プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6710713B1 (en) * 2002-05-17 2004-03-23 Tom Russo Method and apparatus for evaluating athletes in competition
JP2017209237A (ja) * 2016-05-24 2017-11-30 日本電信電話株式会社 攻撃パターン抽出装置、攻撃パターン表示装置、攻撃パターン抽出方法、攻撃パターン表示方法、及び攻撃パターン抽出プログラム
JP2020107071A (ja) * 2018-12-27 2020-07-09 日本放送協会 オブジェクト追跡装置及びそのプログラム
JP2021135619A (ja) * 2020-02-25 2021-09-13 日本放送協会 状況識別装置、状況学習装置及びプログラム
JP2021137470A (ja) * 2020-03-09 2021-09-16 株式会社Jvcケンウッド 観戦支援装置、観戦支援方法、及び観戦支援プログラム

Similar Documents

Publication Publication Date Title
US10632385B1 (en) Systems and methods for capturing participant likeness for a video game character
US8081822B1 (en) System and method for sensing a feature of an object in an interactive video display
JP2021105887A (ja) 3dポーズ取得方法及び装置
CN113850248B (zh) 运动姿态评估方法、装置、边缘计算服务器及存储介质
US11170246B2 (en) Recognition processing device, recognition processing method, and program
KR20130032858A (ko) 카메라로 운동하는 피사체를 촬영하고 그 촬영 이미지에 기초하여 피사체의 실제의 운동 궤적을 획득하기 위한 방법 및 시스템
US10051343B2 (en) Match video marking
US20190199992A1 (en) Information processing apparatus, method for controlling the same, and recording medium
Vieira et al. Tracking futsal players with a wide-angle lens camera: accuracy analysis of the radial distortion correction based on an improved Hough transform algorithm
US20130235213A1 (en) System And Method For Determining The Current Focal Length Of A Zoomable Camera
JP2020042407A (ja) 情報処理装置、情報処理方法及びプログラム
JP2020173628A (ja) 情報処理装置、映像生成装置、画像処理システム、それらの制御方法及びプログラム
JP2019212062A (ja) 情報処理装置及びプログラム
US11823454B2 (en) Method and apparatus for user interaction with a video stream
WO2024047848A1 (ja) 映像処理装置、映像処理方法、および映像処理プログラム
CN111556338B (zh) 视频中区域的检测方法、信息融合方法、装置和存储介质
JP6636314B2 (ja) カメラ較正システム、カメラ較正プログラム、及びカメラ較正方法
JP6989877B2 (ja) 位置座標算出方法及び位置座標算出装置
Shishido et al. Calibration of multiple sparsely distributed cameras using a mobile camera
CN112839171B (zh) 一种画面拍摄方法、装置、存储介质及电子设备
WO2020195021A1 (ja) 情報処理装置、表示システム、表示方法、及びプログラムが格納された非一時的なコンピュータ可読媒体
WO2023106201A1 (ja) プレイ分析装置、プレイ分析方法、及びコンピュータ読み取り可能な記録媒体
Uematsu et al. Vision-based augmented reality applications
CN116433767B (zh) 目标对象检测方法、装置、电子设备以及存储介质
JP6668002B2 (ja) 動画生成装置、動画生成システム、および動画生成プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22957443

Country of ref document: EP

Kind code of ref document: A1