WO2024047848A1 - 映像処理装置、映像処理方法、および映像処理プログラム - Google Patents

映像処理装置、映像処理方法、および映像処理プログラム Download PDF

Info

Publication number
WO2024047848A1
WO2024047848A1 PCT/JP2022/032994 JP2022032994W WO2024047848A1 WO 2024047848 A1 WO2024047848 A1 WO 2024047848A1 JP 2022032994 W JP2022032994 W JP 2022032994W WO 2024047848 A1 WO2024047848 A1 WO 2024047848A1
Authority
WO
WIPO (PCT)
Prior art keywords
player
players
movement
unit
distance
Prior art date
Application number
PCT/JP2022/032994
Other languages
English (en)
French (fr)
Inventor
翔大 山田
和 宮川
精一 紺谷
弘員 柿沼
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2022/032994 priority Critical patent/WO2024047848A1/ja
Publication of WO2024047848A1 publication Critical patent/WO2024047848A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a video processing device, a video processing method, and a video processing program.
  • the arena used for the match does not have a standard, such as the soccer goal in soccer, or the direction in which athletes aim. . Therefore, even if the player's position or movement direction is visualized, there is a problem in that it is difficult to grasp the tendency of the player's movement during the match.
  • This invention was made with attention to the above circumstances, and its purpose is to focus on the fact that in martial arts including boxing and judo, players face each other one on one, and to improve the relative relationship between players.
  • the objective is to provide a visualization method that makes it easier to understand the movement trends of players during a match by visualizing their movement trends.
  • one aspect of the present invention is a video processing device, which includes an acquisition unit that acquires a photographed video including two players in a match photographed by a camera; a coordinate detection section that detects each of the player's positions; a storage section that stores the detected player's position; and a coordinate detection section that stores the detected player's position, and a coordinate detection section that stores the player's position a predetermined time ago and the current player's position that are stored in the storage section.
  • the apparatus includes a visualization result drawing section that visualizes information about the distance, movement direction, and movement distance, and an output control section that controls display of the visualized result on an output device.
  • the relative movement between the athletes that is, the tendency of the opponent athlete's movement as seen from the athlete's perspective. It becomes possible to provide a visualization method that makes it easier to understand the situation and the state of the players.
  • FIG. 1 is a block diagram showing an example of the hardware configuration of a video processing device according to an embodiment.
  • FIG. 2 is a block diagram showing the software configuration of the video processing apparatus in the embodiment in relation to the hardware configuration shown in FIG. 1.
  • FIG. 3 is a flowchart illustrating an example of an operation performed by the video processing device to obtain a matrix for performing coordinate transformation from the video acquired from the camera.
  • FIG. 4 is a flowchart illustrating an example of an operation for the video processing device to select an optimal video from the videos acquired from the camera.
  • FIG. 5 is a diagram showing an example of a frequency distribution arrangement.
  • FIG. 6 is a diagram showing an example of a frequency distribution arrangement.
  • FIG. 7 is a diagram showing an example of visualization results displayed on the output device.
  • FIG. 8 is a diagram showing another example of the visualization result displayed on the output device.
  • FIG. 9 is a diagram showing another example of the visualization result displayed on the output device.
  • FIG. 1 is a block diagram showing an example of the hardware configuration of a video processing device 1 according to an embodiment.
  • the video processing device 1 is a computer that analyzes input data, generates and outputs output data.
  • the video processing device 1 is installed, for example, at an arbitrary location in a venue where a martial arts event or the like is held or at an arbitrary location away from the venue.
  • the video processing device 1 includes a control section 10, a program storage section 20, a data storage section 30, a communication interface 40, and an input/output interface 50.
  • the control unit 10, program storage unit 20, data storage unit 30, communication interface 40, and input/output interface 50 are communicably connected to each other via a bus.
  • the communication interface 40 may be communicably connected to an external device via a network.
  • the input/output interface 50 is communicably connected to the input device 2, the output device 3, and the camera 4.
  • the control unit 10 controls the video processing device 1.
  • the control unit 10 includes a hardware processor such as a central processing unit (CPU).
  • the control unit 10 may be an integrated circuit capable of executing various programs.
  • the program storage unit 20 includes non-volatile memories that can be written to and read from at any time such as EPROM (Erasable Programmable Read Only Memory), HDD (Hard Disk Drive), and SSD (Solid State Drive), as well as ROM ( It can be used in combination with non-volatile memory such as Read Only Memory).
  • the program storage unit 20 stores programs necessary to execute various processes. That is, the control unit 10 can implement various controls and operations by reading and executing programs stored in the program storage unit 20.
  • the data storage unit 30 is a storage that uses a combination of a non-volatile memory that can be written to and read from at any time, such as an HDD or a memory card, and a volatile memory such as a RAM (Random Access Memory), as a storage medium. .
  • the data storage unit 30 is used to store data acquired and generated while the control unit 10 executes programs and performs various processes.
  • the communication interface 40 includes one or more wired or wireless communication modules.
  • the communication interface 40 includes a communication module that makes a wired or wireless connection to an external device via a network.
  • Communication interface 40 may include a wireless communication module that wirelessly connects to external devices such as Wi-Fi access points and base stations.
  • the communication interface 40 may include a wireless communication module for wirelessly connecting to an external device using short-range wireless technology. That is, the communication interface 40 may be any general communication interface as long as it is capable of communicating with an external device and transmitting and receiving various information under the control of the control unit 10.
  • the input/output interface 50 is connected to the input device 2, the output device 3, the plurality of cameras 4, etc.
  • the input/output interface 50 is an interface that allows information to be transmitted and received between the input device 2, the output device 3, and the plurality of cameras 4.
  • the input/output interface 50 may be integrated with the communication interface 40.
  • the video processing device 1, the input device 2, the output device 3, and at least one of the plurality of cameras 4 are wirelessly connected using short-range wireless technology, etc., and information is transmitted using the short-range wireless technology. may also be sent and received.
  • the input device 2 includes, for example, a keyboard, a pointing device, etc. for a user to input various information to the video processing device 1.
  • the input device 2 also includes a reader for reading data to be stored in the program storage section 20 or the data storage section 30 from a memory medium such as a USB memory, and a disk device for reading such data from a disk medium. May be included.
  • the output device 3 includes a display that displays the video from the video processing device 1 to be displayed to the spectators at the match venue. Furthermore, the output device 3 may include a plurality of displays that display images to be displayed to the operator inside the venue.
  • the camera 4 is placed in the venue to photograph martial arts such as boxing or judo. In this embodiment, only one camera 4 is shown for simplicity, but it goes without saying that there may be a plurality of cameras 4.
  • the camera 4 outputs to the control unit 10 of the video processing device 1 through the input/output interface 50.
  • FIG. 2 is a block diagram showing the software configuration of the video processing device 1 in the embodiment in relation to the hardware configuration shown in FIG. 1.
  • the control unit 10 includes a video acquisition unit 101, a coordinate detection unit 102, a coordinate conversion unit 103, a derivation unit 104, a frequency distribution creation unit 105, a frequency distribution update unit 106, a visualization result drawing unit 107, and an output A control unit 108 is provided.
  • the data storage section 30 includes a video storage section 301, a coordinate storage section 302, and a frequency distribution storage section 303.
  • the video acquisition unit 101 acquires a captured video from the camera 4.
  • the video acquisition unit 101 may output the acquired video to the coordinate detection unit 102.
  • the coordinate detection unit 102 detects the coordinates of a predetermined location on the match field, for example, the four corner points of the ring. For example, if the playing field is not rectangular, the particular locations may be at each vertex of the rectangle selected to fit the playing field. That's fine. Further, the origin of the coordinates may be any location in the captured video. Further, the coordinate detection unit 102 detects the position of the player. The coordinate detection unit 102 acquires the captured video stored in the video storage unit 301, and applies an object detection method using a general deep learning model (Mask R-CNN, YOLO, etc.) to the acquired captured video. Detects the position of the player in the photo. Further, the coordinate detection unit 102 labels the detected players.
  • a general deep learning model Mosk R-CNN, YOLO, etc.
  • the coordinate transformation unit 103 calculates a matrix M for projective transformation to the four corner points of the playing field from the bird's-eye view point.
  • locations designated in advance by the user of the video processing device 1 may be used instead of the four corner points of the match field.
  • the coordinate transformation unit 103 transforms the coordinate system of player coordinates.
  • the coordinate transformation unit 103 performs a geometric transformation from camera coordinates to ring coordinates at an overhead viewpoint on the player's coordinates received from the coordinate detection unit 102. Note that a specific conversion method will be described later.
  • the derivation unit 104 derives a vector representing the positional relationship of the players and a vector representing movement information. Note that a specific method for deriving the vector will be described later.
  • the frequency distribution creation unit 105 creates a frequency distribution for each player. Note that a specific method for creating the frequency distribution will be described later.
  • the frequency distribution creation unit 105 stores the generated frequency distribution in the frequency distribution storage unit 303.
  • the frequency distribution update unit 106 updates the frequency distribution.
  • the frequency distribution update unit 106 acquires the frequency distribution from the frequency distribution storage unit 303. Then, the frequency distribution update unit 106 performs a count-up process for the elements of the corresponding frequency distribution based on each vector. Note that a specific method of count-up processing will be described later.
  • the visualization result drawing unit 107 draws the visualization result.
  • the visualization result drawing unit 107 calculates a ratio indicating in which direction the player moved or remained stationary based on the frequency distribution. Note that a specific method for calculating the ratio will be described later.
  • the output control unit 108 outputs the visualization results to the output device 3.
  • the output control unit 108 controls the display of the output device 3 to display the visualization result. Further, the output control unit 108, which is also a transmitting unit, may distribute the selected video over the Internet via the communication interface 40 and the network.
  • the video storage unit 301 is used to store the shot video acquired by the video acquisition unit 101. Note that the captured video stored in the video storage unit 301 may be controlled by the control unit 10 so that it is deleted after a predetermined period of time has elapsed.
  • the coordinate storage unit 302 is used to store a matrix M for converting the coordinates of the player in the photographed video into the coordinates at the bird's-eye view point calculated by the coordinate conversion unit 103. Further, the coordinate storage unit 302 is used to store the player coordinates after coordinate transformation and the player coordinates received from the coordinate detection unit 102.
  • the frequency distribution storage unit 303 is used to store the frequency distribution created by the frequency distribution creation unit 105. Furthermore, the frequency distribution storage unit 303 is used to store the frequency distribution updated by the frequency distribution update unit 106.
  • FIG. 3 is a flowchart showing an example of an operation in which the video processing device 1 calculates a matrix for performing coordinate transformation from the video acquired from the camera 4. The operation of this flowchart is realized by the control unit 10 of the video processing device 1 reading and executing the program stored in the program storage unit 20.
  • This operation flow may be performed before or during the match. Then, the operation of this flow starts when the camera outputs a shot video including the entire match field to the video acquisition unit 101.
  • step ST101 the video acquisition unit 101 acquires a captured video.
  • the video acquisition unit 101 outputs the acquired captured video to the coordinate detection unit 102.
  • the coordinate detection unit 102 detects the coordinates of a predetermined location on the match field, for example, the four corner points of the ring. Note that if the match field is not rectangular, the specific location may be any point that characterizes the match field. Further, the origin of the coordinates may be any location in the captured video. Then, the coordinate detection unit 102 outputs the detected coordinates to the coordinate conversion unit 103.
  • step ST103 the coordinate conversion unit 103 converts the four corners of the playing field from the bird's-eye view point (top left (0,0), top right (1,0), bottom left (0,1), bottom right (1,1)) Calculate the matrix M to be projectively transformed into .
  • the match field is not rectangular, locations designated in advance by the user of the video processing device 1 may be used instead of the four corner points of the match field.
  • the coordinate conversion unit 103 stores the calculated matrix M in the coordinate storage unit 302. In this way, the matrix M is calculated in advance.
  • FIG. 4 is a flowchart illustrating an example of an operation in which the video processing device 1 selects an optimal video from the videos acquired from the camera 4. The operation of this flowchart is realized by the control unit 10 of the video processing device 1 reading and executing the program stored in the program storage unit 20.
  • This operation flow represents, for example, processing for one frame of each captured video. Therefore, it goes without saying that the video processing device 1 repeatedly executes this operation flow during the match or any period during the match.
  • This flow starts when the camera 4 outputs a shot video including the two competing players to the video acquisition unit 101 at the start of the match or during the match.
  • step ST201 the video acquisition unit 101 acquires a captured video.
  • the video acquisition unit 101 may store the acquired captured video in the video storage unit 301.
  • the coordinate detection unit 102 detects the position of the player.
  • the coordinate detection unit 102 acquires the captured video stored in the video storage unit 301, and detects the position of the player in the acquired captured video using an object detection method using a general deep learning model.
  • the player's position refers to the coordinates (x p , y p ) corresponding to the player's feet (the intersection of the player's midline and the floor). Note that the origin of the coordinates may be any position in the captured video.
  • the coordinate detection unit 102 labels the detected players. For example, in the case of a boxing match, the detected player is labeled as either a player on the red corner side or a player on the blue corner side. For example, the coordinate detection unit 102 labels two players as player A and player B, respectively. The coordinate detection unit 102 determines whether the player is Player A (player in the red corner) based on, for example, prior information about the player (what color pants he is wearing, what color gloves he is wearing), etc. Or you can tell if it is Player B (player in the blue corner). Then, the coordinate detection unit 102 generates label information including information about the labeled player. The coordinate detection unit outputs the captured video, player coordinate information indicating the detected position of the player, and label information to the coordinate conversion unit 103.
  • the coordinate detection unit 102 may receive the coordinates instead of detecting the coordinates.
  • the control unit 10 of the video processing device 1 may control the output device 3 to display the captured video.
  • the user of the video processing device 1 or the like may use a mouse or the like included in the input device 2 to indicate the player's position and label information.
  • the output device 3 may output the indicated information (player coordinate information) and label information to the coordinate conversion unit 103.
  • the coordinate transformation unit 103 transforms the coordinate system of the player coordinates.
  • the coordinate transformation unit 103 performs a geometric transformation from camera coordinates to ring coordinates at an overhead viewpoint on the player's coordinates received from the coordinate detection unit 102.
  • the coordinate conversion unit 103 acquires the coordinates of four corners (upper left, upper right, lower left, and lower right) of the match venue (ring in the case of boxing) in the captured video. Furthermore, the coordinate transformation unit 103 obtains the matrix M stored in the coordinate storage unit 302 in advance. Then, the coordinates (x p ′ , y p ′ ) after projective transformation are calculated from the player coordinates (x p , y p ) using the following formula.
  • the coordinate conversion unit 103 may cause the coordinate storage unit 302 to store the player coordinates after the coordinate conversion.
  • the coordinates used in the subsequent processing are the coordinates after coordinate transformation, but for the sake of simplicity, x' and y' are simply expressed as x and y.
  • the coordinate transformation unit 103 acquires the player coordinates of the past frame after coordinate transformation for a preset time ⁇ from the coordinate storage unit 302. Note that if there are no player coordinates for the corresponding frame, the coordinate conversion unit 103 may end the processing for this frame because it cannot acquire the information. Then, the coordinate conversion unit 103 outputs the converted player coordinates, the player coordinates of the frame before the time ⁇ , the label information, etc. to the derivation unit.
  • the derivation unit 104 derives a vector representing the positional relationship of the players and a vector representing movement information.
  • the derivation unit 104 represents the coordinates of player A (x t A , y t A ) and the coordinates of player B (x t B , y t B ) in the current frame (time t) received from the coordinate conversion unit 103.
  • a position vector p AB representing the positional relationship between player A and player B at time t' and a movement vector m A representing movement information from time t' to time t are calculated as follows.
  • position vector P BA represents the positional relationship between player B and player A at time t'
  • movement vector m B represents movement information from time t' to time t.
  • the frequency distribution creation unit 105 creates a frequency distribution.
  • the frequency distribution creation unit 105 divides the distance between players by the number of samples N p in the range from a predetermined threshold value ⁇ p to the maximum value
  • the maximum distance between players is the length of the diagonal line of the playing field.
  • max may be a value defined in advance by the user of the video processing device 1.
  • the frequency distribution creation unit 105 divides the angle representing the moving direction into a range from ⁇ to ⁇ by the number of samplings N ⁇ .
  • the frequency distribution creation unit 105 divides the moving speed in the range from a predetermined threshold value ⁇ v to the maximum value
  • max of the player's movement speed is the length of the diagonal line of the match venue divided by the time ⁇ .
  • max of the moving speed may be a value defined in advance by the user of the video processing device 1.
  • the frequency distribution generation unit 105 generates frequency distribution arrays F A and F B of size N p ⁇ N ⁇ ⁇ N v for each of player A and player B.
  • the elements of the frequency distribution F are expressed as f p, ⁇ , v .
  • FIGS. 5 and 6 are diagrams showing an example of the frequency distribution array F.
  • An example of the array of F is shown.
  • frequency distribution arrays G A and G B of size N p representing the case of moving speed 0 to ⁇ v are generated.
  • an element of the frequency distribution G is expressed as gp .
  • the frequency distribution creation unit 105 stores the created frequency distribution F and frequency distribution G in the frequency distribution storage unit 303. Further, step ST205 may be skipped in the flow after the frequency distribution creation unit 105 creates the frequency distribution F and the frequency distribution G. That is, during a match, the flow shown in FIG. 3 may be executed only when it operates for the first time.
  • the frequency distribution updating unit 106 updates the frequency distribution.
  • the frequency distribution update unit 106 obtains the frequency distribution F and the frequency distribution G from the frequency distribution storage unit 303. Then, for example, the movement of player A is considered from the viewpoint of player B. In this case, the distance between players
  • the angle ⁇ AB is expressed by the following formula.
  • the frequency distribution update unit 106 stores the updated frequency distributions F and G in the frequency distribution storage unit 303 and outputs them to the visualization result drawing unit 107.
  • step ST207 the visualization result drawing unit 107 draws the visualization result.
  • the visualization result drawing unit 107 performs addition processing on the frequency distribution of the movement speed axis from the frequency distributions F A and G A , and determines in which direction the players moved or remained stationary for each distance between the players. A ratio q i,j is calculated.
  • the visualization result drawing unit 107 draws the visualization result based on this ratio q i,j .
  • an example is explained in which all addition processing is performed in the axial direction of the movement speed to calculate the ratio, but it is also possible to set a range for the player's movement speed and add only the speed elements within that range.
  • the ratio may be determined by processing.
  • the visualization result drawing unit 107 outputs the drawn visualization result to the output control unit 108.
  • step ST208 the output control unit 108 outputs the visualization result to the output device 3.
  • the output control unit 108 controls the visualization result to be displayed on the display of the output device 3.
  • FIG. 7 is a diagram showing an example of visualization results displayed on the output device 3. As shown in FIG. 7, player A has a strong tendency to move sideways or backwards relative to player B. Furthermore, since the circle has a certain size, this indicates that player A may be stationary relative to player B to some extent.
  • FIG. 8 and 9 are diagrams showing other examples of visualization results displayed on the output device 3.
  • the visualization results may be drawn side by side for a plurality of ranges of distance specified by the user.
  • multiple ranges of distance specified by the user may be drawn together.
  • the user may select whether to display the player's icon and a circle indicating a stationary situation.
  • the video processing device 1 visualizes the relative movements between the athletes in a combat sport in which two athletes compete, that is, the tendency of the opponent athlete's movement as seen from the athlete's perspective. It becomes possible to provide a visualization method that makes it easier to understand the situation of the match and the state of the players.
  • the video processing device 1 shows an example in which the visualization results for one player are displayed, but the results for each player may be displayed on the display of the output device 3.
  • the method described in the above embodiments can be applied to, for example, magnetic disks (floppy (registered trademark) disks, hard disks, etc.), optical disks (CD-ROMs, DVDs, etc.) as programs (software means) that can be executed by a computer. , MO, etc.), semiconductor memory (ROM, RAM, flash memory, etc.), and can also be transmitted and distributed via a communication medium.
  • the programs stored on the medium side also include a setting program for configuring software means (including not only execution programs but also tables and data structures) in the computer to be executed by the computer.
  • a computer that realizes this device reads a program stored in a storage medium, and if necessary, constructs software means using a setting program, and executes the above-described processing by controlling the operation of the software means.
  • the storage medium referred to in this specification is not limited to those for distribution, and includes storage media such as magnetic disks and semiconductor memories provided inside computers or devices connected via a network.
  • the present invention is not limited to the above-described embodiments, and various modifications can be made at the implementation stage without departing from the spirit of the invention. Moreover, each embodiment may be implemented in combination as appropriate as possible, and in that case, the combined effects can be obtained. Further, the embodiments described above include inventions at various stages, and various inventions can be extracted by appropriately combining the plurality of disclosed constituent elements.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

一実施形態に係る映像処理装置は、カメラによって撮影された対戦中の２人の選手を含む撮影映像を取得する取得部と、撮影映像に写った選手の位置それぞれを検出する座標検出部と、検出された選手の位置を記憶する記憶部と、記憶部に記憶された所定の時間だけ前の選手の位置と現在の選手の位置に基づいて選手間の位置関係を表す位置ベクトルと、選手間の移動情報を表す移動ベクトルを算出する導出部と、位置ベクトルおよび移動ベクトルに基づいて、一方の選手から見た他方の選手との距離、移動方向、移動距離についての情報を可視化する可視化結果描画部と、可視化された結果を出力装置に表示するように制御する出力制御部と、を備える。

Description

映像処理装置、映像処理方法、および映像処理プログラム
　この発明は、映像処理装置、映像処理方法、および映像処理プログラムに関する。
　スポーツ分野において、試合や選手から取得したデータを可視化することが可能である。そして、この可視化されたデータにより、その競技に対しより深く理解し、且つより熱狂できる鑑賞体験の提供を可能としている。例えば、サッカー等の３人以上で行う球技において、試合中に位置している選手の場所と、選手の位置していた時間を色の濃さで表すヒートマップ表現または選手の移動方向を矢印で表すベクトル表現によって可視化することが可能である。このように可視化されたデータにより、試合の状況または試合中の選手の動きの傾向を表現している（例えば、非特許文献１および非特許文献２参照）。
C. Perin, et, al, "SoccerStories: A Kick-off for Visual Soccer Analysis," IEEE Trans. Vis. Comput. Graph., 19, 12 (2013). J. Gudmundsson and M. Horton, "Spatio-Temporal Analysis of Team Sports," ACM Computing Surveys, 50, 2 (2018).
　ボクシングまたは柔道のような１対１で対戦する格闘技の場合、試合に用いる試合場（ボクシングの場合はリング）では、サッカーにおけるサッカーゴールのような選手が目指す場所または方向のような基準が存在しない。そのため、選手の位置または移動方向を可視化しても、試合中の選手の動きの傾向を掴みづらいという問題がある。
　この発明は上記事情に着目してなされたもので、その目的とするところは、ボクシングまたは柔道を含む格闘技において、１対１で選手が正対していることに着目し、選手間の相対的な移動傾向を可視化することにより、試合中の選手の動きの傾向を掴みやくする可視化手法を提供することにある。
　上記課題を解決するためにこの発明の一態様は、映像処理装置であって、カメラによって撮影された対戦中の２人の選手を含む撮影映像を取得する取得部と、前記撮影映像に写った選手の位置それぞれを検出する座標検出部と、前記検出された選手の位置を記憶する記憶部と、前記記憶部に記憶された所定の時間だけ前の前記選手の位置と現在の選手の位置に基づいて選手間の位置関係を表す位置ベクトルと、選手間の移動情報を表す移動ベクトルを算出する導出部と、前記位置ベクトルおよび前記移動ベクトルに基づいて、一方の選手から見た他方の選手との距離、移動方向、移動距離についての情報を可視化する可視化結果描画部と、可視化された結果を出力装置に表示するように制御する出力制御部と、を備えるようにしたものである。
　この発明の一態様によれば、２人の選手が対戦する格闘技において、選手間の相対的な動き、すなわち、選手視点から見た相手選手の動きの傾向を可視化することにより、格闘技において試合の状況および選手の様子が把握しやすくなる可視化手法を提供することが可能となる。
図１は、実施形態に係る映像処理装置のハードウェア構成の一例を示すブロック図である。 図２は、実施形態における映像処理装置のソフトウェア構成を、図１に示したハードウェア構成に関連付けて示すブロック図である。 図３は、映像処理装置がカメラから取得した映像から座標変換を行うための行列を求めるための動作の一例を示すフローチャートである。 図４は、映像処理装置がカメラから取得した映像から最適な映像を選択するための動作の一例を示すフローチャートである。 図５は、頻度分布の配列の一例を示した図である。 図６は、頻度分布の配列の一例を示した図である。 図７は、出力装置に表示される可視化結果の一例を示す図である。 図８は、出力装置に表示される可視化結果の別の一例を示す図である。 図９は、出力装置に表示される可視化結果の別の一例を示す図である。
　以下、図面を参照してこの発明に係る実施形態を説明する。なお、以降、説明済みの要素と同一または類似の要素には同一または類似の符号を付し、重複する説明については基本的に省略する。例えば、複数の同一または類似の要素が存在する場合に、各要素を区別せずに説明するために共通の符号を用いることがあるし、各要素を区別して説明するために当該共通の符号に加えて枝番号を用いることもある。
　［実施形態］　
　（構成）　
　図１は、実施形態に係る映像処理装置１のハードウェア構成の一例を示すブロック図である。
　映像処理装置１は、入力されたデータを解析して、出力データを生成し出力する、コンピュータである。映像処理装置１は、例えば、格闘技等が開催される会場の任意の場所または会場から離れた任意の場所に設置される。
　図１に示すように、映像処理装置１は、制御部１０、プログラム記憶部２０、データ記憶部３０、通信インタフェース４０、および入出力インタフェース５０を備える。制御部１０、プログラム記憶部２０、データ記憶部３０、通信インタフェース４０、および入出力インタフェース５０は、バスを介して互いに通信可能に接続されている。さらに通信インタフェース４０は、ネットワークを介して外部装置と通信可能に接続されてよい。また、入出力インタフェース５０は、入力装置２、出力装置３、カメラ４と通信可能に接続される。
　制御部１０は、映像処理装置１を制御する。制御部１０は、中央処理ユニット（ＣＰＵ：Central Processing Unit）等のハードウェアプロセッサを備える。例えば、制御部１０は、様々なプログラムを実行することが可能な集積回路であっても良い。
　プログラム記憶部２０は、記憶媒体として、例えば、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＯＭ（Read Only Memory）等の不揮発性メモリとを組み合わせて使用することができる。プログラム記憶部２０は、各種処理を実行するために必要なプログラムを格納している。すなわち、制御部１０は、プログラム記憶部２０に格納されたプログラムを読み出して実行することにより各種制御および動作を実現し得る。
　データ記憶部３０は、記憶媒体として、例えば、ＨＤＤ、メモリカード等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＡＭ（Random Access Memory）等の揮発性メモリとを組み合わせて使用したストレージである。データ記憶部３０は、制御部１０がプログラムを実行して各種処理を行う過程で取得および生成されたデータを記憶するために用いられる。
　通信インタフェース４０は、１つ以上の有線または無線の通信モジュールを含む。例えば、通信インタフェース４０は、ネットワークを介して外部装置と有線または無線接続する通信モジュールを含む。通信インタフェース４０は、Ｗｉ－Ｆｉアクセスポイントおよび基地局等の外部装置と無線接続する無線通信モジュールを含んでも良い。さらに、通信インタフェース４０は、近距離無線技術を利用して外部装置と無線接続するための無線通信モジュールを含んでも良い。すなわち、通信インタフェース４０は、制御部１０の制御の下、外部装置との間で通信を行い、各種情報を送受信することができるものであれば一般的な通信インタフェースで良い。
　入出力インタフェース５０は、入力装置２、出力装置３、および複数のカメラ４等と接続される。入出力インタフェース５０は、入力装置２、出力装置３、および複数のカメラ４との間で情報の送受信を可能にするインタフェースである。入出力インタフェース５０は、通信インタフェース４０と一体であってもよい。例えば、映像処理装置１と、入力装置２、出力装置３、複数のカメラ４の少なくとも１つとは、近距離無線技術等を使用して無線接続されており、当該近距離無線技術を用いて情報の送受信を行ってもよい。
　入力装置２は、例えば、ユーザが映像処理装置１に対して各種情報を入力するためのキーボードやポインティングデバイス等を含む。また、入力装置２は、プログラム記憶部２０またはデータ記憶部３０に格納するべきデータを、ＵＳＢメモリ等のメモリ媒体から読み出すためのリーダや、そのようなデータをディスク媒体から読み出すためのディスク装置を含んでも良い。
　出力装置３は、映像処理装置１から試合会場にいる観客に表示すべき映像を表示するディスプレイ等を含む。また、出力装置３は、会場内の運営者に表示すべき映像を表示する複数のディスプレイを含んで良い。
　カメラ４は、ボクシングまたは柔道等のような格闘技を撮影するために、会場内に配置される。本実施形態では、簡単化のため１台のみを示しているが、複数のカメラ４があって良いのは勿論である。カメラ４は、入出力インタフェース５０を通じて、映像処理装置１の制御部１０に出力する。
　図２は、実施形態における映像処理装置１のソフトウェア構成を、図１に示したハードウェア構成に関連付けて示すブロック図である。
　制御部１０は、映像取得部１０１と、座標検出部１０２と、座標変換部１０３と、導出部１０４と、頻度分布作成部１０５と、頻度分布更新部１０６と、可視化結果描画部１０７と、出力制御部１０８と、を備える。また、データ記憶部３０は、映像記憶部３０１と、座標記憶部３０２と、頻度分布記憶部３０３と、を備える。
　映像取得部１０１は、カメラ４から撮影映像を取得する。映像取得部１０１は、取得した映像を座標検出部１０２に出力して良い。
　座標検出部１０２は、試合場の所定の場所、例えば、リングの隅４点の座標を検出する。例えば、試合場が四角形ではない場合、特定の場所は、試合場が収まるように選択された四角形の各頂点であって良い。であって良い。また、座標の原点は、撮影映像中の任意の場所であって良い。さらに、座標検出部１０２は、選手の位置を検出する。座標検出部１０２は、映像記憶部３０１に記憶された撮影映像を取得し、一般的な深層学習モデル（Ｍａｓｋ　Ｒ－ＣＮＮ、ＹＯＬＯ等）を用いた物体検出手法を用いて、取得した撮影映像に写っている選手の位置を検出する。さらに、座標検出部１０２は、検出した選手のラベル付けを行う。
　座標変換部１０３は、俯瞰視点での試合場の隅４点への射影変換する行列Ｍを算出する。ここで、試合場が四角形ではない場合、試合場の隅４点の代わりに映像処理装置１のユーザが事前に指定した場所を用いても良い。また、座標変換部１０３は、選手座標の座標系の変換を行う。座標変換部１０３は、座標検出部１０２から受信した選手の座標において、カメラ座標から俯瞰視点でのリング座標への幾何学変換を行う。なお、具体的な変換方法は、後述する。
　導出部１０４は、選手の位置関係を表すベクトルおよび移動情報を表すベクトルを導出する。なお、ベクトルの具体的な導出方法は、後述する。
　頻度分布作成部１０５は、各選手それぞれにおける頻度分布を作成する。なお、頻度分布の具体的な作成方法は後述する。頻度分布作成部１０５は、生成した頻度分布を頻度分布記憶部３０３に記憶させる。
　頻度分布更新部１０６は、頻度分布を更新する。頻度分布更新部１０６は、頻度分布記憶部３０３から頻度分布を取得する。そして、頻度分布更新部１０６は、各ベクトルに基づいて、該当する頻度分布の要素のカウントアップ処理を行う。なお、カウントアップ処理の具体的な方法は、後述する。
　可視化結果描画部１０７は、可視化結果を描画する。可視化結果描画部１０７は、頻度分布に基づいて、選手がどの方向に移動したか、または静止していたかを示す比率を算出する。なお、比率の具体的な算出方法は、後述する。
　出力制御部１０８は、可視化結果を出力装置３に出力する。出力制御部１０８は、出力装置３のディスプレイに可視化結果を表示するように制御する。また、送信部でもある出力制御部１０８は、通信インタフェース４０およびネットワークを通じて、選択した映像をインターネット配信しても良い。
　映像記憶部３０１は、映像取得部１０１が取得した撮影映像を記憶するために用いられる。なお、映像記憶部３０１に記憶された撮影映像は、所定の時間経過後削除されるように制御部１０によって制御されていても良い。
　座標記憶部３０２は、撮影映像での選手の座標を座標変換部１０３が算出した俯瞰視点での座標に変換するための行列Ｍを記憶するために用いられる。また、座標記憶部３０２は、座標変換後の選手座標および座標検出部１０２から受信した選手座標を記憶するために用いられる。
　頻度分布記憶部３０３は、頻度分布作成部１０５が作成した頻度分布を記憶するために用いられる。さらに、頻度分布記憶部３０３は、頻度分布更新部１０６が更新した頻度分布を記憶するために用いられる。
　（動作）　
　（１）事前準備　
　図３は、映像処理装置１がカメラ４から取得した映像から座標変換を行うための行列を求めるための動作の一例を示すフローチャートである。
　映像処理装置１の制御部１０がプログラム記憶部２０に記憶されたプログラムを読み出して実行することにより、このフローチャートの動作が実現される。
　この動作フローは、試合が始まる前または試合中に行って良い。そして、カメラが試合場全体を含む撮影映像を映像取得部１０１に出力することによりこのフローの動作が開始する。
　ステップＳＴ１０１で、映像取得部１０１は、撮影映像を取得する。映像取得部１０１は、取得した撮影映像を座標検出部１０２に出力する。
　ステップＳＴ１０２で、座標検出部１０２は、試合場の所定の場所、例えば、リングの隅４点の座標を検出する。なお、試合場が４角形ではない場合、特定の場所は、試合場を特徴づける任意の点であって良い。また、座標の原点は、撮影映像中の任意の場所であって良い。そして、座標検出部１０２は、検出した座標を座標変換部１０３に出力する。
　ステップＳＴ１０３で、座標変換部１０３は、俯瞰視点での試合場の隅４点（左上（０，０），右上（１，０），左下（０，１），右下（１，１））への射影変換する行列Ｍを算出する。ここで、試合場が四角形ではない場合、試合場の隅４点の代わりに映像処理装置１のユーザが事前に指定した場所を用いても良い。座標変換部１０３は、算出した行列Ｍを座標記憶部３０２に記憶させる。このようにして、事前に行列Ｍを算出しておく。
　（２）可視化処理　
　図４は、映像処理装置１がカメラ４から取得した映像から最適な映像を選択するための動作の一例を示すフローチャートである。
　映像処理装置１の制御部１０がプログラム記憶部２０に記憶されたプログラムを読み出して実行することにより、このフローチャートの動作が実現される。
　この動作フローは、例えば、各撮影映像の１フレーム分の処理を表したものである。そのため、試合中、或いは試合中の任意の期間、映像処理装置１は、この動作フローを繰り返し実行することになるのは勿論である。
　試合開始、または試合中において、カメラ４が対戦中の２人の選手を含む撮影映像を映像取得部１０１に出力することによりこのフローの動作が開始する。
　ステップＳＴ２０１で、映像取得部１０１は、撮影映像を取得する。映像取得部１０１は、取得した撮影映像を映像記憶部３０１に記憶させて良い。
　ステップＳＴ２０２で、座標検出部１０２は、選手の位置を検出する。座標検出部１０２は、映像記憶部３０１に記憶された撮影映像を取得し、一般的な深層学習モデルを用いた物体検出手法を用いて、取得した撮影映像に写っている選手の位置を検出する。ここで、選手の位置とは、選手の足元（選手の正中線と床との交点）にあたる座標（ｘｐ，ｙｐ）を指す。なお、座標の原点は撮影映像中の任意の位置であって良い。物体検出手法を用いて選手を検出する場合、座標検出部１０２は、検出された選手を矩形表現（ｘ１，ｙ１，ｘ２，ｙ２）で表すことになる。この場合、座標検出部１０２は、ｘｐ＝（ｘ１＋ｘ２）／２，ｙｐ＝ｙ２として選手の足元にあたる座標への変換を行う。
　また、座標検出部１０２は、検出した選手のラベル付けを行う。例えば、ボクシングの試合の場合、検出された選手が赤コーナー側の選手である、または青コーナー側の選手のいずれであるかのラベル付けを行う。例えば、座標検出部１０２は、２人の選手をそれぞれ選手Ａおよび選手Ｂとしてラベル付けする。座標検出部１０２は、例えば、選手についての事前の情報（何色のパンツをはいているか、何色のグローブを身に着けているか）等に基づいて、選手が選手Ａ（赤コーナーの選手）または選手Ｂ（青コーナーの選手）であるかを見分けて良い。そして、座標検出部１０２は、ラベル付けされた選手についての情報を含むラベル情報を生成する。座標検出部は、撮影映像および検出した選手の位置を示す選手座標情報およびラベル情報を座標変換部１０３に出力する。
　なお、座標検出部１０２は、座標を検出するのではなく、座標を受信しても良い。例えば、映像処理装置１の制御部１０は、出力装置３に撮影映像を映すように制御して良い。そして、映像処理装置１のユーザ等が入力装置２に含まれるマウス等を用いて選手の位置およびラベル情報を示しても良い。この場合、出力装置３は、当該示した情報（選手座標情報）およびラベル情報を座標変換部１０３に出力して良い。
　ステップＳＴ２０３で、座標変換部１０３は、選手座標の座標系の変換を行う。座標変換部１０３は、座標検出部１０２から受信した選手の座標において、カメラ座標から俯瞰視点でのリング座標への幾何学変換を行う。
　例えば、座標変換部１０３は、撮影映像中の試合会場（ボクシングの場合リング）の隅４点（左上，右上，左下，右下）の座標を取得する。さらに、座標変換部１０３は、事前準備により、座標記憶部３０２に記憶された行列Ｍを取得する。そして、選手座標（ｘｐ，ｙｐ）から射影変換後の座標（ｘｐ´，ｙｐ´）を以下の式より算出する。
Figure JPOXMLDOC01-appb-M000001
　座標変換部１０３は、座標変換後の選手座標を座標記憶部３０２に記憶させて良い。ここで、これ以降の処理で使用する座標は、座標変換後の座標を用いるが、説明の簡単化のため、ｘ´およびｙ´を単にｘおよびｙと表記する。さらに座標変換部１０３は、事前に設定した時間Δだけ過去のフレームの座標変換後の選手座標を座標記憶部３０２から取得する。なお、該当するフレームの選手座標がない場合、座標変換部１０３は、当該情報を取得できないため、このフレームに対する処理を終了して良い。そして、座標変換部１０３は、変換した選手座標、時間Δだけ前のフレームの選手座標、ラベル情報等を導出部に出力する。
　ステップＳＴ２０４で、導出部１０４は、選手の位置関係を表すベクトルおよび移動情報を表すベクトルを導出する。導出部１０４は、座標変換部１０３から受信した、現在のフレーム（時刻ｔ）の選手Ａの座標（ｘｔ Ａ，ｙｔ Ａ）および選手Ｂの座標（ｘｔ Ｂ，ｙｔ Ｂ）と表記し、時間Δだけ過去のフレーム（時刻Ｔ＝ｔ－Δ）の選手Ａの座標（ｘＴ Ａ，ｙＴ Ａ）および選手Ｂの座標（ｘＴ Ｂ，ｙＴ Ｂ）と表記する。
　選手Ｂの視点から選手Ａの動きについて考慮する。この場合、時刻ｔ´における選手Ａと選手Ｂの位置関係を表す位置ベクトルｐＡＢ，時刻ｔ´から時刻ｔの移動情報を表す移動ベクトルｍＡは、以下のように算出される。
Figure JPOXMLDOC01-appb-M000002
　これらは相対的な位置情報および移動情報である。同様に選手Ａの視点から選手Ｂの動きを考えた際の時刻ｔ´における選手Ｂと選手Ａの位置関係を表す位置ベクトルＰＢＡおよび時刻ｔ´から時刻ｔの移動情報を表す移動ベクトルｍＢを算出する。導出部１０４は、算出した各ベクトル（ｐＡＢ，ｍＡ）および（ＰＢＡ，ｍＢ）を頻度分布作成部１０５および頻度分布更新部１０６に出力する。
　ステップＳＴ２０５で、頻度分布作成部１０５は、頻度分布を作成する。初めに、頻度分布作成部１０５は、選手間の距離を所定の閾値εｐから選手間の距離の最大値｜ｐ｜ｍａｘまでの範囲についてサンプリング数Ｎｐで分割する。ここで、選手間の距離の最大値は、試合場の対角線の長さである。しかしながら、この値が現実的な値ではない場合、距離の最大値｜ｐ｜ｍａｘは、映像処理装置１のユーザが事前に定義した値であっても良い。頻度分布作成部１０５は、移動方向を表す角度を－πからπまでの範囲についてサンプリング数Ｎθで分割する。さらに、頻度分布作成部１０５は、移動速度を所定の閾値εｖから移動速度の最大値｜ｖ｜ｍａｘまでの範囲についてサンプリング数Ｎｖで分割する。ここで、選手の移動速度の最大値｜ｖ｜ｍａｘは、試合会場の対角線の長さを時間Δで割ったものである。しかしながら、この値が現実的な値ではない場合、移動速度の最大値｜ｖ｜ｍａｘは、映像処理装置１のユーザが事前に定義した値であっても良い。そして、頻度分布作成部１０５は、選手Ａおよび選手Ｂそれぞれにおける、サイズＮｐ×Ｎθ×Ｎｖから成る頻度分布の配列ＦＡおよびＦＢを生成する。ここで、頻度分布Ｆの要素は、ｆｐ，θ，ｖと表す。
　図５および図６は、頻度分布の配列Ｆの一例を示した図である。
　図５は、Ｎｖ＝ｋである場合のＮｐ×Ｎθの頻度分布Ｆの配列の例を示しており、図６は、Ｎｐ＝ｉである場合のＮｖ×Ｎθの頻度分布Ｆの配列の例を示す。ここで、図５および図６に示されるｉ，ｊ，ｋは、それぞれ、ｉ＝１，２，…，Ｎｐ，ｊ＝１，２，…，Ｎθ，ｋ＝１，２，…，Ｎｖである。例えば、図５において、ｉ＝１の時の範囲は、εｐ～｜ｐ｜ｍａｘ／Ｎｐとなる。また、ｊ＝１の時の範囲は、－π～－π＋２π／Ｎθとなる。同様に、図６において、ｋ＝１の時の範囲は、εｖ～ｖｍａｘ／Ｎｖとなる。
　また、移動速度０からεｖの場合を表す、サイズＮｐから成る頻度分布の配列ＧＡ，ＧＢを生成する。ここで、頻度分布Ｇの要素は、ｇｐと表す。
　頻度分布作成部１０５は、作成した頻度分布Ｆおよび頻度分布Ｇを頻度分布記憶部３０３に記憶させる。また、ステップＳＴ２０５は、頻度分布作成部１０５が頻度分布Ｆおよび頻度分布Ｇを作成した後のフローではスキップして良い。すなわち、試合中において、図３で示すフローが最初に動作する際にのみ実行されて良い。
　ステップＳＴ２０６で、頻度分布更新部１０６は、頻度分布を更新する。最初に、頻度分布更新部１０６は、頻度分布記憶部３０３から頻度分布Ｆおよび頻度分布Ｇを取得する。そして、例えば、選手Ｂの視点から選手Ａの動きについて考慮する。この場合、選手間の距離｜ＰＡＢ｜を選手Ａの移動方向を表す角度θＡＢおよび選手Ａの移動速度ｖＡＢ＝｜ｍＡ｜／Δに対してそれぞれ量子化処理を行い、頻度分布ＦＡの該当する範囲の要素ｆｉ，ｊ，ｋにカウントアップ処理を行う。ここで、角度θＡＢは、以下の式で表される。
Figure JPOXMLDOC01-appb-M000003
　但し、｜ＰＡＢ｜＞εｐ且つ｜ｍＡ｜＞εｖであるとする。この時（Ｐ）ｚは、ベクトルｐのｚ軸成分を表し、ｓｇｎ（・）は、符号関数を表す。また、移動速度ｖＡＢが０からεｖである場合、頻度分布ＧＡの要素ｇｉにカウントアップ処理を行う。
　頻度分布更新部１０６は、更新された頻度分布ＦおよびＧを頻度分布記憶部３０３に記憶させるとともに、可視化結果描画部１０７に出力する。
　ステップＳＴ２０７で、可視化結果描画部１０７は、可視化結果を描画する。可視化結果描画部１０７は、頻度分布ＦＡおよびＧＡから、移動速度軸の頻度分布についての加算処理を行い、選手間の距離それぞれにおいて、選手がどの方向に移動したか、または静止していたかを示す比率ｑｉ，ｊを算出する。
Figure JPOXMLDOC01-appb-M000004
　比率ｑｉ，ｊの大きさに応じて、１≦ｊ≦Ｎθの要素については矢印の線の太さ（比率ｑｉ，ｊが大きいほど線を太くする）で、ｊ＝Ｎθ＋１については円の大きさ（比率ｑｉ，ｊが大きいほど円を大きくする）で選手の移動傾向を表す。可視化結果描画部１０７は、この比率ｑｉ，ｊに基づいて可視化結果を描画する。なお、本実施形態では、移動速度の軸方向にすべての加算処理を行って比率を求める例を説明しているが、選手の移動速度に範囲を設けて、その範囲内の速度の要素のみ加算処理を行って比率を求めても良い。可視化結果描画部１０７は、描画した可視化結果を出力制御部１０８に出力する。
　ステップＳＴ２０８で、出力制御部１０８は、可視化結果を出力装置３に出力する。出力制御部１０８は、可視化結果を出力装置３のディスプレイに表示するように制御する。
　図７は、出力装置３に表示される可視化結果の一例を示す図である。
　図７に示すように、選手Ａは、選手Ｂに対して横または後ろに多く動く傾向が強いことを表している。また、円がある程度の大きさがあることから、選手Ａは、選手Ｂに対して止まっている場合もある程度あることを示している。
　図８および図９は、出力装置３に表示される可視化結果の別の一例を示す図である。
　図８に示すように、可視化の結果は、ユーザが指定した複数の範囲の距離について並べて描画しても良い。また、図９に示すように、ユーザが指定した複数の範囲の距離について１つにまとめて描画しても良い。さらに図９に示すように選手のアイコンおよび静止していた状況を示す円を表示するかどうかをユーザが選択しても良い。
　（作用効果）　
　実施形態によれば、映像処理装置１は、２人の選手が対戦する格闘技において、選手間の相対的な動き、すなわち、選手視点から見た相手選手の動きの傾向を可視化することにより、格闘技において試合の状況および選手の様子が把握しやすくなる可視化手法を提供することが可能となる。
　［他の実施形態］
　上記の実施形態では、映像処理装置１は、１人の選手に対する可視化の結果を表示する例を示したが、互いの選手の結果を出力装置３のディスプレイに表示するようにしても良い。
　また、前記実施形態に記載した手法は、計算機（コンピュータ）に実行させることができるプログラム（ソフトウェア手段）として、例えば磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ、ＭＯ等）、半導体メモリ（ＲＯＭ、ＲＡＭ、フラッシュメモリ等）等の記憶媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウェア手段（実行プログラムのみならずテーブル、データ構造も含む）を計算機内に構成させる設定プログラムをも含む。本装置を実現する計算機は、記憶媒体に記憶されたプログラムを読み込み、また場合により設定プログラムによりソフトウェア手段を構築し、このソフトウェア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書で言う記憶媒体は、頒布用に限らず、計算機内部或いはネットワークを介して接続される機器に設けられた磁気ディスク、半導体メモリ等の記憶媒体を含むものである。
　要するに、この発明は上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。さらに、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。
　１…映像処理装置
　２…入力装置
　３…出力装置
　４…カメラ
　１０…制御部
　１０１…映像取得部
　１０２…座標検出部
　１０３…座標変換部
　１０４…導出部
　１０５…頻度分布作成部
　１０６…頻度分布更新部
　１０７…可視化結果描画部
　１０８…出力制御部
　２０…プログラム記憶部
　３０…データ記憶部
　３０１…映像記憶部
　３０２…座標記憶部
　３０３…頻度分布記憶部
　４０…通信インタフェース
　５０…入出力インタフェース
 
 

Claims (8)

  1. 　カメラによって撮影された対戦中の２人の選手を含む撮影映像を取得する取得部と、
    　前記撮影映像に写った選手の位置それぞれを検出する座標検出部と、
    　前記検出された選手の位置を記憶する記憶部と、
    　前記記憶部に記憶された所定の時間だけ前の選手の位置と現在の選手の位置に基づいて選手間の位置関係を表す位置ベクトルと、選手間の移動情報を表す移動ベクトルを算出する導出部と、
    　前記位置ベクトルおよび前記移動ベクトルに基づいて、一方の選手から見た他方の選手との距離、移動方向、移動距離についての情報を可視化する可視化結果描画部と、
    　可視化された結果を出力装置に表示するように制御する出力制御部と、
    　を備える、映像処理装置。
  2. 　前記選手の位置は、前記選手の正中線と試合会場の床との交点にあたる座標を指す、請求項１に記載の映像処理装置。
  3. 　前記撮影映像に写る試合場の所定の点の座標を俯瞰視点での試合場の所定の点に射影変換する行列を用いて、前記選手の座標を俯瞰視点での座標に変換する変換部をさらに備える、請求項２に記載の映像処理装置。
  4. 　前記可視化結果描画部は、前記位置ベクトル、前記移動ベクトル、および前記所定の時間に基づいて、選手間の距離における前記他方の選手がどの方向に移動したか、または静止していたかを示す比率を算出し、前記算出された比率に基づいて前記移動方向および前記移動距離についての情報を可視化する、請求項１に記載の映像処理装置。
  5. 　前記可視化結果描画部は、前記位置ベクトル、前記移動ベクトル、および前記所定の時間に基づいて、前記一方の選手から見た他方の選手との距離を、前記他方の選手の移動方向を表す角度および移動速度に対して量子化処理を行い、予め作成された頻度分布の該当する範囲の要素にカウントアップ処理を行い、前記カウントアップ処理が行われた要素に基づいて前記比率を算出する、請求項４に記載の映像処理装置。
  6. 　前記頻度分布は、選手間の距離において第１の閾値から選手間の距離の最大値までの範囲を第１の数で分割し、移動方向を表す角度を第２の数で分割し、選手の移動速度を第２の閾値から選手がとり得る最大移動速度までの範囲を第３の数で分割し、サイズが前記第１の数×前記第２の数×前記第３の数からなる第１の頻度分布と、前記一方の選手から見た他方の選手の移動速度が０から前記第２の閾値の場合を表し、且つサイズが前記第３の数から成る第２の頻度分布を備える、請求項５に記載の映像処理装置。
  7. 　映像処理装置のプロセッサが実行する映像処理方法であって、
    　カメラによって撮影された対戦中の２人の選手を含む撮影映像を取得することと、
    　前記撮影映像に写った選手の位置それぞれを検出することと、
    　前記検出された選手の位置を記憶することと、
    　記憶された、所定の時間だけ前の前記選手の位置と現在の選手の位置に基づいて選手間の位置関係を表す位置ベクトルと、選手間の移動情報を表す移動ベクトルを算出することと、
    　前記位置ベクトルおよび前記移動ベクトルに基づいて、一方の選手から見た他方の選手との距離、移動方向、移動距離についての情報を可視化することと、
    　可視化された結果を出力装置に表示するように制御することと、
    　を備える、映像処理方法。
  8. 　カメラによって撮影された対戦中の２人の選手を含む撮影映像を取得することと、
    　前記撮影映像に写った選手の位置それぞれを検出することと、
    　前記検出された選手の位置を記憶することと、
    　記憶された、所定の時間だけ前の前記選手の位置と現在の選手の位置に基づいて選手間の位置関係を表す位置ベクトルと、選手間の移動情報を表す移動ベクトルを算出することと、
    　前記位置ベクトルおよび前記移動ベクトルに基づいて、一方の選手から見た他方の選手との距離、移動方向、移動距離についての情報を可視化することと、
    　可視化された結果を出力装置に表示するように制御することと、
    　を映像処理装置のプロセッサによって実行させるための命令を備える映像処理プログラム。
PCT/JP2022/032994 2022-09-01 2022-09-01 映像処理装置、映像処理方法、および映像処理プログラム WO2024047848A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/032994 WO2024047848A1 (ja) 2022-09-01 2022-09-01 映像処理装置、映像処理方法、および映像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/032994 WO2024047848A1 (ja) 2022-09-01 2022-09-01 映像処理装置、映像処理方法、および映像処理プログラム

Publications (1)

Publication Number Publication Date
WO2024047848A1 true WO2024047848A1 (ja) 2024-03-07

Family

ID=90099020

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/032994 WO2024047848A1 (ja) 2022-09-01 2022-09-01 映像処理装置、映像処理方法、および映像処理プログラム

Country Status (1)

Country Link
WO (1) WO2024047848A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6710713B1 (en) * 2002-05-17 2004-03-23 Tom Russo Method and apparatus for evaluating athletes in competition
JP2017209237A (ja) * 2016-05-24 2017-11-30 日本電信電話株式会社 攻撃パターン抽出装置、攻撃パターン表示装置、攻撃パターン抽出方法、攻撃パターン表示方法、及び攻撃パターン抽出プログラム
JP2020107071A (ja) * 2018-12-27 2020-07-09 日本放送協会 オブジェクト追跡装置及びそのプログラム
JP2021135619A (ja) * 2020-02-25 2021-09-13 日本放送協会 状況識別装置、状況学習装置及びプログラム
JP2021137470A (ja) * 2020-03-09 2021-09-16 株式会社Ｊｖｃケンウッド 観戦支援装置、観戦支援方法、及び観戦支援プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6710713B1 (en) * 2002-05-17 2004-03-23 Tom Russo Method and apparatus for evaluating athletes in competition
JP2017209237A (ja) * 2016-05-24 2017-11-30 日本電信電話株式会社 攻撃パターン抽出装置、攻撃パターン表示装置、攻撃パターン抽出方法、攻撃パターン表示方法、及び攻撃パターン抽出プログラム
JP2020107071A (ja) * 2018-12-27 2020-07-09 日本放送協会 オブジェクト追跡装置及びそのプログラム
JP2021135619A (ja) * 2020-02-25 2021-09-13 日本放送協会 状況識別装置、状況学習装置及びプログラム
JP2021137470A (ja) * 2020-03-09 2021-09-16 株式会社Ｊｖｃケンウッド 観戦支援装置、観戦支援方法、及び観戦支援プログラム

Similar Documents

Publication Publication Date Title
US10632385B1 (en) Systems and methods for capturing participant likeness for a video game character
US8081822B1 (en) System and method for sensing a feature of an object in an interactive video display
JP2021105887A (ja) ３ｄポーズ取得方法及び装置
CN113850248B (zh) 运动姿态评估方法、装置、边缘计算服务器及存储介质
US11170246B2 (en) Recognition processing device, recognition processing method, and program
KR20130032858A (ko) 카메라로 운동하는 피사체를 촬영하고 그 촬영 이미지에 기초하여 피사체의 실제의 운동 궤적을 획득하기 위한 방법 및 시스템
US10051343B2 (en) Match video marking
US20190199992A1 (en) Information processing apparatus, method for controlling the same, and recording medium
Vieira et al. Tracking futsal players with a wide-angle lens camera: accuracy analysis of the radial distortion correction based on an improved Hough transform algorithm
US20130235213A1 (en) System And Method For Determining The Current Focal Length Of A Zoomable Camera
JP2020042407A (ja) 情報処理装置、情報処理方法及びプログラム
JP2020173628A (ja) 情報処理装置、映像生成装置、画像処理システム、それらの制御方法及びプログラム
JP2019212062A (ja) 情報処理装置及びプログラム
US11823454B2 (en) Method and apparatus for user interaction with a video stream
WO2024047848A1 (ja) 映像処理装置、映像処理方法、および映像処理プログラム
CN111556338B (zh) 视频中区域的检测方法、信息融合方法、装置和存储介质
JP6636314B2 (ja) カメラ較正システム、カメラ較正プログラム、及びカメラ較正方法
JP6989877B2 (ja) 位置座標算出方法及び位置座標算出装置
Shishido et al. Calibration of multiple sparsely distributed cameras using a mobile camera
CN112839171B (zh) 一种画面拍摄方法、装置、存储介质及电子设备
WO2020195021A1 (ja) 情報処理装置、表示システム、表示方法、及びプログラムが格納された非一時的なコンピュータ可読媒体
WO2023106201A1 (ja) プレイ分析装置、プレイ分析方法、及びコンピュータ読み取り可能な記録媒体
Uematsu et al. Vision-based augmented reality applications
CN116433767B (zh) 目标对象检测方法、装置、电子设备以及存储介质
JP6668002B2 (ja) 動画生成装置、動画生成システム、および動画生成プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22957443

Country of ref document: EP

Kind code of ref document: A1