WO2019176922A1 - 視聴支援装置、視聴支援方法及びプログラム - Google Patents

視聴支援装置、視聴支援方法及びプログラム Download PDF

Info

Publication number
WO2019176922A1
WO2019176922A1 PCT/JP2019/009945 JP2019009945W WO2019176922A1 WO 2019176922 A1 WO2019176922 A1 WO 2019176922A1 JP 2019009945 W JP2019009945 W JP 2019009945W WO 2019176922 A1 WO2019176922 A1 WO 2019176922A1
Authority
WO
WIPO (PCT)
Prior art keywords
moving body
image
speed
moving
runner
Prior art date
Application number
PCT/JP2019/009945
Other languages
English (en)
French (fr)
Inventor
亜紀 千葉
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2020506548A priority Critical patent/JP7040599B2/ja
Publication of WO2019176922A1 publication Critical patent/WO2019176922A1/ja
Priority to JP2022034126A priority patent/JP7276538B2/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention is based on the priority claim of Japanese patent application: Japanese Patent Application No. 2018-045582 (filed on Mar. 13, 2018), the entire description of which is incorporated herein by reference. Shall.
  • the present invention relates to a viewing support apparatus, a viewing support method, and a program.
  • Patent Document 1 discloses an example of a moving body identification device that associates a plurality of moving bodies from a moving image obtained by imaging the plurality of moving bodies.
  • Patent Document 2 discloses a configuration including a portable information recognition device that recognizes identification information of a moving body obtained by photographing the moving body and searches from identification information registered in advance.
  • image pickup devices are arranged at various positions on the track in the track track competition, and the bib number is read from a still image obtained by shooting the player.
  • a configuration for distributing time is disclosed.
  • Non-Patent Document 1 discloses a system for estimating the distance between runners in road race relay such as relay races and marathons.
  • the distance estimation system of the same document estimates the distance between the camera and the runner from the position of the relay car, the camera data, and the runner coordinates in the video (the position of the subject in the frame). It is described that the speed of the runner can be obtained (see FIG. 1).
  • the speed of the runner at an arbitrary time can be estimated, but the condition is that the position of the relay vehicle and the camera data can be obtained in real time.
  • the present invention provides a viewing support apparatus, a viewing support method, and a viewing support apparatus that can contribute to the enrichment of a configuration that can measure the speed of a moving object projected in a relay video and its speed and provide it as supplementary information of the video even if the above information is not obtained.
  • the purpose is to provide a program.
  • a viewing support apparatus is provided.
  • the viewing support apparatus further includes means for estimating the speed of the moving body based on a change in a background image of the image on which the moving body is projected, and means for outputting the estimated speed of the moving body.
  • a viewing support apparatus is provided.
  • a viewing support method including a step of estimating a speed of the moving body based on a change in a background image of an image on which the moving body is projected, and a step of outputting the estimated speed of the moving body.
  • This method is linked to a specific machine such as a computer that receives at least a relay video and performs image analysis to output incidental information.
  • the moving object is transmitted from the relay video having the moving object moving from the first point to the second point as a subject at predetermined time intervals.
  • the process of estimating the speed of the moving body based on the change in the background image of the image on which the moving body is projected, and the image of the moving body projected on the image.
  • This program can be recorded on a computer-readable (non-transitory) storage medium. That is, the present invention can be embodied as a computer program product.
  • the program is input to the computer device from the input device or from the outside via the communication interface, stored in the storage device, and drives the processor according to a predetermined step or process, and if necessary, the processing result including an intermediate state. Can be displayed through the display device for each stage, or can be communicated with the outside through the communication interface.
  • a computer device for this purpose typically includes a processor, a storage device, an input device, a communication interface, and a display device as necessary, which can be connected to each other via a bus.
  • the present invention it is possible to estimate the speed of the moving object at an arbitrary time. That is, the present invention converts the viewing support apparatus described in the background art into a device that can provide speed information of a moving body that is a subject.
  • FIG. 1st Embodiment of this invention It is a figure which shows another example of the provision form of the information by the viewing-and-listening assistance apparatus of the 1st Embodiment of this invention. It is a figure which shows the structure of the viewing assistance apparatus of 2nd Embodiment of this invention. It is a figure which shows an example of the provision form of the information by the viewing-and-listening assistance apparatus of the 2nd Embodiment of this invention. It is a figure which shows the structure of the viewing-and-listening assistance apparatus of the 3rd Embodiment of this invention. It is a figure which shows an example of the information hold
  • connection lines between blocks such as drawings referred to in the following description include both bidirectional and unidirectional directions.
  • the unidirectional arrow schematically shows the main signal (data) flow and does not exclude bidirectionality.
  • ports and interfaces at input / output connection points of each block in the figure they are not shown.
  • the program is executed via a computer device, and the computer device includes, for example, a processor, a storage device, an input device, a communication interface, and a display device as necessary.
  • the computer device is configured to be able to communicate with an internal device or an external device (including a computer) via a communication interface regardless of wired or wireless.
  • the present invention can be realized by a viewing support apparatus 10 including an image cutout unit 11, a speed estimation unit 12, and an output unit 14, as shown in FIG.
  • the image cutout unit 11 displays an image in which the moving body is projected at a predetermined time interval from a relay video having the moving body moving from the first point to the second point as a subject. It functions as a means for cutting out.
  • the speed estimation unit 12 functions as means for estimating the speed of the moving body based on a change in the background image of the image on which the moving body is projected.
  • the output unit 14 functions as a means for outputting the estimated speed of the moving body.
  • various things can be considered as an output form of the estimation speed of a moving body.
  • the estimated speed of the moving object may be displayed as information to be superimposed (superimposed) on the relay image.
  • the estimated speed of the moving object may be displayed as information to be displayed in a sub-region different from the relay image.
  • you may display the estimated speed of a moving body as information displayed by the website and application program for knowing the content of a relay image in more detail.
  • the present invention may be configured as a viewing support apparatus that estimates and outputs a distance difference between a plurality of moving objects instead of the estimated speed or together with the estimated speed.
  • a distance difference estimation unit 18 is provided instead of the speed estimation unit 12 described above.
  • the image cutout unit 11 includes the plurality of moving bodies at predetermined time intervals from a relay video having a plurality of moving bodies moving from the first point to the second point as subjects. A process of cutting out the image in which is displayed.
  • the distance difference estimation part 18 estimates the distance difference between the said mobile bodies based on the change of the background image of the image in which the said some mobile body was projected.
  • the output part 14 outputs the distance difference of the said some mobile body.
  • the present embodiment it is possible to measure the distance difference between a plurality of moving objects displayed in the relay video and provide it as supplementary information of the video.
  • FIG. 2 is a diagram showing an overall configuration of the first embodiment of the present invention. Referring to FIG. 2, a configuration in which a camera 200 mounted on a relay vehicle that relays a road race or the like, a viewing support device 100, and a television receiver 300 that is an output destination of information of the viewing support device 100 is connected. It is shown.
  • the camera 200 transmits the captured relay video to the viewing support apparatus 100.
  • Data transfer between the camera 200 and the viewing support apparatus 100 may be a wired method, a wireless method, or a physical medium transfer method such as a magnetic tape.
  • the viewing support apparatus 100 is arranged in a broadcast station or a video distribution company in a desirable form. Note that the arrangement of the viewing support apparatus 100 is not limited to a broadcasting station or a moving picture distribution company, and may be arranged, for example, in a relay vehicle or on the television receiver side. The viewing support apparatus 100 may be arranged on the Internet or on a cloud platform.
  • the television receiver 300 is an output destination of information obtained by the viewing support apparatus 100 in addition to the relay image.
  • the output destination of the information obtained by the viewing support apparatus 100 may be any apparatus that can display the relay image and the accompanying information, and an apparatus other than the television receiver 300 may be used.
  • a PC personal computer
  • a tablet terminal a smartphone
  • other devices that can reproduce moving images via the Internet can be used instead of the television receiver 300.
  • FIG. 3 is a diagram showing the configuration of the viewing support apparatus according to the first embodiment of the present invention. Referring to FIG. 3, a configuration including an image cutout unit 110, a speed estimation unit 120, a moving body specifying unit 130, an output unit 140, and a runner information DB (database) 150 is shown.
  • the image cutout unit 110 cuts out an image for specifying the position of the runner from the relay video, and sends the image to the speed estimation unit 120 and the moving body specification unit 130.
  • the image cutout unit 110 cuts out an image at the timing when the feet of the runner who is the subject in the relay video arrives on the ground.
  • the reason why the timing for cutting out the image is the timing when the runner's foot arrives at the ground is that the positional relationship between the runner and the background image can be appropriately specified, and the speed estimation accuracy is improved.
  • the expression “cut out an image” is used, but in practice, a frame in which the runner's foot is on the ground may be selected from the frames constituting the relay video.
  • the moving body identification unit 130 refers to the information stored in the runner information DB 150, identifies the runner from the face image or race bib that is the subject of the relay video, and outputs the result to the output unit 140.
  • AI Artificial Intelligence
  • FIG. 4 is a diagram showing an example of information held in the runner information DB 150.
  • runner information in which a bib number and a player name are associated with each other is stored.
  • the moving object specifying unit 130 recognizes the number from the image sent from the image cutout unit 110, reads the runner name corresponding to the number, and sends it to the output unit 140.
  • the information in the case of specifying a runner with a race bib is shown, for example, when specifying a runner from a face image, the face of a runner photographed in advance instead of the race bib The image is registered.
  • profile information such as a team to which each runner belongs, age, past winning history, and the like may be registered in the runner information DB 150.
  • the speed estimation unit 120 estimates the speed of the runner from the change in the background image of the runner that is the subject of the relay video, and outputs the result to the output unit 140.
  • the speed estimator 120 determines the amount of movement between the camera 200 and the runner, the position of the horizon and the ground surface included in the background image, By estimating the contact position, the relative distance between the camera 200 and the runner is estimated. In addition, the speed estimation unit 120 estimates the moving distance of the camera 200 (relay vehicle) by the same method. Next, the speed estimation unit 120 calculates the relative speed of the runner (speed viewed from the camera 200) from the frame rate of the frame cut out by the image cutout unit 110 and the change in the relative distance. In addition, the speed estimation unit 120 estimates the moving speed of the camera 200 (relay vehicle) by the same method. Finally, the speed estimation unit 120 calculates the runner's moving speed by adding the runner's relative speed and the moving speed of the camera 200 (relay vehicle).
  • the output unit 140 provides the viewer with the runner information received from the moving body specifying unit 130 and the estimated speed of the runner received from the speed estimation unit 120 in association with each other.
  • FIG. 5 is an example of a form of providing information by the output unit 140.
  • runner information player name
  • estimated speed are displayed in a form superimposed on the relay video.
  • the runner information and the output form of the estimated speed are not limited to the example shown in FIG.
  • a form in which the specified list of runners and the estimated speed of each runner are displayed together in a sub-area other than the display area of the relay video can be employed.
  • the image transmission timing to the moving body specifying unit 130 is not limited to this.
  • the moving body specifying unit 130 may acquire an image at an appropriate timing such as scene switching and specify the runner from the relay video or its frame image independently of the speed estimation. This is because once the runner's information is specified, it is not necessary to basically change it.
  • the present invention has an advantage that it is not necessary for a player who is a moving body to wear a measuring device such as an acceleration sensor. Also, in comparison with Patent Document 2, the present invention has an advantage that it is not necessary to dispose imaging devices at various points on a predetermined course.
  • FIG. 15 is a diagram showing a modified configuration of the viewing support apparatus 100c according to the first embodiment of the present invention. The difference from the configuration of FIG. 3 is that a distance difference estimation unit 180 is added between the speed estimation unit 120 and the output unit 140.
  • the distance difference estimation unit 180 estimates a distance difference between a plurality of runners using the position information of the runners calculated in the speed estimation process of the speed estimation unit 120. Then, the distance difference estimation unit 180 outputs the estimated distance difference between the plurality of runners to the output unit 140. And the output part 140 provides a viewer with the distance difference of several runners in addition to a runner's estimated speed.
  • a virtual runner who gave the record time can be displayed from the record time using AR (Augmented Reality) technology. it can.
  • the runner represented by the broken line before the number 11 in FIG. 17 is an image of a virtual record time holder displayed using the AR technology.
  • the distance difference between this virtual record time holder and the actual runner is displayed.
  • the viewer can make predictions such as “the record time is likely to be updated” and “the record time cannot be updated at this pace” with reference to the distance difference and the speed difference.
  • FIG. 7 is a diagram showing the configuration of the viewing support apparatus according to the second embodiment of the present invention.
  • the difference from the viewing support apparatus 100 of the first embodiment shown in FIG. 3 is that a facial expression determination unit 170 is added to the lower stage of the moving body specifying unit 130. Since other configurations and operations are the same as those of the first embodiment, the following description will focus on differences.
  • the facial expression determination unit 170 When the facial expression determination unit 170 receives the relay image from the image cutout unit 110 via the moving body specifying unit 130, the facial expression determination unit 170 specifies a runner's face image from the image, determines the facial expression, and outputs the result to the output unit 140. To do.
  • Various methods can be used as the facial expression determination method in the facial expression determination unit 170. For example, it is possible to adopt a method of determining facial expressions using changes and movement amounts of each organ of the runner's face. Further, the facial expression may be determined not only from the facial expression but also from the runner's gesture. For example, even if the runner's face itself has no expression, the runner may determine that the runner is “a painful expression” when the face continues to shake from side to side. Alternatively, teacher data for each facial expression may be registered in advance, and the facial expression may be determined by comparison with the runner's facial expression.
  • the output unit 140 provides the viewer with the runner information received from the moving body specifying unit 130, the estimated runner speed received from the speed estimation unit 120, and the runner's facial expression received from the facial expression determination unit 170.
  • FIG. 8 is an example of a form of providing information by the output unit 140.
  • the difference from the first embodiment shown in FIG. 6 is that an icon indicating a runner's facial expression is added in the boxes 400a and 400b. Thereby, the viewer can guess the state from the facial expression of each runner.
  • the facial expression of the runner A on the near side of the screen can be grasped also from the relay video, but the facial expression of the runner B behind the screen has a small face or the camera is not in focus. For some reasons, it may not be possible to grasp directly from the relay video. According to the present embodiment, it is possible to convey the runner's facial expression to the viewer even in such a case.
  • FIG. 9 is a diagram showing a configuration of a viewing support apparatus 100b according to the third embodiment of the present invention.
  • the difference from the viewing support apparatus 100 of the first embodiment shown in FIG. 3 is that the speed estimation unit 120 is replaced with a speed estimation unit 120b, and a reference background image database (reference background image DB) 160 is added. It is. Since other configurations and operations are the same as those of the first embodiment, the following description will focus on differences.
  • the speed estimation unit 120b of this embodiment refers to the information stored in the reference background image DB 160, estimates the speed of the runner from the change in the background image of the runner that is the subject of the relay video, and outputs the result as the output unit 140. Output to.
  • FIG. 10 is a diagram illustrating an example of information held in the reference background image DB 160.
  • information is stored in which a reference background image for specifying the position of the runner and a point (distance from the start point) corresponding to the image are associated with each other.
  • the speed estimation unit 120b Upon receiving the image (for example, FIG. 11) sent from the image cutout unit 110, the speed estimation unit 120b extracts a background image (see FIG. 12). Then, the speed estimation unit 120b specifies, from the reference background image DB 160, a point associated with a reference background image having a feature amount common to the feature amount of the background image as the position of the runner.
  • the runner position at time t1 and the runner position at time t + 1 shown in FIG. 11 can be specified, and the speed (estimated travel distance / (t2-t1)) can be estimated.
  • the image sent from the image cutout unit 110 and the image held in the reference background image DB 160 are preferably cut out at the timing when the runner's foot touches the ground, as in the first embodiment.
  • the background image of the model moving body included in the captured image when the model moving body moves along the moving path of the moving body can be used.
  • an image cut out from a video of the same tournament performed in the past can be used as a background image of the model moving body.
  • the speed of the runner can be estimated without using the speed of the camera 200 (relay vehicle).
  • the viewing support apparatus 100 may be configured to estimate the speed of the subject and provide the estimated speed for the relay video distributed by the video distribution company or the like via the Internet.
  • the provision destination of the speed information and the like by the viewing support apparatus 100 is a PC (personal computer), a tablet terminal, a smartphone, or other devices capable of reproducing a moving image via the Internet.
  • television receivers having an Internet connection function are also included in these devices.
  • the subject is identified and the speed of the subject is estimated mainly using an image cut out from the relay video.
  • the estimated speed is estimated using other auxiliary information.
  • a configuration that corrects or eliminates errors can also be employed.
  • the speed information of the relay vehicle is obtained, it is possible to verify whether or not the estimated speed of the subject is correct using the information.
  • it may be obliged to attach an RFID tag or a chip to a body such as a runner or a worn item. Using information obtained from these RFID tags and chips, it is possible to identify the runner and verify the estimated speed.
  • a relay video can be obtained.
  • Applicable to all competitions For example, in the training of track and field athletes, it is conceivable that the speed distance is measured in real time from video captured by a camera and used for training.
  • the present invention can also be applied to speed estimation of a subject of a relay video such as a bicycle race, a horse race, a car race, and swimming.
  • the subject is identified by the method described above, the speed is estimated, and the security officer It is also applicable to the use of notifying a person.
  • the present invention can be applied to a command purpose such as providing a specific person to be monitored and speed information thereof to the security commander, and sending a security officer or expanding the security range.
  • the procedure shown in the first to third embodiments described above has functions as the viewing support device 10, 100 to 100c in the computer functioning as the viewing support device 10, 100 to 100c (9000 in FIG. 13). It can be realized by a program to be realized.
  • a computer is exemplified by a configuration including a CPU (Central Processing Unit) 9010, a communication interface 9020, a memory 9030, and an auxiliary storage device 9040 in FIG. That is, the CPU 9010 in FIG. 13 may execute the moving body specifying program and the speed estimation program to update each calculation parameter held in the auxiliary storage device 9040 or the like.
  • a CPU Central Processing Unit
  • each part (processing means, function) of the viewing support apparatuses 10 and 100 to 100c shown in the above-described embodiments performs the above-described processes by using the hardware of the processor mounted in these apparatuses. It can be realized by a computer program to be executed.
  • the moving object handled by the above-described viewing support device is a runner of a competitive competition
  • the means for cutting out can take a configuration in which an image is cut out at the timing when the feet of the runner touch the ground.
  • the means for estimating the speed of the moving body is: From the image showing the moving object, the relative distance between the camera and the runner is estimated, It is possible to adopt a configuration in which processing for estimating the relative speed between the camera and the moving object is executed from the frame rate of the image on which the moving object is projected and the change in the relative distance between the camera and the runner.
  • the means for estimating the speed of the moving body is: By adding the relative speed of the moving body and the moving speed of the camera, it is possible to adopt a configuration for calculating the moving speed of the runner.
  • the means for estimating the speed of the moving body can adopt a configuration for estimating the speed of the moving body based on a change in a feature amount calculated from a background image of an image on which the moving body is projected.
  • the means for estimating the speed of the moving body is: A feature amount of a background image of the model moving body included in a captured image when the model moving body moves on a moving path of the moving body; Identifying the position of the moving body by collating with the feature amount calculated from the background image of the image showing the moving body, A configuration in which the position of the moving body is estimated using the specified position can be employed.
  • [Seventh form] Means for cutting out images on which the plurality of moving bodies are projected at predetermined time intervals from a relay video having a plurality of moving bodies moving from the first point to the second point as subjects; Means for estimating a distance difference between the plurality of moving bodies based on a change in a background image of an image in which the plurality of moving bodies are projected; And a means for outputting a distance difference between the plurality of moving bodies.
  • the viewing support device described above is Furthermore, it comprises means for identifying the moving body based on the image of the moving body displayed in the image, It is possible to adopt a configuration that outputs the information of the identified mobile object and at least one of the estimated speed or the distance difference.
  • the mobile body is a runner of a competitive competition
  • the means for specifying the moving body is: It is possible to adopt a configuration for identifying the runner based on the feature of the face image of the runner or information on the race bib.
  • Means for determining the expression of the runner from the features of the face image of the runner The means for outputting can adopt a configuration for outputting the expression of the runner in a predetermined manner.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本発明の目的は、中継映像に映し出された移動体とその速度を測定し、映像の付帯情報として提供することである。視聴支援装置は、第１の地点から第２の地点へと移動する移動体を被写体とする中継映像から、所定の時間間隔で、前記移動体が映し出された画像を切り出す手段と、前記移動体が映し出された画像の背景画像の変化に基づいて、前記移動体の速度を推定する手段と、前記画像に映し出された前記移動体の像に基づいて、前記移動体を特定する手段と、前記特定した移動体の情報と、その推定速度とを出力する手段と、を備える。

Description

視聴支援装置、視聴支援方法及びプログラム
　（関連出願についての記載）
　本発明は、日本国特許出願：特願２０１８－０４５５８２号（２０１８年３月１３日出願）の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
　本発明は、視聴支援装置、視聴支援方法及びプログラムに関する。
　特許文献１に、複数移動体を撮像した動画から複数の移動体の対応付けを行う移動体識別装置の一例が開示されている。また、特許文献２には、移動体を撮影して得られる移動体の識別情報を認識し、予め登録した識別情報から検索する可搬型の情報認識装置を含む構成が開示されている。さらに、特許文献２の１３頁８行以下には、陸上トラック競技においてトラックの各所に撮像装置を配置し、選手を撮影した静止画からゼッケンナンバーを読み取り、一般家庭に動画とともに、各選手のスプリットタイムを配信する構成が開示されている。
　また、非特許文献１には、駅伝やマラソンなどのロードレース中継における走者間の距離を推定するシステムが開示されている。また、同文献の距離推定システムは、中継車の位置、カメラデータ、映像中の走者座標（フレーム内の被写体の位置）からカメラと走者間の距離を推定し、走者位置のフレーム間の変化から走者の速度を求めることができると記載されている（図１参照）。
特開２０１８－００５４７４号公報 国際公開第２００３／０３４２７８号
「ロードレース中継距離推定システム」、兼六館出版、「放送技術」，2016年69巻5月号，pp.101-105
　以下の分析は、本発明によって与えられたものである。上記した背景技術に記載の手法では、任意の時点における選手の速度を推定することはできないという問題点がある。
　また、非特許文献１の方法では、任意の時点における走者の速度を推定できるが、中継車の位置、カメラデータをリアルタイムに入手できることが条件となる。
　本発明は、上記した情報が得られなくとも、中継映像に映し出された移動体とその速度を測定し、映像の付帯情報として提供できる構成の豊富化に貢献できる視聴支援装置、視聴支援方法及びプログラムを提供することを目的とする。
　第１の視点によれば、第１の地点から第２の地点へと移動する移動体を被写体とする中継映像から、所定の時間間隔で、前記移動体が映し出された画像を切り出す手段を備えた視聴支援装置が提供される。この視聴支援装置は、さらに、前記移動体が映し出された画像の背景画像の変化に基づいて、前記移動体の速度を推定する手段と、前記移動体の推定速度を出力する手段と、を備える。
　第２の視点によれば、第１の地点から第２の地点へと移動する複数の移動体を被写体とする中継映像から、所定の時間間隔で、前記複数の移動体が映し出された画像を切り出す手段と、前記複数の移動体が映し出された画像の背景画像の変化に基づいて、前記移動体の距離差を推定する手段と、前記複数の移動体の距離差を出力する手段と、を備えた視聴支援装置が提供される。
　第３の視点によれば、第１の地点から第２の地点へと移動する移動体を被写体とする中継映像から、所定の時間間隔で、前記移動体が映し出された画像を切り出すステップと、前記移動体が映し出された画像の背景画像の変化に基づいて、前記移動体の速度を推定するステップと、前記移動体の推定速度を出力するステップと、を含む視聴支援方法が提供される。本方法は、少なくとも中継映像を入力として、画像分析を行って付帯情報を出力するコンピュータという、特定の機械に結びつけられている。
　第４の視点によれば、視聴支援装置を構成するコンピュータに、第１の地点から第２の地点へと移動する移動体を被写体とする中継映像から、所定の時間間隔で、前記移動体が映し出された画像を切り出す処理と、前記移動体が映し出された画像の背景画像の変化に基づいて、前記移動体の速度を推定する処理と、前記画像に映し出された前記移動体の像に基づいて、前記移動体を特定する処理と、前記特定した移動体の情報と、その推定速度とを出力する処理と、を実行させるプログラムが提供される。なお、このプログラムは、コンピュータが読み取り可能な（非トランジトリーな）記憶媒体に記録することができる。即ち、本発明は、コンピュータプログラム製品として具現することも可能である。また、このプログラムは、コンピュータ装置に入力装置又は外部から通信インタフェースを介して入力され、記憶装置に記憶されて、プロセッサを所定のステップないし処理に従って駆動させ、必要に応じ中間状態を含めその処理結果を段階毎に表示装置を介して表示することができ、あるいは通信インタフェースを介して、外部と交信することができる。そのためのコンピュータ装置は、一例として、典型的には互いにバスによって接続可能なプロセッサ、記憶装置、入力装置、通信インタフェース、及び必要に応じ表示装置を備える。
　本発明によれば、任意の時点における移動体の速度を推定することが可能となる。即ち、本発明は、背景技術に記載した視聴支援装置を、被写体となった移動体の速度情報を提供可能なものへと変換するものとなっている。
本発明の一実施形態の構成を示す図である。 本発明の第１の実施形態の全体構成を示す図である。 本発明の第１の実施形態の視聴支援装置の構成を示す図である。 本発明の第１の実施形態の視聴支援装置の走者情報データベースに保持される情報の一例を示す図である。 本発明の第１の実施形態の視聴支援装置による情報の提供形態の一例を示す図である。 本発明の第１の実施形態の視聴支援装置による情報の提供形態の別の一例を示す図である。 本明の第２の実施形態の視聴支援装置の構成を示す図である。 本発明の第２の実施形態の視聴支援装置による情報の提供形態の一例を示す図である。 本発明の第３の実施形態の視聴支援装置の構成を示す図である。 本発明の第３の実施形態の視聴支援装置の基準背景画像データベースに保持される情報の一例を示す図である。 本発明の第３の実施形態の視聴支援装置が切り出す中継画像を模式的に表した図である。 本発明の第３の実施形態の視聴支援装置による走者位置特定の原理を説明するための図である。 本発明の視聴支援装置を構成するコンピュータの構成を示す図である。 本発明の一実施形態の変形構成を示す図である。 本発明の第１の実施形態の視聴支援装置の変形構成を示す図である。 本発明の第１の実施形態の視聴支援装置による情報の提供形態の別の一例を示す図である。 本発明の第１の実施形態の視聴支援装置による情報の提供形態の別の一例を示す図である。
　はじめに本発明の一実施形態の概要について図面を参照して説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではない。また、以降の説明で参照する図面等のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号（データ）の流れを模式的に示すものであり、双方向性を排除するものではない。また、図中の各ブロックの入出力の接続点には、ポート乃至インタフェースがあるが図示省略する。また、プログラムはコンピュータ装置を介して実行され、コンピュータ装置は、例えば、プロセッサ、記憶装置、入力装置、通信インタフェース、及び必要に応じ表示装置を備える。また、コンピュータ装置は、通信インタフェースを介して装置内又は外部の機器（コンピュータを含む）と、有線、無線を問わず、交信可能に構成される。
　本発明は、その一実施形態において、図１に示すように、画像切り出し部１１と、速度推定部１２と、出力部１４と、を備えた視聴支援装置１０にて実現できる。
　より具体的には、画像切り出し部１１は、第１の地点から第２の地点へと移動する移動体を被写体とする中継映像から、所定の時間間隔で、前記移動体が映し出された画像を切り出す手段として機能する。
　速度推定部１２は、前記移動体が映し出された画像の背景画像の変化に基づいて、前記移動体の速度を推定する手段として機能する。
　出力部１４は、前記移動体の推定速度を出力する手段として機能する。なお、出力部１４によると、移動体の推定速度の出力形態としては種々のものが考えられる。例えば、中継画像に重畳表示（スーパーインポーズ）する情報として、移動体の推定速度を表示しても良い。また例えば、中継画像とは別のサブ領域に表示する情報として、移動体の推定速度を表示しても良い。また、中継映像の内容をより詳しく知るためのウェブサイトやアプリケーションプログラムにより表示する情報として移動体の推定速度を表示してもよい。
　以上のとおり、本実施形態によれば、中継映像に映し出された移動体とその速度を測定し、映像の付帯情報として提供することが可能となる。
　また、本発明は、別の実施形態において、前記推定速度の代わりに、あるいは、前記推定速度と併せて、複数の移動体の間の距離差を推定し、出力する視聴支援装置としても構成できる（図１４参照）。図１４の例では、前述の速度推定部１２の代わりに距離差推定部１８が備えられている。そして、この実施形態では、画像切り出し部１１は、前記第１の地点から第２の地点へと移動する複数の移動体を被写体とする中継映像から、所定の時間間隔で、前記複数の移動体が映し出された画像を切り出す処理を行う。そして、距離差推定部１８は、前記複数の移動体が映し出された画像の背景画像の変化に基づいて、前記移動体の間の距離差を推定する。そして、出力部１４は、前記複数の移動体の距離差を出力する。
　以上のとおり、本実施形態によれば、中継映像に映し出された複数の移動体の間の距離差を測定し、映像の付帯情報として提供することが可能となる。
［第１の実施形態］
　続いて、本発明の第１の実施形態について図面を参照して詳細に説明する。図２は、本発明の第１の実施形態の全体構成を示す図である。図２を参照すると、ロードレース等を中継する中継車に搭載されたカメラ２００と、視聴支援装置１００と、視聴支援装置１００の情報の出力先となるテレビジョン受像機３００とが接続された構成が示されている。
　カメラ２００は、撮影した中継映像を視聴支援装置１００に送信する。カメラ２００と視聴支援装置１００とデータの転送は、有線方式でも無線方式でも磁気テープなどの物理媒体の移送方式でもよい。
　視聴支援装置１００は、望ましい一形態において、放送局もしくは動画配信事業者等に配置される。なお、視聴支援装置１００の配置先は、放送局もしくは動画配信事業者等に限られず、例えば、中継車内、あるいは、テレビジョン受像機側に配置されていてもよい。また、視聴支援装置１００は、インターネット上や、クラウド基盤上に配置されていてもよい。
　テレビジョン受像機３００は、中継画像のほか、視聴支援装置１００により得られた情報の出力先となる。なお、視聴支援装置１００により得られた情報の出力先は、中継画像とその付帯情報を表示可能な装置であればよく、テレビジョン受像機３００以外の装置を用いても良い。例えば、インターネット経由で動画再生が可能なＰＣ（パーソナルコンピュータ）、タブレット端末、スマートフォンその他の機器をテレビジョン受像機３００の代わりに用いることもできる。
　図３は、本発明の第１の実施形態の視聴支援装置の構成を示す図である。図３を参照すると、画像切り出し部１１０と、速度推定部１２０と、移動体特定部１３０と、出力部１４０と、走者情報ＤＢ（データベース）１５０と、を含む構成が示されている。
　画像切り出し部１１０は、中継映像から走者の位置を特定するための画像を切り出し、速度推定部１２０と移動体特定部１３０に送る処理を行う。本実施形態では、画像切り出し部１１０は、中継映像における被写体である走者の足が地に着いたタイミングで、画像を切り出す。像を切り出すタイミングを、走者の足が地に着いたタイミングとする理由は、走者と背景画像の位置関係を適切に特定できるようになり、速度の推定精度が向上するためである。なお、本実施形態では「画像を切り出す」との表現を用いるが、実際には、中継映像を構成するフレームから走者の足が地に着いているフレームを選択すればよい。
　移動体特定部１３０は、走者情報ＤＢ１５０に格納された情報を参照して、中継映像の被写体である走者の顔画像やゼッケンから、走者を特定し、その結果を出力部１４０に出力する。なお、この走者の特定に顔画像を用いる場合、ＡＩ（Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ）利用して、事前に登録した顔画像と近似する特徴量を持つ走者を特定する方法を用いることができる。
　図４は、走者情報ＤＢ１５０に保持される情報の一例を示す図である。図４の例では、ゼッケンと選手名を対応付けた走者情報が格納されている。移動体特定部１３０は、画像切り出し部１１０から送られた画像からゼッケンを文字認識し、そのゼッケンに対応する走者名を読み出して、出力部１４０に送る。なお、図４の例では、ゼッケンにて走者を特定する場合の情報を示しているが、例えば、顔画像から走者を特定する場合には、ゼッケンに代えて、事前に撮影された走者の顔画像が登録される。また、図４の例以外にも、例えば、各走者の所属するチームや、年齢、過去の入賞歴などのプロフィール情報を走者情報ＤＢ１５０に登録してもよい。
　速度推定部１２０は、中継映像の被写体である走者の背景画像の変化から、走者の速度を推定し、その結果を出力部１４０に出力する。
　上記速度の推定方法の一例を示すと次のようになる。速度推定部１２０は、画像切り出し部１１０にて切り出された連続する複数フレームの差分情報からカメラ２００と走者の移動量、背景画像に含まれる地平線と地表面の映像内の位置、走者の足の接地位置を推定することで、カメラ２００と走者の相対距離を推定する。併せて、速度推定部１２０は、同様の手法で、カメラ２００（中継車）の移動距離を推定する。次に、速度推定部１２０は、画像切り出し部１１０にて切り出されたフレームのフレームレートと、相対距離の変化から走者の相対速度（カメラ２００から見た速度）を計算する。併せて、速度推定部１２０は、同様の手法で、カメラ２００（中継車）の移動速度を推定する。最後に、速度推定部１２０は、走者の相対速度とカメラ２００（中継車）の移動速度とを合算することで、走者の移動速度を計算する。
　出力部１４０は、移動体特定部１３０から受け取った走者情報と、速度推定部１２０から受け取った走者の推定速度とを対応付けて視聴者に提供する。図５は、出力部１４０による情報の提供形態の一例であり、図５の例では、中継映像に重畳させる形態で、走者の情報（選手名）と、推定速度が表示されている。これにより、視聴者は、走者が現在どの程度の速度で走っているのかはもちろんとして、そのペースが落ちているのか、逆にピッチを上げてきているのかといった情報を得ることが可能となる。
　なお、上記走者の情報と、推定速度の出力形態は図５に示した例に限られない。例えば、図６のボックス４００ａ、４００ｂ内に示すように、画像に映し出された複数の走者について、それぞれ走者情報を特定し、かつ、それぞれの推定速度を求めて表示することも可能である。これにより、視聴者は、各走者の速度差を把握することが可能となる。また、例えば、中継映像の表示領域とは別のサブ領域に、前記特定した走者のリストと、推定した各走者の速度をまとめて表示する形態も採用可能である。
　なお、上記した実施形態では、画像切り出し部１１０から移動体特定部１３０に切り出された画像が送られるものとして説明したが、移動体特定部１３０への画像送信タイミングはこれに限られない。たとえば、移動体特定部１３０が、シーン切り替わりなどの適切なタイミングで画像を取得し、速度推定とは独立して、中継映像やそのフレーム画像から走者を特定することでもよい。走者の情報は、一旦特定してしまえば、以降基本的に変える必要はないからである。
　例えば、特許文献１との比較においても、本発明では、移動体である選手等に、加速度センサ等の測定装置を装着してもらう必要がないという利点がある。また、特許文献２との比較においても、本発明は、予め決められたコースの各所に撮像装置を配置する必要がないという利点がある。
　また、本実施形態の視聴支援装置にも、複数の移動体の間の距離差、即ち、複数の走者の間の距離差の表示機能を追加することもできる。図１５は、本発明の第１の実施形態の視聴支援装置１００ｃの変形構成を示す図である。図３の構成との相違点は、速度推定部１２０と、出力部１４０の間に距離差推定部１８０が追加されている点である。
　距離差推定部１８０は、速度推定部１２０の速度推定の過程で算出された走者の位置情報を用いて、複数の走者の間の距離差を推定する。そして、距離差推定部１８０は、推定した複数の走者の間の距離差を出力部１４０に出力する。そして、出力部１４０は、走者の推定速度に加えて、複数の走者の距離差を視聴者に提供する。
　図１５に示す変形構成によれば、図１６のように、走者間の双方向矢印と、推定した距離差を表示することができる。これにより、視聴者は、複数の走者の間のそれぞれの距離差、速度差を参照して、「あと何分後に追いつきそうだ」、「このペースでは追いつけない」といった予測をすることができる。
　また、より望ましい形態において、過去のレコードタイムなどが記録されている場合には、レコードタイムから、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）技術を用いて、そのレコードタイムを出した仮想的な走者を表示することもできる。図１７のゼッケン１１番の手前の破線で表された走者は、ＡＲ技術を用いて表示された仮想的なレコードタイム保持者の像である。図１７の例では、この仮想的なレコードタイム保持者と現実の走者と間の距離差を表示している。これにより、視聴者は、それぞれの距離差、速度差を参照して、「レコードタイムを更新しそうだ」、「このペースではレコードタイムを更新できない」といった予測をすることができる。
［第２の実施形態］
　続いて、走者の表情を判定し、付帯情報として表示する機能を追加した本発明の第２の実施形態について図面を参照して詳細に説明する。図７は、本発明の第２の実施形態の視聴支援装置の構成を示す図である。図３に示した第１の実施形態の視聴支援装置１００との差異は、移動体特定部１３０の下段に表情判定部１７０が追加されている点である。その他の構成及び動作は第１の実施形態と同様であるので、以下、相違点を中心に説明する。
　表情判定部１７０は、移動体特定部１３０経由で画像切り出し部１１０から中継画像を受け取ると、その画像中から走者の顔画像を特定し、その表情を判定し、その結果を出力部１４０に出力する。表情判定部１７０における表情の判定手法としては、種々の方法を採用できる。例えば、走者の顔の各器官の変化や移動量を用いて表情を判定する方法を採ることができる。また顔の表情のみならず、走者のしぐさなどから、表情を判定してもよい。例えば、走者の顔自体は無表情であっても、顔が左右に揺れている状態が続いている場合に、その走者は「苦しそうな表情」と判定してもよい。また、事前に表情ごとの教師データを登録しておき、走者の表情との対比により表情を判定してもよい。
　出力部１４０は、移動体特定部１３０から受け取った走者情報と、速度推定部１２０から受け取った走者の推定速度と、表情判定部１７０から受け取った走者の表情を視聴者に提供する。図８は、出力部１４０による情報の提供形態の一例である。図６に示した第１の実施形態との相違点は、ボックス４００ａ、４００ｂ内に、走者の表情を示すアイコンが追加されている点である。これにより、視聴者は、各走者の表情からその状態を推測することが可能となる。例えば、図８の場合、画面手前側の走者Ａの表情は中継映像からも把握することができるが、画面奥の走者Ｂの表情は、顔が小さく写っていたり、カメラの焦点が合っていないなどの理由で、中継映像から直接把握することができない場合がある。本実施形態によれば、そのような場合でも視聴者に走者の表情を伝えることが可能となる。
　以上のように、本実施形態によれば、走者の情報や推定速度に加え、走者の表情を視聴者に伝えることが可能となる。
［第３の実施形態］
　続いて、走者の速度の推定方法に変更を加えた本発明の第３の実施形態について図面を参照して詳細に説明する。図９は、本発明の第３の実施形態の視聴支援装置１００ｂの構成を示す図である。図３に示した第１の実施形態の視聴支援装置１００との差異は、速度推定部１２０が速度推定部１２０ｂに置き換えられ、基準背景画像データベース（基準背景画像ＤＢ）１６０が追加されている点である。その他の構成及び動作は第１の実施形態と同様であるので、以下、相違点を中心に説明する。
　本実施形態の速度推定部１２０ｂは、基準背景画像ＤＢ１６０に格納された情報を参照して中継映像の被写体である走者の背景画像の変化から、走者の速度を推定し、その結果を出力部１４０に出力する。
　図１０は、基準背景画像ＤＢ１６０に保持される情報の一例を示す図である。図１０の例では、走者の位置を特定するための基準背景画像と、当該画像に対応する地点（スタート地点からの距離）とを対応付けた情報が格納されている。速度推定部１２０ｂは、画像切り出し部１１０から送られた画像（例えば、図１１）を受け取ると、背景画像を取り出す（図１２参照）。そして、速度推定部１２０ｂは、基準背景画像ＤＢ１６０から、その背景画像の特徴量と共通する特徴量を持つ基準背景画像に対応付けられた地点を走者の位置として特定する。上記の処理を繰り返すことで、例えば、図１１に示す時刻ｔ１の走者位置と、時刻ｔ＋１の走者位置をそれぞれ特定し、速度（推定移動距離／（ｔ２－ｔ１））を推定することができる。なお、画像切り出し部１１０から送られた画像及び基準背景画像ＤＢ１６０に保持される画像は、第１の実施形態と同様に、走者の足が地面についたタイミングで切り出したものが好ましい。
　上記基準背景画像は、移動体の移動経路をモデル移動体が移動した際の撮影映像に含まれる前記モデル移動体の背景画像を用いることができる。また、このモデル移動体の背景画像として、過去に行われた同一の大会の映像から切り出した画像を用いることもできる。
　本実施形態によれば、カメラ２００（中継車）の速度を用いずに、走者の速度を推定できるという利点がある。
　以上、本発明の各実施形態を説明したが、本発明は、上記した実施形態に限定されるものではなく、本発明の基本的技術的思想を逸脱しない範囲で、更なる変形・置換・調整を加えることができる。例えば、各図面に示したネットワーク構成、各要素の構成、メッセージの表現形態は、本発明の理解を助けるための一例であり、これらの図面に示した構成に限定されるものではない。また、以下の説明において、「Ａ及び／又はＢ」は、Ａ及びＢの少なくともいずれかという意味で用いる。
　例えば、上記した実施形態では、視聴支援装置１００を介して中継映像がテレビジョン受像機で再生される例を挙げて説明したが、視聴支援装置１００の形態はこれに限られない。例えば、視聴支援装置１００に、動画配信事業者等がインターネットを介して配信する中継映像についてその被写体の速度推定と、推定した速度の提供を行わせてもよい。この場合、視聴支援装置１００による速度情報等の提供先は、インターネット経由で動画再生が可能なＰＣ（パーソナルコンピュータ）、タブレット端末、スマートフォンその他の機器となる。もちろん、インターネット接続機能を備えたテレビジョン受像機もこれらの機器に含まれる。
　また、上記した実施形態では、主として中継映像から切り出した画像を用いて、被写体を特定し、かつ、被写体の速度を推定するものとして説明したが、その他の補助情報を用いて、推定した速度を補正したり、誤りを除去する構成も採用可能である。例えば、中継車の速度情報が得られる場合、その情報を用いて被写体の推定速度が正しいか否かを検証することができる。また、競技によっては、走者等の体や着用物にＲＦＩＤタグやチップの取り付けが義務付けられている場合がある。これらのＲＦＩＤタグやチップから得られる情報を用いて、走者の特定やその推定速度の検証を行うことも可能である。
　例えば、上記した実施形態では、ロードレースの中継映像から走者の情報と、その推定速度を提供する例を挙げて説明したが、本発明の適用範囲は、これに限られず、中継映像が得られる競技全般に適用可能である。例えば、陸上選手のトレーニングなどでも、カメラで撮影した映像からリアルタイムで速度距離を計測してトレーニングに活用するといった用途が考えられる。また、その他、トラック競技全般のほか、競輪、競馬、自動車レース、水泳などの中継映像の被写体の速度推定にも適用可能である。
　また、競争系の競技以外にも、例えば、イベント会場などの警備用途で巡回しているドローンなどで撮影された映像について、上述した方法で被写体を特定し、その速度を推定して、警備担当者に通知するという用途にも適用可能である。例えば、警備指揮者に対し、特定の監視対象者と、その速度情報とを提供することで、警備担当者を差し向けたり、警備範囲を広げるといった指揮用途にも適用可能である。
　また、上記した第１～第３の実施形態に示した手順は、視聴支援装置１０、１００～１００ｃとして機能するコンピュータ（図１３の９０００）に、視聴支援装置１０、１００～１００ｃとしての機能を実現させるプログラムにより実現可能である。このようなコンピュータは、図１３のＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９０１０、通信インタフェース９０２０、メモリ９０３０、補助記憶装置９０４０を備える構成に例示される。すなわち、図１３のＣＰＵ９０１０にて、移動体特定プログラムや速度推定プログラムを実行し、その補助記憶装置９０４０等に保持された各計算パラメーターの更新処理を実施させればよい。
　即ち、上記した各実施形態に示した視聴支援装置１０、１００～１００ｃの各部（処理手段、機能）は、これらの装置に搭載されたプロセッサに、そのハードウェアを用いて、上記した各処理を実行させるコンピュータプログラムにより実現することができる。
　最後に、本発明の好ましい形態を要約する。
［第１の形態］
　（上記第１の視点による視聴支援装置参照）
［第２の形態］
　上記した視聴支援装置が取り扱う移動体は、競争系競技の走者であり、
　前記切り出す手段は、前記走者の足が地についたタイミングで、画像を切り出す構成を採ることができる。
［第３の形態］
　前記移動体の速度を推定する手段は、
　前記移動体が映し出された画像から、カメラと走者の相対距離を推定し、
　前記移動体が映し出された画像のフレームレートと、前記カメラと走者の相対距離の変化から、前記カメラと移動体の相対速度を推定する処理を実行する構成を採ることができる。
［第４の形態］
　前記移動体の速度を推定する手段は、
　前記移動体の相対速度とカメラの移動速度とを合算することで、走者の移動速度を計算する構成を採ることができる。
［第５の形態］
　上記した視聴支援装置において、
　前記移動体の速度を推定する手段は、前記移動体が映し出された画像の背景画像から計算した特徴量の変化に基づいて、前記移動体の速度を推定する構成を採ることができる。
［第６の形態］
　上記した視聴支援装置において、
　前記移動体の速度を推定する手段は、
　前記移動体の移動経路をモデル移動体が移動した際の撮影映像に含まれる前記モデル移動体の背景画像の特徴量と、
　前記移動体が映し出された画像の背景画像から計算した特徴量とを照合することにより、前記移動体の位置を特定し、
　前記特定した位置を用いて前記移動体の位置を推定する構成を採用できる。
［第７の形態］
　第１の地点から第２の地点へと移動する複数の移動体を被写体とする中継映像から、所定の時間間隔で、前記複数の移動体が映し出された画像を切り出す手段と、
　前記複数の移動体が映し出された画像の背景画像の変化に基づいて、前記複数の移動体の間の距離差を推定する手段と、
　前記複数の移動体の間の距離差を出力する手段と、を備えた
　視聴支援装置。
［第８の形態］
　上記した視聴支援装置は、
　さらに、前記画像に映し出された前記移動体の像に基づいて、前記移動体を特定する手段を備え、
　前記特定した移動体の情報と、その推定速度または距離差の少なくとも一方と、を出力する構成を採ることができる。
［第９の形態］
　上記した視聴支援装置において、
　前記移動体は、競争系競技の走者であり、
　前記移動体を特定する手段は、
　前記走者の顔画像の特徴又はゼッケンの情報に基づいて、前記走者を特定する構成を採ることができる。
［第１０の形態］
　上記した視聴支援装置において、
　さらに、
　前記走者の顔画像の特徴から、前記走者の表情を判定する手段を備え、
　前記出力する手段は、前記走者の表情を所定の態様で出力する構成を採ることができる。
［第１１の形態］
　（上記第３の視点による視聴支援方法参照）
［第１２の形態］
　（上記第４の視点によるプログラム参照）
　なお、上記第１１～第１２の形態は、第１の形態と同様に、第２～第１０の形態に展開することが可能である。
　なお、上記の特許文献および非特許文献の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の開示の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし選択（部分的削除を含む）が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。
　１０、１００、１００ａ、１００ｂ、１００ｃ　視聴支援装置
　１１、１１０　画像切り出し部
　１２、１２０、１２０ｂ　速度推定部
　１４、１４０　出力部
　１８、１８０　距離差推定部
　１３０　移動体特定部
　１５０　走者情報ＤＢ（データベース）
　１５０ａ　走者特定エンジン
　１６０　基準背景画像ＤＢ（データベース）
　１７０　表情判定部
　２００　カメラ
　３００　テレビジョン受像機
　４００ａ、４００ｂ　ボックス
　４０１ａ、４０１ｂ　アイコン
　９０００　コンピュータ
　９０１０　ＣＰＵ
　９０２０　通信インタフェース
　９０３０　メモリ
　９０４０　補助記憶装置

Claims (12)

  1. 　第１の地点から第２の地点へと移動する移動体を被写体とする中継映像から、所定の時間間隔で、前記移動体が映し出された画像を切り出す手段と、
    　前記移動体が映し出された画像の背景画像の変化に基づいて、前記移動体の速度を推定する手段と、
    　前記移動体の推定速度を出力する手段と、を備えた
    　視聴支援装置。
  2. 　前記移動体は、競争系競技の走者であり、
    　前記切り出す手段は、前記走者の足が地についたタイミングで、画像を切り出す請求項１の視聴支援装置。
  3. 　前記移動体の速度を推定する手段は、
    　前記移動体が映し出された画像から、カメラと走者の相対距離を推定し、
    　前記移動体が映し出された画像のフレームレートと、前記カメラと走者の相対距離の変化から、前記カメラと移動体の相対速度を推定する処理を実行する請求項１又は２の視聴支援装置。
  4. 　前記移動体の速度を推定する手段は、
    　前記移動体の相対速度とカメラの移動速度とを合算することで、走者の移動速度を計算する請求項３の視聴支援装置。
  5. 　前記移動体の速度を推定する手段は、前記移動体が映し出された画像の背景画像から計算した特徴量の変化に基づいて、前記移動体の速度を推定する請求項１又は２の視聴支援装置。
  6. 　前記移動体の速度を推定する手段は、
    　前記移動体の移動経路をモデル移動体が移動した際の撮影映像に含まれる前記モデル移動体の背景画像の特徴量と、
    　前記移動体が映し出された画像の背景画像から計算した特徴量とを照合することにより、前記移動体の位置を特定し、
    　前記特定した位置を用いて前記移動体の位置を推定する請求項１から３いずれか一の視聴支援装置。
  7. 　第１の地点から第２の地点へと移動する複数の移動体を被写体とする中継映像から、所定の時間間隔で、前記複数の移動体が映し出された画像を切り出す手段と、
    　前記複数の移動体が映し出された画像の背景画像の変化に基づいて、前記複数の移動体の間の距離差を推定する手段と、
    　前記複数の移動体の間の距離差を出力する手段と、を備えた
    　視聴支援装置。
  8. 　さらに、前記画像に映し出された前記移動体の像に基づいて、前記移動体を特定する手段を備え、
    　前記特定した移動体の情報と、その推定速度または距離差の少なくとも一方と、を出力する請求項１から７いずれか一の視聴支援装置。
  9. 　前記移動体は、競争系競技の走者であり、
    　前記移動体を特定する手段は、
    　前記走者の顔画像の特徴又はゼッケンの情報に基づいて、前記走者を特定する請求項８の視聴支援装置。
  10. 　さらに、
    　前記走者の顔画像の特徴から、前記走者の表情を判定する手段を備え、
    　前記出力する手段は、前記走者の表情を所定の態様で出力する請求項９の視聴支援装置。
  11. 　第１の地点から第２の地点へと移動する移動体を被写体とする中継映像から、所定の時間間隔で、前記移動体が映し出された画像を切り出すステップと、
    　前記移動体が映し出された画像の背景画像の変化に基づいて、前記移動体の速度を推定するステップと、
    　前記移動体の推定速度を出力するステップと、
    　を含む視聴支援方法。
  12. 　視聴支援装置を構成するコンピュータに、
    　第１の地点から第２の地点へと移動する移動体を被写体とする中継映像から、所定の時間間隔で、前記移動体が映し出された画像を切り出す処理と、
    　前記移動体が映し出された画像の背景画像の変化に基づいて、前記移動体の速度を推定する処理と、
    　前記移動体の推定速度を出力する処理と、
    　を実行させるプログラム。
PCT/JP2019/009945 2018-03-13 2019-03-12 視聴支援装置、視聴支援方法及びプログラム WO2019176922A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020506548A JP7040599B2 (ja) 2018-03-13 2019-03-12 視聴支援装置、視聴支援方法及びプログラム
JP2022034126A JP7276538B2 (ja) 2018-03-13 2022-03-07 視聴支援装置、視聴支援方法及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018045582 2018-03-13
JP2018-045582 2018-03-13

Publications (1)

Publication Number Publication Date
WO2019176922A1 true WO2019176922A1 (ja) 2019-09-19

Family

ID=67908480

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/009945 WO2019176922A1 (ja) 2018-03-13 2019-03-12 視聴支援装置、視聴支援方法及びプログラム

Country Status (2)

Country Link
JP (2) JP7040599B2 (ja)
WO (1) WO2019176922A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01119190A (ja) * 1987-10-30 1989-05-11 Mazda Motor Corp 車両用走行制御装置
JPH02279181A (ja) * 1989-04-20 1990-11-15 Fujitsu Ltd 走者のピッチの計測方式
JP2010114547A (ja) * 2008-11-05 2010-05-20 Canon Inc 撮影システム及びレンズ装置
JP2012124553A (ja) * 2010-12-06 2012-06-28 Canon Inc 撮影システムおよびレンズ装置
WO2014046184A1 (ja) * 2012-09-24 2014-03-27 富士フイルム株式会社 複数被写体の距離計測装置及び方法
JP2015076738A (ja) * 2013-10-09 2015-04-20 カシオ計算機株式会社 撮影画像処理装置、撮影画像処理方法及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5477399B2 (ja) 2012-01-30 2014-04-23 カシオ計算機株式会社 情報処理装置、情報処理方法及びプログラム、並びに情報処理システム
JP2014174493A (ja) 2013-03-13 2014-09-22 Zenrin Datacom Co Ltd コンテンツ表示システム、コンテンツ配信サーバおよびコンテンツ表示方法
JP6350268B2 (ja) 2014-12-22 2018-07-04 株式会社Ｊｖｃケンウッド 接地検出装置、接地検出方法およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01119190A (ja) * 1987-10-30 1989-05-11 Mazda Motor Corp 車両用走行制御装置
JPH02279181A (ja) * 1989-04-20 1990-11-15 Fujitsu Ltd 走者のピッチの計測方式
JP2010114547A (ja) * 2008-11-05 2010-05-20 Canon Inc 撮影システム及びレンズ装置
JP2012124553A (ja) * 2010-12-06 2012-06-28 Canon Inc 撮影システムおよびレンズ装置
WO2014046184A1 (ja) * 2012-09-24 2014-03-27 富士フイルム株式会社 複数被写体の距離計測装置及び方法
JP2015076738A (ja) * 2013-10-09 2015-04-20 カシオ計算機株式会社 撮影画像処理装置、撮影画像処理方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YOSHIDA ET AL: "road race relaying distance estimation system", BROADCAST ENGINEERING, vol. 69, no. 5, 1 May 2016 (2016-05-01), pages 101 - 105 *

Also Published As

Publication number Publication date
JP7276538B2 (ja) 2023-05-18
JP2022075766A (ja) 2022-05-18
JPWO2019176922A1 (ja) 2021-03-11
JP7040599B2 (ja) 2022-03-23

Similar Documents

Publication Publication Date Title
US10499002B2 (en) Information processing apparatus and information processing method
US10152826B2 (en) Augmented reality display system, terminal device and augmented reality display method
US10636185B2 (en) Information processing apparatus and information processing method for guiding a user to a vicinity of a viewpoint
US11272160B2 (en) Tracking a point of interest in a panoramic video
JP5994397B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP6261815B1 (ja) 群集監視装置、および、群集監視システム
US20180103197A1 (en) Automatic Generation of Video Using Location-Based Metadata Generated from Wireless Beacons
US20170201708A1 (en) Information processing apparatus, information processing method, and program
EP3408846B1 (en) Line-of-sight-based content-sharing dynamic ad-hoc networks
CN113029128B (zh) 视觉导航方法及相关装置、移动终端、存储介质
US20210097701A1 (en) Multi-camera homogeneous object trajectory alignment
US20220084249A1 (en) Method for information processing, electronic equipment, and storage medium
US9851870B2 (en) Multi-dimensional video navigation system and method using interactive map paths
CN106060523A (zh) 全景立体图像采集、显示方法及相应的装置
WO2022041182A1 (zh) 音乐推荐方法和装置
JP6393377B1 (ja) ロボット、情報提供方法及び情報提供システム
JP2010198104A (ja) 映像表示システム、携帯端末システム、携帯端末装置及びサーバ並びにその映像表示方法
WO2019176922A1 (ja) 視聴支援装置、視聴支援方法及びプログラム
US20180160198A1 (en) Generation device
JPWO2020039897A1 (ja) 駅監視システム及び駅監視方法
US11875080B2 (en) Object sharing method and apparatus
CN106162193A (zh) 一种视频数据和传感器数据的编码方法和装置
JP7235098B2 (ja) 情報配信装置、情報配信方法、情報配信プログラム
US11250886B2 (en) Point of view video processing and curation platform
US11373318B1 (en) Impact detection

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19767325

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020506548

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19767325

Country of ref document: EP

Kind code of ref document: A1