WO2021124750A1 - 情報処理装置、情報処理方法、プログラム - Google Patents

情報処理装置、情報処理方法、プログラム Download PDF

Info

Publication number
WO2021124750A1
WO2021124750A1 PCT/JP2020/042413 JP2020042413W WO2021124750A1 WO 2021124750 A1 WO2021124750 A1 WO 2021124750A1 JP 2020042413 W JP2020042413 W JP 2020042413W WO 2021124750 A1 WO2021124750 A1 WO 2021124750A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
information processing
subject
content
Prior art date
Application number
PCT/JP2020/042413
Other languages
English (en)
French (fr)
Inventor
学 加茂
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to CN202080086211.5A priority Critical patent/CN114793486A/zh
Priority to JP2021565374A priority patent/JPWO2021124750A1/ja
Priority to US17/778,678 priority patent/US12010403B2/en
Priority to EP20904012.0A priority patent/EP4068762A4/en
Publication of WO2021124750A1 publication Critical patent/WO2021124750A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25875—Management of end-user data involving end-user authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • This technology relates to information processing devices, information processing methods, and programs, and in particular, to technology for generating content that combines two images.
  • Patent Document 1 stream data taken by a plurality of TV cameras are combined to generate one composite stream data, and the composite stream data is generated via a network in response to a request from a viewer terminal. It is disclosed that it will be delivered.
  • the purpose of this technology is to generate appropriate content for grasping the movement of the subject in the whole.
  • the information processing apparatus captures a part of the first image captured by the first imaging device and a part of the subject of the first image captured by the first imaging device or another imaging device. It is provided with a content generation unit that generates display content by combining the second image.
  • a content generation unit that generates display content by combining the second image.
  • the information processing device described above may include a synchronization processing unit that performs synchronization processing for synchronizing the first image and the second image. This makes it possible to transmit display content that combines the first image and the second image to a user terminal or the like.
  • the information processing device described above may include a synchronization processing unit that synchronizes the first image with the second image. As a result, even if the first image and the second image are taken at different angles of view, the temporal relationship can be grasped.
  • the display content may include superimposed information.
  • the superimposed information is, for example, character (text) information, image information, and the like.
  • the superimposed information may be explanatory information about the first image or the second image.
  • the explanatory information is, for example, in the case of a race image, information such as the date and time of the event, the place of the event, the name of the race, the name of the contestants, etc., which is useful for understanding when viewing the image.
  • the superimposed information may be used as comparative information with respect to the subject of the second image.
  • the comparative information is, for example, information indicating a difference from the target record of the athlete who is the subject of the second image. Specifically, it is information indicating how far ahead or behind the target record.
  • the comparison information may be information indicating the results of the subject of the second image.
  • the result of the subject of the second image is, for example, the past record of the player himself / herself of the subject of the second image.
  • the comparison information may be information indicating the performance of a person other than the subject of the second image.
  • the results of a person other than the subject in the second image are, for example, a record of the player with the best results among other players participating in the same race.
  • it may be a record such as a Japanese record or a world record.
  • the information processing device described above includes an analysis processing unit that performs image analysis on the subject of the second image and extracts a feature amount that affects the performance of the subject of the second image, and the superimposed information is the feature. It may be information about the quantity.
  • the feature amount that affects the performance of the subject in the second image is, for example, the number and frequency of breathing, the number of times a hand is scratched, and the like in the case of swimming.
  • the information processing device described above includes an authentication processing unit that authenticates a user based on the received user information, and the transmission processing unit may select and transmit the display content based on the authentication result.
  • the display content is image content including personal information. Only if such content is successfully authenticated by the user will it be transmitted.
  • the information processing device described above may include a content management unit that sets a disclosure range for each display content.
  • the display content may or may not have viewing restrictions depending on the player of the subject.
  • the information processing device described above includes an authentication processing unit that performs user authentication based on received user information, and the transmission processing unit transmits the display content based on the authentication result and the disclosure range. May be good. For example, a user is identified by user authentication, and it is determined whether or not to accept the user's request based on the disclosure range set in the display content.
  • an image comparison between the first image and the second image may be performed.
  • synchronization processing is performed by comparing a part of both images and calculating the degree of coincidence.
  • the transmission processing unit in the above-mentioned information processing apparatus may perform streaming distribution.
  • a streaming distribution is performed by combining an official first image obtained by taking a bird's-eye view of the whole and an official second image focusing on a specific player.
  • a first image captured by the first imaging device and a part of the subjects of the first image captured by the first imaging device or another imaging device are set as subjects. This is executed by an information processing device that generates display content by combining the second image.
  • a first image captured by the first imaging device and a part of the subject of the first image captured by the first imaging device or another imaging device are used as subjects.
  • the information processing apparatus is made to execute a generation process for generating display contents by combining two images. As a result, it is possible to generate appropriate content for grasping the movement of the subject in the whole.
  • the distribution system 1 is formed by connecting the distribution server device 3, the team terminal 4, and the personal terminal 5 so as to be able to communicate with each other via the communication network 2. Further, the distribution server device 3 is capable of communicating with the venue equipment system 6.
  • the venue equipment system 6 includes a plurality of image pickup devices 7.
  • the communication network 2 is assumed to be, for example, the Internet, a home network, a LAN (Local Area Network), a satellite communication network, and various other networks.
  • LAN Local Area Network
  • satellite communication network and various other networks.
  • the distribution server device 3 is, for example, an information processing device managed by an operating organization that manages various competitions and events related to swimming, and is composed of a PC (Personal Computer), a workstation, and the like.
  • PC Personal Computer
  • the distribution server device 3 manages schedules of swimming competitions and events, management of competition events, management of participants (athletes), and the like.
  • the distribution server device 3 transmits schedule information, competition events, and information about participants to the team terminal 4 and the personal terminal 5. Further, the distribution server device 3 receives the entry request to the tournament and executes the entry process to the tournament.
  • the distribution server device 3 is a device that distributes an image captured by the image pickup device 7 installed at the swimming venue to the team terminal 4 or the personal terminal 5.
  • the distribution server device 3 is capable of communicating with the image pickup device 7 included in the venue equipment system 6.
  • Communication between the distribution server device 3 and the image pickup device 7 may be enabled via a network, or may be enabled by being directly connected.
  • the venue equipment system 6 may include a management terminal that collectively manages each image pickup device 7, and the distribution server device 3 may be capable of communicating with the image pickup device 7 via the management device.
  • the venue equipment system 6 may be connected to the communication network 2, and the distribution server device 3 may be capable of communicating with the image pickup device 7 via the communication network 2.
  • the distribution server device 3 generates content for distribution (hereinafter referred to as “distribution content”) using the captured image data acquired from the image pickup device 7.
  • the distribution content is, for example, image data obtained by combining captured image data acquired from a plurality of imaging devices 7, and may be superposed with text information such as caption information and metadata and image data. Since the distributed content is the content displayed in each information processing device, it can be paraphrased as the display content.
  • the distribution content generated by the distribution server device 3 is appropriately distributed to the team terminal 4 and the personal terminal 5.
  • the distribution server device 3 may be an information processing device temporarily installed in the venue during the tournament period.
  • the information processing device owned by the operating organization is a permanent type of information processing that executes various processes that are constantly executed outside the tournament period, such as schedule management, player information management, and entry processing.
  • the distribution server device 3 may be configured by linking the information processing devices.
  • the distribution server device 3 is configured to include both a permanent information processing device and a temporary information processing device will be described.
  • the team terminal 4 is an information processing device owned by a swimming team or a club team, and is, for example, a PC or a PDA (Personal Digital Assistant).
  • the team terminal 4 can be used only by users (staff and athletes) who belong to the swimming team, for example, and can make various requests to the distribution server device 3.
  • the various requests are, for example, a request for transmitting distribution content and a request for transmitting tournament information.
  • the team terminal 4 can transmit an entry request to the competition to the distribution server device 3 by designating the competition, the event, and the athlete.
  • the team terminal 4 manages information about the athletes belonging to the swimming team.
  • the team terminal 4 is capable of transmitting, for example, the results and participation information of the athletes to which the team terminal 4 belongs in response to a request from the personal terminal 5.
  • the personal terminal 5 is an information processing device owned by an athlete, and is, for example, a device having a communication function such as a mobile terminal device such as a smartphone or tablet, a mobile phone, a PC, a game device, a video device, or a PDA. ..
  • the personal terminal 5 can transmit a tournament result and a request for acquisition of personal information to the team terminal 4 to obtain each information. Further, the personal terminal 5 may be configured to be able to receive the tournament information and the distribution contents from the distribution server device 3. Further, the personal terminal 5 may be capable of transmitting a login request to the team terminal 4 and the distribution server device 3. For example, by transmitting an ID (Identification) and a password as login information to each device in order to acquire various types of information, an authentication process is executed in each device.
  • ID Identity
  • the venue equipment system 6 includes an imaging device 7 installed at the swimming venue. As described above, it may be configured to include a management terminal that collectively manages each imaging device 7.
  • the image pickup device 7 is a video camera or the like installed in the swimming venue. For example, an image pickup device 7 that captures an entire pool, an image pickup device 7 that captures an image for each lane, an image pickup device 7 that captures an electric bulletin board, and the like. , Is provided as an image pickup device 7 for photographing the audience seats and the like.
  • Distribution server device configuration The configuration of the distribution server device 3 will be described. As described above, here, an example in which the distribution server device 3 has a management function of the image pickup device 7 installed in the swimming venue will be described.
  • the distribution server device 3 is composed of a plurality of information processing devices. Each of the plurality of information processing devices has, for example, a configuration as shown in FIG.
  • the CPU 71 of the information processing apparatus executes various processes according to the program stored in the ROM 72 or the program loaded from the storage unit 79 into the RAM 73.
  • the RAM 73 also appropriately stores data and the like necessary for the CPU 71 to execute various processes.
  • the CPU 71, ROM 72, and RAM 73 are connected to each other via a bus 74.
  • An input / output interface 75 is also connected to the bus 74.
  • An input unit 76 including an operator and an operation device is connected to the input / output interface 75.
  • various controls and operation devices such as a keyboard, mouse, keys, dial, touch panel, touch pad, and remote controller are assumed.
  • the user's operation is detected by the input unit 76, and the signal corresponding to the input operation is interpreted by the CPU 71.
  • a display unit 77 made of an LCD or an organic EL panel and an audio output unit 78 made of a speaker or the like are connected to the input / output interface 75 as one or a separate body.
  • the display unit 77 is a display unit that performs various displays, and is composed of, for example, a display device provided in the housing of the distribution server device 3, a separate display device connected to the distribution server device 3, and the like.
  • the display unit 77 executes the display of various images for image processing, moving images to be processed, and the like on the display screen based on the instruction of the CPU 71. Further, the display unit 77 displays various operation menus, icons, messages, etc., that is, as a GUI (Graphical User Interface) based on the instruction of the CPU 71.
  • GUI Graphic User Interface
  • the input / output interface 75 may be connected to a storage unit 79 composed of a hard disk, a solid-state memory, or the like, or a communication unit 80 composed of a modem or the like.
  • the communication unit 80 performs communication processing via a transmission line such as the Internet, wire / wireless communication with various devices, bus communication, and the like.
  • the communication unit 80 has a function of communicating with the image pickup apparatus 7.
  • a drive 82 is also connected to the input / output interface 75, if necessary, and a removable recording medium 81 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory is appropriately mounted.
  • the drive 82 can read various computer programs and the like from the removable recording medium 81.
  • the computer program or the like read from the removable recording medium 81 is installed in the storage unit 79 as needed.
  • software for the processing of the present disclosure can be installed via network communication by the communication unit 80 or a removable recording medium 81.
  • the software may be stored in the ROM 72, the storage unit 79, or the like in advance.
  • the distribution server device 3 includes a camera controller 11, a switcher 12, a player information management unit 13, a content management unit 14, an image editing processing unit 15, an analysis processing unit 16, a synchronization processing unit 17, an authentication processing unit 18, a distribution control unit 19, and the like. It is configured to have each function of.
  • the camera controller 11 controls the image pickup device 7 installed in the venue. Specifically, control for causing the image pickup device 7 to perform rotation operations in the pan direction and tilt direction, control for executing zoom-in operation and zoom-out operation, and changing the quality of captured image data such as image quality and color. Control to do so. Further, the camera controller 11 can also control to transmit the captured image data captured by the imaging device 7.
  • the switcher 12 executes a process of changing the live distribution image, a process of switching the image to be displayed on the large display installed in the venue, and the like by switching the images of the plurality of image pickup devices 7.
  • the camera controller 11 and the switcher 12 may be realized as independent devices.
  • Player information management department 13 manages various information about players belonging to the management organization.
  • player information includes information for identifying an individual such as player name, player ID, team information, address, contact information, date of birth, full age at the time of the tournament, and tournament information and record information in which the player participated. ..
  • the content management unit 14 manages the image content information generated for distribution.
  • the image content is, for example, content generated by combining captured image data acquired from a plurality of imaging devices 7, distribution content for distribution to a team terminal 4 or an individual terminal 5, and a display displayed on each terminal. It is also content for.
  • the content management unit 14 manages the image content and the metadata and caption information associated with the image content.
  • the metadata and caption information are, for example, a subject name (player name), a tournament name, a tournament venue, a shooting date and time, a swimming event, a course number used by a player, a swimming record, a ranking, and the like related to image contents.
  • information for identifying the image pickup device 7 in which the athlete is photographed, shooting settings of the image pickup device 7, and the like may be recorded.
  • the content management unit 14 sets and stores the disclosure range for each image content.
  • the disclosure range can be set, for example, “can be distributed only to the player of the subject”, “can be distributed to the team to which the player belongs”, and "can be distributed to anyone”.
  • the image editing processing unit 15 performs editing processing on the captured image data acquired from the imaging device 7.
  • Various editing processes can be considered, for example, a process of synthesizing a plurality of captured image data acquired from a plurality of imaging devices 7 to generate one image data, a process of superimposing text information and an image, and an acquired captured image data. It is a process of cutting out an image in a predetermined range from.
  • the text information to be superimposed for example, player information, tournament information, swimming record, etc. can be considered.
  • the superimposed image is an image for visually showing the past performance of the athlete as the subject of the acquired captured image data, an image for visually showing the record information of various competitions and countries, and the like. ..
  • the analysis processing unit 16 is a processing unit that performs image analysis on the captured image data acquired from the imaging device 7 and acquires coaching information. For example, in the case of swimming, the number of breaths taken while swimming 50 m, the number of times the water is scratched, the number of times the water is kicked, and the like are acquired by image analysis. In addition, the position of the athlete and the speed (swimming speed) at that time may be calculated by image analysis. This information is regarded as coaching information that can be used for coaching. In extracting coaching information, for example, a deep learning method such as CNN (Convolutional Neural Network) may be used.
  • CNN Convolutional Neural Network
  • the synchronization processing unit 17 performs a process of synchronizing a plurality of captured image data when synthesizing a plurality of captured image data to generate one distribution content.
  • the authentication processing unit 18 performs an authentication process for determining whether or not a member is a member based on ID information and password information received from other terminals such as a team terminal 4 and a personal terminal 5.
  • the authentication processing unit 18 may be configured to transmit, for example, a two-dimensional bar code or the like as information indicating that the user or the terminal has succeeded in the authentication processing. For example, a user who has received the two-dimensional bar code information can smoothly enter the venue and the related party area by holding the two-dimensional bar code over a reader installed at the venue or the like. ..
  • the two-dimensional bar code can also be used when obtaining permission to shoot at the swimming venue.
  • the distribution control unit 19 acquires the image content from the database and controls the distribution of the image content to the terminal that has sent the image content distribution request. Further, the distribution control unit 19 may perform distribution control based on the disclosure range of the image content.
  • the distribution control unit 19 may perform control for live distribution of the captured image data captured at the swimming venue in real time.
  • a live image may be distributed to a user as a member of a family member who is visiting the swimming venue.
  • different live images may be distributed for each user.
  • the captured image data (overall image) from the imaging device 7 that captures the entire pool from a bird's-eye view and the captured image data (up image, personal image) from the imaging device 7 that zooms in and images the individual athlete. ) May be synthesized in the image editing processing unit 15, and individual image contents for each player obtained by this may be distributed to each user as a live image. This allows the user to receive image content specially created for his or her child.
  • the various functions included in the distribution server device 3 described above may be functions in which at least a part of the functions is provided by cloud computing. Further, for example, the distribution server device 3 is provided as a stationary server device owned by the operating organization without installing the distribution server device 3 at the swimming venue, and the distribution server device 3 has various functions. You may.
  • FIG. 4 shows a scene of the image content generated for distribution to the user.
  • the image content is configured to have a plurality of areas.
  • the first region AR1 is an region in which an image for visually recognizing the course of the entire race is displayed, and the captured image data acquired from the imaging device 7 that images the entire pool is displayed.
  • the image data generated by synthesizing a plurality of image data in this way will be referred to as "composite image data".
  • the captured image data acquired from the imaging device 7 that is capturing the close-up image of the individual player is displayed.
  • an enlarged image obtained by cutting out a specific region captured by the individual player in the image displayed in the first region AR1 is displayed in the second region AR2. You may. That is, images may be displayed in the first region AR1 and the second region AR2 using the captured image data acquired from one imaging device 7.
  • each area may be set to the same size or may be set to a different size. Further, a certain area may be arranged so as to be superimposed on another area.
  • character information may be displayed instead of the image.
  • An example thereof is shown in FIG.
  • the character information is, for example, explanatory information for explaining an image.
  • FIG. 5 is extracted from the information displayed on the electric bulletin board in addition to the first area AR1 in which the image of the whole is captured from a bird's-eye view and the second area AR2 in which the image of the individual player is displayed in close-up. This is an example in which a third area AR3 for displaying the text information is provided.
  • the third region AR3 is a region superimposed and displayed on the second region AR2.
  • the text information to be displayed as explanatory information in the third region AR3 may be acquired, for example, by performing image analysis on the captured image data obtained by capturing the image of the electric bulletin board. Character recognition is performed from the captured image data of the electric bulletin board to obtain text information.
  • the text information transmitted for displaying the electric bulletin board may be acquired, and the text information to be displayed as explanatory information may be extracted from the text information.
  • information on participants participating in the competition is acquired from a database
  • time information is acquired from a device that manages progress information on swimming (for example, lap time information every 50 m)
  • text information is obtained from the acquired information. May be generated.
  • text information such as the tournament name, tournament venue, shooting date and time, swimming event, player name of the player displayed in the second area AR2, course number used by the player, swimming record, ranking, personal best information, etc. May be obtained as.
  • the composite image data and the text information shown in FIG. 4 are separated and transmitted to other terminals such as the team terminal 4 and the personal terminal 5, and the text information is converted into the composite image data by the processing of the other terminals. It may be configured to be superimposed and displayed. In this case, it becomes easy for the user to freely set the position where the text information is superimposed and to set the display / non-display switching of the text information.
  • the image editing processing unit 15 of the distribution server device 3 may transmit the text information to another terminal in a state of being incorporated into the composite image data as image information in advance. Further, the text information may be displayed without providing the third area AR3. For example, by incorporating the text information into the captured image data to be displayed in the second region AR2, it is not necessary to provide the third region AR3 for displaying the text information.
  • the distributed content generation process is, for example, a process executed after a swimming competition, and is a process of generating individual distributed content for each athlete.
  • the distribution server device 3 selects one player in step S101.
  • the distribution content generation process is, for example, a process executed after the end of the competition using captured image data acquired from a plurality of imaging devices 7. Therefore, in step S101, it is a process of selecting one of the athletes who participated in the tournament. If there are athletes who have participated in multiple races in one tournament, for example, when there are athletes who have participated in both the qualifying and the final, the process of selecting both the race and the athlete is executed in step S101. ..
  • the distribution server device 3 executes a process of selecting the entire image in step S102. Specifically, the captured image data acquired from the imaging device 7 that has captured the entire image from a bird's-eye view is selected. Further, the captured image data to be acquired is that of a specific race in which the athlete selected in step S101 participated.
  • the distribution server device 3 executes a process of selecting a player's personal image in step S103. This process is captured image data for the athlete identified in step S101. If the athlete is participating in a plurality of races, one captured image data is selected based on the race information selected in step S101.
  • the distribution server device 3 acquires text information in step S104. This process is performed, for example, in order to acquire text information to be displayed in the third area AR3 of FIG.
  • the information to be acquired is, for example, information such as swimming venue information, tournament name, race information, course number used by the athlete during the competition, athlete name, performance information in this race such as lap time, and personal best. If the text information is not used, it is not necessary to execute the process of step 104.
  • the distribution server device 3 performs a synthesis process of captured image data in step S105. By this process, the distribution content as shown in FIGS. 4 and 5 is generated.
  • the generated distribution content is stored in the storage unit 79 or the like when the distribution server device 3 executes the process of step S106.
  • step S107 the distribution server device 3 determines whether or not the various processes described above have been completed for all the athletes who have participated in the tournament. If there are still unprocessed players, the distribution server device 3 returns to the process of step S101. On the other hand, when there is no unprocessed player, the distribution server device 3 ends a series of processes shown in FIG.
  • the distribution content generation process shown in FIG. 6 By executing the distribution content generation process shown in FIG. 6, different distribution content is generated for each player who participated in the tournament. Although an example of executing the process shown in FIG. 6 for all the athletes who participated in the tournament is shown, it may be executed for some athletes. Further, it may be appropriately executed when a distribution request for the distribution content is received from the team terminal 4 or the personal terminal 5. When the distribution content generation process shown in FIG. 6 is executed in response to the reception of the distribution request, unnecessary processing does not have to be executed, so that the processing load of the distribution server device 3 can be reduced.
  • the coaching information extraction process executed by the distribution server device 3 will be described with reference to FIG. 7.
  • the coaching information extraction process is a process of extracting information used for coaching by analyzing the captured image data acquired from the imaging device 7.
  • the coaching information extraction process is, for example, a process executed after the tournament.
  • the distribution server device 3 selects one player in step S201. This process is the same as the process of step S101 of FIG. 6, and is a process of selecting one player who participated in the tournament.
  • the distribution server device 3 selects a player's personal image in step S202. This process is the same as the process of step S102 of FIG.
  • the distribution server device 3 performs image analysis processing in step S203.
  • the image analysis process is a process of analyzing the captured image data selected in step S202 and extracting the feature amount.
  • a deep learning method such as CNN may be used.
  • the distribution server device 3 extracts coaching information in step S204.
  • the number of breaths, the number of times the water is scratched, the number of times the water is kicked, and the like as coaching information are extracted based on the analysis result of the previous image analysis process.
  • changes in swimming speed from the start to the end of the competition may be extracted.
  • step S205 the distribution server device 3 executes a process of storing coaching information. Specifically, coaching information is stored in association with the tournament or race in which the athlete participated.
  • step S206 the distribution server device 3 determines whether or not the various processes described above have been completed for all the athletes who have participated in the tournament. If there are still unprocessed players, the distribution server device 3 returns to the process of step S201. On the other hand, when there is no unprocessed player, the distribution server device 3 ends a series of processes shown in FIG. 7.
  • coaching information for each player who participated in the tournament is extracted. Although an example of executing the process shown in FIG. 7 for all the athletes who participated in the tournament is shown, it may be executed for some athletes. Further, when a request for transmission of coaching information is received from the team terminal 4 or the personal terminal 5, it may be executed as appropriate. When the coaching information extraction process shown in FIG. 7 is executed in response to the reception of the transmission request, it is not necessary to execute unnecessary processes, so that the processing load of the distribution server device 3 can be reduced.
  • the coaching information extracted here may be displayed as text information in the third area AR3 shown in FIG.
  • the distribution server device 3 receives various requests from the team terminal 4 and the personal terminal 5. Therefore, the distribution server device 3 confirms the reception of various requests and executes the corresponding process for each request.
  • FIG. 8 shows an example of the request response process executed by the distribution server device 3.
  • step S301 the distribution server device 3 determines whether or not the member registration request has been received. When it is determined that the member registration request has been received, the distribution server device 3 executes the member registration process in step S302 as a corresponding process.
  • the web page data for member registration is transmitted to another information processing device that has sent the request.
  • a web page for membership registration is displayed on another information processing device.
  • the distribution server device 3 executes the process of step S302, and then returns to the process of step S301 again.
  • step S301 determines whether or not the member registration request has been received. If it is determined in step S301 that the member registration request has not been received, the distribution server device 3 determines whether or not the tournament entry request has been received in step S303. When it is determined that the tournament entry request has been received, the distribution server device 3 executes the tournament entry process in step S304 as a corresponding process.
  • the web page data for applying for the tournament entry is transmitted to another information processing device that has received the request.
  • a web page for applying for a tournament entry is displayed on another information processing device.
  • the distribution server device 3 completes the tournament entry by receiving each input information and registering it in the database that manages the athletes participating in the tournament.
  • the web page data for notifying that the entry could not be made will be sent to other information processing devices.
  • the distribution server device 3 executes the process of step S304, and then returns to the process of step S301 again.
  • step S303 determines whether or not the distribution content transmission request has been received. If it is determined in step S303 that the tournament entry request has not been received, the distribution server device 3 determines whether or not the distribution content transmission request has been received in step S305. When it is determined that the distribution content transmission request has been received, the distribution server device 3 executes the distribution content transmission process in step S306 as a corresponding process.
  • step S401 the distribution server device 3 determines whether or not the user who has requested the transmission of the distribution content is in the login state.
  • the distribution server device 3 executes the login process in step S402.
  • the login process an ID and a password are received from another information processing device used by the user who made the request, and the information stored in the login database is collated to determine whether or not the login is possible. Whether or not login is possible is transmitted to the other information processing device that made the request. As a result, login success / failure information is displayed on other information processing devices.
  • the distribution server device 3 receives the distribution content selection information in step S403.
  • the distribution content selection information is information for selecting one distribution content from a plurality of distribution contents, for example, information specified by the user as to which player, which tournament, which race, which race distribution content is desired to be transmitted. is there.
  • the distribution server device 3 After receiving the distribution content selection information, the distribution server device 3 executes a process of acquiring the disclosure range information of the designated distribution content in step S404.
  • the disclosure range information is, for example, information that is associated with the distributed content and stored in the database.
  • the distribution server device 3 determines whether or not the specified distribution content may be transmitted. Whether or not transmission is possible is determined based on the requesting user who made the transmission request and the disclosure range information. For example, if the user who made the distribution request is the player himself / herself, the transmission of the distribution content is permitted assuming that the requesting user is included in the disclosure range. If the requesting user is a player's family and the disclosure range is permitted including the family, the transmission of the distributed content is permitted. On the other hand, if the requesting user is another person who has nothing to do with the player and the disclosure range is only the person or the team to which the player belongs, the requesting user is not included in the disclosure range and the transmission of the distributed content is not permitted. .. If the disclosure range is all users, the transmission of the distributed content is permitted regardless of the requesting user.
  • the distribution server device 3 transmits the distribution content in step S406.
  • the distribution server device 3 performs a process of transmitting in step S407 to the information processing device that has requested that the transmission of the distribution content is not permitted.
  • the distribution server device 3 After executing the distribution content transmission process in step S306, the distribution server device 3 returns to the process of step S301 and determines whether or not various requests have been received.
  • the distribution server device 3 determines in step S307 whether or not the coaching information transmission request has been received. When it is determined that the coaching information transmission request has been received, the distribution server device 3 executes the coaching information transmission process in step S308 as a corresponding process.
  • step S501 the distribution server device 3 determines whether or not the user who has requested the transmission of coaching information is in the login state, and executes the login process of step S502 as necessary. These processes are the same as the processes of steps S401 and S402 of FIG.
  • the distribution server device 3 receives coaching information selection information for selecting the type of coaching information in step S503. To do.
  • This information is information for identifying what kind of coaching information the user wants, and at least it is possible to specify which performance is targeted, such as a tournament name, a race name, or a player name. It is regarded as information.
  • the coaching information selection information includes items such as the entry position at the start, the number of breaths, the number of scratches, the number of kicks, the timing to start reaching for the turn, the start position of the turn, and the change in swimming speed. It may contain information for identifying which item the user has selected from among.
  • the distribution server device 3 can grasp which information should be transmitted from the plurality of coaching information.
  • the distribution server device 3 acquires coaching information in step S504 based on the information received in step S503. Subsequently, the distribution server device 3 transmits coaching information in step S505.
  • the disclosure range may be set in the coaching information.
  • a process of determining whether or not the specified coaching information may be transmitted, for example, the processes of steps S404 and S405 in FIG. 9 may be executed. Then, only when it is determined that transmission is possible, the processes of steps S504 and S505 may be executed.
  • the distribution server device 3 executes the coaching information transmission process in step S308, and then returns to the process in step S301 again.
  • the distribution server device 3 that has determined that the coaching information transmission request has not been received determines in step S309 whether or not the entry information request has been received.
  • the request for entry information is made by, for example, a player who is scheduled to participate in the tournament, and requests transmission of various information about the tournament scheduled to be participated.
  • the distribution server device 3 executes the entry information transmission process in step S310.
  • the entry information transmission process is a process of transmitting necessary information to another information processing device according to the user who made the request. From the viewpoint of personal information protection, the transmission target of entry information may be restricted. In this case, even if a transmission request is received from a non-target user, the entry information is not transmitted.
  • the distribution server device 3 After receiving the entry information request or determining that the entry information request has not been received, the distribution server device 3 returns to the process of step S301.
  • the distribution server device 3 repeatedly executes each of the processes of steps S301, S303, S305, S307, and S309 shown in FIG. 8, determines whether or not various requests have been received from other information processing devices, and appropriately responds. Execute the process to be performed.
  • the reception of the player information change request and the reception of the withdrawal request may be monitored.
  • the distribution server device 3 may have a function of performing live distribution (streaming distribution) on the day of the competition. In that case, an example of the process executed by the distribution server device 3 for live distribution will be described with reference to FIG.
  • step S601 the distribution server device 3 determines whether or not the user who requested live distribution is in the login state, and performs login processing as appropriate in step S602. These processes are the same as the processes of steps S401 and S402 of FIG.
  • the distribution server device 3 receives the player selection information in step S603.
  • the player selection information is information for selecting a player who desires live distribution from the players currently in competition, and is specified by, for example, a requesting user.
  • the distribution server device 3 After receiving the player selection information, the distribution server device 3 performs a synthesis process of captured image data in step S604. As a result, for example, composite image data as shown in FIGS. 4 and 5 is generated.
  • the synthesized image data is distributed to each user by the distribution server device 3 in step S605.
  • the distribution target terminal is, for example, a team terminal 4 or a personal terminal 5 used by the requesting user.
  • the distribution server device 3 determines in step S606 whether or not to end the live distribution. Livestreaming ends, for example, when the competition is over. Alternatively, the live distribution ends when the user performs an operation for ending the distribution.
  • the distribution server device 3 again executes the processes of steps S604 and S605.
  • the processing of steps S604 and S605 is executed, for example, frame by frame in the captured image data.
  • the distribution server device 3 executes the process of ending the live distribution in step S607.
  • a line such as 5G (5th Generation) that is capable of high-speed, large-capacity, low-delay, and other-connection communication as compared with a line such as 4G (4th Generation).
  • 5G 5th Generation
  • 4G 4th Generation
  • a large monitor installed in the venue often displays the top athletes during the competition, and other athletes concerned cannot see the image they want to see. Therefore, it is conceivable to watch the competition of the athlete you want to see with the naked eye, but it may be difficult to see because of the distance from the athlete, or it may be difficult to see due to the influence of water spray in the case of swimming.
  • a local 5G (private 5G) line constructed in a limited range such as in the venue, or a local 4G / LTE (private 4G / LTE) line, etc. It is preferable to use. As a result, high-speed and secure distribution can be performed without using the network of the telecommunications carrier.
  • composite image data for a player may be configured to be distributed only to that family member.
  • the currently logged-in user executes a process of determining whether or not it is appropriate as the distribution target, and only when it is determined to be appropriate. It may be configured to execute each process after step S604.
  • FIG. 12 is a superimposed display of an image G1 for showing a target record and a reference record on an image of a player captured in close-up.
  • the image G1 is a line for showing a target record or a reference record, and is displayed in front of or behind the traveling direction of the player of the subject.
  • the image G1 may be a line indicating the position of the athlete competing at the top position in the race.
  • a line as an image G1 showing the player's goal record is displayed in front of the player, and the user who browses the distributed content confirms the positional relationship between the image G1 and the player so that the player can It can be understood that it is behind the target record.
  • the superimposed position of the image G1 is calculated from the lap time and goal time of the record such as the target record and the reference record, the current position of the player who is the subject, and the elapsed time from the start. As a result, for example, a position 1 m ahead of the player who is the subject is calculated as the superimposed position.
  • grasp which position in the image is the position 1 m ahead.
  • the information acquired from the image pickup apparatus 7 that captured the captured image may be used, or the image analysis may be performed.
  • the image generated by superimposing the image G1 is provided to the user as image content.
  • the user may be able to select the distribution content on which the image G1 is superimposed and displayed as in this example.
  • the coaching information transmission process shown in FIG. 10 the user may be able to select the image content on which the image G1 is superimposed and displayed as the coaching information as in this example.
  • the content on which the image G1 is superimposed may be live-distributed.
  • the image G1 is superimposed on the image of the player captured in close-up
  • the image G1 may be superimposed and displayed on the screen.
  • the image G1 may be superimposed on both the image of the entire pool displayed in the first region AR1 and the close-up image of the athlete displayed in the second region AR2.
  • the image G1 is superimposed on the close-up image of the player displayed in the second area AR2, but the current position of the player and the position based on the reference record or the target record deviate from each other and are displayed in the second area AR2.
  • the image G1 may be superposed on the entire image displayed in the first region AR1.
  • a plurality of images may be displayed.
  • the images may be combined so that the captured image data obtained by capturing the swim when the athlete achieves his / her personal best and the captured image data of the current race of the same athlete are displayed side by side. This makes it possible to find differences in the timing of breathing and the timing of scratching hands.
  • the images may be combined so that the captured image data of other athletes are displayed side by side.
  • it may be configured so that coaching information about a certain player can be obtained by synthesizing the captured image data obtained by capturing the swim of a certain player and the captured image data obtained by capturing the swim of a top swimmer in the world.
  • FIG. 13 shows an example of the processing executed by the distribution server device 3.
  • the distribution server device 3 determines whether or not the distribution content generation request has been received. This request is to generate the distribution content using the captured image data taken by the individual user.
  • the distribution server device 3 executes the process of step S701 again.
  • the distribution server device 3 acquires the captured image data captured by the user in step S702.
  • the information processing device such as the personal terminal 5 that has transmitted the request performs a process of uploading the captured image data to the distribution server device 3.
  • the captured image data may be acquired together with the request reception in step S701.
  • the distribution server device 3 acquires information that identifies the target race.
  • This information is transmitted from the personal terminal 5 or the like to the distribution server device 3 by, for example, the user performing an operation of selecting a target race.
  • this information may be analyzed from metadata or the like included in the uploaded image data instead of being received from the distribution server device 3.
  • the target tournament or race may be specified from the shooting date and time and GPS (Global Positioning System) information.
  • the distribution server device 3 acquires the entire image of the target race in step S704.
  • the whole image is the captured image data for the target race specified in step S703 among the captured image data acquired from the imaging device 7 installed at the venue, and is, for example, an image obtained by capturing the entire pool.
  • the distribution server device 3 performs the synchronization process in step S705. If the captured image data used for generating the distribution content is acquired from the imaging device 7 set in the venue, it is possible to synchronize the time information of each imaging device 7 by matching the time information. However, in this example, at least a part of the captured image data is taken by the individual user, and the imaging devices are not synchronized with each other. Therefore, the synchronization process of step S705 is required.
  • each captured image data includes audio data
  • the audio data may be analyzed for synchronization.
  • the distribution server device 3 After performing the synchronization processing of each captured image data, the distribution server device 3 acquires the text information in step S706. This process is the same as the process of step S104 of FIG.
  • the distribution server device 3 performs the synthesis process in step S707.
  • the synthesis process is performed based on the processing result of the synchronization process performed in step S705. That is, for example, the synthesis process is performed so that the captured image data displayed in the first region AR1 shown in FIGS. 4 and 5 and the captured image data displayed in the second region AR2 are displayed in synchronization.
  • the distribution server device 3 can generate one distribution content by synchronizing the captured image data taken by an individual with the officially taken captured image data and the like. ..
  • the distribution server device 3 includes a first image captured by the first image pickup device (imaging device 7) and a first image pickup device (imaging device 7) or another image pickup.
  • a content generation unit content management that generates display content (delivery content) by combining a second image that is captured by a device (may be a personal terminal 5 or the like) and has a part of the subject of the first image as the subject. Part 14) is provided.
  • the image for each subject is, for example, a close-up image of each of the athletes competing in the first lane and the athletes competing in the eighth lane in the case of a swimming image.
  • the image in which the angle of view is changed is, for example, in the case of a race image, an angle of view that captures the entire race and an angle of view that captures only one athlete participating in the race.
  • the display content is generated by combining the official race image of the entire race and the race image of one player photographed individually, so that the equipment and the shooting target for shooting the entire race are generated.
  • the distribution server device 3 may include a transmission processing unit (distribution control unit 19) for transmitting display content.
  • a transmission processing unit distributed control unit 19
  • display content for example, distribution content shown in FIGS. 4 and 5
  • the distribution server device 3 may include a synchronization processing unit 17 that performs synchronization processing for synchronizing the first image and the second image, as described in the modification 2 of the editing example of the captured image data.
  • a synchronization processing unit 17 that performs synchronization processing for synchronizing the first image and the second image, as described in the modification 2 of the editing example of the captured image data.
  • the display content may include superimposed information.
  • the superimposed information is, for example, character (text) information, image information, and the like.
  • the superimposed information may be the explanatory information about the first image or the second image.
  • the explanatory information is, for example, in the case of a race image, the date and time of the event, the place of the event, the name of the race, the name of the contestants, and the like.
  • the superimposed information may be used as comparative information with respect to the subject of the second image.
  • the comparative information is, for example, information (for example, image G1) indicating a difference from the target record of the player who is the subject of the second image. Specifically, it is information indicating how far ahead or behind the target record. By superimposing such information, it is possible to grasp the pace distribution of the players, which was not known at the venue.
  • the comparison information may be information indicating the performance of the subject of the second image.
  • the result of the subject of the second image is, for example, the past record of the player himself / herself of the subject of the second image. That is, the past personal best record and the current record can be compared through the image.
  • an image such as a line showing a personal best record, it is possible to visually grasp the superior part and the inferior part during the race, which can be utilized for future training. Can be done.
  • the comparison information may be information indicating the performance of a person other than the subject of the second image (for example, the top swimmer in the world).
  • the results of a person other than the subject in the second image are, for example, a record of the player with the best results among other players participating in the same race.
  • it may be a record such as a Japanese record or a world record. This makes it possible to compare the target results of the athlete with the results of this race.
  • the weak points of the athlete can be visually grasped by displaying the line based on the target record.
  • the analysis processing unit 16 is provided with an analysis processing unit 16 that performs image analysis on the subject of the second image and extracts a feature amount that affects the performance of the subject of the second image, and superimpose information (for example, a third).
  • the text information displayed in the area AR3) may be information about the feature amount.
  • the feature amount that affects the performance of the subject in the second image is, for example, the number and frequency of breathing, the number of scratches, the number of breathing, and the like in the case of swimming.
  • the authentication processing unit 18 that performs user authentication based on the received user information is provided, and the transmission processing unit (distribution control unit 19) determines the authentication result. Based on this, display content (delivery content) may be selected and transmitted.
  • the display content is image content including personal information. Only if such content is successfully authenticated by the user will it be transmitted. As a result, personal information can be protected.
  • the content management unit 14 that sets the disclosure range for each display content (distribution content) may be provided.
  • the display content may or may not have viewing restrictions depending on the player of the subject. Since the disclosure range can be set, it is possible to manage the content according to the user's intention.
  • the transmission processing unit includes an authentication processing unit 18 that performs user authentication based on the received user information, and the transmission processing unit (distribution control unit 19) includes the authentication result and the disclosure range.
  • the display content (delivery content) may be transmitted based on the above. For example, a user is identified by user authentication, and it is determined whether or not to accept the user's request based on the disclosure range set in the display content. As a result, the content can be managed according to the user's intention and the content can be appropriately distributed.
  • the first image for example, the image displayed in the first area AR1
  • the second image for example, the image displayed in the first area AR1
  • An image comparison of the image displayed in the second region AR2 may be performed.
  • synchronization processing is performed by comparing a part of both images and calculating the degree of coincidence. As a result, both images can be synchronized even if the time stamp information is not associated with the image.
  • the present configuration makes it possible to search for and synchronize the matching points by image processing.
  • the transmission processing unit may perform streaming distribution.
  • a streaming distribution is performed by combining an official first image obtained by taking a bird's-eye view of the whole and an official second image focusing on a specific player. Further, by setting the second image as a different image for each player, different display contents for each player are streamed and distributed. As a result, it is possible to stream-deliver appropriate display content for each user in a situation where the desired image is different for each user.
  • a 5G / local 5G (or local 4G / LTE) line can be used for live distribution.
  • a network slicing technology that virtualizes the network, divides (slices) network resources, and uses slices properly according to the purpose and priority of the information to be communicated.
  • the distribution server device 3 uses various data and image data via a base station that is installed in the venue, builds a local 5G communication environment in the venue, and controls communication. Is delivered to each terminal to be delivered. In this case, for example, each terminal may perform a process of synthesizing image data or superimposing various data on the image data.
  • the distribution server device 3 generates information for specifying the slice to be allocated according to the use and characteristics of the data to be distributed, and the data and the information for specifying the slice to which the signal should be allocated.
  • (Metadata) is associated and transmitted to the base station.
  • the base station assigns each received data to a slice specified by its own metadata, and transmits each data to each terminal to be distributed using the assigned slice.
  • slice allocation it is conceivable to allocate image data, which is preferably viewed without delay, to slices for low-delay transmission.
  • swimming is taken as an example, but other sports may be targeted.
  • it may be an athletics competition such as 100m hurdles or 110m hurdles, or it may be a group competition such as synchronized swimming.
  • it can also be applied to brass band concerts and orchestra concerts.
  • the captured image data obtained by capturing the entire group is used as the entire image
  • the captured image data obtained by capturing a close-up image of one of the competitors is used as the close-up image, and the images are combined. Delivery content may be generated.
  • the captured image data obtained by capturing all the performers is used as the entire image
  • the captured image data obtained by capturing a close-up image of one of the performers is used as the close-up image, and the images are combined.
  • Delivery content may be generated. That is, it is possible to apply the various configurations described above to performances and competitions performed by a plurality of people.
  • each process shown in each of FIGS. 6, 7, 8, 9, 10, 11, and 13 is executed by, for example, a CPU, a DSP, or a device including these. It is a program. That is, in the program of the embodiment, the first image captured by the first imaging device and a part of the subject of the first image captured by the first imaging device or another imaging device are taken as subjects.
  • the control unit of the distribution server device 3 is made to execute a generation process for generating display contents by combining the second image and the above. With such a program, the above-mentioned distribution server device 3 can be realized.
  • a program that realizes such a distribution server device 3 can be recorded in advance in an HDD as a recording medium built in a device such as a computer device, a ROM in a microcomputer having a CPU, or the like.
  • a recording medium built in a device such as a computer device, a ROM in a microcomputer having a CPU, or the like.
  • flexible discs CD-ROMs (Compact Disc Read Only Memory), MO (Magneto Optical) discs, DVDs (Digital Versatile Discs), Blu-ray discs (Blu-ray Discs (registered trademarks)), magnetic discs, semiconductor memories, It can be temporarily or permanently stored (recorded) on a removable recording medium such as a memory card.
  • a removable recording medium can be provided as so-called package software.
  • it can also be downloaded from a download site via a network such as a LAN (Local Area Network) or the Internet.
  • LAN Local Area Network
  • the distribution server device 3 of the embodiment it is suitable for a wide range of provision of the distribution server device 3 of the embodiment.
  • a mobile terminal device such as a smartphone or tablet, a mobile phone, a personal computer, a game device, a video device, or a device having a camera function such as a PDA (Personal Digital Assistant), the smartphone or the like can be downloaded. It can function as the disclosed distribution server device 3.
  • This technology> (1) A combination of a first image captured by the first imaging device and a second image captured by the first imaging device or another imaging device and using a part of the subject of the first image as a subject.
  • the information processing apparatus according to any one of (4) to (8) above, wherein the superimposed information is information related to the feature amount.
  • the information processing device (2) above, wherein the transmission processing unit selects and transmits the display content based on the authentication result.
  • (11) The information processing device according to (2) above, which includes a content management unit that sets a disclosure range for each display content.
  • (12) Equipped with an authentication processing unit that authenticates the user based on the received user information The information processing device according to (2) above, wherein the transmission processing unit transmits the display content based on the authentication result and the disclosure range.
  • Distribution server device 7 Imaging device 14 Content management unit 16 Analysis processing unit 17 Synchronous processing unit 18 Authentication processing unit 19 Distribution control unit (transmission processing unit)

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

例えばレース競技など、他者との比較が重要な競技においては、競技全体の動きと個々の選手の動きの関係を一度に見たい。そのために、情報処理装置は、第１の撮像装置により撮像された第１画像と、前記第１の撮像装置または他の撮像装置により撮像され前記第１画像の被写体のうちの一部を被写体とした第２画像と、を組み合わせて表示用コンテンツを生成するコンテンツ生成部を備える。

Description

情報処理装置、情報処理方法、プログラム
　本技術は情報処理装置、情報処理方法、プログラムに関し、特に二つの画像を組み合わせたコンテンツを生成する技術に関する。
　例えばスポーツ競技などを観戦する場合に、複数の被写体についてのパフォーマンスを同時に視認することは難しい。これに対し、特許文献１では、複数台のテレビカメラで撮影したストリームデータを合成して一つの合成ストリームデータを生成し、その合成ストリームデータを視聴者端末からの要求に応じて、ネットワークを介して配信することが開示されている。
特開２００３－１８５８３号公報
　しかし、例えばレース競技など、他者との比較が重要な競技においては、競技全体の動きと個々の選手の動きの関係を一度に見たいという要望がある。
　そこで、本技術では、全体の中での被写体の動きを把握するための適切なコンテンツを生成することを目的とする。
　本技術に係る情報処理装置は、第１の撮像装置により撮像された第１画像と、前記第１の撮像装置または他の撮像装置により撮像され前記第１画像の被写体のうちの一部を被写体とした第２画像と、を組み合わせて表示用コンテンツを生成するコンテンツ生成部を備えたものである。
　複数の被写体を撮影する場合に、被写体ごとの画像や画角を変えた画像を同時に記録したいという要望や閲覧したいという要望がある。
　上記した情報処理装置においては、前記第１画像と前記第２画像を同期させる同期処理を行う同期処理部を備えていてもよい。
　これにより、第１画像と第２画像を組み合わせた表示用コンテンツをユーザ端末などに送信することが可能とされる。
　上記した情報処理装置においては、前記第１画像と前記第２画像を同期させる同期処理部を備えていてもよい。
　これにより、第１画像と第２画像がそれぞれ別の画角で撮影されたものであっても、時間的な関係を把握することができる。
　上記した情報処理装置において、前記表示用コンテンツは、重畳情報を含んでいてもよい。
　重畳情報とは、例えば、文字（テキスト）情報や画像情報などである。
　上記した情報処理装置において、前記重畳情報は、前記第１画像または前記第２画像についての説明情報とされてもよい。
　説明情報とは、例えば、レース画像であれば、開催日時、開催場所、レース名、出場者名など、画像を閲覧する上で理解の助けになるような説明となる情報である。
　上記した情報処理装置において、前記重畳情報は、前記第２画像の被写体に対する比較情報とされてもよい。
　比較情報とは、例えば、第２画像の被写体である選手の目標記録との差異を示す情報である。具体的には、目標記録に対してどの程度先行しているか、或いは遅れているかを示す情報である。
　上記した情報処理装置において、前記比較情報は、前記第２画像の被写体についての成績を示す情報とされてもよい。
　第２画像の被写体についての成績とは、例えば、第２画像の被写体の選手自身の過去の記録などである。
　上記した情報処理装置において、前記比較情報は、前記第２画像の被写体以外の人物の成績を示す情報とされてもよい。
　第２画像の被写体以外の人物の成績とは、例えば、同じレースに出場している他選手の中で最も成績のよい選手の記録などである。或いは、日本記録や世界記録などの成績などでもよい。
　上記した情報処理装置においては、前記第２画像の被写体についての画像解析を行い前記第２画像の被写体の成績に影響を及ぼす特徴量を抽出する分析処理部を備え、前記重畳情報は、前記特徴量に関する情報とされてもよい。
　第２画像の被写体の成績に影響を及ぼす特徴量とは、例えば、水泳であれば、息継ぎ回数や頻度、或いは手を掻く回数などである。
　上記した情報処理装置においては、受信したユーザ情報に基づいてユーザ認証を行う認証処理部を備え、前記送信処理部は、認証結果に基づいて前記表示用コンテンツを選択して送信してもよい。
　表示用コンテンツは、個人情報を含む画像コンテンツである。そのようなコンテンツがユーザ認証に成功した場合に限り送信される。
　上記した情報処理装置においては、表示用コンテンツごとに開示範囲を設定するコンテンツ管理部を備えていてもよい。
　表示用コンテンツは、被写体の選手によって閲覧制限を設けたい場合とそうでない場合がある。
　上記した情報処理装置においては、受信したユーザ情報に基づいてユーザ認証を行う認証処理部を備え、前記送信処理部は、認証結果と前記開示範囲とに基づいて前記表示用コンテンツの送信を行ってもよい。
　例えば、ユーザ認証によってユーザを特定し、表示用コンテンツに設定された開示範囲に基づいて該ユーザの要求を受諾するか否かの判定を行う。
　上記した情報処理装置において、前記同期処理では、前記第１画像と前記第２画像の画像比較を行ってもよい。
　例えば、第１画像と第２画像が動画像である場合に、両画像の一部同士を比較して一致度を算出することにより、同期処理を行う。
　上記した情報処理装置における前記送信処理部はストリーミング配信を行ってもよい。
　例えば、競技において全体を俯瞰で撮像した公式の第１画像と特定の選手に着目した公式の第２画像を組み合わせてストリーミング配信を行う。
　本技術の情報処理方法は、第１の撮像装置により撮像された第１画像と、前記第１の撮像装置または他の撮像装置により撮像され前記第１画像の被写体のうちの一部を被写体とした第２画像と、を組み合わせて表示用コンテンツを生成する情報処理装置が実行するものである。
　本技術のプログラムは、第１の撮像装置により撮像された第１画像と、前記第１の撮像装置または他の撮像装置により撮像され前記第１画像の被写体のうちの一部を被写体とした第２画像と、を組み合わせて表示用コンテンツを生成する生成処理を情報処理装置に実行させるものである。
　これにより、全体の中での被写体の動きを把握するための適切なコンテンツを生成することができる。
実施の形態の配信システムの構成を示す図である。 実施の形態の情報処理装置のブロック図である。 実施の形態で配信サーバ装置の機能ブロック図である。 実施の形態の配信コンテンツの一例である。 実施の形態の配信コンテンツの別の例である。 実施の形態の配信コンテンツ生成処理の一例を示すフローチャートである。 実施の形態のコーチング情報抽出処理の一例を示すフローチャートである。 実施の形態の要求対応処理の一例を示すフローチャートである。 実施の形態の配信コンテンツ送信処理の一例を示すフローチャートである。 実施の形態のコーチング情報送信処理の一例を示すフローチャートである。 実施の形態のライブ配信処理の一例を示すフローチャートである。 実施の形態の撮像画像データの編集例の変形例１を説明するための図である。 実施の形態の配信コンテンツ生成要求受信処理の一例を示すフローチャートである。
　以下、実施の形態を次の順序で説明する。
<１．システム構成>
<２．配信サーバ装置の構成>
<３．撮像画像データの編集例>
<４．配信サーバ装置における処理例>
<４－１．配信コンテンツ生成処理>
<４－２．コーチング情報抽出処理>
<４－３．要求対応処理>
<５．ライブ配信>
<６．変形例>
<６－１．撮像画像データの編集例の変形例１>
<６－２．撮像画像データの編集例の変形例２>
<７．まとめ>
<８．本技術>
<１．システム構成>

　本実施の形態における配信システム１の構成について、図１を参照して説明する。なお、以下の説明においては、配信システム１の一例として、スポーツ競技としての競泳に関する画像を配信するシステムを挙げる。ここでいう「画像」とは、動画像及び静止画の双方を含むものとする。
　配信システム１は、通信ネットワーク２を介して配信サーバ装置３とチーム端末４と個人端末５とが相互通信可能に接続されて成る。
　また、配信サーバ装置３は、会場設備システム６と通信可能とされている。会場設備システム６は、複数の撮像装置７を含んで構成されている。
　通信ネットワーク２は、例えばインターネット、ホームネットワーク、ＬＡＮ（Local Area Network）、衛星通信網、その他の各種のネットワークが想定される。
　配信サーバ装置３は、例えば、競泳についての各種大会やイベントを運営する運営団体が管理する情報処理装置とされ、ＰＣ（Personal Computer）やワークステーションなどによって構成される。
　配信サーバ装置３は、競泳の大会やイベントなどのスケジュール管理や競技種目の管理及び参加者（選手）の管理等を行う。配信サーバ装置３は、スケジュール情報や競技種目及び参加者についての情報をチーム端末４や個人端末５に送信する。
　また、配信サーバ装置３は、大会へのエントリー要求を受信し、大会へのエントリー処理を実行する。
　配信サーバ装置３は、競泳会場に設置された撮像装置７で撮像した画像をチーム端末４や個人端末５に配信する装置とされる。配信サーバ装置３は、会場設備システム６が備える撮像装置７と通信可能とされている。
　なお、配信サーバ装置３と撮像装置７の通信は、ネットワークを介して可能とされていてもよいし、直接接続されることにより可能とされていてもよい。また、会場設備システム６が各撮像装置７を統括的に管理する管理端末を備えており、配信サーバ装置３は管理装置を介して撮像装置７と通信可能とされていてもよい。
　更には、会場設備システム６が通信ネットワーク２に接続されており、配信サーバ装置３は通信ネットワーク２を介して撮像装置７と通信可能とされていてもよい。
　配信サーバ装置３は、撮像装置７から取得した撮像画像データを用いて配信用のコンテンツ（以降、「配信コンテンツ」と記載）を生成する。配信コンテンツは、例えば、複数の撮像装置７から取得した撮像画像データを組み合わせた画像データとされ、更に、キャプション情報やメタデータなどのテキスト情報や画像データを重畳させてもよい。
　配信コンテンツは、各情報処理装置において表示されるコンテンツであるため、表示用コンテンツとも換言できる。
　配信サーバ装置３で生成された配信コンテンツは、チーム端末４や個人端末５に適宜配信される。
　配信サーバ装置３は、大会開催期間中に一時的に会場内に設置される情報処理装置とされてもよい。またその場合には、運営団体が所有する情報処理装置であってスケジュール管理や選手情報の管理やエントリー処理等、大会開催期間外において恒常的に実行される各種処理を実行する常設型の情報処理装置と、会場内に一時的に設置される情報処理装置であって撮像装置７の制御や撮像画像データについての処理等、特に大会開催期間中において実行される各種処理を実行する一時設置型の情報処理装置が連携することにより配信サーバ装置３を構成してもよい。
　以降の例においては、配信サーバ装置３が常設型の情報処理装置と一時設置型の情報処理装置の双方を含んで構成される例について説明する。
　チーム端末４は、競泳チームやクラブチームが所有する情報処理装置とされ、例えば、ＰＣやＰＤＡ（Personal Digital Assistant）などである。チーム端末４は、例えば競泳チームに所属しているユーザ（スタッフや競技者）のみが使用可能とされ、配信サーバ装置３に対して各種の要求を行うことが可能とされている。各種の要求とは、例えば、配信コンテンツの送信要求や大会情報の送信要求などである。
　また、チーム端末４は、大会と種目と競技者を指定することにより大会へのエントリー要求を配信サーバ装置３へ送信することが可能とされる。
　チーム端末４は、競泳チームの所属競技者についての情報を管理する。チーム端末４は、例えば、個人端末５からの要求に応じて、所属競技者についての成績や参加情報などを送信可能とされている。
　個人端末５は、競技者が所有する情報処理装置であり、例えば、スマートフォンやタブレット等の携帯端末装置、携帯電話機、ＰＣ、ゲーム機器、ビデオ機器、ＰＤＡなど、通信機能を備えた装置とされる。
　個人端末５は、チーム端末４に対して大会成績や個人情報の取得要求を送信し、各情報を得ることが可能とされている。また、個人端末５は、配信サーバ装置３から大会情報や配信コンテンツを受信可能に構成されていてもよい。
　また、個人端末５は、チーム端末４や配信サーバ装置３に対してログイン要求を送信可能とされていてもよい。例えば、各種の情報を取得するためにログイン情報としてＩＤ（Identification）とパスワードを各装置に送信することにより、各装置において認証処理が実行される。
　会場設備システム６は、競泳会場に設置された撮像装置７を備えている。上述したように、各撮像装置７を統括的に管理する管理端末を備えて構成されていてもよい。
　撮像装置７は、競泳会場に設置されたビデオカメラ等であり、例えば、プール全体を撮像する撮像装置７や、レーンごとの画像を撮影する撮像装置７や、電光掲示板を撮影する撮像装置７や、観客席を撮影する撮像装置７などとして設けられている。
<２．配信サーバ装置の構成>

　配信サーバ装置３の構成について説明する。上述したように、ここでは、配信サーバ装置３は競泳会場に設置された撮像装置７の管理機能を備えている例を説明する。例えば、配信サーバ装置３は、複数の情報処理装置によって構成されている。
　複数の情報処理装置のそれぞれは、例えば、図２に示すような構成を備えている。
　情報処理装置のＣＰＵ７１は、ＲＯＭ７２に記憶されているプログラム、または記憶部７９からＲＡＭ７３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７３にはまた、ＣＰＵ７１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　ＣＰＵ７１、ＲＯＭ７２、およびＲＡＭ７３は、バス７４を介して相互に接続されている。このバス７４にはまた、入出力インタフェース７５も接続されている。
　入出力インタフェース７５には、操作子や操作デバイスよりなる入力部７６が接続される。
　例えば入力部７６としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
　入力部７６によりユーザの操作が検知され、入力された操作に応じた信号はＣＰＵ７１によって解釈される。
　また入出力インタフェース７５には、ＬＣＤ或いは有機ＥＬパネルなどよりなる表示部７７や、スピーカなどよりなる音声出力部７８が一体又は別体として接続される。
　表示部７７は各種表示を行う表示部であり、例えば配信サーバ装置３の筐体に設けられるディスプレイデバイスや、配信サーバ装置３に接続される別体のディスプレイデバイス等により構成される。
　表示部７７は、ＣＰＵ７１の指示に基づいて表示画面上に各種の画像処理のための画像や処理対象の動画等の表示を実行する。また表示部７７はＣＰＵ７１の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を行う。
　入出力インタフェース７５には、ハードディスクや固体メモリなどより構成される記憶部７９や、モデムなどより構成される通信部８０が接続される場合もある。
　通信部８０は、インターネット等の伝送路を介しての通信処理や、各種機器との有線／無線通信、バス通信などによる通信を行う。
　本実施の形態の場合、通信部８０は、撮像装置７との間で通信を行う機能を備える。
　入出力インタフェース７５にはまた、必要に応じてドライブ８２が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体８１が適宜装着される。
　ドライブ８２により、リムーバブル記録媒体８１からは各種のコンピュータプログラムなどを読み出すことができる。リムーバブル記録媒体８１から読み出されたコンピュータプログラム等は必要に応じて記憶部７９にインストールされる。
　この配信サーバ装置３では、例えば本開示の処理のためのソフトウエアを、通信部８０によるネットワーク通信やリムーバブル記録媒体８１を介してインストールすることができる。或いは当該ソフトウエアは予めＲＯＭ７２や記憶部７９等に記憶されていてもよい。
　例えばこのようなソフトウエア（アプリケーションプログラム）によって、図３のような機能構成が配信サーバ装置３のＣＰＵ７１において構築される。
　配信サーバ装置３は、カメラコントローラ１１、スイッチャー１２、選手情報管理部１３、コンテンツ管理部１４、画像編集処理部１５、分析処理部１６、同期処理部１７、認証処理部１８及び配信制御部１９などの各機能を有して構成されている。
　カメラコントローラ１１は、会場内に設置されている撮像装置７についての制御を行う。具体的には、撮像装置７にパン方向やチルト方向の回動動作を実行させる制御や、ズームイン動作やズームアウト動作を実行させるための制御や、画質や色味など撮像画像データの品質を変更するための制御などである。また、カメラコントローラ１１は、撮像装置７で撮像した撮像画像データを送信させる制御なども行うことができる。
　スイッチャー１２は、複数の撮像装置７の画像を切り換えることにより、ライブ配信画像を変更する処理や、会場内に設置された大型ディスプレイに表示する画像を切り換える処理などを実行する。
　なお、カメラコントローラ１１やスイッチャー１２は、それぞれ単独の装置として実現されてもよい。
　選手情報管理部１３は、運営団体所属の選手に関する各種情報の管理を行う。例えば、選手名、選手ＩＤ、所属チーム情報、住所、連絡先、生年月日、大会時点の満年齢などの個人を特定するための情報と、参加した大会情報、記録情報などが選手情報とされる。
　コンテンツ管理部１４は、配信するために生成された画像コンテンツ情報についての管理を行う。画像コンテンツは、例えば複数の撮像装置７から取得した撮像画像データを組み合わせて生成されたコンテンツであり、チーム端末４や個人端末５に配信するための配信コンテンツであり、各端末で表示される表示用コンテンツでもある。
　コンテンツ管理部１４は、画像コンテンツとそれに紐付けられるメタデータやキャプション情報を管理する。メタデータやキャプション情報とは、例えば、画像コンテンツに関する被写体名（選手名）、大会名、大会開催場所、撮影日時、競泳種目、選手が使用したコース番号、競泳記録、順位等である。また、選手を撮影した撮像装置７を特定するための情報や撮像装置７の撮影設定などが記録されていてもよい。
　コンテンツ管理部１４は、画像コンテンツごとに公開範囲を設定して記憶する。公開範囲は、例えば、「被写体の選手本人にのみ配信可」、「選手の所属チームに配信可」、「誰にでも配信可」などの設定が考えられる。
　画像編集処理部１５は、撮像装置７から取得した撮像画像データについての編集処理を行う。編集処理は各種考えられ、例えば、複数の撮像装置７から取得した複数の撮像画像データを合成し一つの画像データを生成する処理や、テキスト情報や画像を重畳させる処理や、取得した撮像画像データから所定範囲の画像を切り出す処理などである。
　重畳させるテキスト情報としては、例えば、選手情報や大会情報や競泳記録などが考えられる。また、重畳させる画像としては、取得した撮像画像データの被写体としての選手の過去の成績を視覚的に示すための画像や、各種大会や国のレコード情報を視覚的に示すための画像などである。
　分析処理部１６は、撮像装置７から取得した撮像画像データに対して画像解析を施し、コーチング情報を取得する処理部である。例えば、競泳であれば、５０ｍを泳ぐ間に行った息継ぎの回数や、水を掻いた回数や、水を蹴る回数などを画像解析により取得する。また、選手の位置とその時の速度（泳速）を画像解析により算出してもよい。
　これらの情報は、コーチングに使用可能なコーチング情報とされる。コーチング情報の抽出においては、例えば、ＣＮＮ（Convolutional Neural Network）などのディープラーニング手法が用いられてもよい。
　同期処理部１７は、複数の撮像画像データを合成して一つの配信コンテンツを生成する場合に、複数の撮像画像データを同期させる処理を行う。
　認証処理部１８は、チーム端末４や個人端末５などの他の端末から受信したＩＤ情報とパスワード情報に基づいて会員であるか否かを判定する認証処理を行う。
　なお、認証処理が成功したユーザや端末に対しては、会員であることを示す情報として例えば２次元バーコードなどを認証処理部１８が送信するように構成してもよい。例えば、２次元バーコード情報を受信したユーザは、会場などに設置された読み取り機などに２次元バーコードをかざすことにより、会場への入場や関係者エリアへの入場をスムーズに行うことができる。また、競泳会場において撮影許可を得る際にも２次元バーコードを利用することができる。
　配信制御部１９は、画像コンテンツをデータベースから取得し、画像コンテンツの配信依頼を送信してきた端末に対して画像コンテンツを配信する配信制御を行う。また、配信制御部１９は、画像コンテンツの公開範囲に基づいて配信制御を行ってもよい。
　また、配信制御部１９は、競泳会場で撮像した撮像画像データをリアルタイムでライブ配信するための制御を行ってもよい。例えば、競泳会場に来場している家族の一員としてのユーザに対して、ライブ画像を配信してもよい。その際には、ユーザごとに異なるライブ画像を配信してもよい。具体的には、例えば、プール全体を俯瞰で撮像する撮像装置７からの撮像画像データ（全体画像）と選手個人をズームアップして撮像する撮像装置７からの撮像画像データ（アップ画像、個人画像）を画像編集処理部１５において合成し、これによって得られた選手ごとに個別の画像コンテンツをライブ画像として各ユーザに配信してもよい。これにより、ユーザは自身の子供について特別に作成された画像コンテンツを受信することができる。
　なお、上述した配信サーバ装置３が備える各種の機能は、少なくとも一部の機能がクラウドコンピューティングによって提供される機能であってもよい。
　また、例えば、競泳会場に配信サーバ装置３を設置すること無く、運営団体が所有している据え置き型のサーバ装置として配信サーバ装置３が設けられ、該配信サーバ装置３が各種の機能を備えていてもよい。
<３．撮像画像データの編集例>

　配信サーバ装置３の画像編集処理部１５によって編集された画像コンテンツの例について説明する。
　ユーザは、自身に関係のある選手をズームアップで撮像した競技中の画像と、レース全体を俯瞰で撮像した画像、更に、レースに関する記録が表示される電光掲示板の情報を同時に視認したい場合がある。この要望に応えるために、撮像装置７から取得した撮像画像データを編集することにより、例えば、図４に示すような画像コンテンツを生成する。
　図４はユーザに配信するために生成された画像コンテンツについての一場面を表したものである。
　画像コンテンツは、複数の領域を有して構成されている。例えば、第１領域ＡＲ１は、レース全体の成り行きを視認するための画像が表示される領域であって、プール全体を撮像する撮像装置７から取得した撮像画像データが表示される。以降では、このように複数の画像データを合成して生成した画像データを「合成画像データ」と記載する。
　第２領域ＡＲ２は、選手個人のアップ画像を撮像している撮像装置７から取得した撮像画像データが表示される。
　なお、プール全体を撮像した画像が十分に高解像度である場合には、第１領域ＡＲ１に表示する画像における選手個人が撮像された特定領域を切り取って拡大した画像が第２領域ＡＲ２に表示されてもよい。即ち、１台の撮像装置７から取得した撮像画像データを用いて第１領域ＡＲ１及び第２領域ＡＲ２にそれぞれ画像を表示してもよい。
　図４は、撮像画像データが表示される二つの領域が設けられていたが、もちろんこれは一例であり、三つ以上の領域が設けられていてもよい。その場合には、例えば、図４に示すように、第１領域ＡＲ１と第２領域ＡＲ２に加えて、電光掲示板を撮像した撮像装置７から取得した撮像画像データが表示される第３領域ＡＲ３が設けられていてもよい。
　また、それぞれの領域は、同じ大きさに設定されていてもよいし、異なる大きさに設定されていてもよい。また、ある領域が他の領域に重畳されるように配置されていてもよい。
　なお、画像の代わりに文字情報を表示させてもよい。その例を図５に示す。文字情報は、例えば画像を説明するための説明情報などとされる。
　図５は、全体を俯瞰で捉えた画像が表示される第１領域ＡＲ１及び選手個人をアップで撮像した画像が表示される第２領域ＡＲ２に加えて、電光掲示板に表示されている情報から抽出したテキスト情報を表示するための第３領域ＡＲ３が設けられている例である。
　第３領域ＡＲ３は、第２領域ＡＲ２に重畳表示される領域とされる。
　第３領域ＡＲ３に説明情報として表示するテキスト情報は、例えば、電光掲示板を撮像した撮像画像データを画像解析することにより取得してもよい。電光掲示板の撮像画像データから文字認識を行い、テキスト情報を得る。或いは、電光掲示板の表示のために送信されるテキスト情報を取得し、そこから説明情報として表示するテキスト情報を抽出してもよい。
　また、競技に参加している参加者情報をデータベースから取得し競泳の途中経過情報（例えば５０ｍごとのラップタイム情報）を管理している装置からタイム情報を取得し、それらの取得した情報からテキスト情報を生成してもよい。
　他にも、大会名、大会開催場所、撮影日時、競泳種目、第２領域ＡＲ２に表示される選手の選手名、当該選手が使用したコース番号、競泳記録、順位、自己ベスト情報などをテキスト情報として取得してもよい。
　テキスト情報を表示する場合は、図４に示す合成画像データとテキスト情報を分けてチーム端末４や個人端末５などの他の端末に送信し、他の端末の処理によってテキスト情報が合成画像データに重畳して表示されるように構成してもよい。この場合には、テキスト情報を重畳させる位置をユーザが自由に設定できるようにすることやテキスト情報の表示と非表示の切り換えを設定できるようにすることが容易となる。
　或いは、配信サーバ装置３の画像編集処理部１５によって予めテキスト情報が画像情報として合成画像データに組み込まれた状態で他の端末に送信してもよい。
　また、第３領域ＡＲ３を設けずにテキスト情報が表示されるように構成してもよい。例えば、第２領域ＡＲ２に表示する撮像画像データにテキスト情報を組み込むことにより、テキスト情報を表示するための第３領域ＡＲ３を設けなくて済む。
<４．配信サーバ装置における処理例>
<４－１．配信コンテンツ生成処理>

　配信サーバ装置３が実行する各種処理について説明する。
　先ず、配信コンテンツを生成する処理について図６を参照して説明する。配信コンテンツ生成処理は、例えば競泳の大会後に実行される処理であって、選手ごとに個別の配信コンテンツを生成する処理である。
　配信コンテンツ生成処理において、配信サーバ装置３はステップＳ１０１で一人の選手を選択する。配信コンテンツ生成処理は、例えば、複数の撮像装置７から取得した撮像画像データを用いて大会終了後に実行される処理である。従って、ステップＳ１０１では、大会に参加していた選手の中から一人を選択する処理である。なお、一つの大会において複数のレースに出場している選手がいる場合、例えば予選と決勝の両方に出場した選手がいる場合などは、レースと選手の双方を選択する処理をステップＳ１０１で実行する。
　配信サーバ装置３はステップＳ１０２において、全体画像を選択する処理を実行する。具体的には、全体を俯瞰で撮影していた撮像装置７から取得した撮像画像データを選択する。また、取得する撮像画像データは、ステップＳ１０１で選択した選手が出場した特定のレースのものとされる。
　配信サーバ装置３はステップＳ１０３において、選手の個人画像を選択する処理を実行する。この処理は、ステップＳ１０１で特定した選手についての撮像画像データである。複数のレースに参加している選手である場合には、ステップＳ１０１で選択したレース情報に基づいて一つの撮像画像データを選択する。
　配信サーバ装置３はステップＳ１０４において、テキスト情報を取得する。この処理は、例えば、図５の第３領域ＡＲ３に表示するためのテキスト情報を取得するために行うものである。取得する情報は、例えば、競泳会場情報や大会名、レース情報や選手が競技の際に使用したコース番号、選手名、ラップタイムなどのこのレースにおける成績情報、自己ベストなどの情報である。
　なお、テキスト情報を利用しない場合は、ステップ１０４の処理を実行しなくてよい。
　配信サーバ装置３はステップＳ１０５において、撮像画像データの合成処理を行う。この処理により、図４や図５に示すような配信コンテンツが生成される。
　生成された配信コンテンツは、ステップＳ１０６の処理を配信サーバ装置３が実行することにより記憶部７９等に記憶される。
　配信サーバ装置３はステップＳ１０７において、大会に出場していた選手全員分について上述した各種の処理が終了したか否かを判定する。まだ未処理の選手がいる場合、配信サーバ装置３はステップＳ１０１の処理へと戻る。
　一方、未処理の選手がいない場合、配信サーバ装置３は図６に示す一連の処理を終了する。
　図６に示す配信コンテンツ生成処理を実行することにより、大会に出場した選手ごとに異なる配信コンテンツが生成される。
　なお、大会に出場した全選手に対して図６に示す処理を実行する例を示したが、一部の選手に対して実行してもよい。また、チーム端末４や個人端末５から配信コンテンツの配信要求を受信した際に適宜実行してもよい。配信要求の受信に応じて図６に示す配信コンテンツ生成処理を実行する場合には、不要な処理を実行しなくてよいため、配信サーバ装置３の処理負担の軽減が図られる。
<４－２．コーチング情報抽出処理>

　配信サーバ装置３が実行するコーチング情報抽出処理について、図７を参照して説明する。コーチング情報抽出処理は、撮像装置７から取得した撮像画像データを解析することにより、コーチングに用いられる情報を抽出する処理である。コーチング情報抽出処理は、例えば、大会後に実行される処理である。
　配信サーバ装置３はステップＳ２０１において、一人の選手を選択する。この処理は、図６のステップＳ１０１の処理と同様の処理であり、大会に出場した選手を一人選択する処理である。
　配信サーバ装置３はステップＳ２０２において、選手の個人画像を選択する。この処理は、図６のステップＳ１０２の処理と同様の処理である。
　配信サーバ装置３はステップＳ２０３において、画像分析処理を行う。画像分析処理は、ステップＳ２０２で選択した撮像画像データを分析し特徴量を抽出する処理である。分析においては、例えば、ＣＮＮなどのディープラーニング手法が用いられてもよい。
　配信サーバ装置３はステップＳ２０４において、コーチング情報を抽出する。この処理は、先の画像分析処理の分析結果に基づいてコーチング情報としての息継ぎ回数や水を掻いた回数や、水を蹴る回数などを抽出する。また、競技開始から終了までの泳速の変化などを抽出してもよい。
　配信サーバ装置３はステップＳ２０５において、コーチング情報を記憶する処理を実行する。具体的には、選手が出場した大会やレース等に紐付けてコーチング情報が記憶される。
　配信サーバ装置３はステップＳ２０６において、大会に出場していた選手全員分について上述した各種の処理が終了したか否かを判定する。まだ未処理の選手がいる場合、配信サーバ装置３はステップＳ２０１の処理へと戻る。
　一方、未処理の選手がいない場合、配信サーバ装置３は図７に示す一連の処理を終了する。
　図７に示すコーチング情報抽出処理を実行することにより、大会に出場した選手ごとのコーチング情報が抽出される。
　なお、大会に出場した全選手に対して図７に示す処理を実行する例を示したが、一部の選手に対して実行してもよい。また、チーム端末４や個人端末５からコーチング情報の送信要求を受信した際に適宜実行してもよい。送信要求の受信に応じて図７に示すコーチング情報抽出処理を実行する場合には、不要な処理を実行しなくてよいため、配信サーバ装置３の処理負担の軽減が図られる。
　なお、ここで抽出したコーチング情報は、図５に示す第３領域ＡＲ３にテキスト情報として表示してもよい。
<４－３．要求対応処理>

　配信サーバ装置３は、チーム端末４や個人端末５から各種の要求を受信する。従って、配信サーバ装置３は各種の要求の受信を確認し、要求ごとに対応する処理を実行する。
　配信サーバ装置３が実行する要求対応処理の一例について、図８に示す。
　配信サーバ装置３はステップＳ３０１において、会員登録要求を受信したか否かを判定する。会員登録要求を受信したと判定した場合、対応する処理として配信サーバ装置３はステップＳ３０２の会員登録処理を実行する。
　会員登録処理では、例えば、要求を送信した他の情報処理装置に対して、会員登録用のウェブページデータを送信する。これにより、他の情報処理装置において会員登録用のウェブページが表示される。
　また、会員登録処理では、他の情報処理装置において入力された会員情報を受信し、入力情報に不備が無いかを確認する処理や、不備があった場合に再入力を促す処理や、入力情報に問題が無い場合に会員データベースに新規会員情報を登録する処理などを実行する。
　また、会員登録処理では、各種サービスを利用可能とするためのログインを行うためのＩＤとパスワードを発行する処理なども実行される。
　配信サーバ装置３はステップＳ３０２の処理を実行した後、再度ステップＳ３０１の処理へと戻る。
　ステップＳ３０１において会員登録要求を受信していないと判定した場合、配信サーバ装置３はステップＳ３０３において大会エントリー要求を受信したか否かを判定する。大会エントリー要求を受信したと判定した場合、対応する処理として配信サーバ装置３はステップＳ３０４の大会エントリー処理を実行する。
　大会エントリー処理では、例えば、要求を受信した他の情報処理装置に対して、大会エントリーを申請するためのウェブページデータを送信する。これにより、他の情報処理装置において大会エントリー申請を行うためのウェブページが表示される。
　大会エントリー申請を行うためのウェブページでは、例えば、エントリー対象の大会を選択する操作や、エントリーする選手名や選手ＩＤなどを入力する操作が可能とされている。配信サーバ装置３は、入力された各情報を受信し、大会に参加する選手を管理しているデータベースに登録することにより大会エントリーを完了する。
　また、成績等により大会にエントリーできなかった場合には、エントリーができなかった旨を通知するためのウェブページデータを他の情報処理装置に対して送信する。
　配信サーバ装置３はステップＳ３０４の処理を実行した後、再度ステップＳ３０１の処理へと戻る。
　ステップＳ３０３において、大会エントリー要求を受信していないと判定した場合、配信サーバ装置３はステップＳ３０５において配信コンテンツ送信要求を受信したか否かを判定する。配信コンテンツ送信要求を受信したと判定した場合、対応する処理として配信サーバ装置３はステップＳ３０６の配信コンテンツ送信処理を実行する。
　配信コンテンツ送信処理の一例について、図９を参照して説明する。
　配信サーバ装置３はステップＳ４０１において、配信コンテンツの送信を要求してきたユーザがログイン状態であるか否かを判定する。
　ログイン状態でない場合、配信サーバ装置３はステップＳ４０２においてログイン処理を実行する。
　ログイン処理では、要求を行ったユーザが使用している他の情報処理装置からＩＤとパスワードを受信し、ログイン用のデータベースに記憶されている情報と照合を行い、ログインの可否を判定する。
　ログインの可否は、要求を行った他の情報処理装置に対して送信される。これにより、他の情報処理装置において、ログインの成否情報が表示される。
　ログイン処理が正常に終了した後、或いはステップＳ４０１で既にログイン状態にあるユーザであると判定した場合、配信サーバ装置３はステップＳ４０３において配信コンテンツ選択情報を受信する。配信コンテンツ選択情報は、複数ある配信コンテンツから一つの配信コンテンツを選択するための情報であり、例えば、どの選手のどの大会のどのレースの配信コンテンツを送信して欲しいかについてユーザが指定した情報である。
　配信コンテンツ選択情報を受信した後、配信サーバ装置３はステップＳ４０４において、指定された配信コンテンツの開示範囲情報を取得する処理を実行する。開示範囲情報は、例えば、配信コンテンツに紐付けられてデータベースに記憶されている情報である。
　配信サーバ装置３はステップＳ４０５において、指定された配信コンテンツを送信してよいか否かを判定する。送信可否の判定は、送信要求を行った要求ユーザと開示範囲情報に基づいて行われる。例えば、配信要求を行ったユーザは選手本人である場合には、開示範囲に要求ユーザが含まれているとして配信コンテンツの送信を許可する。
　また、要求ユーザが選手の家族であり、開示範囲が家族も含めて許可されている場合は、配信コンテンツの送信を許可する。
　一方、要求ユーザが選手とは関係のない他人であり、開示範囲が本人のみや所属チームまでとなっている場合には、要求ユーザが開示範囲に含まれていないとして配信コンテンツの送信を許可しない。
　なお、開示範囲が全ユーザとなっている場合には、要求ユーザによらず配信コンテンツの送信を許可する。
　配信コンテンツの送信を許可した場合、配信サーバ装置３はステップＳ４０６において、配信コンテンツの送信を行う。一方、配信コンテンツの送信を許可しない場合、配信サーバ装置３はステップＳ４０７において、配信コンテンツの送信が許可されなかったことを要求を行った情報処理装置に送信する処理を行う。
　図８の説明に戻る。
　ステップＳ３０６において配信コンテンツ送信処理を実行した後、配信サーバ装置３はステップＳ３０１の処理へと戻り、各種の要求を受信したか否かを判定する。
　配信コンテンツ送信要求を受信していないと判定した場合、配信サーバ装置３はステップＳ３０７において、コーチング情報送信要求を受信したか否かを判定する。コーチング情報送信要求を受信したと判定した場合、対応する処理として配信サーバ装置３はステップＳ３０８のコーチング情報送信処理を実行する。
　コーチング情報送信処理の一例について、図１０を参照して説明する。
　配信サーバ装置３はステップＳ５０１において、コーチング情報の送信を要求してきたユーザがログイン状態であるか否かを判定し、必要に応じてステップＳ５０２のログイン処理を実行する。これらの処理は、図９のステップＳ４０１及びステップＳ４０２の各処理と同様の処理である。
　ログイン処理が正常に終了した場合、或いはステップＳ５０１で既にログイン状態にあるユーザであると判定した場合、配信サーバ装置３はステップＳ５０３において、コーチング情報の種別を選択するためのコーチング情報選択情報を受信する。この情報は、ユーザがどのようなコーチング情報を所望しているかを特定するための情報であり、少なくとも、大会名やレース名や選手名など、何れのパフォーマンスを対象としているかを特定することができる情報とされる。
　また、コーチング情報選択情報は、スタートにおける入水位置、息継ぎ回数、水を掻いた回数、水を蹴る回数、ターンのために手を伸ばし始めるタイミング、ターンの開始位置、泳速の変化などの各項目の中からユーザがどの項目を選択したかを特定するための情報を含んでいてもよい。
　これらのコーチング情報選択情報を受信することにより、配信サーバ装置３は複数あるコーチング情報の中から何れの情報を送信すればよいか把握することができる。
　配信サーバ装置３はステップＳ５０４においてステップＳ５０３で受信した情報に基づいてコーチング情報を取得する。
　続いて、配信サーバ装置３はステップＳ５０５において、コーチング情報を送信する。
　なお、コーチング情報に開示範囲が設定されていてもよい。その場合には、ステップＳ５０３の後に、特定したコーチング情報を送信してよいか否かを判定する処理、例えば、図９におけるステップＳ４０４及びステップＳ４０５の処理を実行すればよい。そして、送信可能と判定した場合に限り、ステップＳ５０４及びステップＳ５０５の処理を実行すればよい。
　図８の説明に戻る。
　配信サーバ装置３はステップＳ３０８のコーチング情報送信処理を実行した後、再度ステップＳ３０１の処理へと戻る。
　コーチング情報送信要求を受信していないと判定した配信サーバ装置３は、ステップＳ３０９において、エントリー情報要求を受信したか否かを判定する。エントリー情報の要求は、例えば、大会に参加予定の選手が行うものであり、参加予定の大会についての各種情報などの送信を要求するものである。
　エントリー情報要求を受信したと判定した場合、配信サーバ装置３はステップＳ３１０において、エントリー情報送信処理を実行する。エントリー情報送信処理では、要求を行ったユーザに応じて必要な情報を他の情報処理装置に送信する処理である。なお、個人情報保護の観点から、エントリー情報の送信対象を制限してもよい。この場合には、対象外のユーザから送信要求を受信しても、エントリー情報の送信を行わない。
　エントリー情報要求を受信した後、或いはエントリー情報要求を受信していないと判定した後、配信サーバ装置３はステップＳ３０１の処理へと戻る。
　配信サーバ装置３は図８に示すステップＳ３０１，Ｓ３０３，Ｓ３０５，Ｓ３０７，Ｓ３０９の各処理を繰り返し実行することにより、他の情報処理装置から各種の要求を受信していないかを判定し、適宜対応する処理を実行する。
　なお、図８に示す以外にも、選手情報の変更要求の受信や、退会要求の受信を監視してもよい。
<５．ライブ配信>

　配信サーバ装置３は、大会当日にライブ配信（ストリーミング配信）を行う機能を備えていてもよい。その場合に、配信サーバ装置３がライブ配信のために実行する処理の一例について、図１１を参照して説明する。
　配信サーバ装置３はステップＳ６０１において、ライブ配信を要求したユーザがログイン状態であるか否かを判定し、ステップＳ６０２において適宜ログイン処理を行う。これらの処理は、図９のステップＳ４０１，Ｓ４０２の各処理と同様の処理である。
　要求ユーザがログイン状態となった後、配信サーバ装置３はステップＳ６０３において、選手選択情報を受信する。選手選択情報は、現在競技中の選手の中から、ライブ配信を希望する選手を選択する情報であり、例えば要求ユーザによって指定される。
　選手選択情報を受信した後、配信サーバ装置３はステップＳ６０４において、撮像画像データの合成処理を行う。これにより、例えば、図４や図５に示すような合成画像データが生成される。
　合成された画像データは、ステップＳ６０５において配信サーバ装置３により各ユーザに配信される。配信対象の端末は、例えば、要求ユーザが使用するチーム端末４や個人端末５である。
　配信サーバ装置３はステップＳ６０６において、ライブ配信を終了するか否かを判定する。ライブ配信は、例えば、競技が終わると終了する。或いは、ユーザが配信終了のための操作を行うことによりライブ配信が終了する。
　ライブ配信を終了しない場合、配信サーバ装置３は再びステップＳ６０４及びＳ６０５の各処理を実行する。
　ステップＳ６０４及びＳ６０５の処理は例えば撮像画像データにおけるフレームごとに実行される。
　一方、ライブ配信を終了すると判定した場合、配信サーバ装置３はステップＳ６０７においてライブ配信を終了させる処理を実行する。
　なお、ライブ配信については、４Ｇ（4th Generation）などの回線と比較して、高速、大容量、低遅延、他接続の通信が可能な例えば５Ｇ（5th Generation）などの回線を用いることが望ましい。これにより、快適な視聴を行うことができる。
　また、競技会場内にいるユーザに対してライブ配信を行うことが好ましい場合がある。例えば、会場内に設置された大型のモニタには競技中はトップの選手が表示されることが多くなり、それ以外の選手の関係者にとっては見たい画像が見られないことになる。従って、見たい選手の競技を肉眼で観戦することが考えられるが、選手との距離が遠いために見難かったり、競泳の場合の水しぶきなどの影響により見難かったりすることがある。そこで、競技会場内にいるユーザに対してもライブ配信を行うことが考えられる。
　会場内にいるユーザ限定でライブ配信を行う場合には、会場内などの限定的な範囲において構築されたローカル５Ｇ（プライベート５Ｇ）の回線、またはローカル４Ｇ／ＬＴＥ（プライベート４Ｇ／ＬＴＥ）の回線などを利用することが好適である。これにより、通信事業者のネットワークを用いずとも、高速且つセキュアな配信を行うことができる。
　なお、ライブ配信については、選手ごとに異なる撮像画像データや合成画像データが送信されるが、配信対象を限定してもよい。例えば、ある選手についての合成画像データは、その家族に対してのみ配信されるように構成してもよい。その場合には、ステップＳ６０３で配信する選手の選択情報を受信した後、現在ログインしているユーザがその配信対象として適切か否かを判定する処理を実行し、適切と判定した場合にのみ、ステップＳ６０４以降の各処理を実行するように構成してもよい。
<６．変形例>
<６－１．撮像画像データの編集例の変形例１>

　図４及び図５を用いて撮像画像データの編集例を説明したが、ここでは、別の編集例について図１２を参照して説明する。
　図１２は、選手をアップで撮像した画像に目標記録や参考記録を示すための画像Ｇ１を重畳表示させたものである。画像Ｇ１は、目標記録や参考記録を示すための線であり、被写体の選手の進行方向前方や後方などに表示される。或いは、当該レースにおいてトップの位置で競技している選手の位置を示す線を画像Ｇ１としてもよい。
　図１２に示す例は、選手の目標記録を示す画像Ｇ１としての線が選手の前方に表示されており、配信コンテンツを閲覧したユーザは画像Ｇ１と選手の位置関係を確認することにより、選手が目標記録よりも遅れていることが理解できる。
　画像Ｇ１を重畳させるためには、先ず、画像Ｇ１の重畳位置を算出することが必要である。具体的には、目標記録や参考記録などの記録のラップタイムやゴールタイムと被写体となっている選手の現在位置とスタートからの経過時刻から画像Ｇ１の重畳位置を算出する。これにより、例えば、被写体である選手よりも前方に１ｍ進んだ位置が重畳位置と算出される。
　次に、前方に１ｍ進んだ位置が画像におけるどの位置なのかを把握する。画像の重畳位置を算出するために、例えば、撮像画像を撮像した撮像装置７から取得した情報を用いてもよいし、画像解析を行ってもよい。
　このようにして、画像Ｇ１の重畳位置を算出する。
　画像Ｇ１を重畳して生成した画像は画像コンテンツとしてユーザに提供される。例えば、図９の配信コンテンツ送信処理においてユーザが本例のように画像Ｇ１が重畳表示された配信コンテンツを選択することが可能なようにされていてもよい。また、図１０に示すコーチング情報送信処理においてユーザが本例のように画像Ｇ１が重畳表示された画像コンテンツをコーチング情報として選択することが可能なようにされていてもよい。
　或いは、図１１のライブ配信処理において、画像Ｇ１が重畳されたコンテンツがライブ配信されてもよい。
　なお、図１２では、選手をアップで撮像した画像に画像Ｇ１を重畳させる例を説明したが、図４の第１領域ＡＲ１や図５の第１領域ＡＲ１に表示されるプール全体を撮像した画像に画像Ｇ１を重畳表示させてもよい。もちろん、第１領域ＡＲ１に表示されるプール全体を撮像した画像と第２領域ＡＲ２に表示される選手のアップ画像の双方に画像Ｇ１を重畳させてもよい。また、先ずは、第２領域ＡＲ２に表示される選手のアップ画像に画像Ｇ１を重畳させるが、選手の現在の位置と参考記録や目標記録に基づく位置が乖離してしまい第２領域ＡＲ２に表示するアップ画像に画像Ｇ１を重畳させることができなくなってしまった場合に、第１領域ＡＲ１に表示される全体画像に画像Ｇ１を重畳させるように切り換えてもよい。
　なお、目標記録や参考記録を示すための画像Ｇ１を重畳させる代わりに、複数の画像を表示させてもよい。例えば、選手の自己ベスト達成時の泳ぎを撮像した撮像画像データと同じ選手の今回のレースの撮像画像データが並べて表示されるように画像の合成を行ってもよい。これにより、呼吸のタイミングの違いや手を掻くタイミングの違いを見つけることが可能となる。
　もちろん、他の選手の撮像画像データが並べて表示されるように画像の合成を行ってもよい。例えば、ある選手の泳ぎを撮像した撮像画像データと世界のトップスイマーの泳ぎを撮像した撮像画像データを合成することにより、ある選手についてのコーチング情報が得られるように構成してもよい。
<６－２．撮像画像データの編集例の変形例２>

　上述した各例では、会場内に設置された撮像装置７から取得した撮像画像データを用いて例えば図４や図５に示す画像コンテンツを生成する例を説明した。
　本変形例では、ユーザが個人で所有している撮像装置で撮影した撮像画像データを用いて画像コンテンツを生成する例について説明する。
　図１３に配信サーバ装置３が実行する処理の一例を示す。
　配信サーバ装置３はステップＳ７０１において、配信コンテンツ生成要求を受信したか否かを判定する。この要求は、ユーザ個人で撮影した撮像画像データを用いた配信コンテンツを生成することを要求するものである。
　要求を受信していない場合、配信サーバ装置３は再度ステップＳ７０１の処理を実行する。
　一方、このような配信コンテンツの生成要求を受信したと判定した場合、配信サーバ装置３はステップＳ７０２において、ユーザが撮影した撮像画像データを取得する。これにより、要求を送信した個人端末５などの情報処理装置は、撮像画像データを配信サーバ装置３にアップロードする処理を行う。なお、撮像画像データの取得は、ステップＳ７０１の要求受信と共に行ってもよい。
　次に、配信サーバ装置３はステップＳ７０３において、対象レースを特定する情報を取得する。この情報は、例えばユーザが対象レースを選択する操作を行うことにより個人端末５などから配信サーバ装置３へ送信される。なお、この情報は、配信サーバ装置３から受信する代わりにアップロードされた撮像画像データに含まれるメタデータなどから解析してもよい。具体的には撮影日時やＧＰＳ（Global Positioning System）情報から対象の大会やレースを特定してもよい。
　配信サーバ装置３はステップＳ７０４において、対象レースの全体画像を取得する。全体画像は、会場に設置されていた撮像装置７から取得した撮像画像データのうち、ステップＳ７０３によって特定した対象レースについての撮像画像データであり、例えば、プール全体を撮像した画像である。
　配信サーバ装置３はステップＳ７０５において、同期処理を行う。配信コンテンツの生成に用いられるそれぞれの撮像画像データが会場に設定されている撮像装置７から取得したものであれば、各撮像装置７の時間情報を合わせることなどにより同期させることが可能である。しかし、本例においては、少なくとも一部の撮像画像データはユーザ個人により撮影されたものであり、撮像装置同士の同期はなされていない。
　従って、ステップＳ７０５の同期処理が必要となる。
　同期処理においては、取得した各撮像画像データを画像解析することにより、被写体の特徴的な動きや水しぶき、或いは観客やプールサイドに配置された係員などの動きから同じシーンと思われるタイミングを抽出し同期させることが考えられる。
　或いは、各撮像画像データに音声データが含まれている場合には、音声データを解析することにより同期させてもよい。
　各撮像画像データの同期処理を行った後、配信サーバ装置３はステップＳ７０６において、テキスト情報の取得を行う。この処理は、図６のステップＳ１０４の処理と同様の処理である。
　配信サーバ装置３はステップＳ７０７において、合成処理を行う。合成処理は、ステップＳ７０５で行った同期処理の処理結果に基づいて行われる。即ち、例えば、図４や図５に示す第１領域ＡＲ１に表示する撮像画像データと第２領域ＡＲ２に表示する撮像画像データが同期して表示されるように合成処理が行われる。
　配信サーバ装置３は、図１３に示す一連の処理を実行することにより、個人で撮影した撮像画像データと公式に撮影された撮像画像データなどを同期させて一つの配信コンテンツを生成することができる。
<７．まとめ>

　各種の例を用いて説明したように、配信サーバ装置３は、第１の撮像装置（撮像装置７）により撮像された第１画像と、第１の撮像装置（撮像装置７）または他の撮像装置（個人端末５などでもよい）により撮像され第１画像の被写体のうちの一部を被写体とした第２画像と、を組み合わせて表示用コンテンツ（配信コンテンツ）を生成するコンテンツ生成部（コンテンツ管理部１４）を備えている。
　複数の被写体を撮影する場合に、被写体ごとの画像や画角を変えた画像を同時に記録したいという要望や閲覧したいという要望がある。
　被写体ごとの画像とは、例えば、競泳の画像であれば、第１レーンで競技中の選手と第８レーンで競技中の選手のそれぞれのアップ画像などである。
　また、画角を変えた画像とは、例えば、レース画像であれば、レース全体を撮像した画角と当該レースに参加している一人の選手のみを撮像するための画角などである。
　しかし、撮影環境や撮影者の不足により、このような複数種類の画像を記録画像として残すことは個人のユーザにとって難しい。
　上述した各構成によれば、レース全体を撮影した公式のレース画像と個人で撮影した選手一人のレース画像を組み合わせた表示用コンテンツが生成されるため、レース全体を撮影するための機材と撮影対象の選手を撮影するための機材の双方を個人で用意する必要がない。また、撮影対象の選手の画像についても公式の画像が用意されている場合には、個人で撮影を行う必要が無く、利便性の向上を図ることができる。
　また、レース全体を撮影した公式のレース画像が十分に高解像度である場合には、全体画像からの切り出しを行うことで撮影対象の選手のアップ画像を生成することができる。これにより、必要な撮影機材を最小限にすることができ、コスト削減に寄与することができる。
　また、全体画像と選手個人の画像を組み合わせることで、選手個人の特徴や改善点などを把握することができ、コーチング情報の抽出に役立てることができる。
　配信サーバ装置３は、表示用コンテンツを送信する送信処理部（配信制御部１９）を備えていてもよい。
　これにより、第１画像と第２画像を組み合わせた表示用コンテンツ（例えば図４や図５に示す配信コンテンツ）をユーザ端末などに送信することが可能とされる。
　配信サーバ装置３は、撮像画像データの編集例の変形例２で説明したように、第１画像と第２画像を同期させる同期処理を行う同期処理部１７を備えていてもよい。
　これにより、第１画像と第２画像がそれぞれ別の画角で撮影されたものであっても、時間的な関係を把握することができる。
　例えば、レース画像などにおいて、全体の画像と選手個人の画像が同期されることにより、レース全体の中での選手の位置などが把握しやすくされる。
　撮像画像データの編集例（図４、図５）において説明したように、表示用コンテンツ（配信コンテンツ）は、重畳情報を含んでいてもよい。
　重畳情報とは、例えば、文字（テキスト）情報や画像情報などである。
　第１画像と第２画像を組み合わせたものに文字情報や画像情報を重畳させて表示用コンテンツを生成することで、表示用コンテンツに含まれる情報量を増やすことができ、コンテンツの内容をより深く理解することができる。
　撮像画像データの編集例（図５）で説明したように、重畳情報は、第１画像または第２画像についての説明情報とされてもよい。
　説明情報とは、例えば、レース画像であれば、開催日時、開催場所、レース名、出場者名などである。
　これらの情報が重畳表示されることで、例えば似たような表示用コンテンツがあったとしても、撮影内容を容易に把握することが可能とされる。
　撮像画像データの編集例の変形例１において説明したように、重畳情報は、第２画像の被写体に対する比較情報とされてもよい。
　比較情報とは、例えば、第２画像の被写体である選手の目標記録との差異を示す情報（例えば画像Ｇ１）である。具体的には、目標記録に対してどの程度先行しているか、或いは遅れているかを示す情報である。
　このような情報を重畳表示することで、会場では分からなかった選手のペース配分などを把握することができる。
　撮像画像データの編集例の変形例１において説明したように、比較情報は、第２画像の被写体についての成績を示す情報とされてもよい。
　第２画像の被写体についての成績とは、例えば、第２画像の被写体の選手自身の過去の記録などである。
　即ち、画像を介して過去の自己ベストの記録と今回の記録を比較することができる。また、例えば、自己ベストの記録を示すラインなどの画像を重畳表示させることで、レース中の優れていた部分と劣っていた部分を視覚的に把握することができ、今後のトレーニングなどに生かすことができる。
　撮像画像データの編集例の変形例１において説明したように、比較情報は、第２画像の被写体以外の人物（例えば世界のトップスイマー）の成績を示す情報とされてもよい。
　第２画像の被写体以外の人物の成績とは、例えば、同じレースに出場している他選手の中で最も成績のよい選手の記録などである。或いは、日本記録や世界記録などの成績などでもよい。
　これにより、選手の目標とする成績と今回のレースの成績を比較することができる。特に、上述したように、目標記録に基づいたライン表示などを行うことにより、選手の弱点等を視覚的に把握することができる。
　コーチング情報抽出処理で説明したように、第２画像の被写体についての画像分析を行い第２画像の被写体の成績に影響を及ぼす特徴量を抽出する分析処理部１６を備え、重畳情報（例えば第３領域ＡＲ３に表示するテキスト情報）は、特徴量に関する情報とされてもよい。
　第２画像の被写体の成績に影響を及ぼす特徴量とは、例えば、水泳であれば、息継ぎ回数や頻度、或いは手を掻く回数や息継ぎの回数などである。
　成績に影響のある特徴量を抽出して重畳表示することにより、更に細かく選手の動きを解析することができ、成績向上のためのコーチング情報を得ることができる。
　配信コンテンツ送信処理（図９）などの各例で説明したように、受信したユーザ情報に基づいてユーザ認証を行う認証処理部１８を備え、送信処理部（配信制御部１９）は、認証結果に基づいて表示用コンテンツ（配信コンテンツ）を選択して送信してもよい。
　表示用コンテンツは、個人情報を含む画像コンテンツである。そのようなコンテンツがユーザ認証に成功した場合に限り送信される。
　これにより、個人情報の保護を図ることができる。
　配信コンテンツ送信処理（図９）で説明したように、表示用コンテンツ（配信コンテンツ）ごとに開示範囲を設定するコンテンツ管理部１４を備えていてもよい。
　表示用コンテンツは、被写体の選手によって閲覧制限を設けたい場合とそうでない場合がある。
　開示範囲の設定が可能とされていることで、ユーザの意図を汲んだコンテンツ管理を行うことができる。
　配信コンテンツ送信処理（図９）で説明したように、受信したユーザ情報に基づいてユーザ認証を行う認証処理部１８を備え、送信処理部（配信制御部１９）は、認証結果と前記開示範囲とに基づいて表示用コンテンツ（配信コンテンツ）の送信を行ってもよい。
　例えば、ユーザ認証によってユーザを特定し、表示用コンテンツに設定された開示範囲に基づいて該ユーザの要求を受諾するか否かの判定を行う。
　これにより、ユーザの意図に沿ったコンテンツ管理を行うと共に、コンテンツを適切に配信することができる。
　撮像画像データの編集例の変形例２（図１３）で説明したように、同期処理部１７が行う同期処理では、第１画像（例えば第１領域ＡＲ１に表示する画像）と第２画像（例えば第２領域ＡＲ２に表示する画像）の画像比較を行ってもよい。
　例えば、第１画像と第２画像が動画像である場合に、両画像の一部同士を比較して一致度を算出することにより、同期処理を行う。
　これにより、タイムスタンプ情報が画像に紐付けられていなくても、両画像を同期させることができる。また、タイムスタンプ情報が画像に紐付けられていたとしても、同期していない撮像装置で撮像されている場合には、タイムスタンプ情報から両画像を同期させることは難しい。そのような場合であっても、本構成により画像処理によって一致点を検索して同期させることが可能となる。
　ライブ配信（図１１）で説明したように、送信処理部（配信制御部１９）はストリーミング配信を行ってもよい。
　例えば、競技において全体を俯瞰で撮像した公式の第１画像と特定の選手に着目した公式の第２画像を組み合わせてストリーミング配信を行う。
　更に、第２画像を選手ごとに異なる画像とすることにより、選手ごとに異なる表示用コンテンツがストリーミング配信される。これにより、ユーザごとに所望する画像が異なる状況においてユーザごとに適切な表示用コンテンツをストリーミング配信することが可能となる。
　前述の通り、ライブ配信においては５Ｇ／ローカル５Ｇ（或いはローカル４Ｇ／ＬＴＥ）の回線を利用することができる。この場合、ネットワークを仮想化してネットワークリソースを分割（スライス）し、通信する情報の用途や優先度に応じてスライスを使い分けるネットワークスライシングの技術を用いることも可能である。
　具体的には、例えば、会場内に設置されており、会場内においてローカル５Ｇの通信環境を構築し、通信を制御している基地局を介して、配信サーバ装置３が、各種データや画像データを配信対象の各端末に配信する。この場合、例えば各端末において、画像データを合成し、または画像データに対して各種データを重畳する処理を行ってもよい。
　このとき、配信サーバ装置３は、配信するデータの用途や特性に応じて、割り当てられるべきスライスを特定するための情報を生成し、データと、当該信号が割り当てられるべきスライスを特定するための情報（メタデータ）を関連付けて基地局に送信する。
　基地局は、受信した各データをそれぞれのメタデータにより特定されるスライスに割り当てることで、割り当てられたスライスを用いて各データを配信対象の各端末に送信する。
　ここで、スライス割り当ての一例として、遅延なく視聴できることが好ましい画像データを低遅延送信のためのスライスに割り当てることが考えられる。また、目視でのレース観戦をメインで行っている場合など画像データの遅延を許容できるケースにおいては、例えば画像データを大容量送信のためのスライスに割り当て、タイムリーに把握することが好ましい画像データに重畳されている各種情報（例えばラップタイムなどの経過情報など）を低遅延送信のためのスライスに割り当てることが考えられる。
　なお、上述した例では競泳を例に挙げたが、それ以外の競技を対象としても構わない。例えば、１００ｍ走や１１０ｍハードルなどの陸上競技でもよいし、シンクロナイズドスイミングなどの団体競技であってもよい。また、競技以外にも、吹奏楽の演奏会やオーケストラの演奏会などにも適用できる。
　具体的には、団体競技であれば、団体全員を撮像した撮像画像データを全体画像とし、その中の一人の競技者をアップで撮像した撮像画像データをアップ画像とし、それらを合成することにより配信コンテンツを生成してもよい。
　或いは、吹奏楽の演奏会であれば、演奏者全員を撮像した撮像画像データを全体画像とし、その中の一人の演奏者をアップで撮像した撮像画像データをアップ画像とし、それらを合成することにより配信コンテンツを生成してもよい。
　即ち、複数人で行うパフォーマンスや競技において、上述した各種の構成を適用することが可能である。
　実施の形態のプログラムは、図６、図７、図８、図９、図１０、図１１、図１３の各図に示す各処理を、例えばＣＰＵ、ＤＳＰ等、或いはこれらを含むデバイスに実行させるプログラムである。
　即ち、実施の形態のプログラムは、第１の撮像装置により撮像された第１画像と、前記第１の撮像装置または他の撮像装置により撮像され前記第１画像の被写体のうちの一部を被写体とした第２画像と、を組み合わせて表示用コンテンツを生成する生成処理を配信サーバ装置３の制御部に実行させる。
　このようなプログラムにより、上述した配信サーバ装置３を実現できる。
　このような配信サーバ装置３を実現するプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
　或いはまた、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magneto Optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
　またこのようなプログラムによれば、実施の形態の配信サーバ装置３の広範な提供に適している。例えばスマートフォンやタブレット等の携帯端末装置、携帯電話機、パーソナルコンピュータ、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等のカメラ機能を備えた機器にプログラムをダウンロードすることで、当該スマートフォン等を、本開示の配信サーバ装置３として機能させることができる。
　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
<８．本技術>
　（１）
　第１の撮像装置により撮像された第１画像と、前記第１の撮像装置または他の撮像装置により撮像され前記第１画像の被写体のうちの一部を被写体とした第２画像と、を組み合わせて表示用コンテンツを生成するコンテンツ生成部を備えた
　情報処理装置。
　（２）
　前記表示用コンテンツを送信する送信処理部を備えた
　上記（１）に記載の情報処理装置。
　（３）
　前記第１画像と前記第２画像を同期させる同期処理を行う同期処理部を備えた
　上記（１）から上記（２）の何れかに記載の情報処理装置。
　（４）
　前記表示用コンテンツは、重畳情報を含む
　上記（１）から上記（３）の何れかに記載の情報処理装置。
　（５）
　前記重畳情報は、前記第１画像または前記第２画像についての説明情報とされた
　上記（４）に記載の情報処理装置。
　（６）
　前記重畳情報は、前記第２画像の被写体に対する比較情報とされた
　上記（４）から上記（５）の何れかに記載の情報処理装置。
　（７）
　前記比較情報は、前記第２画像の被写体についての成績を示す情報とされた
　上記（６）に記載の情報処理装置。
　（８）
　前記比較情報は、前記第２画像の被写体以外の人物の成績を示す情報とされた
　上記（６）から上記（７）の何れかに記載の情報処理装置。
　（９）
　前記第２画像の被写体についての画像解析を行い前記第２画像の被写体の成績に影響を及ぼす特徴量を抽出する分析処理部を備え、
　前記重畳情報は、前記特徴量に関する情報とされた
　上記（４）から上記（８）の何れかに記載の情報処理装置。
　（１０）
　受信したユーザ情報に基づいてユーザ認証を行う認証処理部を備え、
　前記送信処理部は、認証結果に基づいて前記表示用コンテンツを選択して送信する
　上記（２）に記載の情報処理装置。
　（１１）
　表示用コンテンツごとに開示範囲を設定するコンテンツ管理部を備えた
　上記（２）に記載の情報処理装置。
　（１２）
　受信したユーザ情報に基づいてユーザ認証を行う認証処理部を備え、
　前記送信処理部は、認証結果と前記開示範囲とに基づいて前記表示用コンテンツの送信を行う
　上記（２）に記載の情報処理装置。
　（１３）
　前記同期処理では、前記第１画像と前記第２画像の画像比較を行う
　上記（３）に記載の情報処理装置。
　（１４）
　前記送信処理部はストリーミング配信を行う
　上記（２）、上記（１０）、上記（１１）または上記（１２）に記載の情報処理装置。
　（１５）
　第１の撮像装置により撮像された第１画像と、前記第１の撮像装置または他の撮像装置により撮像され前記第１画像の被写体のうちの一部を被写体とした第２画像と、を組み合わせて表示用コンテンツを生成する
　情報処理装置が実行する情報処理方法。
　（１６）
　第１の撮像装置により撮像された第１画像と、前記第１の撮像装置または他の撮像装置により撮像され前記第１画像の被写体のうちの一部を被写体とした第２画像と、を組み合わせて表示用コンテンツを生成する生成処理を
　情報処理装置に実行させるプログラム。
３　配信サーバ装置
７　撮像装置
１４　コンテンツ管理部
１６　分析処理部
１７　同期処理部
１８　認証処理部
１９　配信制御部（送信処理部）

Claims (16)

  1. 　第１の撮像装置により撮像された第１画像と、前記第１の撮像装置または他の撮像装置により撮像され前記第１画像の被写体のうちの一部を被写体とした第２画像と、を組み合わせて表示用コンテンツを生成するコンテンツ生成部を備えた
    　情報処理装置。
  2. 　前記表示用コンテンツを送信する送信処理部を備えた
    　請求項１に記載の情報処理装置。
  3. 　前記第１画像と前記第２画像を同期させる同期処理を行う同期処理部を備えた
    　請求項１に記載の情報処理装置。
  4. 　前記表示用コンテンツは、重畳情報を含む
    　請求項１に記載の情報処理装置。
  5. 　前記重畳情報は、前記第１画像または前記第２画像についての説明情報とされた
    　請求項４に記載の情報処理装置。
  6. 　前記重畳情報は、前記第２画像の被写体に対する比較情報とされた
    　請求項４に記載の情報処理装置。
  7. 　前記比較情報は、前記第２画像の被写体についての成績を示す情報とされた
    　請求項６に記載の情報処理装置。
  8. 　前記比較情報は、前記第２画像の被写体以外の人物の成績を示す情報とされた
    　請求項６に記載の情報処理装置。
  9. 　前記第２画像の被写体についての画像解析を行い前記第２画像の被写体の成績に影響を及ぼす特徴量を抽出する分析処理部を備え、
    　前記重畳情報は、前記特徴量に関する情報とされた
    　請求項４に記載の情報処理装置。
  10. 　受信したユーザ情報に基づいてユーザ認証を行う認証処理部を備え、
    　前記送信処理部は、認証結果に基づいて前記表示用コンテンツを選択して送信する
    　請求項２に記載の情報処理装置。
  11. 　表示用コンテンツごとに開示範囲を設定するコンテンツ管理部を備えた
    　請求項２に記載の情報処理装置。
  12. 　受信したユーザ情報に基づいてユーザ認証を行う認証処理部を備え、
    　前記送信処理部は、認証結果と前記開示範囲とに基づいて前記表示用コンテンツの送信を行う
    　請求項１１に記載の情報処理装置。
  13. 　前記同期処理では、前記第１画像と前記第２画像の画像比較を行う
    　請求項３に記載の情報処理装置。
  14. 　前記送信処理部はストリーミング配信を行う
    　請求項２に記載の情報処理装置。
  15. 　第１の撮像装置により撮像された第１画像と、前記第１の撮像装置または他の撮像装置により撮像され前記第１画像の被写体のうちの一部を被写体とした第２画像と、を組み合わせて表示用コンテンツを生成する
    　情報処理装置が実行する情報処理方法。
  16. 　第１の撮像装置により撮像された第１画像と、前記第１の撮像装置または他の撮像装置により撮像され前記第１画像の被写体のうちの一部を被写体とした第２画像と、を組み合わせて表示用コンテンツを生成する生成処理を
    　情報処理装置に実行させるプログラム。
PCT/JP2020/042413 2019-12-20 2020-11-13 情報処理装置、情報処理方法、プログラム WO2021124750A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202080086211.5A CN114793486A (zh) 2019-12-20 2020-11-13 信息处理装置、信息处理方法和程序
JP2021565374A JPWO2021124750A1 (ja) 2019-12-20 2020-11-13
US17/778,678 US12010403B2 (en) 2019-12-20 2020-11-13 Information processing apparatus, information processing method, and program
EP20904012.0A EP4068762A4 (en) 2019-12-20 2020-11-13 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-230431 2019-12-20
JP2019230431 2019-12-20

Publications (1)

Publication Number Publication Date
WO2021124750A1 true WO2021124750A1 (ja) 2021-06-24

Family

ID=76477216

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/042413 WO2021124750A1 (ja) 2019-12-20 2020-11-13 情報処理装置、情報処理方法、プログラム

Country Status (5)

Country Link
US (1) US12010403B2 (ja)
EP (1) EP4068762A4 (ja)
JP (1) JPWO2021124750A1 (ja)
CN (1) CN114793486A (ja)
WO (1) WO2021124750A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023187929A1 (ja) * 2022-03-28 2023-10-05 日本電気株式会社 販売管理装置、販売管理方法、及び販売管理システム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115174824A (zh) * 2021-03-19 2022-10-11 阿里巴巴新加坡控股有限公司 视频生成方法及装置、宣传类型视频生成方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003018583A (ja) 2001-07-05 2003-01-17 Sony Corp 多視点任意選択型映像視聴システム、ストリームデータ合成装置、及び、合成ストリームデータ配信サーバ
JP2014236426A (ja) * 2013-06-04 2014-12-15 株式会社Ｊｖｃケンウッド 画像処理装置および撮像システム
JP2017151519A (ja) * 2016-02-22 2017-08-31 株式会社Ｊストリーム コンテンツ付加情報提供システム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2102442A1 (en) * 1992-11-20 1994-05-21 William Gobush Method and apparatus to determine object striking instrument movement conditions
US5697791A (en) * 1994-11-29 1997-12-16 Nashner; Lewis M. Apparatus and method for assessment and biofeedback training of body coordination skills critical and ball-strike power and accuracy during athletic activitites
US20020064764A1 (en) * 2000-11-29 2002-05-30 Fishman Lewis R. Multimedia analysis system and method of use therefor
JP4185333B2 (ja) 2001-09-07 2008-11-26 松下電器産業株式会社 映像配信装置および映像受信装置
US20040070691A1 (en) * 2002-10-11 2004-04-15 Akio Kojima Image processing method of sporting events
US7702015B2 (en) * 2003-03-20 2010-04-20 Ge Security, Inc. Systems and methods for multi-resolution image processing
JP4905474B2 (ja) 2009-02-04 2012-03-28 ソニー株式会社 映像処理装置、映像処理方法及びプログラム
US8754755B2 (en) * 2010-10-18 2014-06-17 John S. Lapides Athletic event timing and display systems
WO2014008134A1 (en) * 2012-07-02 2014-01-09 Infomotion Sports Technologies, Inc. Computer-implemented capture of live sporting event data
US9409081B2 (en) * 2012-11-16 2016-08-09 Rovi Guides, Inc. Methods and systems for visually distinguishing objects appearing in a media asset
US9589207B2 (en) * 2013-11-21 2017-03-07 Mo' Motion Ventures Jump shot and athletic activity analysis system
US10521671B2 (en) * 2014-02-28 2019-12-31 Second Spectrum, Inc. Methods and systems of spatiotemporal pattern recognition for video content development
EP3176756A4 (en) * 2014-07-28 2017-08-09 Panasonic Intellectual Property Management Co., Ltd. Augmented reality display system, terminal device and augmented reality display method
KR102396036B1 (ko) * 2015-05-18 2022-05-10 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
US10531137B1 (en) * 2015-12-31 2020-01-07 Mayfonk Athletic Llc Athletic telemetry system
GB2571106A (en) 2018-02-16 2019-08-21 Sony Corp Image processing apparatuses and methods
JP6598334B2 (ja) 2018-10-29 2019-10-30 みこらった株式会社 スポーツ競技ライブ観戦システム、スポーツ競技ライブ観戦システムの映像収集配信設備装置及び観戦者端末

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003018583A (ja) 2001-07-05 2003-01-17 Sony Corp 多視点任意選択型映像視聴システム、ストリームデータ合成装置、及び、合成ストリームデータ配信サーバ
JP2014236426A (ja) * 2013-06-04 2014-12-15 株式会社Ｊｖｃケンウッド 画像処理装置および撮像システム
JP2017151519A (ja) * 2016-02-22 2017-08-31 株式会社Ｊストリーム コンテンツ付加情報提供システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4068762A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023187929A1 (ja) * 2022-03-28 2023-10-05 日本電気株式会社 販売管理装置、販売管理方法、及び販売管理システム

Also Published As

Publication number Publication date
EP4068762A1 (en) 2022-10-05
US12010403B2 (en) 2024-06-11
JPWO2021124750A1 (ja) 2021-06-24
CN114793486A (zh) 2022-07-26
US20220417618A1 (en) 2022-12-29
EP4068762A4 (en) 2023-02-01

Similar Documents

Publication Publication Date Title
EP3238445B1 (en) Interactive binocular video display
US9462030B2 (en) System and method for providing a real-time three-dimensional digital impact virtual audience
WO2021124750A1 (ja) 情報処理装置、情報処理方法、プログラム
JP2003199078A (ja) イベントに関係した映像ストリームをイベントに居合わせている観客へ送信する伝送システム
JP2020086983A (ja) 画像処理装置、画像処理方法、及びプログラム
US20160367891A1 (en) System and Method for Positioning, Tracking and Streaming in an Event
WO2014041353A2 (en) Media content distribution
US10623688B1 (en) Event capture and distribution system and method
US10694245B2 (en) Device, system, and method for game enhancement using cross-augmentation
JP2007089648A (ja) 競技情報の配信システム、携帯機器、配信方法、及びプログラム
KR20190031220A (ko) Vr 콘텐츠 제공 시스템 및 방법
JP2023153790A (ja) プログラム
JP7301521B2 (ja) 画像処理装置
JP2006174124A (ja) 映像配信再生システム、映像配信装置及び映像再生装置
CN109361931A (zh) 一种赛事直播中进行提示的方法及系统
JP7235098B2 (ja) 情報配信装置、情報配信方法、情報配信プログラム
JP6909513B2 (ja) スポーツ競技ライブ観戦システム、スポーツ競技ライブ観戦システムの映像収集配信設備装置及び観戦者端末
JP7282519B2 (ja) 画像処理装置または画像処理サーバー
WO2020095647A1 (ja) 画像処理装置、画像処理サーバー、画像処理方法、コンピュータプログラム及び記憶媒体
JP7421821B2 (ja) 競技観戦システム、観戦者端末、映像収集提供装置、観戦者端末用プログラム及び映像収集提供装置用プログラム
JP6849851B2 (ja) 撮影システム、撮影装置及びユーザ撮影方法
JP3932868B2 (ja) 画像配信システム
JP7158770B2 (ja) 競技観戦システム、映像収集配信装置、観戦者端末及び映像収集配信装置用のプログラム並びに観戦者端末用のプログラム
JP6788293B2 (ja) スポーツ競技ライブ観戦システム、スポーツ競技ライブ観戦システムの映像収集提供装置及び観戦者端末並びに観戦者端末用プログラム及び映像収集提供装置用プログラム
US20240214614A1 (en) Multi-camera multiview imaging with fast and accurate synchronization

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20904012

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021565374

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2020904012

Country of ref document: EP

Effective date: 20220629

NENP Non-entry into the national phase

Ref country code: DE