WO2016139898A1 - ビデオ処理装置、ビデオ処理システムおよびビデオ処理方法 - Google Patents

ビデオ処理装置、ビデオ処理システムおよびビデオ処理方法 Download PDF

Info

Publication number
WO2016139898A1
WO2016139898A1 PCT/JP2016/000730 JP2016000730W WO2016139898A1 WO 2016139898 A1 WO2016139898 A1 WO 2016139898A1 JP 2016000730 W JP2016000730 W JP 2016000730W WO 2016139898 A1 WO2016139898 A1 WO 2016139898A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
position information
time
storage unit
video signal
Prior art date
Application number
PCT/JP2016/000730
Other languages
English (en)
French (fr)
Inventor
秀喜 新井
泉三郎 中村
中山　淳
宮内　敦
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/552,531 priority Critical patent/US10362266B2/en
Publication of WO2016139898A1 publication Critical patent/WO2016139898A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4524—Management of client data or end-user data involving the geographical location of the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/015—High-definition television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders

Definitions

  • the present technology relates to a video processing apparatus, and in particular, a video processing apparatus, a video processing system, and a video processing system that output a second video signal by cutting out at least a part of a region from a first video signal obtained by shooting a state of sports competition or the like
  • the present invention relates to a video processing method.
  • Patent Document 1 inputs a sports video, detects movement information of each player from the input sports video, and based on each position over a plurality of frames of each player included in the movement information of each player, The area where each player is concentrated and the movement of each player is large is obtained and set as a frame position of a new camera work image. Further, based on the set frame position, a new camera work is generated from the sports image.
  • a digital camera work device that cuts out a video and outputs the cut out video is disclosed. Further, in Patent Document 1, the position of a ball is detected from a sports video, and the frame position is calculated in consideration of the detected position of the ball.
  • a video processing apparatus includes a video input unit, a video storage unit, a position information input unit, a specified start time storage unit, a specified end time storage unit, and a controller.
  • the video input unit is configured to input a first video signal that is captured by the camera at a first frame resolution and to which time data for each frame is added.
  • the video storage unit is configured to store first video data for each frame included in the input first video signal in association with the time data.
  • the position information input unit is configured to receive position information of a specific moving body included in the first video signal as a part of the subject.
  • the position information storage unit is configured to store the received position information and time in association with each other.
  • the designated start time storage unit is configured to store a time specifying the start of the time interval.
  • the designated end time storage unit is configured to store a time specifying the end of the time interval. Then, the controller reads one or more pieces of position information for each time interval specified by the designated start time storage unit and the designated end time storage unit from the position information storage unit, and each of the read one or more pieces of position information indicates A cutout area including one or more positions is calculated, video data in the cutout area is cut out from the first video data in the time interval stored in the video storage unit, and a second frame is cut out from the cut out video data. It is configured to generate resolution second video data.
  • an area including one or more positions of the moving object in the time interval is determined from the frame of the first video signal having the first frame resolution.
  • the cut-out second video data having the second frame resolution can be continuously generated for each time interval. Accordingly, the second video data of the image frames having various positions and sizes can be automatically generated from the first video signal of the entire subject photographed by one camera.
  • the position information input unit receives position information and time data of a specific moving body from the outside, and the controller calculates a cutout region based on the position information obtained from the outside. . For this reason, processing such as detection of movement information and calculation of position information of the moving body does not become a speed bottleneck of the processing of the controller, and the second video signal for live broadcasting is output from the first video signal. The delay time until
  • the controller selects the clip region calculated based on the position information of the moving body. It is possible to correctly determine the frame from which video data is cut out by applying. That is, it is possible to suppress an error in timing extraction from the first video data.
  • the controller may be configured to calculate the cutout region having an aspect ratio of the second frame resolution.
  • the controller calculates the cutout region including a plurality of positions indicated by one or more position information of one time interval and one or more position information from at least the beginning of the next time interval. It may be configured to.
  • the cutout area including the area where the moving body further moves is calculated, for example, in the case of a soccer game.
  • Video data including the state immediately before the pass of the area to which the long pass is issued, that is, the state of the movement of the athlete who receives the long pass is cut out. Therefore, video data with high viewing value can be obtained as a digest.
  • the video processing apparatus further includes an operation input unit that receives an instruction to change the time interval from an operator, and the controller is configured to change the time interval according to the instruction received by the operation input unit. It's okay.
  • an appropriate time interval can be set according to the size and speed of movement in sports competitions.
  • the controller has a position closest to an end of the current cutout area among the positions of the moving body in the next time interval used to calculate the next cutout area.
  • the controller has a position closest to an end of the current cutout area among the positions of the moving body in the next time interval used to calculate the next cutout area.
  • the controller receives event information including information for specifying the location of the subject from outside, and includes a location specified by the event information in an image frame of the first video signal.
  • An area may be configured to be set as the cutout area.
  • This mechanism also eliminates the calculation of the cutout region, and can further reduce the delay time from the first video signal until the second video signal for live broadcasting is output.
  • the video input unit is shot by a plurality of cameras that shoot the common subject from different directions, has a first frame resolution, and is added with time data for each frame.
  • a switching unit for selecting one of the first video signals of The controller reads one or more pieces of position information of at least one of the time intervals from the position information storage unit, and the moving direction of the moving body based on one or more positions indicated by the read one or more pieces of position information
  • the switching unit may be configured to select a first video signal of one of the cameras whose shooting direction is opposite or substantially opposite to the determined moving direction of the moving body.
  • the switching unit of the video input unit is for shooting one or more areas for capturing a specific area of the subject at the second frame resolution in addition to the plurality of first video signals.
  • One of the third video signals photographed by the camera and added with time data for each frame is selectable, and the controller includes one or more pieces of position information read from the position information storage unit.
  • the controller includes one or more pieces of position information read from the position information storage unit.
  • the controller When the third video signal is selected by the switching unit, the controller does not need to calculate a cutout area, cut out video data, and perform second frame resolution. That is, the video data of the third video signal selected by the switching unit is obtained as it is as the second video data. Therefore, this also makes it possible to further shorten the delay time from when the first video signal is output to the second video signal for live broadcasting. Further, a powerful image can be obtained by, for example, disposing the attacking player in the goal area so as to be photographed from substantially the front.
  • a video processing system includes a camera, a position information generation device, and a video processing device.
  • the camera is at least one camera that takes a fixed point image of a subject including a moving body at a first frame resolution and outputs a first video signal to which time data for each frame is added.
  • the position information generation device is configured to generate position information of the moving body.
  • the video processing apparatus includes a video input unit, a video storage unit, a position information input unit, a position information storage unit, a designated start time storage unit, a designated end time storage unit, and a controller.
  • the video input unit is configured to input the first video signal.
  • the video storage unit is configured to store first video data for each frame included in the input first video signal in association with the time data.
  • the position information input unit is configured to receive position information generated by the position information generation device.
  • the position information storage unit is configured to store the received position information and time in association with each other.
  • the designated start time storage unit is configured to store a time specifying the start of the time interval.
  • the designated end time storage unit is configured to store a time specifying the end of the time interval.
  • the controller reads one or more pieces of position information for each time interval specified by the designated start time storage unit and the designated end time storage unit from the position information storage unit, and each of the read one or more pieces of position information indicates 1
  • a cutout area including the above positions is calculated, video data in the cutout area is cut out from the first video data in the time interval stored in the video storage unit, and a second frame resolution is cut out from the cut out video data. To generate the second video data.
  • the cameras are arranged so as to shoot the common subject from different directions, and the video input unit of the video processing device includes a plurality of second images captured by the plurality of cameras.
  • the switching unit may be configured to select a first video signal of one of the cameras whose shooting directions are opposite or substantially opposite.
  • the video processing system further includes a specific area camera that captures a specific area of the subject at the second frame resolution and transmits a third video signal in association with time data, and the switching unit. Is configured such that one video signal can be selected from the first video signal and the third video signal, and the controller has one or more pieces of position information read from the position information storage unit, respectively.
  • the switching unit may be configured to select one of the one or more third video signals.
  • the video processing method includes a video signal input step, a video storage step, a position information input step, a position information storage step, and a cut-out video data generation step.
  • a first video signal which is captured by the camera at the first frame resolution and to which time data for each frame is added is input.
  • the first video data for each frame included in the input first video signal is stored in the video storage unit in association with the time data.
  • the position information input step receives position information of a specific moving body included in the first video signal as a part of the subject.
  • the position information storage step stores the acquired position information in the position information storage unit in association with the time.
  • the controller reads out one or more pieces of position information at least for each specific time interval from the position information storage unit, and includes one or more positions indicated by the read out one or more pieces of position information.
  • the video data in the cutout area is cut out from the first video data in the time interval stored in the video storage unit, and second video data having a second frame resolution is cut out from the cut out video data.
  • a video processing device includes a video input unit, a video storage unit, a position information input unit, a position information storage unit, and a controller.
  • the video input unit inputs a first video signal that is captured by the camera at the first frame resolution and to which time data is added for each frame.
  • the video storage unit stores the first video data for each frame included in the input first video signal in association with the time data.
  • the position information input unit receives position information with time data of a specific moving body included in the first video signal as a part of the subject.
  • the position information storage unit stores the received position information and the time data in association with each other.
  • the controller reads one or more pieces of position information at least for each specific time interval from the position information storage unit, calculates a cutout region including one or more positions indicated by the read one or more pieces of position information, and stores the video storage
  • the video data in the cut-out area is cut out from the first video data in the time interval stored in the section, and second video data having a second frame resolution is generated from the cut-out video data. .
  • FIG. 1 is a block diagram functionally showing the configuration of a video processing device according to a first embodiment of the present technology.
  • FIG. It is a block diagram which shows the structure of the time interval setting part 120 which sets each time of the start and the end of the time interval which cuts out video data.
  • FIG. 1 is a block diagram illustrating a configuration of a video processing system 10 and a more specific configuration of a video processing apparatus 100 according to a first embodiment. It is a flowchart of the video input process by the video processing apparatus 100 of 1st Embodiment. It is a flowchart of the positional information input process by the video processing apparatus 100 of 1st Embodiment. It is a flowchart of the video clip creation process by the video processing apparatus 100 of 1st Embodiment. It is a timing chart of the delay live process A. It is a figure which shows the example of the two cut-out area
  • FIG. 12 is a timing chart showing a delayed live process B. It is a figure which shows the cut-out area
  • FIG. 21 is a timing diagram of delayed live processing by the video processing device 100A of FIG. 20.
  • This embodiment includes a range in which a target moving body included in a subject has moved from video data of at least a part of a time interval of the first video signal having the first frame resolution transmitted from the video transmission unit.
  • the present invention relates to a video processing apparatus and a video processing system that generate a second video signal having a second frame resolution.
  • the frame resolution of the first video signal transmitted from the video transmission unit is higher than the frame resolution of the second video signal generated by the video processing device.
  • the frame resolution of the first video signal is 8K (7680 ⁇ 4320) and the frame resolution of the second video signal is full HD (1920 ⁇ 1080). Note that what is described as a “frame” in the present embodiment may be a “field” in the interlace method.
  • the first video signal is a video signal obtained by taking a fixed-point image of a soccer game in the entire competition area 2 with a camera.
  • the video transmission unit may be built in the camera, or may relay the first video signal transmitted from the camera and transmit it to the video processing device.
  • description will be made assuming that the video transmission unit is built in the camera.
  • FIG. 1 is a diagram showing an example of the positional relationship between a camera 1 and a soccer game area 2 in the video processing system of the present embodiment. As shown in the figure, the camera 1 is fixed at a position where the entire soccer competition area 2 can be photographed at a fixed point.
  • FIG. 2 shows an entire image frame 11 corresponding to the first frame resolution of the first video signal output from the camera 1, and a rectangular cutout region 12 of the video data calculated by the video processing apparatus of this embodiment. It is a figure which shows the relationship.
  • the size and position of the cutout region 12 are determined based on the range in which the target moving body (for example, the ball 3) has moved in a part of the time interval of the first video signal.
  • the cutout area 12 is an area having an aspect ratio of the second frame resolution.
  • FIG. 3 is a block diagram functionally showing the configuration of the video processing apparatus according to the first embodiment of the present technology.
  • the video processing apparatus 100 includes a video input unit 101, a video storage unit 102, a position information input unit 103, a position information storage unit 104, a conversion unit 105, a cutout area calculation unit 106, a specified start time storage unit 107, and a specified end time storage.
  • the video input unit 101 receives the first video signal having the first frame resolution transmitted from the camera 1.
  • a plurality of 3G-SDI (Serial Digital Interface) interfaces are used for transmission of the first video signal having an 8K frame resolution.
  • the camera 1 picks up a fixed point image of the competition area 2 as a subject and transmits a first video signal to which a time code for each frame is added.
  • the time code is given by a clock in the camera 1 that is periodically synchronized with a standard time acquired from, for example, a time server on the Internet.
  • the video input unit 101 receives the first video signal transmitted from the camera 1, and stores each frame of the first video signal in the video storage unit 102 in association with the time code.
  • the video input unit 101 does not use the time code added to the first video signal, but periodically synchronizes with a built-in real time clock or a time given from the outside such as a time server on the Internet. It is also possible to use a time code given based on the time given from the clock in the computer 130 where the value is taken.
  • the video storage unit 102 stores each frame of the first video signal input to the video input unit 101 in association with a time code.
  • the video storage unit 102 stores the video data of each frame of the first video signal with the first frame resolution. Or what compressed the video data of each frame of the 1st video signal by a reversible compression method may be memorized.
  • the location information input unit 103 periodically receives the location information of the mobile body transmitted from the external location information generation device 140 (FIG. 5) and the time code associated therewith.
  • the position information of the moving body received by the position information input unit 103 is the position information in the ground coordinate system of the ball 3 and one or more players 4 or the coordinate system of the image frame of the first video signal. Is position information.
  • the position information input unit 103 only the position information of the ball 3 may be received by the position information input unit 103.
  • the time code for each frame of the first video signal and the time code associated with the position information are preferably synchronized with each other, but there is no problem in processing even if they are not completely synchronized.
  • the position information of the moving body and the first video signal when the moving body is at the position are input by the video processing apparatus 100 at the same timing, but the position information of the moving body is somewhat delayed. Even if it is supplied (for example, with a delay of about several seconds), there is no problem in processing because it only affects the output timing of the extracted video data.
  • the location information storage unit 104 stores the location information and time code of each mobile unit received by the location information input unit 103 in association with each other.
  • the conversion unit 105 reads the position information of each moving body from the position information storage unit 104, and when this position information is position information in the ground coordinate system, this is converted into the coordinate system in the image frame 11 of the first video signal. To position information. However, if the input position information is originally position information in the coordinate system of the image frame of the first video signal, conversion by the conversion unit 105 is not necessary.
  • the designated start time storage unit 107 is an area for storing a time code of a frame from which clipping is started.
  • the designated end time storage unit 108 is an area for storing a time code of a frame to end the cutout.
  • the time code of the start frame and the time code of the end frame may be designated by a trigger artificially given by an operator of the video processing apparatus 100, for example.
  • event information given from the outside of the video processing apparatus 100 may be designated as a trigger.
  • the cutout area calculation unit 106 reads the time code of the start frame from the specified start time storage unit 107 and reads the time code of the end frame from the specified end time storage unit 108.
  • the cutout area calculation unit 106 reads, from the position information storage unit 104, one or more pieces of position information of the moving object in a time period from the time indicated by the time code of the start frame to the time indicated by the time code of the end frame.
  • the cutout area calculation unit 106 calculates an area having an aspect ratio of the second frame resolution including one or more positions indicated by the one or more pieces of position information read from the position information storage unit 104 as a cutout area. The method for calculating the cutout area will be described in more detail later.
  • the cut-out video generation unit 109 reads the start frame time code from the specified start time storage unit 107 and reads the end frame time code from the specified end time storage unit 108.
  • the cut-out video generation unit 109 reads each frame in the time interval from the time code of the start frame to the time indicated by the time code of the end frame from the video storage unit 102, and cuts out video data of a portion corresponding to the cut-out area of each read frame. .
  • the time of the rectangular area 12 having the aspect ratio of the second frame resolution including at least the range in which the moving body moves in the time interval from the time indicated by the time code of the start frame to the time indicated by the time code of the end frame.
  • the video data for the section is cut out from each frame of the time section of the first video signal.
  • the cut-out video generation unit 109 enlarges (pixel interpolation) or reduces (pixel thinning) the second video data so that each video data cut out from each frame has a second frame resolution such as full HD. Generate.
  • the video output unit 110 converts the second video data cut out by the cut-out video generation unit 109 into a second video signal such as an HD-SDI signal, and outputs the converted signal.
  • HD-SDI is a transmission standard called high-definition serial digital interface.
  • the video output unit 110 has a buffer.
  • the video output unit 110 delays the second video data intermittently supplied from the cut-out video generation unit 109 with a buffer and outputs the second video data as a second video signal such as a continuous HD-SDI signal.
  • the second time portion having the second frame resolution including at least the range in which the moving body moves in the time interval.
  • a video signal is obtained.
  • the second video signal is an image obtained by zooming in on a range of the first video signal including a rectangular range in which the moving body moves in the time interval.
  • the HD-SDI signal output from the video output unit 110 is transmitted to an external HD broadcast device or the like at the same frame rate as the first video signal input to the video input unit 101.
  • the clip storage unit 111 converts the second video data having the second frame resolution generated by the cut-out video generation unit 109 into a file and stores it as a randomly accessible video clip.
  • the video processing apparatus 100 is configured so that the operator can specify in real time the start and end times of the time interval in which the video data is cut out as the competition progresses.
  • FIG. 4 is a block diagram showing the configuration of the time interval setting unit 120 that sets the start and end times of the time interval for cutting out video data.
  • the time interval setting unit 120 includes a time providing unit 121, a start time trigger receiving unit 122, and an end time trigger receiving unit 123.
  • the time providing unit 121 has a clock function, and synchronizes the clock function with the time code added to the first video signal input to the video input unit 101 or the time acquired by accessing a time server on the Internet.
  • the start time trigger receiving unit 122 When the start time trigger receiving unit 122 receives an external trigger designating the start time of the time interval for cutting out video data, the start time trigger receiving unit 122 inquires the time providing unit 121 about the time, and indicates the time returned from the time providing unit 121 The code is set in the designated start time storage unit 107.
  • the end time trigger receiving unit 123 When the end time trigger receiving unit 123 receives an external trigger designating the end time of the time interval for cutting out the video data, the end time trigger receiving unit 123 inquires the time providing unit 121 about the time, and indicates the time returned from the time providing unit 121 The code is set in the designated end time storage unit 108.
  • a method of generating an external trigger in addition to a method in which the operator manually inputs a trigger, for example, a noticeable play such as a corner kick or a free kick is performed, for image recognition with respect to the first video signal or in a stadium.
  • a method of generating a trigger by detecting with an installed sensor.
  • the start and end times of the time interval in which the video data is cut out can be specified in real time, and a video clip can be quickly created and provided to the viewer.
  • FIG. 5 is a block diagram illustrating a configuration of the video processing system 10 using the video processing device 100 according to the first embodiment and a more specific configuration of the video processing device 100.
  • the video processing system 10 mainly includes a camera 1, a position information generation device 140, and a video processing device 100.
  • the video processing apparatus 100 can be realized by a computer 130.
  • the computer 130 includes a CPU (Central Processing Unit) 131, a ROM (Read Only Memory) 132, a RAM (Random Access Memory) 133, a GPU (Graphics Processing Unit) 134, an operation input unit 135, a display 136, a storage device 137, a network interface. 138, a bus circuit 139, and the like.
  • the computer 130 further includes a first video signal input interface as the video input unit 101, a position information input interface as the position information input unit 103, a second video signal output interface as the video output unit 110, and the like. Prepare.
  • the CPU 131 operates as at least the conversion unit 105, the cutout area calculation unit 106, the cutout video generation unit 109, and the like of the video processing apparatus 100 by executing a program stored in the RAM 133 used as the main memory of the computer 130. .
  • the RAM 133 is used as a main memory of the computer 130.
  • the main memory is also used as the video storage unit 102, the position information storage unit 104, the designated start time storage unit 107, the designated end time storage unit 108, and the like of the video processing apparatus 100 described above.
  • the GPU 134 operates in conjunction with the CPU 131 to perform various video data editing processes. That is, the GPU 134 may be used for video data enlargement processing and reduction processing, for example, in the cut-out video generation unit 109 of the video processing apparatus 100 described above.
  • the operation input unit 135 is an interface for the operator to input various information and commands to the computer 130 such as a keyboard, a mouse, and a microphone.
  • the operation input unit 135 may be used as means for inputting, to the time interval setting unit 120 described above, a trigger that specifies the start time of the time interval in which the operator cuts out video data.
  • the display 136 is an interface for presenting various types of information to the operator, such as a liquid crystal display.
  • the storage device 137 is a large-capacity nonvolatile storage device such as an HDD (Hard Disk Drive) or an SSD (Solid State Drive).
  • the storage device 137 is used as the above clip storage unit 111 or the like. Further, it may be used as a storage area for the first video data of the first video signal, the video data cut out from the first video data, or the second video data having the second frame resolution.
  • the network interface 138 is an interface for processing connection with the network 20 such as a LAN (Local Area Network) or a WAN (Wide Area Network).
  • LAN Local Area Network
  • WAN Wide Area Network
  • the position information generation device 140 is a device that periodically generates position information of each moving body, adds a time code to the generated position information, and transmits the generated position information to the video processing device 100.
  • the period for supplying the position information may be about 0.2 seconds, for example. However, the shorter the period, the better.
  • the position information generation device 140 includes an image recognition unit 141, a mobile GPS information reception unit 142, a sensor output reception unit 143, a position information calculation unit 144, and the like.
  • the image recognition unit 141 displays the position information (position information of the first video signal in the coordinate system in the image frame 11) of the target moving body (the ball 3 and each player 4) in the subject of the first video signal. It is calculated by the recognition technology and output to the position information calculation unit 144. For example, the image recognizing unit 141 calculates the position information of each moving object at a cycle of about 0.2 seconds, adds the time code of the recognition target frame to the position information, and outputs the position information to the position information calculating unit 144.
  • the mobile GPS information receiving unit 142 receives mobile GPS information with time data transmitted from, for example, a GPS transmitter 5 attached to each player 4, and a location information calculating unit To 144.
  • the sensor output receiving unit 143 is a passage with time data of the moving body passage sensor 6 that detects that each target moving body has passed a specific position such as a goal line in the competition area 2.
  • the detection data is received, and the passage detection information is transmitted to the position information calculation unit 144.
  • the position information calculation unit 144 calculates the position information of the moving object by individually or comprehensively processing each piece of information received from the image recognition unit 141, the moving object GPS information receiving unit 142, and the sensor output receiving unit 143.
  • the position information determination unit 144 receives passage information with time data received from the sensor output reception unit 143, such as the ball 3 detected by the image recognition unit 141. For example, data indicating when the moving body has passed through the end line of the competition area 2).
  • the position information calculation unit 144 uses the position information with time data in the ground coordinate system of the competition area 2 of the player 4 supplied from the mobile GPS information reception unit 142 as position information in the coordinate system of the image frame of the first video signal. And is compared with position information with time code of each player 4 recognized by the image recognition unit 141 and passage detection data with time data supplied from the sensor output receiving unit 143, etc. The position information of each competitor 4 is determined.
  • FIG. 6 is a flowchart of the video input process preceding the video clip creation process.
  • FIG. 7 is a flowchart of the position information input process preceding the video clip creation process.
  • FIG. 8 is a flowchart of the video clip creation process.
  • the video input unit 101 inputs a first video signal having a first frame resolution with a time code transmitted from the camera 1 (step S101).
  • the video input unit 101 stores the first video data of each frame in the input first video signal in the video storage unit 102 in association with the time code added to the video signal (step S102).
  • the position information input unit 103 receives position information of the moving object to which the time code is added from the position information generation device 140 (step S201).
  • the time code added to the position information is preferably synchronized with the time code added to the video signal, but may be substantially synchronized.
  • the position information input unit 103 stores the received position information of the moving body in the position information storage unit 104 in the main memory in association with the time code (step S202).
  • the CPU 131 (the time providing unit 121 of the time interval setting unit 120) has a time code added to the first video signal input to the video input unit 101. Is synchronized with the time of the built-in clock (real time clock) (step S301).
  • the time code may be acquired from a time server on the network 20 using the network interface 138. Or you may communicate with the camera 1 and may synchronize with the built-in clock of the camera 1.
  • the CPU 131 (the start time trigger receiving unit 122 of the time interval setting unit 120) waits for an input of a trigger for designating the cutout start time of the video data (step S302).
  • the CPU 131 (start time trigger receiving unit 122) inquires the time providing unit 121 about the time when the trigger is input, and indicates the response time.
  • the time code t1 is stored in the RAM 133 (designated start time storage unit 107) as the cut start time Ts (step S303).
  • the CPU 131 (the end time trigger receiving unit 123 of the time interval setting unit 120) waits for an input of a trigger for designating the video data clipping end time (step S304).
  • the CPU 131 inquires the time providing unit 121 about the time when the trigger is input, and indicates the response time.
  • the time code t2 is cut out and stored in the RAM 133 (specified end time storage unit 108) as the end time Te (step S305).
  • the CPU 131 reads the time code t1 from the RAM 133 (designated start time storage unit 107) and reads the time code t2 from the RAM 133 (designation end time storage unit 108).
  • the CPU 131 (cutout area calculation unit 106) reads position information of a time section from the time code t1 to the time code t2 from the RAM 133 (position information storage unit 104) as a position information sequence Pa (step S306).
  • the time interval from time code t1 to time code t2 is a time interval from t1 to t2 before (not including t2). This is hereinafter referred to as a t1-t2 interval. The same applies to other time intervals.
  • the CPU 131 converts each position information in the position information sequence Pa (position information in the ground coordinate system of the moving object) into position information (position information sequence Pp) in the coordinate system of the image frame of the first video signal. (Step S307).
  • the CPU 131 calculates a rectangle including each position indicated by each position information in the position information sequence Pp (a rectangular range in which the moving body has moved in the t1-t2 section). More specifically, this rectangle may be a rectangle circumscribing each position.
  • the CPU 131 calculates a rectangle R12 obtained by adding a predetermined margin Dm to the calculated rectangle (step S308).
  • the CPU 131 calculates a rectangle R0 that includes the calculated rectangle R12 and has the aspect ratio of the second frame resolution as a cutout area (step S309).
  • the CPU 131 (cutout video generation unit 109) reads out each frame in the t1-t2 section from the RAM 133 (video storage unit 102), and cuts out video data corresponding to the cutout region R0 from each frame. Further, the CPU 131 (cutout video generation unit 109) enlarges (pixel interpolation) or reduces (pixel thinning) the cutout video data so as to have the second frame resolution as necessary. Thereby, the second video data having the second frame resolution including at least the range in which the moving body moves in the designated time interval is obtained (step S310).
  • the CPU 131 converts the second video data of the second frame resolution in the t1-t2 section into a file for use as a video clip, and stores it in the storage device 137 (clip storage unit 111) (step S311).
  • the video processing apparatus 100 performs, for each preset time interval, from the input first video signal having the first frame resolution. It is possible to continuously generate the second video signal having the second frame resolution including the range in which the moving body has moved.
  • the length of the time interval is, for example, 10 seconds
  • the length of the preferred time interval varies, but for example, it is set between 1 second and 20 seconds in consideration of the speed of the moving body (ball) moving within the image frame. Configuration is possible.
  • the process of continuously generating the second video signal in the range in which the moving body has moved for each time interval of a predetermined interval from the first video signal will be referred to as “delayed live process”.
  • delayed live processing A and delayed live processing B are disclosed as delayed live processing.
  • FIG. 9 is a timing chart of the delayed live process A. .., T1, t2, t3,... Shown at the bottom of FIG.
  • the interval between t1, t2, t3,... is, for example, 5 seconds or 10 seconds.
  • T t1-t2 section means the section from t1 to t2 (excluding t2).
  • a t2-t3 section means a section from t2 to t3 (not including t3).
  • reception and storage of the first video signal in the section t1-t2 is started with a slight delay from time t1.
  • the reception and storage of the position information of the moving body in the t1-t2 section is started slightly after the start of the reception and storage of the first video signal in the t1-t2 section.
  • a cutout area is calculated based on the converted position information of the t1-t2 section.
  • video data corresponding to the cutout area is cut out from each frame of the first video signal in the interval t1-t2.
  • the video data is enlarged or reduced so as to have the second frame resolution, and becomes the second video data.
  • the second video data having the second frame resolution is encoded and output as a second video signal by the video output unit 110 in order from the generated video data.
  • the reception and storage of the first video signal in the t2-t3 section starts as soon as the reception and storage of the first video signal in the preceding t1-t2 section is completed.
  • the reception and storage of the position information of the mobile body in the t2-t3 section is started as soon as the reception and storage of the position information of the mobile body in the preceding t1-t2 section is completed.
  • the conversion of the coordinate system of the position information, the calculation of the cutout region, the cutout of the video data, and the output of the second video signal are repeated in the same manner as the processing in the preceding t1-t2 section.
  • FIG. 10 is a diagram illustrating an example of two cutout regions generated in the processing of the two time intervals (t1-t2 interval and t2-t3 interval).
  • the entire rectangle indicated by the solid line is the entire image frame 11 of the first video signal captured by the camera 1, and the rectangular area 12 indicated by the broken line is a cut-out area for the t1-t2 section. Similarly, a rectangular area 13 indicated by a broken line is a cut-out area for the t2-t3 section.
  • the CPU 131 calculates the cutout area 12 of the t1-t2 section based on the position information of the t1-t2 section. In this example, there are three positions P1, P2, and P3 indicated by the position information in the t1-t2 section.
  • the CPU 131 calculates a rectangle obtained by adding a predetermined margin to the rectangle including these three positions P1, P2, and P3, and includes the rectangle obtained by adding this margin to the second frame resolution in the vertical and horizontal directions.
  • the ratio area is generated as the cutout area 12.
  • the CPU 131 calculates the cutout area 13 of the t2-t3 section based on the position information of the t2-t3 section. In this example, there are three positions P4, P5, and P6 indicated by the position information in the t2-t3 section.
  • the CPU 131 calculates a rectangle obtained by adding a predetermined margin to the rectangle including these three positions P4, P5, and P6, and includes a second frame resolution area including the rectangle including the margin. Is a cutout region 13.
  • FIG. 11 shows a rectangular area 12A before margin addition determined by the three positions P1, P2, and P3 in the t1-t2 section.
  • FIG. 12 shows a rectangular area 12B in which a margin is added to the rectangular area 12A.
  • a margin Mh is added to the left and right of the rectangular area 12A, and a margin Mv is added to the top and bottom.
  • the margin Mh and the margin Mv may be the same value or different values.
  • FIG. 13 shows the cutout region 12 created by expanding the rectangular region 12B with a margin and adjusting it to the aspect ratio of the second frame resolution.
  • the rectangular area 12B and the cutout area 12 to which a margin is added have a positional relationship in which the centers coincide with each other. Not limited to these, the cutout region 12 may be shifted in the direction in which the moving body moves or in the opposite direction with respect to the rectangular region 12B to which a margin is added.
  • the method of adding the margin is adjusted so as to fit within the entire image frame 11.
  • the positional relationship of the cutout area 12 with respect to the rectangular area 12B with a margin added may be changed.
  • the margin in the vertical direction is equal to or longer than the length corresponding to 2 m of the subject area
  • the margin in the horizontal direction is equal to or longer than the length corresponding to 1 m of the subject area. .
  • FIG. 14 is a timing chart showing the delayed live process B. Here, three consecutive time intervals (t1-t2 interval, t2-t3 interval, t3-t4 interval) are shown.
  • video data is cut out from the frame of the first video signal in the t1-t2 section using the cut-out area calculated based on the position information of the t1-t3 section. That is, the video from the frame of the first video signal in the t1-t2 section using the clip region calculated using the position information of the t1-t3 section including the future t2-t3 section as viewed from the t1-t2 section. Since the data is cut out, the second video signal including the area to which the ball 3 as the moving body moves is obtained.
  • the video data is cut out from the first video signal frame in the t2-t3 section using the cut-out area calculated based on the position information in the t2-t4 section. 2 video signals are output. Thereafter, the same process is repeated.
  • FIG. 15 is a diagram showing a cutout region calculated based on the position information of the t1-t3 section in the delayed live process B.
  • the CPU 131 calculates the cutout area 12 of the t1-t2 section based on the position information existing in the t1-t3 section. More specifically, the CPU 131 (the cutout area calculation unit 106) adds a predetermined margin to the rectangle including the six positions P1, P2, P3, P4, P5, and P6 existing in the t1-t3 section, and adds the margin. An area having an aspect ratio of the second frame resolution including the rectangle is calculated as the cutout area 14.
  • the cutout area 14 is used to cut out video data from each frame of the first video signal in the t1-t2 section. In other words, the ball 3 is used in the time interval from the position P1 to the position P3. Therefore, video data including the area to which the ball 3 moves is obtained from the last time of the t1-t2 section.
  • the cut-out area 14 of the t1-t2 section is calculated based on the position information existing in the first half section of the t1-t2 section and the t2-t3 section, and exists in the first half section of the t2-t3 section and the t3-t4 section.
  • the cutout region 14 in the t2-t3 section may be calculated based on the position information (see FIG. 21).
  • the cut-out area 14 of the t1-t2 section may be calculated based on the position information of the t1-t2 section and a predetermined number of position information one or more from the beginning of the t2-t3 section.
  • cut-out area 14 of the t1-t2 section may be calculated based on the position information existing in the t1-t (1 + n) section.
  • n is an integer of 1 or more.
  • FIG. 16 is a flowchart showing the procedure of the delayed live process B.
  • the CPU 131 (cutout area calculation unit 106) initializes variables for repetitive operations.
  • variables for the repetitive operation there are a size Rv of the cutout region and an interpolation frame number N that is the number of frames for changing the size of the cutout region.
  • These variables are initialized by, for example, setting Rv as the value of the frame resolution of the entire picture frame 11 of the first video signal and setting N as 4 (step S401).
  • the CPU 131 (the time providing unit 121 of the time interval setting unit 120) has a built-in clock (real time clock) at the time indicated by the time code added to the first video signal input to the video input unit 101.
  • the time is synchronized (step S402).
  • the time information may be obtained from a time server on the network 20 using the network interface 138. Or you may communicate with the camera 1 and may synchronize with the built-in clock of the camera 1.
  • the CPU 131 causes the RAM 133 (designated start time storage unit 107) to store the time code t1 indicating the current time of the built-in clock as the cut start time Ts (step S403).
  • the first video signal is input from the camera 1 to the video processing apparatus 100 from the video input unit 101 and stored in the RAM 133 (video storage unit 102).
  • the CPU 131 (time providing unit 121) stores the time code t2 indicating the time of Ts + Td in the RAM 133 (designated end time storage unit 108) and stores it as the end time Te (step S404).
  • Td is a fixed time interval length for calculating the cutout region, and is, for example, 5 seconds, 10 seconds, or the like.
  • the CPU 131 (cutout area calculation unit 106) waits until position information up to the time of Te + Td is stored in the RAM 133 (position information storage unit 104) (step S405).
  • the CPU 131 (cutout area calculation unit 106), when the position information until the time of Te + Td is stored in the RAM 133 (position information storage unit 104), a plurality of positions in the time interval from the cutout start time Ts to Te + Td. Information is read out from the RAM 133 (video storage unit 102) as a position information sequence Pb (step S406).
  • the time interval from Ts to Te + Td is the time interval after time Ts and before Te + Td (excluding Te + Td).
  • the CPU 131 converts each piece of position information (position information in the ground coordinate system of the moving object) in the position information sequence Pb into position information in the coordinate system of the image frame of the first video signal (step S407).
  • the converted position information series is defined as a position information sequence Pq.
  • CPU 131 (cutout area calculation unit 106) calculates a rectangle including each position indicated by each position information in the position information sequence Pq.
  • the CPU 131 (the cutout area calculation unit 106) calculates a rectangle R13 obtained by adding a predetermined margin Dm to the calculated rectangle (step S408).
  • the CPU 131 calculates a rectangle Rw that includes the calculated rectangle R13 and has an aspect ratio of the second frame resolution as a cutout area (step S409).
  • the CPU 131 changes the cutout area from the rectangle Rv to the rectangle Rw (N + 1). ) N interpolation rectangles to be gradually changed over the frame are calculated (step S410).
  • FIG. 17 is a diagram illustrating an example of N interpolation rectangles.
  • N rectangles R1, R2, R3, and R4 created in order of time from the rectangle Rv to the rectangle Rw are interpolation rectangles.
  • the CPU 131 (the cut-out video generation unit 109) reads N frames from the cut-out start time Ts from the RAM 133 (the video storage unit 102), and sequentially starts from the frame at the cut-out start time Ts, and then R1, R2, R3, R4 , Rw are applied in the order of the rectangular areas to cut out each video data (step S411).
  • the CPU 131 (cutout video generation unit 109) reads out each frame before the time Te from the RAM 133 (video storage unit 102), and cuts out video data corresponding to the area of the rectangle Rw from these frames (step S412). .
  • the CPU 131 (the cut video generation unit 109) enlarges (pixel interpolation) or reduces (pixel thinning) the video data cut out from each frame as necessary so as to obtain a predetermined frame resolution for output.
  • the second video data having the second frame resolution including at least the range in which the moving body moves in the time interval from the time Ts to the time Te is obtained.
  • the second video data having the second frame resolution is encoded and output as a second video signal by the video output unit 110 in order from the generated video data (step S413).
  • the CPU 131 updates the cutout start time Ts with a value corresponding to the Te frame, updates the cutout start time Te with the value of Ts + Td, and further extracts the variable of the cutout area
  • the value of Rv is updated with the value of Rw (step S414).
  • the second video data for each time interval is supplied to the video output unit 110 after generation of the time interval is completed.
  • Each time a frame is created it may be supplied to the video output unit 110. By doing so, the delay time from when the first video signal is input to when the second video signal is output can be reduced.
  • the t1-t2 section is defined as t2 before t1 (not including t2) and the t2-t3 period is defined as t3 before t2 (not including t2).
  • the boundary time is shared by the preceding and following unit intervals, such as t2 interval after t1 and before t2 (including t2), and t2-t3 interval after t2 and before t3 (including t3). Also good.
  • the cutout area is calculated by using position information that arrives from outside separately from the reception of the first video signal and effectively using the time information. For example, it is possible to effectively use the detection result of the ball position by a stadium sensor.
  • ⁇ Modification 1> [Specify time interval based on event information]
  • the CPU 131 of the video processing device 100 of the above embodiment receives event information from the external event information generating device, and cuts out an area including an area corresponding to the event information in the image frame of the first video signal. It may be set uniquely.
  • the event information is information for notifying the video processing apparatus 100 of a place where attention play is performed, such as corner kick, penalty kick, free kick, and the type of attention play, for example, in a soccer competition.
  • a place where attention play is performed such as corner kick, penalty kick, free kick, and the type of attention play, for example, in a soccer competition.
  • event information including information for specifying an area including the vicinity of the goal area where a series of plays starting from the corner kick is performed is notified to the CPU 131 of the video processing apparatus 100.
  • the information specifying this area may be, for example, an ID assigned to each area by dividing the competition area 2 into a plurality of areas.
  • the event information may be transmitted to the video processing apparatus 100 from an event information generating apparatus 160 such as an external information processing apparatus that can communicate with the video processing apparatus 100 via the network 20, for example.
  • the event information generation device 160 transmits event information to the video processing device 100 through the network 20 in accordance with an instruction from the operator.
  • the CPU 131 of the video processing device 100 sets, for example, an area including an area corresponding to the event information as a cutout area.
  • the CPU 131 receives the information for instructing the end of the event from the outside, cancels the setting of the cutout area, and returns to the operation mode for calculating the cutout area based on the position information of the moving body.
  • the event information generator 160 determines that attention play is performed not only by an instruction from the operator but also by image recognition with respect to the first video signal or information from the sensor. It may be transmitted to the processing apparatus 100.
  • FIG. 18 is an example in which a plurality of cameras 1 a, 1 b, 1 c, 1 d, 1 e, 1 f, 1 g and 1 h are arranged around the competition area 2.
  • a plurality of cameras 1 a, 1 b, 1 c, 1 d, 1 e, 1 f, 1 g and 1 h are arranged around the competition area 2.
  • four cameras 1a, 1b, 1c, and 1d for overlooking the competition area 2 from four directions, and an area near one goal area of the competition area 2 are represented in the competition area.
  • the overhead cameras 1a, 1b, 1c, and 1d are, for example, 8K resolution cameras, and the goal area shooting cameras 1e, 1f, 1g, and 1h (specific area cameras) have the same resolution as the second frame resolution.
  • a camera for example, an HD resolution camera is used.
  • one camera 1a for bird's-eye view and two cameras 1e and 1f for goal area shooting is assumed. These cameras 1a, 1e, and 1f are disposed outside the competition area 2 in the short side direction (Y2 direction).
  • the video input unit 101 of the video processing apparatus 100 includes a switching unit 101a that switches channels for inputting video signals from the eight cameras 1a, 1b, 1c, 1d, 1e, 1f, 1g, and 1h according to an instruction from the CPU 131. .
  • the switching operation is performed during the blanking interval (Vertical blanking interval) of the video signal.
  • the channel switching unit 101a is provided between the eight cameras 1a, 1b, 1c, 1d, 1e, 1f, 1g, and 1h and the video signal lines of the video input unit 101 of the video processing apparatus 100. It is possible to replace the switching device provided.
  • System position information is stored.
  • the CPU 131 (the cutout area calculation unit 106) of the video processing apparatus 100 has an image frame of any one of the two cameras 1e and 1f for shooting the goal area, in which the plurality of positions of the moving object in the designated time interval are all. It is determined whether or not the condition that it is included in is satisfied. When this condition is satisfied, the CPU 131 selects the video signal (third video signal) of the camera for shooting one of the goal areas.
  • the CPU 131 of the computer 130 displays the video of the entire image frame of the video signals input from the cameras 1e and 1f.
  • the data is supplied to the video output unit 110 without changing the resolution.
  • the CPU 131 selects the video signal (first video signal) of the camera 1a for overhead view, calculates the cutout area, cuts out video data, Enlarge / reduce.
  • the CPU 131 buffers the video data in the video processing apparatus 100 by the time difference and supplies the video data to the video output unit 110.
  • the second video output when the video signals of the goal area shooting cameras 1e and 1f and the first video signal of the bird's-eye camera 1a are switched within the time interval will not be interrupted.
  • the camera 1e, 1f for shooting the goal area and the camera 1a for the bird's-eye view may be switched. .
  • CPU 131 determines the moving direction of the moving object based on the position information sequence.
  • the CPU 131 selects the first video signal of the overhead view camera arranged in the direction of the moving destination of the moving object. For example, as shown in FIG. 19, it is assumed that the ball 3 is moved from the position P1 to the position P2 in the designated time interval. In this case, since the moving direction of the ball 3 is the Y1 direction, the first video signal of the bird's-eye camera 1b that photographs the competition area 2 from the opposite side of the Y1 direction is selected. Similarly, a cutout area is calculated, video data is cut out, and enlarged / reduced from the selected first video signal to generate a second video signal.
  • the moving object is moved in the same manner.
  • the video signal of the goal area shooting camera arranged in the previous direction is selected.
  • a second video signal including video data obtained by photographing mainly the front side of the player 4 entangled with the ball 3 is obtained.
  • This modification is applicable even when one or more of a plurality of cameras are operated by a photographer as a PTZ (head).
  • the CPU 131 of the video processing apparatus 100 performs conversion between position information in the coordinate system in the image frame of the first video signal and position information in the ground coordinate system in the competition area 2 in consideration of the PTZ information.
  • a selection command may be communicated so that the CPU 131 selects the video signal of the camera operated by the cameraman by the operation of the cameraman.
  • FIG. 20 is a block diagram showing a configuration of Modification 3 of the video processing apparatus 100A.
  • the video processing apparatus 100 includes a conversion unit 105 that converts position information of the moving object in the ground coordinate system into position information of the coordinate system of the entire image frame of the first video signal.
  • the video processing apparatus 100A according to the modification 3 receives the position information converted from the ground coordinate system of the moving object from the external device 210 having the conversion unit 205 to the coordinate system of the entire picture frame of the first video signal.
  • the position information input unit 103A is configured to input.
  • the position information input to the position information input unit 103A is stored in the position information storage unit 104.
  • the cutout area calculation unit 106 reads position information from the position information storage unit 104 and calculates a cutout area based on the read position information.
  • the detection of the position information of the moving body can also be performed by analyzing video data included in the video signal input to the video input unit 101.
  • the conversion units 105 and 205 can be omitted both inside and outside the video processing apparatus 100.
  • FIG. 21 shows a case where a clip region is calculated based on position information existing in one time interval and the first half of the next time interval, and the coordinate system of the entire picture frame of the first video signal from the outside.
  • FIG. 16 is a timing chart of the delayed live process when the position information is input to the video processing device 100A of the third modification.
  • the position information of the t1-t2 section is stored in the position information storage unit 104, and the position information existing until the time t2 + 1/2 in the middle of the t2-t3 section is stored in the position information storage unit 104.
  • the CPU 131 reads the position information of the t1-t2 section and the position information until the time t2 + 1/2 in the middle of the t2-t3 section from the position information storage unit 104, and calculates the cutout region based on these position information. . Using this cutout area, the CPU 131 cuts out video data from the first video signal frame in the t1-t2 period, and supplies the video data to the video output unit 110 after enlarging or reducing the video data to the second frame resolution. Similar processing is performed for subsequent time intervals.
  • the position information of the t2-t3 section is stored in the position information storage unit 104, and the position information existing until the time t3 + 1/2 in the middle of the t3-t4 section is stored in the position information storage unit 104.
  • the CPU 131 reads the position information of the t2-t3 section and the position information until the time t3 + 1/2 in the middle of the t3-t4 section from the position information storage unit 104, and extracts the cutout area based on these position information. calculate. Using this cutout area, the CPU 131 cuts out video data from the first video signal frame in the interval t2-t3, and enlarges or reduces the video data to the second frame resolution and supplies the video data to the video output unit 110.
  • ⁇ Modification 4> Manual correction of position information of moving object in delayed live processing
  • the position information of the moving object generated by the position information generating apparatus 140 may be manually corrected using a remote computer 150 connected to the video processing apparatus 100 through a network.
  • the remote computer 150 receives the position information of the moving body generated by the position information generation apparatus 140 from the video processing apparatus 100 through the network 20 and displays it on the monitor as an image in association with the time information.
  • the person in charge of correcting the computer 150 at a remote location checks the image at a place where the game can be viewed in real time, and compares it with the actual game to check the problem of the calculation information of the moving object. If a problem is found, correction information is input from a remote computer 150.
  • the input correction information is transmitted from the remote computer 150 to the video processing apparatus 100 through the network 20.
  • the CPU 131 of the video processing apparatus 100 corrects the corresponding position information stored in the position information storage unit 104 based on the received correction information.
  • the delay time in the delay live processing or the like is determined in consideration of the time required for the artificial correction operation and the exchange between the computers 130. Need to be done.
  • the cutout area needs to be generated with a minimum size restriction.
  • the minimum size of the cutout region is preferably a size that includes the entire body of the ball 3 and the surrounding player 4.
  • the minimum size is determined so that the horizontal pixel number (resolution) of the cutout region is, for example, 1/2 or more of the horizontal pixel number (resolution) of the second video signal. Also good. Therefore, in the video processing apparatus 100, the minimum size of the cutout area is limited. If the size of the cut-out area obtained in the calculation is smaller than the minimum size, the CPU 131 corrects the size to the specified minimum size.
  • the subject appears larger as it is closer to the camera 1 and appears smaller as it is farther from the camera 1.
  • the cutout area becomes excessive, and conversely, the ball 3 is in the camera 1.
  • it becomes too small, for example, there is a possibility that the body of the player 4 protrudes from the cutout area.
  • the CPU 131 determines the first relationship from the positional relationship between the competition area 2 and the camera in the coordinate system of the entire image frame of the first video signal and the information obtained from the PTZ. For each position in the entire image frame of the video signal, an optimum minimum size of the cutout area is calculated and stored in the RAM 133. The CPU 131 calculates the cutout area by applying the optimum minimum size of the cutout area for each stored position.
  • the CPU 131 determines, for example, that a predetermined number of players 4 that are closer to the ball 3 out of the players 4 within a predetermined distance from the ball 3 at least at a temporary point in the time interval.
  • the cutout area may be corrected so as to be included.
  • the CPU 131 includes the positions of at least two players 4 from the closest to the ball 3 at the moment when there are three or more players 4 within 5 m from the ball 3 in the designated time interval. As described above, the position and size of the cutout region are corrected.
  • the player 4 who has influenced the ball 3 is, for example, a plurality of players 4 to whom the ball 3 has been delivered.
  • the CPU 131 determines that the player 4 who has approached the position of the ball 3 within a preset distance within the time interval is the player 4 who has affected the ball 3, and the player who has affected the ball 3.
  • the cutout region is corrected from the approached time to a set time, for example, after 3 seconds so that the position 4 is included.
  • ⁇ Modification 8> [Time division by operator] If the cut-out area was calculated in a fixed time interval, when the movement of the ball 3 or the player 4 becomes large and fast, the cut-out area tends to become large on average, and only a zoomed-out image is generated. It will be. Therefore, it is desirable that the time interval can be changed as appropriate.
  • an instruction operation for changing the time interval can be easily performed during the delayed live processing.
  • the operation of changing the time interval by the operator is performed using the operation input unit 135.
  • the change of the time interval is performed, for example, by dividing the initially set time interval equally according to the division instruction from the operator or returning according to the division cancellation instruction. For example, the initial time interval is divided into 1 ⁇ 2 lengths in accordance with the first division instruction. Further, according to the next division instruction, the initial time interval is divided to a length of 1/4. When the operator gives an instruction to return the time interval, the length returns to half the initial time interval, and when the operator gives an instruction to return the time interval again, the operator returns to the initial time interval. .
  • the CPU 131 sets a preset threshold value for the amount of change in the position information of the moving object (the amount of movement of the moving object) from the extraction start time (the entire process start time or the previous extraction end time). It may be configured to generate a trigger for designating the cut-out end time when it exceeds. Thereby, for example, a second video signal in which the cutout region changes is obtained for each time interval in which the ball 3 moves a distance corresponding to the first threshold value.
  • the video data generated by the delayed live processing is not only output by the video output unit 110, but may be stored in the storage device 137 for another use.
  • the coordinate information of the cutout area may also be stored in the storage device 137.
  • the coordinate information stored in the storage device 137 can be used for later game analysis, for example.
  • the video data of the first video signal input from the camera 1 and the video data generated by the delayed live process may be stored in the storage device 137 in association with each other. By doing so, it is possible to perform editing such as replacing at least part of the video data generated by the delayed live processing with the video data of the clip region manually determined from the video data of the first video signal. it can.
  • the second video signal generated by the video processing apparatus 100 may be used for remote public viewing.
  • the aspect ratio of the cutout region may be variable.
  • the output destination of the video processing apparatus 100 is preferably, for example, a display unit that forms a single screen by arranging a plurality of screens of a plurality of display devices in at least one of the vertical and horizontal directions. More specifically, a display having a resolution of 32: 9 can be configured by arranging two displays having a resolution of 16: 9 in the horizontal direction in the horizontal direction.
  • the CPU 131 of the video processing device 100 cuts out when the moving distance in the horizontal direction of the moving object in a specified time interval is larger than a predetermined value based on the position information sequence of the moving object.
  • the resolution of the area is 32: 9, and the resolution of the cut-out area is 16: 9 when the horizontal movement distance is less than a predetermined value.
  • the CPU 131 may be configured to simultaneously output video data having the same 16: 9 resolution to two displays.
  • ⁇ Modification 15> When the moving distance of the moving body in the designated time interval is smaller than a predetermined value, the CPU 131 of the video processing device 100 maps the video data to a partial area of the second frame resolution, and sets the remaining area to the remaining area. For example, a second video signal with an advertisement may be generated by mapping another image such as an advertisement. Further, the process of generating the second video signal with the advertisement may be invalidated when a moving body such as the ball 3 is in a preset area (for example, a goal area). Thereby, in the case of the attention scene, the second video signal from which the advertisement is removed is obtained.
  • a preset area for example, a goal area
  • the CPU 131 of the video processing device 100 is generated by the video data of the first video signal of the interruption time and the delayed live processing when there is an interruption time (for example, commercial broadcast time) of the competition during the competition.
  • Video data may be stored in the storage device 137.
  • the CPU 131 reads out video data of a time section in which a moving object such as the ball 3 is in a preset area (for example, a goal area) among the interruption time video data stored in the storage device 137, for example, resumes broadcasting
  • the video output unit 110 may output the second video signal.
  • video data in a time interval in which the moving distance of the moving body such as the ball 3 is larger than a preset value may be read and output from the video output unit 110 as the second video signal.
  • the CPU 131 may determine a time interval of video data to be read out from the interrupted video data stored in the storage device 137 on the basis of event information relating to the competition input from the outside.
  • the CPU 131 extracts only the video data of the important time interval from the video data of the first video signal of the entire time stored in the storage device 137, and extracts the video data of the digest of the match as a target for extraction processing.
  • the important time interval may be determined based on, for example, the amount and position of the moving body such as the ball 3 or based on event information from the outside. An important time interval may be determined based on the moving speed of the moving object.
  • the CPU 131 may correct the image so that the image quality conditions such as the average luminance value of the image in the cutout area are matched or approached between the cutout areas.
  • ⁇ Modification 19> When the first video signal obtained from the camera 1 is an HDR (high dynamic range) image having a wider dynamic range than the second video signal output from the video processing device 100, the CPU 131 obtains the video obtained by clipping. You may perform conversion which narrows a dynamic range so that it may become the optimal within the image frame with respect to data.
  • HDR high dynamic range
  • the video data obtained by the video processing apparatus 100 may be displayed on the stadium display. For example, when there is a notable action such as a goal scene, the operator may manually start playback.
  • the CPU 131 may perform control so that delayed live broadcasting is not hindered by skipping processing such as calculation of the cutout area and setting the cutout area as the entire image frame of the original input video signal. .
  • the interpolation process at the time of changing the cutout area may be performed only when zooming in.
  • the CPU 131 sets a reduction rate from the size before the change or changes the cutout area.
  • the number of interpolations may be increased.
  • the CPU 131 has all the positions of the plurality of moving objects in the next time section used to calculate the next cutout area in the current cutout area, and one of the positions is a predetermined distance from the end. If the distance is more than that (that is, more than that distance, from the center inside the image frame), the cutout area may not be changed. Thereby, when the moving amount of the moving body is small between successive time sections, it is possible to avoid changing the cutout region to become an image that is difficult to see, and to omit an extra cutout region calculation process.
  • the value used as the time code or time may be replaced by a counter that generates equivalent time information, a pointer to video frame data, or the like.
  • ⁇ Modification 26> The operator can arbitrarily set setting values such as various threshold values used in processing in the video processing apparatus 100 using the operation input unit 135 and the display 136.
  • the video signal input to the video processing apparatus 100 may be a video signal of one image that is obtained by joining images taken by a plurality of cameras.
  • the video processing apparatus 100 can be incorporated in the camera 1.
  • the video processing apparatus 100 can be incorporated in a home recorder that receives and stores what is broadcast as high-resolution video.
  • the cutout region can be calculated with higher accuracy by using the three-dimensional coordinate including the z coordinate.
  • this technique can also take the following structures.
  • a video input unit that inputs a first video signal that is captured by a camera at a first frame resolution and to which time data for each frame is added;
  • a video storage unit that stores first video data for each frame included in the input first video signal in association with the time data;
  • a position information input unit for receiving position information of a specific moving body included in the first video signal as a part of the subject;
  • a positional information storage unit that stores the received positional information and time in association with each other;
  • a designated start time storage unit for storing a time specifying the beginning of the time interval;
  • a designated end time storage unit for storing a time specifying the end of the time interval;
  • One or more position information is read from the position information storage unit for each time interval specified by the specified start time storage unit and the specified end time storage unit, and each of the read one or more position information indicates one or more positions Is cut out from the first video data in the time interval stored in the video storage unit, and a second frame resolution second is
  • a video processing apparatus further comprising: a video output unit configured to output a second video signal including the generated second video data at the same frame rate as the first video signal.
  • the controller is configured to calculate the cutout region including a plurality of positions each indicated by one or more position information of one time interval and one or more position information from at least the beginning of the next time interval. Processing equipment.
  • the video processing device determines in advance the position closest to the end of the current cutout area from the end of the current cutout area among the positions of the moving body in the next time interval used to calculate the next cutout area.
  • a video processing apparatus configured to skip the calculation of a cutout area and validate the current cutout area when inside the specified distance or more.
  • the video processing device receives event information including information specifying the location of the subject from the outside, and sets an area including the location specified by the event information in the image frame of the first video signal as the cutout area A video processing device configured to be.
  • the video processing device captures a plurality of first video signals each captured by a plurality of cameras that capture the common subject from different directions, having a first frame resolution, and time data for each frame added thereto.
  • a video processing device configured to cause the switching unit to select a first video signal of one of the cameras whose shooting direction is opposite or substantially opposite to the determined moving direction of the moving body.
  • the switching unit of the video input unit is photographed by one or more region photographing cameras that photograph a specific region of the subject at the second frame resolution.
  • One of the third video signals to which the time data is added can be selected,
  • the controller causes the switching unit to A video processing apparatus configured to cause the third video signal of the area photographing camera to be selected.
  • At least one camera that takes a fixed point image of a subject including a moving body at a first frame resolution and outputs a first video signal to which time data for each frame is added;
  • a position information generating device for generating position information of the moving body;
  • a video input unit for inputting the first video signal;
  • a video storage unit for storing first video data for each frame included in the input first video signal in association with the time data;
  • a position information input unit that receives position information generated by the position information generation device;
  • a position information storage unit that stores the received position information and time in association with each other;
  • a designated start time storage unit for storing a time specifying the beginning of the time interval;
  • a designated end time storage unit for storing a time specifying the end of the time interval;
  • One or more position information is read from the position information storage unit for each time interval specified by the specified start time storage unit and the specified end time storage unit, and each of the read one or more position information indicates one or more positions Is cut out from the first video data in the time
  • the video processing system according to (10) above, The cameras are each arranged to shoot the common subject from different directions
  • the video input unit of the video processing device includes a switching unit that selects one of a plurality of first video signals captured by the plurality of cameras,
  • the controller determines a moving direction of the moving body based on one or more positions indicated by one or more pieces of position information read from the position information storage unit, and determines the moving direction of the determined moving body.
  • a video processing system configured to cause the switching unit to select a first video signal of one of the cameras whose shooting directions are opposed or substantially opposed to each other.
  • the video processing system according to (10) or (11) above, A camera for a specific area that captures a specific area of the subject at the second frame resolution and transmits a third video signal in association with time data;
  • the switching unit is configured to be able to select one video signal from the first video signal and the third video signal,
  • the controller causes the switching unit to A video processing system configured to select any one of the one or more third video signals.
  • a video input unit that inputs a first video signal that is captured by a camera at a first frame resolution and to which time data is added for each frame;
  • a video storage unit that stores first video data for each frame included in the input first video signal in association with the time data;
  • a position information input unit that receives position information with time data of a specific moving body included in the first video signal as part of the subject;
  • a position information storage unit that stores the received position information and the time data in association with each other;
  • One or more pieces of position information are read from the position information storage unit at least for each specific time interval, and a cutout region including one or more positions indicated by the read one or more position information is calculated and stored in the video storage unit
  • a controller that cuts out video data in the cut-out area from the first video data in the time section thus generated, and generates second video data having a second frame resolution from the cut-out video data.
  • a video processing apparatus further comprising: a video output unit configured to output a second video signal including the generated second video data at the same frame rate as the first video signal.
  • the video processing device according to any one of (16) to (18),
  • the controller is configured to calculate the cutout region including a plurality of positions each indicated by one or more position information of one time interval and one or more position information from at least the beginning of the next time interval. Processing equipment.

Abstract

　この装置は、カメラによって第１のフレーム解像度で撮影され、フレーム毎の時刻データが付加された第１のビデオ信号を入力するビデオ入力部と、第１のビデオ信号のフレーム毎の第１のビデオデータを時刻データと対応付けて記憶するビデオ記憶部と、第１のビデオ信号に被写体の一部として含まれる特定の移動体の位置情報を受信する位置情報入力部と、受信された位置情報と時刻とを対応付けて記憶する位置情報記憶部と、位置情報記憶部から特定の時間区間毎に１以上の位置情報を読み出し、これらの情報が各々示す１以上の位置を含む切り出し領域を算出し、時間区間の第１のビデオデータから切り出し領域のビデオデータを切り出し、第２のフレーム解像度の第２のビデオデータを生成するコントローラとを備える。

Description

ビデオ処理装置、ビデオ処理システムおよびビデオ処理方法
　本技術は、ビデオ処理装置に関し、特にスポーツ競技などの様子をカメラで撮影した第１のビデオ信号から少なくとも一部の領域を切り出して第２のビデオ信号を出力するビデオ処理装置、ビデオ処理システムおよびビデオ処理方法に関する。
　スポーツ映像など、被写体の一部として移動体を含む映像から新たなカメラワークの映像を自動的に生成する技術が知られる。例えば、特許文献１には、スポーツ映像を入力し、入力したスポーツ映像から、各選手の移動情報を検出し、各選手の移動情報に含まれる各選手の複数のフレームにわたる各位置に基づき、最も各選手が集中しかつ各選手の動きが大きい領域を求めこれを新たなカメラワークの映像のフレーム位置として設定すること、さらには、設定されたフレーム位置に基づき、スポーツ映像から新たなカメラワークの映像を切り出し、切り出した映像を出力するデジタルカメラワーク装置が開示されている。また、特許文献１では、スポーツ映像からボールの位置を検出し、検出したボールの位置を加味してフレーム位置を算出することとされている。
特開２００５－２２３４８７号公報（段落［０００６］、［００１０］）
　しかし、この種のカメラ処理システムでは、機能的に未だ改善すべき課題が多々残されている。
　上記の課題を解決するために、本技術に係る一形態のビデオ処理装置は、ビデオ入力部、ビデオ記憶部、位置情報入力部、指定開始時刻記憶部、指定終了時刻記憶部およびコントローラを備える。
　ビデオ入力部は、カメラによって第１のフレーム解像度で撮影され、フレーム毎の時刻データが付加された第１のビデオ信号を入力するように構成される。
　ビデオ記憶部は、前記入力された第１のビデオ信号に含まれるフレーム毎の第１のビデオデータを前記時刻データと対応付けて記憶するように構成される。
　位置情報入力部は、前記第１のビデオ信号に被写体の一部として含まれる特定の移動体の位置情報を受信するように構成される。
　位置情報記憶部は、前記受信された位置情報と時刻とを対応付けて記憶するように構成される。
　指定開始時刻記憶部は、時間区間の始まりを特定する時刻を記憶するように構成される。
　指定終了時刻記憶部は、前記時間区間の終わりを特定する時刻を記憶するように構成される。
　そしてコントローラは、前記位置情報記憶部から前記指定開始時刻記憶部と前記指定終了時刻記憶部により特定される時間区間毎に１以上の位置情報を読み出し、前記読み出した１以上の位置情報が各々示す１以上の位置を含む切り出し領域を算出し、前記ビデオ記憶部に記憶された前記時間区間の前記第１のビデオデータから前記切り出し領域のビデオデータを切り出し、前記切り出したビデオデータから第２のフレーム解像度の第２のビデオデータを生成するように構成される。
　本技術に係る一形態のビデオ処理装置は、このような構成を有するので、第１のフレーム解像度を有する第１のビデオ信号のフレームから、時間区間における移動体の１以上の位置を含む領域を切り出した第２のフレーム解像度の第２のビデオデータを、各々の時間区間毎に連続的に生成できる。これにより、一台のカメラで撮影された被写体全体の第１のビデオ信号から様々な位置とサイズの画枠の第２のビデオデータを自動生成できる。
　また、このビデオ処理装置は、特定の移動体の位置情報と時刻データを位置情報入力部が外部より受信し、コントローラは、この外部より取得した位置情報等をもとに切り出し領域の算出を行う。このため、移動情報の検出や移動体の位置情報の算出などの処理がコントローラの処理の速度的なボトルネックとならず、第１のビデオ信号からライブ放送用の第２のビデオ信号が出力されるまでの遅延時間を短縮できる。
　さらに、第１のビデオ信号のフレームと移動体の位置情報とは互いに同期したまたは略同期した時刻データによって対応付けられるので、コントローラは、移動体の位置情報をもとに算出された切り出し領域を適用してビデオデータを切り出す対象のフレームを正しく判断できる。すなわち、第１のビデオデータからのタイミング的な切り出しの誤りを抑制できる。
　上記のビデオ処理装置において、前記コントローラは、前記第２のフレーム解像度の縦横比を有する前記切り出し領域を算出するように構成されてもよい。
　上記のビデオ処理装置において、前記コントローラは、１つの前記時間区間の１以上の位置情報と次の時間区間の少なくとも先頭よりの１以上の位置情報が各々示す複数の位置を含む前記切り出し領域を算出するように構成されてもよい。
　これにより、ビデオデータを切り出す対象の時間区間の最後の時刻から、移動体がその後さらに移動していく先の領域を含めた切り出し領域が算出されるので、例えば、サッカー競技などの場合には、ロングパスを出す先の領域のパス直前の様子、すなわちロングパスを受ける競技者の動きの様子を含めたビデオデータの切り出しが行われる。よって、ダイジェストとして視聴価値の高いビデオデータが得られる。
　上記のビデオ処理装置は、前記時間区間の変更の指示を操作者より受け付ける操作入力部をさらに具備し、記コントローラは、前記操作入力部で受け付けた指示に従って前記時間区間を変更するように構成されてよい。
　時間区間をマニュアルで変更できるので、スポーツ競技における動きの大きさや早さに合せて適切な時間区間を設定できる。
　上記のビデオ処理装置において、前記コントローラは、次の前記切り出し領域を算出するために用いられる次の時間区間の前記移動体の位置のうち、現在の切り出し領域の端に最も近い位置が、現在の切り出し領域の端から予め定められた距離以上の内側にある場合、切り出し領域の算出をスキップして現在の切り出し領域を有効とするように構成される。
　これにより、切り出し領域の余計な更新のための算出処理を省き、第１のビデオ信号からライブ放送用の第２のビデオ信号が出力されるまでの遅延時間をより短縮できる。また出力ビデオの視聴者の疲労を低減できる。
　上記のビデオ処理装置において、前記コントローラは、外部から、前記被写体の場所を特定する情報を含むイベント情報を受けて、前記第１のビデオ信号の画枠において前記イベント情報により特定される場所を含む領域を前記切り出し領域として設定するように構成されてよい。
　この仕組みによっても切り出し領域の算出を省けることになり、第１のビデオ信号からライブ放送用の第２のビデオ信号が出力されるまでの遅延時間をより短縮できる。
　上記のビデオ処理装置において、前記ビデオ入力部は、共通の前記被写体を異なる方向から撮影する複数のカメラによって各々撮影され、第１のフレーム解像度を有し、フレーム毎の時刻データが付加された複数の第１のビデオ信号の１つを選択する切替部を有し、
　前記コントローラは、前記位置情報記憶部から少なくとも１つの前記時間区間の１以上の位置情報を読み出し、前記読み出した１以上の位置情報が各々示す１以上の位置をもとに前記移動体の移動方向を判定し、前記判定された移動体の移動方向に対して撮影方向が対向または略対向する１つの前記カメラの第１のビデオ信号を前記切替部に選択させるように構成されてよい。
　この構成により、移動体が例えばサーカー競技のボールや競技者などである場合、競技者の略正面側を捕えた迫力のある映像が得られる。
　上記のビデオ処理装置において、前記ビデオ入力部の前記切替部は、前記複数の第１のビデオ信号に加え、前記被写体の特定の領域を前記第２のフレーム解像度で撮影する１以上の領域撮影用カメラによって撮影され、フレーム毎の時刻データが付加された第３のビデオ信号の中から１つを選択可能に構成され、前記コントローラは、前記位置情報記憶部から読み出された１以上の位置情報が各々示す１以上の位置をもとに算出された前記切り出し領域が前記特定の領域を含む場合、前記切替部に前記領域撮影用カメラの前記第３のビデオ信号を選択させるように構成されてもよい。
　第３のビデオ信号が切替部によって選択された場合には、コントローラによって切り出し領域の算出、ビデオデータの切り出し、第２のフレーム解像化などは不要となる。すなわち、切替部によって選択された第３のビデオ信号のビデオデータはそのまま第２のビデオデータとして得られる。したがって、このことによっても、第１のビデオ信号からライブ放送用の第２のビデオ信号が出力されるまでの遅延時間をより短縮できる。また、領域撮影用カメラによって、例えば、ゴールエリア内の攻撃側の選手を略正面から撮影するように配置することなどによって、迫力のある映像が得られる。
　また、本技術に係る他の形態のビデオ処理システムは、カメラ、位置情報生成装置およびビデオ処理装置を有する。
　カメラは、移動体を含む被写体を第１のフレーム解像度で定点撮影し、フレーム毎の時刻データが付加された第１のビデオ信号を出力する少なくとも１つのカメラである。
　位置情報生成装置は、前記移動体の位置情報を生成するように構成される。
　ビデオ処理装置は、ビデオ入力部と、ビデオ記憶部と、位置情報入力部と、位置情報記憶部と、指定開始時刻記憶部と、指定終了時刻記憶部と、コントローラとを有する。
　ビデオ入力部は、前記第１のビデオ信号を入力するように構成される。
　ビデオ記憶部は、前記入力された第１のビデオ信号に含まれるフレーム毎の第１のビデオデータを前記時刻データと対応付けて記憶するように構成される。
　位置情報入力部は、前記位置情報生成装置によって生成された位置情報を受信するように構成される。
　位置情報記憶部は、前記受信された位置情報と時刻とを対応付けて記憶するように構成される。
指定開始時刻記憶部は、時間区間の始まりを特定する時刻を記憶するように構成される。
　指定終了時刻記憶部は、前記時間区間の終わりを特定する時刻を記憶するように構成される。
　コントローラは、前記位置情報記憶部から前記指定開始時刻記憶部と前記指定終了時刻記憶部により特定される時間区間毎に１以上の位置情報を読み出し、前記読み出した１以上の位置情報が各々示す１以上の位置を含む切り出し領域を算出し、前記ビデオ記憶部に記憶された前記時間区間の前記第１のビデオデータから前記切り出し領域のビデオデータを切り出し、前記切り出したビデオデータから第２のフレーム解像度の第２のビデオデータを生成するように構成される。
　上記のビデオ処理システムにおいて、前記カメラは、共通の前記被写体を異なる方向から撮影するように各々配置され、前記ビデオ処理装置の前記ビデオ入力部は、前記複数のカメラによって各々撮影された複数の第１のビデオ信号の１つを選択する切替部を有し、
　前記コントローラは、前記位置情報記憶部から読み出された１以上の位置情報が各々示す１以上の位置をもとに前記移動体の移動方向を判定し、前記判定された移動体の移動方向に対して撮影方向が対向または略対向する１つの前記カメラの第１のビデオ信号を前記切替部に選択させるように構成されてよい。
　上記のビデオ処理システムは、前記被写体の特定の領域を前記第２のフレーム解像度で撮影して第３のビデオ信号を時刻データと対応付けて送信する特定領域用カメラをさらに有し、前記切替部は、前記第１のビデオ信号および前記第３のビデオ信号の中から１つのビデオ信号を選択可能に構成され、前記コントローラは、前記位置情報記憶部から読み出された１以上の位置情報が各々示す１以上の位置をもとに算出された前記切り出し領域が前記特定の領域を含む場合、前記切替部に前記１以上の第３のビデオ信号のいずれかを選択させるように構成されてよい。
　本技術に係る他の形態のビデオ処理方法は、ビデオ信号入力ステップと、ビデオ記憶ステップと、位置情報入力ステップと、位置情報記憶ステップと、切り出しビデオデータ生成ステップとを有する。
　ビデオ信号入力ステップは、カメラによって第１のフレーム解像度で撮影され、フレーム毎の時刻データが付加された第１のビデオ信号を入力する。
　ビデオ記憶ステップは、前記入力された第１のビデオ信号に含まれるフレーム毎の第１のビデオデータを前記時刻データと対応付けてビデオ記憶部に記憶する。
　位置情報入力ステップは、前記第１のビデオ信号に被写体の一部として含まれる特定の移動体の位置情報を受信する。
　位置情報記憶ステップは、前記取得された位置情報を時刻と対応付けて位置情報記憶部に記憶する。
　切り出しビデオデータ生成ステップは、コントローラにより、前記位置情報記憶部から少なくとも特定の時間区間毎に１以上の位置情報を読み出し、前記読み出した１以上の位置情報が各々示す１以上の位置を含む切り出し領域を算出し、前記ビデオ記憶部に記憶された前記時間区間の前記第１のビデオデータから前記切り出し領域のビデオデータを切り出し、前記切り出したビデオデータから第２のフレーム解像度の第２のビデオデータを生成する。
　また、本技術に係る他の形態のビデオ処理装置は、ビデオ入力部、ビデオ記憶部、位置情報入力部、位置情報記憶部およびコントローラを備える。
　ビデオ入力部は、カメラによって第１のフレーム解像度で撮影され、フレーム毎に時刻データが付加された第１のビデオ信号を入力する。
　ビデオ記憶部は、前記入力された第１のビデオ信号に含まれるフレーム毎の第１のビデオデータを前記時刻データと対応付けて記憶する。
　位置情報入力部は、前記第１のビデオ信号に被写体の一部として含まれる特定の移動体の時刻データ付きの位置情報を受信する。
　位置情報記憶部は、前記受信された位置情報と前記時刻データとを対応付けて記憶する。
　コントローラは、前記位置情報記憶部から少なくとも特定の時間区間毎に１以上の位置情報を読み出し、前記読み出した１以上の位置情報が各々示す１以上の位置を含む切り出し領域を算出し、前記ビデオ記憶部に記憶された前記時間区間の前記第１のビデオデータから前記切り出し領域のビデオデータを切り出し、前記切り出したビデオデータから第２のフレーム解像度の第２のビデオデータを生成するように構成される。
　以上のように、本技術によれば、入力されたビデオ信号からビデオデータを生成する処理の機能的な向上を図ることができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本実施形態のビデオ処理システムにおけるカメラ１と競技エリア２と位置関係の例を示す図である。 図１に示すカメラ１から出力される第１のビデオ信号の第１のフレーム解像度に相当する全体の画枠１１と、本実施形態のビデオ処理装置によって算出されるビデオデータの矩形の切り出し領域１２との関係を示す図である。 本技術に係る第１の実施形態のビデオ処理装置の構成を機能的に示すブロック図である。 ビデオデータを切り出す時間区間の開始と終了の各時刻を設定する時間区間設定部１２０の構成を示すブロック図である。 第１の実施形態のビデオ処理システム１０の構成とビデオ処理装置１００のより具体的な構成を示すブロック図である。 第１の実施形態のビデオ処理装置１００によるビデオ入力処理のフローチャートである。 第１の実施形態のビデオ処理装置１００による位置情報入力処理のフローチャートである。 第１の実施形態のビデオ処理装置１００によるビデオクリップ作成処理のフローチャートである。 遅延ライブ処理Ａのタイミング図である。 遅延ライブ処理Ａにおいてt1-t2区間とt2-t3区間の処理において生成される２つの切り出し領域の例を示す図である。 t1-t2区間の３つの位置P1,P2,P3によって決まるマージン付加前の矩形領域１２Ａを示す図である。 矩形領域１２Ａにマージンを付加した矩形領域１２Ｂを示す図である。 マージンを付加した矩形領域１２Ｂを第２のフレーム解像度の縦横比に調整することによって作成された切り出し領域１２を示す図である。 遅延ライブ処理Ｂを示すタイミング図である。 遅延ライブ処理Ｂでt1-t3区間の位置情報をもとに算出された切り出し領域を示す図である。 遅延ライブ処理Ｂの手順を示すフローチャートである。 切り出し領域を変化させる際に用いられる第２のビデオ信号N個の補間矩形の例を示す図である。 複数のカメラを用いたビデオ処理システムを説明する図である。 俯瞰用の４機のカメラの切替方法を説明する図である。 ビデオ処理装置１００Ａの変形例３の構成を示すブロック図である。 図２０のビデオ処理装置１００Ａによる遅延ライブ処理のタイミング図である。
　以下、本技術に係る実施の形態を説明する。
　＜第１の実施形態＞
　この実施形態は、ビデオ送信部より送信された第１のフレーム解像度を有する第１のビデオ信号の少なくとも一部の時間区間のビデオデータから、被写体に含まれる対象の移動体が移動した範囲を含む第２のフレーム解像度の第２のビデオ信号を生成するビデオ処理装置およびビデオ処理システムに関する。
　本技術に係る実施形態のビデオ処理装置およびビデオ処理システムにおいて、ビデオ送信部から送信される第１のビデオ信号のフレーム解像度はビデオ処理装置により生成される第２のビデオ信号のフレーム解像度よりも高い。一例として、第１のビデオ信号のフレーム解像度が8K(7680×4320)であり、第２のビデオ信号のフレーム解像度がフルHD(1920×1080)である場合などが挙げられる。なお、本実施形態において「フレーム」と説明しているものは、インターレース方式においては「フィールド」としてもよい。
　以下の説明においては、第１のビデオ信号が、カメラによって競技エリア２全体のサッカー競技の様子を定点撮影することによって得られたビデオ信号である場合を想定する。ビデオ送信部はカメラに内蔵されたものであってよいし、カメラから送信された第１のビデオ信号を中継してビデオ処理装置に伝送するものであってもよい。以下、ビデオ送信部はカメラに内蔵されていることを想定して説明を行う。
　図１は、本実施形態のビデオ処理システムにおけるカメラ１とサッカーの競技エリア２と位置関係の例を示す図である。
　同図に示すように、カメラ１は、サッカーの競技エリア２の全体を定点撮影することのできる位置に固定される。
　図２は、カメラ１から出力される第１のビデオ信号の第１のフレーム解像度に相当する全体の画枠１１と、本実施形態のビデオ処理装置によって算出されるビデオデータの矩形の切り出し領域１２との関係を示す図である。
　ここで、切り出し領域１２のサイズと位置は、第１のビデオ信号の一部の時間区間に対象の移動体（例えばボール３）が移動した範囲などをもとに決定される。切り出し領域１２は第２のフレーム解像度の縦横比を有する領域とされる。
　［ビデオ処理装置の構成］
　図３は、本技術に係る第１の実施形態のビデオ処理装置の構成を機能的に示すブロック図である。
　このビデオ処理装置１００は、ビデオ入力部１０１、ビデオ記憶部１０２、位置情報入力部１０３、位置情報記憶部１０４、変換部１０５、切り出し領域算出部１０６、指定開始時刻記憶部１０７、指定終了時刻記憶部１０８、切り出しビデオ生成部１０９、ビデオ出力部１１０、およびクリップ記憶部１１１を有する。
　ビデオ入力部１０１は、カメラ１から伝送された第１のフレーム解像度を有する第１のビデオ信号を受信する。例えば、8Kのフレーム解像度の第１のビデオ信号の伝送には、例えば複数の3G-SDI（Serial Digital Interface）インタフェースなどが用いられる。
　カメラ１は、被写体である競技エリア２を定点撮像してフレーム毎のタイムコードが付加された第１のビデオ信号を送信する。タイムコードは、例えばインターネット上の時刻サーバなどより取得される標準の時刻に定期的に同期がとられるカメラ１内の時計によって与えられる。
　ビデオ入力部１０１は、カメラ１より伝送された第１のビデオ信号を受信し、この第１のビデオ信号の各フレームをタイムコードと対応付けてビデオ記憶部１０２に記憶させる。
　なお、ビデオ入力部１０１は、第１のビデオ信号に付加されたタイムコードを利用するのではなく、内蔵のリアルタイム・クロックあるいは、インターネット上の時刻サーバなどの外部から与えられる時刻に定期的に同期がとられるコンピュータ１３０内の時計から与えられる時刻をもとに与えられるタイムコードを利用してもよい。
　ビデオ記憶部１０２は、ビデオ入力部１０１に入力された第１のビデオ信号の各フレームをタイムコードと対応付けて記憶する。ビデオ記憶部１０２には、第１のビデオ信号の各フレームのビデオデータが第１のフレーム解像度のまま記憶される。あるいは、可逆圧縮方式により第１のビデオ信号の各フレームのビデオデータが圧縮されたものが記憶されてもよい。
　位置情報入力部１０３は、外部の位置情報生成装置１４０（図５）から送信される移動体の位置情報とこれに対応付けられたタイムコードを周期的に受信する。
　この実施形態では、位置情報入力部１０３に受信される移動体の位置情報は、ボール３と１以上の競技者４の地上座標系における位置情報、または第１のビデオ信号の画枠の座標系における位置情報である。あるいは、ボール３の位置情報だけが位置情報入力部１０３に受信されてもよい。
　第１のビデオ信号のフレーム毎のタイムコードと、位置情報に対応付けられているタイムコードは互いに同期していることが好ましいが、完全に同期していなくても、処理上問題はない。
　移動体の位置情報と、移動体がその位置にあるときの第１のビデオ信号は同じタイミングでビデオ処理装置１００にて入力されることが好ましいが、移動体の位置情報の方がやや遅れて（例えば、数秒程度遅れて）供給されても、切り出したビデオデータの出力時期に影響するだけで処理上問題はない。
　位置情報記憶部１０４は、位置情報入力部１０３にて受信された各移動体の位置情報とタイムコードとを対応付けて記憶する。
　変換部１０５は、位置情報記憶部１０４から各移動体の位置情報を読み出し、この位置情報が地上座標系における位置情報である場合に、これを第１のビデオ信号の画枠１１内の座標系における位置情報に変換する。但し、入力される位置情報が、元々、第１のビデオ信号の画枠の座標系における位置情報である場合には変換部１０５による変換は不要である。
　指定開始時刻記憶部１０７は、切り出しを開始するフレームのタイムコードを記憶する領域である。
　指定終了時刻記憶部１０８は、切り出しを終了するフレームのタイムコードを記憶する領域である。開始フレームのタイムコードおよび終了フレームのタイムコードは、例えば本ビデオ処理装置１００の操作者などによって人為的に与えられるトリガによって指定されてよい。あるいは、本ビデオ処理装置１００の外部から与えられるイベント情報などをトリガとして指定されてもよい。
　切り出し領域算出部１０６は、指定開始時刻記憶部１０７から開始フレームのタイムコードを読み出すとともに指定終了時刻記憶部１０８から終了フレームのタイムコードを読み出す。切り出し領域算出部１０６は、開始フレームのタイムコードが示す時刻から終了フレームのタイムコードが示す時刻までの時間区間の、移動体の１以上の位置情報を位置情報記憶部１０４から読み出す。切り出し領域算出部１０６は、位置情報記憶部１０４から読み出した１以上の位置情報が示す１以上の位置を含む第２のフレーム解像度の縦横比を有する領域を切り出し領域として算出する。この切り出し領域の算出方法は、後でさらに詳しく説明する。
　切り出しビデオ生成部１０９は、指定開始時刻記憶部１０７から開始フレームのタイムコードを読み出すとともに指定終了時刻記憶部１０８から終了フレームのタイムコードを読み出す。切り出しビデオ生成部１０９は、開始フレームのタイムコードから終了フレームのタイムコードが示す時刻までの時間区間の各フレームをビデオ記憶部１０２から読み出し、読み出した各フレームの切り出し領域にあたる部分のビデオデータを切り出す。
　これによって、開始フレームのタイムコードが示す時刻から終了フレームのタイムコードが示す時刻までの時間区間に移動体が移動した範囲を少なくとも含む第２のフレーム解像度の縦横比を有する矩形領域１２の上記時間区間分のビデオデータが、第１のビデオ信号の上記時間区間の各フレームから切り出される。
　切り出しビデオ生成部１０９は、各フレームから切り出された各ビデオデータをフルHDなどの第２のフレーム解像度となるように拡大（画素補間）または縮小（画素間引き）することによって第２のビデオデータを生成する。
　ビデオ出力部１１０は、切り出しビデオ生成部１０９によって切り出された第２のビデオデータを第２のビデオ信号である例えばHD-SDI信号などに変換して出力する。HD-SDIはhigh-definition serial digital interfaceという伝送規格である。
　ビデオ出力部１１０はバッファを有する。ビデオ出力部１１０は、切り出しビデオ生成部１０９から間欠的に供給される第２のビデオデータをバッファで遅延させて連続的なHD-SDI信号などの第２のビデオ信号として出力する。
　以上により、カメラ１より伝送された第１のフレーム解像度を有する第１のビデオ信号から、時間区間に移動体が移動した範囲を少なくとも含む第２のフレーム解像度を有する上記時間区間分の第２のビデオ信号が得られる。この第２のビデオ信号は、上記時間区間に移動体が移動した矩形の範囲を含む範囲を第１のビデオ信号の映像に対してズームインした映像となる。
　ビデオ出力部１１０より出力されたHD-SDI信号は、外部の例えばHD放送機器等に、ビデオ入力部１０１に入力される第１のビデオ信号と同じフレームレートで伝送される。
　クリップ記憶部１１１は、切り出しビデオ生成部１０９によって生成された第２のフレーム解像度を有する第２のビデオデータをファイル化してランダムアクセス可能な状態のビデオクリップとして記憶する。
　［時間区間の開始／終了時刻の設定方法］
　サッカーなどのスポーツのライブ放送では、コーナーキックやフリーキックなどの注目プレイのビデオクリップを迅速に作成して視聴者に提供できることが望まれる。そこで、本ビデオ処理装置１００は、競技が進行する中で、ビデオデータを切り出す時間区間の開始と終了の各時刻を操作者がリアルタイムに指定できるように構成されている。
　図４は、ビデオデータを切り出す時間区間の開始と終了の各時刻を設定する時間区間設定部１２０の構成を示すブロック図である。
　時間区間設定部１２０は、時刻提供部１２１と、開始時刻トリガ受信部１２２と、終了時刻トリガ受信部１２３とを有する。
　時刻提供部１２１は、時計機能を有し、ビデオ入力部１０１に入力された第１のビデオ信号に付加されたタイムコード、あるいはインターネット上の時刻サーバにアクセスして取得した時刻に時計機能を同期させる。
　開始時刻トリガ受信部１２２は、ビデオデータを切り出す時間区間の開始の時刻を指定する外部からのトリガを受けると、時刻提供部１２１に時刻を問い合わせ、時刻提供部１２１から応答された時刻を示すタイムコードを指定開始時刻記憶部１０７に設定する。
　終了時刻トリガ受信部１２３は、ビデオデータを切り出す時間区間の終了の時刻を指定する外部からのトリガを受けると、時刻提供部１２１に時刻を問い合わせ、時刻提供部１２１から応答された時刻を示すタイムコードを指定終了時刻記憶部１０８に設定する。
　外部のトリガを発生させる方法としては、操作者がマニュアルでトリガを入力する方法のほか、例えばコーナーキックやフリーキックなどの注目プレイが行われることを第１のビデオ信号に対する画像認識や競技場に設置されたセンサーにより検出することによってトリガを発生する方法などがある。
　このような時間区間設定部１２０を設けたことによって、ビデオデータを切り出す時間区間の開始と終了の各時刻をリアルタイムで指定することができ、ビデオクリップを迅速に作成して視聴者に提供できる。
　［ビデオ処理システム１０の構成とビデオ処理装置１００のより具体的な構成］
　図５は、第１の実施形態のビデオ処理装置１００を用いたビデオ処理システム１０の構成とビデオ処理装置１００のより具体的な構成を示すブロック図である。
　ビデオ処理システム１０は、主にカメラ１と、位置情報生成装置１４０と、ビデオ処理装置１００からなる。
　ビデオ処理装置１００はコンピュータ１３０により実現可能である。
　コンピュータ１３０は、CPU（Central Processing Unit）１３１、ROM（Read Only Memory）１３２、RAM（Random Access Memory）１３３、GPU（Graphics Processing Unit）１３４、操作入力部１３５、ディスプレイ１３６、ストレージデバイス１３７、ネットワークインタフェース１３８、バス回路１３９などを備える。コンピュータ１３０は、さらに、ビデオ入力部１０１である第１のビデオ信号の入力インタフェース、位置情報入力部１０３である位置情報の入力インタフェース、ビデオ出力部１１０である第２のビデオ信号の出力インタフェースなどを備える。
　CPU１３１は、コンピュータ１３０のメインメモリとして用いられるRAM１３３に格納されたプログラムを実行することによって、上記のビデオ処理装置１００の少なくとも変換部１０５、切り出し領域算出部１０６、切り出しビデオ生成部１０９などとして動作する。
　RAM１３３は、コンピュータ１３０のメインメモリとして用いられる。メインメモリは、上記のビデオ処理装置１００のビデオ記憶部１０２、位置情報記憶部１０４、指定開始時刻記憶部１０７および指定終了時刻記憶部１０８などとしても用いられる。
　GPU１３４は、CPU１３１と共に動作して、ビデオデータの各種編集処理を行う。すなわち、GPU１３４は上記のビデオ処理装置１００の例えば切り出しビデオ生成部１０９におけるビデオデータの拡大処理および縮小処理などにも用いられてもよい。
　操作入力部１３５は、キーボード、マウス、マイクロホンなどの、操作者が各種の情報や指令をコンピュータ１３０に入力するためのインタフェースである。操作入力部１３５は、上記の時間区間設定部１２０に、操作者がビデオデータを切り出す時間区間の開始の時刻を指定するトリガを入力するための手段として用いられてよい。
　ディスプレイ１３６は、液晶ディスプレイなど、操作者に各種の情報を提示するためのインタフェースである。
　ストレージデバイス１３７は、例えばHDD（Hard Disk Drive）やSSD（Solid State Drive）などの大容量の不揮発性記憶装置である。ストレージデバイス１３７は、上記のクリップ記憶部１１１などとして用いられる。また、第１のビデオ信号の第１のビデオデータ、第１のビデオデータから切り出されたビデオデータ、さらには第２のフレーム解像度を有する第２のビデオデータの記憶領域として用いられてもよい。
　ネットワークインタフェース１３８は、LAN（Local Area Network）、WAN（Wide Area Network）などのネットワーク２０との接続を処理するインタフェースである。
　［位置情報生成装置１４０の構成］
　次に、ビデオ処理システム１０に属する位置情報生成装置１４０の構成について説明する。
　位置情報生成装置１４０は、各移動体の位置情報を周期的に生成し、生成された位置情報にタイムコードを付加してビデオ処理装置１００に送信する装置である。位置情報を供給する周期は例えば0.2秒程度でよい。但し、この周期は短いほど好ましい。
　位置情報生成装置１４０は、画像認識部１４１、移動体ＧＰＳ情報受信部１４２、センサー出力受信部１４３および位置情報算定部１４４などで構成される。
　画像認識部１４１は、第１のビデオ信号の被写体における対象の移動体（ボール３と各競技者４）の位置情報（第１のビデオ信号の画枠１１内の座標系における位置情報）を画像認識技術により算出し、位置情報算定部１４４に出力する。画像認識部１４１は、例えば、0.2秒程度の周期で各移動体の位置情報を算出し、認識対象のフレームのタイムコードを上記位置情報に付加して位置情報算定部１４４に出力する。
　移動体ＧＰＳ情報受信部１４２は、図１に示したように、例えば各競技者４に取り付けられたＧＰＳ発信機５から発信された時刻データ付きの移動体ＧＰＳ情報を受信し、位置情報算定部１４４に出力する。
　センサー出力受信部１４３は、図１に示したように、競技エリア２のゴールラインなどの特定の位置を対象の各移動体が通過したことを検出する移動体通過センサー６の時刻データ付きの通過検出データを受信し、位置情報算定部１４４に通過検出情報を送信する。
　位置情報算定部１４４は、画像認識部１４１、移動体ＧＰＳ情報受信部１４２およびセンサー出力受信部１４３から受信した各情報を個別にまたは総合的に処理することによって移動体の位置情報を算定する。
　位置情報算定部１４４による画像認識部１４１、移動体ＧＰＳ情報受信部１４２およびセンサー出力受信部１４３から受信した各情報の総合的な処理の例を説明する。
　１．位置情報決定部１４４は、画像認識部１４１によって認識されたボール３などの移動体のタイムコード付きの位置情報を、センサー出力受信部１４３より受信した時刻データ付きの通過検出データ（例えば、ボール３などの移動体が競技エリア２のエンドラインを何時通過したかを示すデータなど）と照合するなどして確定する。
　２．位置情報算定部１４４は、移動体ＧＰＳ情報受信部１４２より供給された競技者４の競技エリア２の地上座標系における時刻データ付き位置情報を第１のビデオ信号の画枠の座標系の位置情報に変換し、これを画像認識部１４１によって認識された各競技者４のタイムコード付きの位置情報や、センサー出力受信部１４３より供給された時刻データ付きの通過検出データと照合するなどして、各競技者４の位置情報を確定する。
　なお、画像認識部１４１、移動体ＧＰＳ情報受信部１４２およびセンサー出力受信部１４３の間で相互に情報を交換するようにしてもよい。これにより、各々の方法による位置情報の計算精度の向上を期待できる。
　［ビデオクリップ作成処理］
　次に、ビデオ処理装置１００によるビデオクリップ作成処理について説明する。
　図６は、ビデオクリップ作成処理の前段のビデオ入力処理のフローチャートである。
　図７は、ビデオクリップ作成処理の前段の位置情報入力処理のフローチャートである。
　図８は、ビデオクリップ作成処理のフローチャートである。
　（ビデオ入力処理）
　図６に示すように、ビデオ入力部１０１は、カメラ１より伝送されたタイムコード付きの第１のフレーム解像度を有する第１のビデオ信号を入力する（ステップＳ１０１）。ビデオ入力部１０１は、入力した第１のビデオ信号における各フレームの第１のビデオデータを、ビデオ信号に付加されたタイムコードと対応付けてビデオ記憶部１０２に記憶する（ステップＳ１０２）。
　（位置情報入力処理）
　図７に示すように、位置情報入力部１０３は、位置情報生成装置１４０からタイムコードが付加された移動体の位置情報を受信する（ステップＳ２０１）。ここで、位置情報に付加されたタイムコードは、ビデオ信号に付加されたタイムコードと同期したものであることが好ましいが、略同期したものであってもよい。位置情報入力部１０３は、受信した移動体の位置情報をタイムコードと対応付けてメインメモリ内の位置情報記憶部１０４に記憶する（ステップＳ２０２）。
　（ビデオクリップ作成処理）
　図８に示すように、ビデオ処理装置１００のコンピュータ１３０において、CPU１３１（時間区間設定部１２０の時刻提供部１２１）は、ビデオ入力部１０１に入力された第１のビデオ信号に付加されたタイムコードが示す時刻に、内蔵時計（リアルタイム・クロック）の時刻を同期させる（ステップＳ３０１）。なお、タイムコードは、ネットワークインタフェース１３８を用いてネットワーク２０上の時刻サーバから取得してもよい。あるいは、カメラ１と通信してカメラ１の内蔵時計と同期させてもよい。
　次に、CPU１３１（時間区間設定部１２０の開始時刻トリガ受信部１２２）は、ビデオデータの切り出し開始時刻を指定するためのトリガの入力を待つ（ステップＳ３０２）。
　ビデオデータの切り出し開始時刻を指定するためのトリガが入力されると、CPU１３１（開始時刻トリガ受信部１２２）は、そのトリガが入力された時刻を時刻提供部１２１に問い合わせ、応答された時刻を示すタイムコードt1をRAM１３３（指定開始時刻記憶部１０７）に切り出し開始時刻Tsとして記憶させる（ステップＳ３０３）。
　続いて、CPU１３１（時間区間設定部１２０の終了時刻トリガ受信部１２３）は、ビデオデータの切り出し終了時刻を指定するためのトリガの入力を待つ（ステップＳ３０４）。
　ビデオデータの切り出し終了時刻を指定するためのトリガが入力されると、CPU１３１（終了時刻トリガ受信部１２３）は、そのトリガが入力された時刻を時刻提供部１２１に問い合わせ、応答された時刻を示すタイムコードt2をRAM１３３（指定終了時刻記憶部１０８）に切り出し終了時刻Teとして記憶させる（ステップＳ３０５）。
　CPU１３１（切り出し領域算出部１０６）は、RAM１３３（指定開始時刻記憶部１０７）からタイムコードt1を読み出すとともにRAM１３３（指定終了時刻記憶部１０８）からタイムコードt2を読み出す。CPU１３１（切り出し領域算出部１０６）は、タイムコードt1からタイムコードt2までの時間区間の位置情報を位置情報シーケンスPaとしてRAM１３３（位置情報記憶部１０４）から読み出す（ステップＳ３０６）。タイムコードt1からタイムコードt2までの時間区間とは、t1以後からt2前（t2は含まない。）までの時間区間である。以降これをt1-t2区間と表記する。他の時間区間についても同様に表記する。
　CPU１３１（変換部１０５）は、位置情報シーケンスPaにおける各位置情報（移動体の地上座標系における位置情報）を第１のビデオ信号の画枠の座標系の位置情報（位置情報シーケンスPp）に変換する（ステップＳ３０７）。
　CPU１３１（切り出し領域算出部１０６）は、位置情報シーケンスPpにおける各位置情報が示す各々の位置を含む矩形（t1-t2区間に移動体が移動した矩形範囲）を算出する。この矩形は、より具体的には、各々の位置に外接する矩形であってよい。
　CPU１３１（切り出し領域算出部１０６）は、算出した矩形に所定のマージンDmを加えた矩形R12を算出する（ステップＳ３０８）。
　CPU１３１（切り出し領域算出部１０６）は、算出された矩形R12を含み、かつ第２のフレーム解像度の縦横比を有する矩形R0を切り出し領域として算出する（ステップＳ３０９）。
　CPU１３１（切り出しビデオ生成部１０９）は、RAM１３３（ビデオ記憶部１０２）から、t1-t2区間の各フレームを読み出し、各フレームから切り出し領域R0にあたるビデオデータを切り出す。さらに、CPU１３１（切り出しビデオ生成部１０９）は、切り出された各ビデオデータを、必要に応じて第２のフレーム解像度となるように拡大（画素補間）または縮小（画素間引き）する。これにより、指定された時間区間に移動体が動いた範囲を少なくとも含む、第２のフレーム解像度の第２のビデオデータが得られる（ステップＳ３１０）。
　CPU１３１は、t1-t2区間の第２のフレーム解像度の第２のビデオデータをビデオクリップとするためにファイル化し、ストレージデバイス１３７（クリップ記憶部１１１）に保存する（ステップＳ３１１）。
　［遅延ライブ処理］
　以上、指定された時間区間のビデオクリップを作成する処理について説明したが、本ビデオ処理装置１００は、入力された第１のフレーム解像度の第１のビデオ信号から、予め設定された時間区間毎に、移動体が移動した範囲を含む第２のフレーム解像度を有する第２のビデオ信号を連続的に生成することが可能である。
　この場合、時間区間の長さを例えば10秒とすると、本ビデオ処理装置１００に第１のビデオ信号が入力されてから第２のビデオ信号が出力されるまでに、常に10秒以上の遅延が発生する。但し、この程度の遅延時間であれば、概ねライブ放送においては問題はない。被写体の種類（競技）により、好適な時間区間の長さは異なるが、例えば画枠の中で移動する移動体（ボール）の速度などを考慮して、１秒から２０秒の間で設定する構成が可能である。この第１のビデオ信号から予め指定された間隔の時間区間毎に、移動体が移動した範囲の第２のビデオ信号を連続的に生成する処理を以下では「遅延ライブ処理」と呼ぶこととする。なお、時間区間を長めにすることで、画枠が安定する時間が長くなり、視聴者の疲れを減らすことができる。逆に時間区間を短めにすると、より細部を鑑賞・観戦でき視聴者の興奮度を上げることができる。このような調整ができることは、本技術の効果の一つである。
　本明細書では、遅延ライブ処理として２種類の遅延ライブ処理Ａと遅延ライブ処理Ｂを開示する。
　［遅延ライブ処理Ａ］
　図９は、遅延ライブ処理Ａのタイミング図である。
　同図の最下部に示すt1,t2,t3,・・・は時計上のタイムコードの時間軸を示している。t1,t2,t3,・・・の各々の間隔は例えば5秒、10秒などである。
　t1-t2区間はt1以後からt2前（t2は含まない。）までの区間を意味する。同様に、t2-t3区間はt2以後からt3前（t3は含まない。）までの区間を意味する。
　まず、t1-t2区間の第１のビデオ信号の受信および記憶が時刻t1からやや遅れて開始される。また、t1-t2区間の移動体の位置情報の受信および記憶がt1-t2区間の第１のビデオ信号の受信および記憶の開始にやや遅れて開始される。
　t1-t2区間の位置情報の受信および記憶が終了すると、t1-t2区間の位置情報を第１のビデオ信号の画枠の座標系の位置情報に変換する処理が開始される。
　変換処理が完了すると、この変換されたt1-t2区間の位置情報をもとに切り出し領域が算出される。
　切り出し領域が算出されると、t1-t2区間の第１のビデオ信号の各フレームから当該切り出し領域にあたるビデオデータが切り出される。ビデオデータが切り出される毎に、そのビデオデータが第２のフレーム解像度となるように拡大または縮小されて、第２のビデオデータとなる。
　第２のフレーム解像度とされた第２のビデオデータは、生成されたものから順に、ビデオ出力部１１０によって第２のビデオ信号にエンコードされて出力される。
　t2-t3区間の第１のビデオ信号の受信および記憶は、先行するt1-t2区間の第１のビデオ信号の受信および記憶が終了次第に開始される。同様に、t2-t3区間の移動体の位置情報の受信および記憶も、先行するt1-t2区間の移動体の位置情報の受信および記憶が終了次第に開始される。そして、位置情報の座標系の変換、切り出し領域の算出、ビデオデータの切り出し、第２のビデオ信号の出力が、先行するt1-t2区間の処理と同様に繰り返される。
　図１０は、上記２つの時間区間（t1-t2区間とt2-t3区間）の処理において生成される２つの切り出し領域の例を示す図である。
　図１０において、実線で示される全体の矩形はカメラ１により撮影された第１のビデオ信号の全体の画枠１１であり、破線で示される矩形領域１２がt1-t2区間に対する切り出し領域であり、同じく破線で示される矩形領域１３がt2-t3区間に対する切り出し領域である。
　［切り出し領域の算出方法］
　CPU１３１（切り出し領域算出部１０６）は、t1-t2区間の位置情報をもとにt1-t2区間の切り出し領域１２を算出する。この例ではt1-t2区間に位置情報が指す３つの位置P1,P2,P3が存在する。CPU１３１（切り出し領域算出部１０６）は、これら３つの位置P1,P2,P3を含む矩形に所定のマージンを加えた矩形を算出し、このマージンを加えた矩形を含む、第２のフレーム解像度の縦横比の領域を切り出し領域１２として生成する。
　同様に、CPU１３１（切り出し領域算出部１０６）は、t2-t3区間の位置情報をもとにt2-t3区間の切り出し領域１３を算出する。この例ではt2-t3区間に位置情報が指す３つの位置P4,P5,P6が存在する。CPU１３１（切り出し領域算出部１０６）は、これら３つの位置P4,P5,P6を含む矩形に所定のマージンを加えた矩形を算出し、このマージンを加えた矩形を含む、第２のフレーム解像度の領域を切り出し領域１３とする。
　さらに、詳細に切り出し領域の算出方法を説明する。
　図１１は、t1-t2区間の３つの位置P1,P2,P3によって決まるマージン付加前の矩形領域１２Ａを示している。
　図１２は、矩形領域１２Ａにマージンを付加した矩形領域１２Ｂを示している。矩形領域１２Ａの左右にマージンＭｈが付加され、上下にマージンＭｖが付加される。ここで、マージンＭｈとマージンＭｖは同一の値でもよいし、異なる値であってもよい。
　図１３は、マージンを付加した矩形領域１２Ｂを広げて、第２のフレーム解像度の縦横比に調整することによって作成された切り出し領域１２を示している。
　なお、フルHDの縦横比は16:9である。マージンを付加した矩形領域１２Ｂと切り出し領域１２は互いに中心を一致させた位置関係としている。これら限らず、マージンを付加した矩形領域１２Ｂに対して、移動体が移動する方向またはその逆方向に切り出し領域１２をずらしてもよい。
　マージンの付加や縦横比の調整によって切り出し領域が第１のビデオ信号の全体の画枠１１から計算上はみ出てしまう場合には、その全体の画枠１１に収まるように、マージンの付加の仕方を変えたり、マージンを付加した矩形領域１２Ｂに対する切り出し領域１２の位置関係を変えてもよい。マージンは、例えば垂直方向は被写体領域の２ｍに相当する長さ以上とし、水平方向は被写体領域の１ｍに相当する長さ以上とすることで、移動体に接している人間が欠けないようにできる。あるいは、切り出し領域の中央から端までの１／３がマージンとなるように単純に決めてもよい。
　［遅延ライブ処理Ｂ］
　図１４は、遅延ライブ処理Ｂを示すタイミング図である。
　ここでは連続する３つの時間区間（t1-t2区間、t2-t3区間、t3-t4区間）が示されている。
　この遅延ライブ処理Ｂでは、t1-t3区間の位置情報をもとに算出された切り出し領域を使って、t1-t2区間の第１のビデオ信号のフレームからのビデオデータの切り出しが行われる。すなわち、t1-t2区間から見て未来のt2-t3区間を含むt1-t3区間の位置情報を用いて算出された切り出し領域を使ってt1-t2区間の第１のビデオ信号のフレームからのビデオデータの切り出しが行われるので、移動体であるボール３が移動していく先の領域を含めた第２のビデオ信号が得られる。
　次のサイクルでも同様に、t2-t4区間の位置情報をもとに算出された切り出し領域を使って、t2-t3区間の第１のビデオ信号のフレームからのビデオデータの切り出しが行われ、第２のビデオ信号が出力される。
　以降同様に処理が繰り返される。
　図１５は、上記の遅延ライブ処理Ｂでt1-t3区間の位置情報をもとに算出された切り出し領域を示す図である。
　この例ではt1-t2区間に位置情報が指す３つの位置P1,P2,P3が存在し、t2-t3区間に位置情報が指す３つの位置P4,P5,P6が存在する。
　CPU１３１（切り出し領域算出部１０６）は、t1-t3区間に存在する位置情報をもとにt1-t2区間の切り出し領域１２を算出する。より詳細には、CPU１３１（切り出し領域算出部１０６）は、t1-t3区間に存在する６つの位置P1,P2,P3,P4,P5,P6を含む矩形に所定のマージンを付加し、マージンを加えた矩形を含む、第２のフレーム解像度の縦横比を有する領域を切り出し領域１４として算出する。この切り出し領域１４は、t1-t2区間の第１のビデオ信号の各フレームからビデオデータを切り出すために使用される。言い換えれば、ボール３がP1の位置からP3の位置にある時間区間に使用される。したがって、t1-t2区間の最後の時刻より、ボール３が移動していく先の領域を含めたビデオデータが得られる。
　また、t1-t2区間とt2-t3区間の前半区間に存在する位置情報をもとにt1-t2区間の切り出し領域１４を算出し、t2-t3区間とt3-t4区間の前半区間に存在する位置情報をもとにt2-t3区間の切り出し領域１４を算出してもよい（図２１参照）。あるいは、t1-t2区間の位置情報とt2-t3区間の先頭より１以上の所定の数の位置情報をもとにt1-t2区間の切り出し領域１４を算出してもよい。
　また、t1-t(1+n)区間に存在する位置情報をもとにt1-t2区間の切り出し領域１４を算出してもよい。nは１以上の整数である。
　［遅延ライブ処理Ｂの動作詳細］
　次に、本ビデオ処理装置１００での遅延ライブ処理Ｂの動作の詳細を説明する。
　図１６は、この遅延ライブ処理Ｂの手順を示すフローチャートである。
　なお、この遅延ライブ処理Ｂの動作詳細では、切り出し領域のサイズが変化する際の視聴者に与え得る違和感を緩和するための処理などが新たに追加されている。
　第１のビデオ信号の受信処理および位置情報の受信処理について前述したビデオクリップ作成時と同じであるため、ここでは説明を省く。
　まず、CPU１３１（切り出し領域算出部１０６）は、反復動作のための変数の初期化を行う。反復動作のための変数としては、切り出し領域のサイズRvと、切り出し領域のサイズを変化させるフレーム数である補間フレーム数Nがある。これらの変数の初期化は、例えば、Rvを第１のビデオ信号の全体画枠１１のフレーム解像度の値とし、Nを4とすることなどによって行われる（ステップＳ４０１）。
　次に、CPU１３１（時間区間設定部１２０の時刻提供部１２１）は、ビデオ入力部１０１に入力された第１のビデオ信号に付加されたタイムコードが示す時刻に、内蔵時計（リアルタイム・クロック）の時刻を同期させる（ステップＳ４０２）。なお、時刻の情報は、ネットワークインタフェース１３８を用いてネットワーク２０上の時刻サーバから取得してもよい。あるいは、カメラ１と通信してカメラ１の内蔵時計と同期させてもよい。
　次に、CPU１３１（時刻提供部１２１）は、内蔵時計の現在時刻を示すタイムコードt1を、RAM１３３（指定開始時刻記憶部１０７）に切り出し開始時刻Tsとして記憶させる（ステップＳ４０３）。
　なお、上記のようにCPU１３１が動作する一方で、カメラ１より第１のビデオ信号が本ビデオ処理装置１００にビデオ入力部１０１から入力され、RAM１３３（ビデオ記憶部１０２）に記憶される。
　CPU１３１（時刻提供部１２１）は、Ts+Tdの時刻を示すタイムコードt2を、RAM１３３（指定終了時刻記憶部１０８）に切り出し終了時刻Teとして記憶させる（ステップＳ４０４）。ここで、Tdは、切り出し領域を算出するための固定の時間区間長であり、例えば、5秒、10秒などである。
　CPU１３１（切り出し領域算出部１０６）は、Te+Tdの時刻までの位置情報がRAM１３３（位置情報記憶部１０４）に記憶されるまで待つ（ステップＳ４０５）。
　CPU１３１（切り出し領域算出部１０６）は、Te+Tdの時刻までの位置情報がRAM１３３（位置情報記憶部１０４）に記憶されたところで、切り出し開始時刻TsからTe +Tdまでの時間区間の複数の位置情報を位置情報シーケンスPbとしてRAM１３３（ビデオ記憶部１０２）から読み出す（ステップＳ４０６）。TsからTe+Tdまでの時間区間は、時刻Ts以後で、Te+Td前（Te+Tdは含まない。）までの時間区間である。
　CPU１３１（変換部１０５）は、位置情報シーケンスPbにおける各位置情報（移動体の地上座標系における位置情報）を第１のビデオ信号の画枠の座標系の位置情報に変換する（ステップＳ４０７）。変換された位置情報の系列を位置情報シーケンスPqとする。
　CPU１３１（切り出し領域算出部１０６）は、位置情報シーケンスPqにおける各位置情報が示す各々の位置を含む矩形を算出する。CPU１３１（切り出し領域算出部１０６）は、算出した矩形に所定のマージンDmを加えた矩形R13を算出する（ステップＳ４０８）。
　CPU１３１（切り出し領域算出部１０６）は、算出された矩形R13を含み、かつ第２のフレーム解像度の縦横比を有する矩形Rwを切り出し領域として算出する（ステップＳ４０９）。
　次に、切り出し領域の位置やサイズの急変に対して視聴者が違和感を覚えることを緩和するために、CPU１３１（切り出し領域算出部１０６）は、切り出し領域を矩形Rvから矩形Rwに(N+1)フレームかけて徐々に変化させるためのN個の補間矩形を算出する（ステップＳ４１０）。
　図１７は、N個の補間矩形の例を示す図である。
　矩形Rvから矩形Rwにかけて時間順に作成されるN個の矩形R1,R2,R3,R4が補間矩形である。
　CPU１３１（切り出しビデオ生成部１０９）は、RAM１３３（ビデオ記憶部１０２）より、切り出し開始時刻TsからN個のフレームを読み出し、切り出し開始時刻Tsのフレームから順番に、そこからR1,R2,R3,R4,Rwの順番に矩形領域を適用してビデオデータを各々切り出す（ステップＳ４１１）。
　その後、CPU１３１（切り出しビデオ生成部１０９）は、RAM１３３（ビデオ記憶部１０２）より、時刻Te前までの各フレームを読み出し、これらのフレームから、矩形Rwの領域にあたるビデオデータを各々切り出す（ステップＳ４１２）。
　CPU１３１（切り出しビデオ生成部１０９）は、各フレームから切り出された各ビデオデータを、必要に応じて、出力用の所定のフレーム解像度となるように拡大（画素補間）または縮小（画素間引き）する。これにより、時刻Tsから時刻Teの時間区間に移動体が動いた範囲を少なくとも含む第２のフレーム解像度を有する第２のビデオデータが得られる。
　第２のフレーム解像度とされた第２のビデオデータは、生成されたものから順に、ビデオ出力部１１０によって第２のビデオ信号にエンコードされて出力される（ステップＳ４１３）。
　最後に、CPU１３１は、次の処理サイクルのための準備として、切り出し開始時刻TsをTeフレームに対応する値で更新し、切り出し開始時刻TeをTs+Tdの値で更新し、さらに切り出し領域の変数Rvの値をRwの値で更新する（ステップＳ４１４）。
　なお、Te時刻に正確に一致するタイムコードのフレームが存在しない場合は、それ以降で最も近いタイムコードの時刻をTsとする。
　図１６のフローチャートとその説明では、時間区間毎の第２のビデオデータは、この時間区間分の生成が完了してからビデオ出力部１１０に供給されることとしたが、第２のビデオデータのフレームが作成される都度、ビデオ出力部１１０に供給されてもよい。このようにすることによって、第１のビデオ信号が入力されてから第２のビデオ信号が出力するまでの遅延時間を減らすことができる。
　図１６のフローチャートとその説明では、各処理を順次行う場合を想定したが、パイプライン処理が可能な処理については、用意されたデータから順に、並行して行うようにしてもよい。
　さらに、上記の説明では、例えば、t1-t2区間をt1以後からt2前（t2を含まない。）とし、t2-t3区間をt2以後からt3前（t2を含まない。）としたが、t1-t2区間をt1以後からt2以前（t2を含む。）とし、t2-t3区間をt2以後からt3以前（t3を含む。）のように、境界の時刻を前後の各単位区間で共有してもよい。
　以上の動作により、第１のビデオ信号の受信とは別に外部から遅れて到着する位置情報を用いて、かつ、時刻情報を有効に利用し、切り出し領域が算出される。例えば競技場のセンサーによるボールの位置の検知結果などを有効に利用することが可能である。
　次に、上記の実施形態のビデオ処理装置１００の変形例および補足の説明を行う。
　＜変形例１＞
　［イベント情報に基づく時間区間の指定］
　上記の実施形態のビデオ処理装置１００のCPU１３１は、外部のイベント情報発生装置からのイベント情報を受けて、第１のビデオ信号の画枠においてそのイベント情報に対応する領域を含む領域を切り出し領域を一意に設定してもよい。
　イベント情報とは、例えば、サッカー競技にあってはコーナーキック、ペナルティキック、フリーキックなど、注目プレイが行われる場所や注目プレイの種類などをビデオ処理装置１００に通知する情報である。例えば、コーナーキックの場合、このコーナーキックから始まる一連のプレイが行われるゴールエリア付近を含めたエリアを特定する情報などを含むイベント情報がビデオ処理装置１００のCPU１３１に通知される。
　なお、このエリアを特定する情報は、例えば、競技エリア２を複数のエリアに区分し、各々のエリアに割り当てられるIDなどであってよい。
　図５に示すように、イベント情報は、例えばビデオ処理装置１００とネットワーク２０を通じて通信可能な外部の情報処理装置などのイベント情報発生装置１６０からビデオ処理装置１００に送信されるものであってよい。このイベント情報発生装置１６０は、例えば、操作者からの指令に従って、イベント情報をネットワーク２０を通じてビデオ処理装置１００に送信する。ビデオ処理装置１００のCPU１３１は、このイベント情報を受信すると、例えば、そのイベントの情報に対応する領域を含む領域を切り出し領域として設定する。
　また、CPU１３１は、例えば、外部からのイベント終了を指示する情報を受けて、切り出し領域の前記設定を解除し、移動体の位置情報をもとに切り出し領域を算出する動作モードに戻る。
　また、イベント情報発生装置１６０からは、操作者からの指令のみならず、第１のビデオ信号に対する画像認識あるいはセンサーからの情報によって注目プレイが行われることを判定し、イベント情報をネットワーク２０を通じてビデオ処理装置１００に送信するものであってよい。
　＜変形例２＞
　［複数のカメラを用いた方法］
　図１８は、複数のカメラ１ａ、１ｂ、１ｃ、１ｄ、１ｅ、１ｆ、１ｇ、１ｈを競技エリア２の周囲に配置した例である。
　この例では、競技エリア２の周囲に、競技エリア２を４方向から各々俯瞰するための４機のカメラ１ａ、１ｂ、１ｃ、１ｄと、競技エリア２の一方のゴールエリア付近の領域を競技エリア２の短辺に沿った方向であるＹ１方向およびその逆方向（Ｙ２方向）から撮影可能な２機のカメラ１ｅ、１ｇと、競技エリア２の他方のゴールエリア付近の領域をＹ方向およびその逆方向（Ｙ２方向）から撮影可能な２機のカメラ１ｆ、１ｈの、計８機のカメラが配置されている。
　俯瞰用のカメラ１ａ、１ｂ、１ｃ、１ｄは例えば８Ｋ解像度のカメラであり、ゴールエリア撮影用のカメラ１ｅ、１ｆ、１ｇ、１ｈ（特定領域用カメラ）は第２のフレーム解像度と同じ解像度を有するカメラ（例えばHD解像度カメラなど）とされる。
　ここで、１機の俯瞰用のカメラ１ａと、２機のゴールエリア撮影用のカメラ１ｅ、１ｆの運用を想定する。これらのカメラ１ａ、１ｅ、１ｆは、競技エリア２の短辺方向（Ｙ２方向）の外側に配置されている。
　ビデオ処理装置１００のビデオ入力部１０１は、上記８機のカメラ１ａ、１ｂ、１ｃ、１ｄ、１ｅ、１ｆ、１ｇ、１ｈからビデオ信号を入力するチャンネルをCPU１３１からの指示により切り替える切替部１０１ａを有する。切り替え動作は、ビデオ信号のブランキング区間（Vertical blanking interval）に行われる。
　なお、このチャンネルの切替部１０１ａは、８機のカメラ１ａ、１ｂ、１ｃ、１ｄ、１ｅ、１ｆ、１ｇ、１ｈとビデオ処理装置１００のビデオ入力部１０１との各ビデオ信号ラインとの間に設けられた切替装置に代えることが可能である。
　ビデオ処理装置１００のコンピュータ１３０におけるRAM１３３には、２機のゴールエリア撮影用のカメラ１ｅ、１ｆの各々の画枠内に存在する、ゴールエリアを含む所定領域１５の、競技エリア２内の地上座標系の位置情報が記憶されている。ビデオ処理装置１００のCPU１３１（切り出し領域算出部１０６）は、指定された時間区間における移動体の複数の位置がすべて２機のゴールエリア撮影用のカメラ１ｅ、１ｆのうちいずれかのカメラの画枠内に含まれるという条件を満足するかどうかを判断する。この条件を満足する場合、CPU１３１は、その一方のゴールエリア撮影用のカメラのビデオ信号（第３のビデオ信号）を選択する。
　ゴールエリア撮影用のカメラ１ｅ、１ｆが第２のフレーム解像度と同じ例えばHD解像度のカメラであるため、コンピュータ１３０のCPU１３１は、それらのカメラ１ｅ、１ｆから入力されたビデオ信号の全体画枠のビデオデータをそのまま解像度を変えずにビデオ出力部１１０に供給する。
　上記条件を満足しない場合は、CPU１３１（切り出し領域算出部１０６）は、俯瞰用のカメラ１ａのビデオ信号（第１のビデオ信号）を選択し、既述の切り出し領域の算出、ビデオデータの切り出し、拡大／縮小を行う。
　このため、ゴールエリア撮影用のカメラ１ｅ、１ｆの選択時と俯瞰用のカメラ１ａの選択時とではビデオ信号の入力から第２のビデオ信号が出力されるまでに要する時間に差が生じる。そこで、ゴールエリア撮影用のカメラ１ｅ、１ｆが選択された場合はCPU１３１は、上記の時間差の分だけビデオデータをビデオ処理装置１００内でバッファリングしてビデオ出力部１１０に供給するようにする。これにより、ゴールエリア撮影用のカメラ１ｅ、１ｆのビデオ信号と俯瞰用のカメラ１ａの第１のビデオ信号が時間区間内に切り替わったときに出力される第２のビデオが途切れることがなくなる。
　なお、ここでは、位置情報入力部１０３に入力される外部からの位置情報をもとに上記の条件を満足したかどうかを判断して、ゴールエリア撮影用のカメラ１ｅ、１ｆと俯瞰用のカメラ１ａとを切り替えることとしたが、外部から競技に関するイベント情報をリアルタイムに受信し、このイベントの種類に応じて、ゴールエリア撮影用のカメラ１ｅ、１ｆと俯瞰用のカメラ１ａとを切り替えてもよい。
　俯瞰用の４機のカメラ１ａ、１ｂ、１ｃ、１ｄの運用を想定した場合のカメラの選択方法としては、例えば、以下が挙げられる。
　CPU１３１（切り出し領域算出部１０６）は位置情報シーケンスをもとに移動体の移動方向を判定する。CPU１３１は、移動体の移動先の方向に配置された俯瞰用のカメラの第１のビデオ信号を選択する。例えば、図１９に示すように、指定された時間区間にボール３がＰ１の位置からＰ２の位置に移動されたとする。この場合、ボール３の移動方向はＹ１方向であるため、競技エリア２をＹ１方向の向かい側より撮影する俯瞰用のカメラ１ｂの第１のビデオ信号が選択される。選択された第１のビデオ信号から、同様に切り出し領域の算出、ビデオデータの切り出し、拡大／縮小が行われて第２のビデオ信号が生成される。
　さらに、俯瞰用の４機のカメラ１ａ、１ｂ、１ｃ、１ｄに４機のゴールエリア撮影用のカメラ１ｅ、１ｆ、１ｇ、１ｈが加えられた運用においても、同様の方法で、移動体の移動先の方向に配置されたゴールエリア撮影用のカメラのビデオ信号が選択される。
　これにより、例えば、ボール３に絡んだ競技者４の主に正面側を撮影したビデオデータを含む第２のビデオ信号が得られる。
　なお、カメラは９機以上配置しても構わない。また、競技エリア２を四隅から斜め方向に撮影するカメラを追加してもよい。また第２のフレーム解像度より高い解像度を有するカメラをゴールエリア撮影用のカメラとし、その出力ビデオに対しても切り出しを行わせる構成としてもよい。
　複数のカメラのうち１以上のカメラがカメラマンによってPTZ（雲台）操作される場合であっても本変形例は適用される。この場合、ビデオ処理装置１００のCPU１３１は、第１のビデオ信号の画枠内の座標系における位置情報と競技エリア２内の地上座標系の位置情報との変換をPTZ情報を加味して行う。
　また、カメラマンによる操作によって、そのカメラマンが操作するカメラのビデオ信号をCPU１３１に選択させるように選択命令を通信できるようにしてもよい。
　＜変形例３＞
　［変換部を備えないビデオ処理装置］
　図２０は、ビデオ処理装置１００Ａの変形例３の構成を示すブロック図である。
　第１の実施形態のビデオ処理装置１００は、移動体の地上座標系における位置情報を第１のビデオ信号の全体画枠の座標系の位置情報に変換する変換部１０５を備える。これに対し、変形例３のビデオ処理装置１００Ａは、変換部２０５を有する外部装置２１０より、移動体の地上座標系から第１のビデオ信号の全体画枠の座標系に変換された位置情報を位置情報入力部１０３Ａが入力するように構成される。
　位置情報入力部１０３Ａに入力された位置情報は位置情報記憶部１０４に記憶される。切り出し領域算出部１０６は、位置情報記憶部１０４から位置情報を読み出し、読み出した位置情報をもとに切り出し領域を算出する。
　また、移動体の位置情報の検出は、ビデオ入力部１０１に入力されるビデオ信号に含まれるビデオデータを解析することによって行うことも可能である。この場合、ビデオ処理装置１００の内外ともに変換部１０５、２０５を省くことができる。
　図２１は、１つの時間区間と次の時間区間の前半に存在する位置情報をもとに切り出し領域を算出する場合であって、かつ、外部から第１のビデオ信号の全体画枠の座標系の位置情報が変形例３のビデオ処理装置１００Ａに入力される場合の遅延ライブ処理のタイミング図である。
　t1-t2区間の位置情報が位置情報記憶部１０４へ格納され、続いてt2-t3区間の中間の時刻t2+1/2までに存在する位置情報が位置情報記憶部１０４に格納されたところで、CPU１３１は、位置情報記憶部１０４からt1-t2区間の位置情報とt2-t3区間の中間の時刻t2+1/2までの位置情報を読み出し、これらの位置情報をもとに切り出し領域を算出する。CPU１３１は、この切り出し領域を使って、t1-t2区間の第１のビデオ信号のフレームからビデオデータを切り出し、第２のフレーム解像度となるように拡大または縮小してビデオ出力部１１０に供給する。以後の時間区間についても同様の処理が行われる。
　すなわち、t2-t3区間の位置情報が位置情報記憶部１０４へ格納され、続いてt3-t4区間の中間の時刻t3+1/2までに存在する位置情報が位置情報記憶部１０４に格納されたところで、CPU１３１は、位置情報記憶部１０４からt2-t3区間の位置情報とt3-t4区間の中間の時刻t3+1/2までの位置情報を読み出し、これらの位置情報をもとに切り出し領域を算出する。CPU１３１は、この切り出し領域を使って、t2-t3区間の第１のビデオ信号のフレームからビデオデータを切り出し、第２のフレーム解像度となるように拡大または縮小してビデオ出力部１１０に供給する。
　＜変形例４＞
　［遅延ライブ処理における移動体の位置情報の手動補正］
　移動体の位置情報の精度を上げるために、移動体の位置を手動により修正できることが望ましい。
　そこで、ビデオ処理装置１００とネットワークを通じて接続された遠隔地のコンピュータ１５０を用いて、位置情報生成装置１４０により生成された移動体の位置情報を手動により修正できるようにしてもよい。
　遠隔地のコンピュータ１５０は、ビデオ処理装置１００よりネットワーク２０を通じて位置情報生成装置１４０により生成された移動体の位置情報を受信し、時刻情報と対応付けて画像としてモニターに表示する。遠隔地のコンピュータ１５０の修正担当者は、例えば競技をリアルタイムに見ることのできる場所にてこの画像を確認し、実際の競技と見比べるなどして移動体の算出情報の問題をチェックする。問題を発見したならば修正情報を遠隔地のコンピュータ１５０から入力する。入力された修正情報は遠隔地のコンピュータ１５０からネットワーク２０を通じてビデオ処理装置１００に送信される。ビデオ処理装置１００のCPU１３１は、受信した修正情報をもとに、位置情報記憶部１０４に記憶されている該当する位置情報を修正する。
　なお、この遠隔地のコンピュータ１５０を使った修正システムを採用する場合には、人為的な修正操作およびコンピュータ１３０間でのやりとりに必要な時間を加味して、遅延ライブ処理などにおける遅延時間が決められる必要がある。
　＜変形例５＞
　［切り出し領域の最小サイズ］
　指定の時間区間内にボール３が略静止していたときなどに、切り出し領域は最小サイズの制限を受けて生成される必要がある。例えば、切り出し領域の最小サイズとしては、ボール３とその周囲の競技者４の体の全体が含まれるようなサイズとすることが好ましい。あるいは、拡大による画質劣化を制限するために、切り出し領域の水平画素数（解像度）が、第２のビデオ信号の水平画素数（解像度）の例えば１／２以上になるように最小サイズを定めてもよい。そこで、ビデオ処理装置１００では、切り出し領域の最小サイズが制限されている。計算上求められた切り出し領域のサイズがもし最小サイズよりも小さい場合には、CPU１３１は、そのサイズを規定の最小サイズに修正する。
　ところで、被写体はカメラ１に近い位置にあるほど大きく映り、カメラ１に遠い位置にあるほど小さく映る。このため、単に人間の体の平均的なサイズを考慮して決められた固定の最小サイズでは、ボール３がカメラ１に遠い位置にあるときは切り出し領域が過大となり、逆にボール３がカメラ１に近い位置にあるときは過小となり例えば切り出し領域から競技者４の体がはみ出てしまうおそれがある。
　この問題を軽減するため、例えば設置時に操作により、CPU１３１は、第１のビデオ信号の全体画枠の座標系における競技エリア２とカメラとの位置関係と、PTZから得られる情報から、第１のビデオ信号の全体画枠中の各位置に対して、切り出し領域の最適な最小サイズを算出し、RAM１３３に保存しておく。CPU１３１は、この保存された位置毎の切り出し領域の最適な最小サイズを適用して、切り出し領域の算出を行う。
　これにより、切り出し領域の最小サイズを良好に決定することができ、たとえばズームインされたシーンにおいて画枠内に競技者４の体の全体を含めた画像が得られる。
　＜変形例６＞
　［切り出し領域の補正方法１］
　CPU１３１は、算出された切り出し領域を、別の観点から補正してもよい。
　例えば、切り出し領域に入れる移動体の数の観点から切り出し領域を補正する方法が挙げられる。具体的には、CPU１３１は、例えば、時間区間の少なくとも一時点に、ボール３に対して所定の距離内にいる競技者４のうち、ボール３により近い位置にある所定の数の競技者４が含まれるように切り出し領域を補正してもよい。
　例えば、CPU１３１は、指定された時間区間にボール３から５ｍ以内に３人以上の競技者４がいる瞬間の、ボール３に近いものから少なくとも２人の競技者４の位置が切り出し領域に含まれるように切り出し領域の位置およびサイズを補正する。
　＜変形例７＞
　［切り出し領域の補正方法２］
　また、サッカー競技の場合には、ボール３に影響を与えた競技者４の位置が切り出し領域に入るように切り出し領域を補正する方法が挙げられる。
　ボール３に影響を与えた競技者４とは、例えば、ボール３の受け渡しが行われた複数の競技者４などのことである。例えば、CPU１３１は、時間区間において、ボール３の位置に予め設定された距離以内に接近した競技者４をボール３に影響を与えた競技者４として判定し、ボール３に影響を与えた競技者４の位置が含まれるように、接近した時刻から設定された時間例えば３秒の後まで切り出し領域を補正する。
　＜変形例８＞
　［操作者による時間区間の分割］
　固定の時間区間で切り出し領域を算出していたのではボール３や競技者４の動きが大きく高速になってきたときに、切り出し領域が平均して大きくなりがちとなり、ズームアウトした画像ばかりが生成されてしまう。そこで、時間区間は適宜変更できることが望ましい。
　また、遅延ライブ処理の際には時間区間を変更させるための指示操作を簡単に行えることが好ましい。
　操作者による時間区間の変更の指示操作は操作入力部１３５を使って行われる。
　時間区間の変更は、例えば、初期設定の時間区間を、操作者からの分割の指示に応じて等分割したり、分割解除の指示に応じて戻したりすることによって行われる。例えば、一回目の分割の指示に従って初期の時間区間は1/2の長さに分割される。さらに次の分割の指示に従って初期の時間区間はから1/4の長さまで分割される。操作者からの時間区間を復帰させる指示が与えられると、初期の時間区間の1/2の長さに戻り、再度操作者からの時間区間を復帰させる指示が与えられると初期の時間区間に戻る。
　これにより、ボール３や競技者４の動きが大きく高速になってきたときに、操作者が時間区間を初期の時間区間の1/2や1/4の長さに切り替えることができ、適切な大きさの切り出し領域を作成できる。
　＜変形例９＞
　［移動体の移動量に基づく時間区間指定トリガの発生］
　CPU１３１（位置情報入力部１０３）は、切り出し開始時刻（全体の処理開始時刻あるいは直前の切り出し終了時刻）から、移動体の位置情報の変化量（移動体の移動量）が予め設定された閾値を超えたときに切り出し終了時刻を指定するためのトリガを発生させるように構成されてもよい。これにより、例えば、ボール３が第１の閾値に相当する距離移動する時間区間毎に、切り出し領域が変化する第２のビデオ信号が得られる。
　＜変形例１０＞
　遅延ライブ処理により生成されたビデオデータはビデオ出力部１１０によって出力されるだけではなく、別の用途のためにストレージデバイス１３７に保存されてもよい。切り出し領域の座標情報もストレージデバイス１３７に保存されてよい。ストレージデバイス１３７に保存された座標情報は、例えば後刻の試合分析に利用できる。
　＜変形例１１＞
　カメラ１から入力された第１のビデオ信号のビデオデータと遅延ライブ処理により生成されたビデオデータとを対応付けてストレージデバイス１３７に保存してもよい。このようにすることによって、遅延ライブ処理により生成されたビデオデータの少なくとも一部を、第１のビデオ信号のビデオデータからマニュアルで決められた切り出し領域のビデオデータと入れ替えるなどの編集を行うことができる。
　＜変形例１２＞
　本技術は、サッカーのみならず、バスケット、ラグビーなどの他の競技や、劇場の撮影にも適用できる。
　＜変形例１３＞
　本ビデオ処理装置１００によって生成される第２のビデオ信号は、遠隔パブリック・ビューイングに使われてもよい。
　＜変形例１４＞
　切り出し領域の縦横比は可変であってよい。
　その場合、本ビデオ処理装置１００の出力先は、例えば、複数の表示器の画面を少なくとも縦および横のいずれか一方に複数並べて１つの画面を構成するディスプレイユニットなどが好適である。より具体的には、縦横比が16:9の解像度を有する表示器を横方向に２つ並べて縦横比が32:9の解像度を有する表示器を構成することができる。
　具体的な例を挙げると、ビデオ処理装置１００のCPU１３１は、移動体の位置情報シーケンスをもとに指定の時間区間の移動体の水平方向の移動距離が所定の値よりも大きい場合には切り出し領域の解像度を32:9とし、水平方向の移動距離が所定の値未満である場合には切り出し領域の解像度を16:9とする。後者のとき、CPU１３１は、16:9の解像度の同じビデオデータを２つの表示器に同時に出力するように構成されてもよい。
　＜変形例１５＞
　指定された時間区間での移動体の移動距離が所定の値よりも小さい場合、ビデオ処理装置１００のCPU１３１は、第２のフレーム解像度の一部の領域にビデオデータをマッピングし、余った領域に例えば広告などの別画像をマッピングすることによって、広告付きの第２のビデオ信号を生成してもよい。
　また、この広告付きの第２のビデオ信号を生成する処理は、ボール３などの移動体が予め設定された領域（例えばゴールエリアなど）内にあるときは無効にしてもよい。これにより、注目シーンの場合には、広告を外した第２のビデオ信号が得られる。
　＜変形例１６＞
　ビデオ処理装置１００のCPU１３１は、競技中にその競技の放送の中断時間（例えばコマーシャル放送時間など）がある場合に、その中断時間の第１のビデオ信号のビデオデータおよび遅延ライブ処理により生成されたビデオデータをストレージデバイス１３７に保存してもよい。CPU１３１は、ストレージデバイス１３７に保存された中断時間のビデオデータのうち、ボール３などの移動体が予め設定された領域（例えばゴールエリアなど）内にある時間区間のビデオデータを読み出し、例えば放送再開のタイミングを受けてビデオ出力部１１０より第２のビデオ信号として出力させるようにしてもよい。
　あるいは、ボール３などの移動体の移動距離が予め設定された値より大きい時間区間のビデオデータを読み出し、ビデオ出力部１１０より第２のビデオ信号として出力させてもよい。
　さらには、CPU１３１は、外部から入力される競技に関するイベント情報をもとに、ストレージデバイス１３７に保存された中断時間のビデオデータのなかから読み出すビデオデータの時間区間を決定してもよい。
　＜変形例１７＞
　CPU１３１は、ストレージデバイス１３７に保存された全時間の第１のビデオ信号のビデオデータから重要な時間区間のビデオデータのみを抽出して切り出し処理の対象とすることによって、試合のダイジェストのビデオデータを得ることができる。
　重要な時間区間は、例えば、ボール３などの移動体の移動量及び位置をもとに判断したり、外部からのイベント情報をもとに判断すればよい。移動体の移動速度で重要な時間区間を判断してもよい。
　＜変形例１８＞
　サッカー競技場などの競技エリア２は広いので、その競技エリアが屋外である場合には日光が直接当たる場所とそうでない場所などとで切り出し領域の明るさが大きな差があることがある。このような場合、CPU１３１は、切り出し領域の画像の輝度平均値などの画質条件を各切り出し領域間で一致あるいは近付けるように、画像の補正を行ってもよい。
　＜変形例１９＞
　カメラ１から得られる第１のビデオ信号が、ビデオ処理装置１００から出力される第２のビデオ信号よりもダイナミックレンジの広いHDR（high dynamic range）画像である場合、CPU１３１は、切り出しによって得たビデオデータに対してその画枠内で最適となるようにダイナミックレンジを狭くする変換を行ってもよい。
　＜変形例２０＞
　本ビデオ処理装置１００によって得られたビデオデータはスタジアム内表示器へ表示させてもよい。例えば、ゴールシーンなどの注目すべきアクションがあった場合に、操作者が手動でプレイバックを開始させてもよい。
　＜変形例２１＞
　遅延ライブ処理において、移動体通過センサー６の故障や画像認識の困難さなどによって、移動体の位置情報が想定していた遅延時間内に得られない場合が考えられる。この場合に、CPU１３１は、切り出し領域の算出などの処理をスキップし、切り出し領域を元の入力ビデオ信号の全体画枠にすることによって、遅延ライブ放送に支障が出ないように制御してもよい。
　＜変形例２２＞
　切り出し領域の変更時の補間処理は、ズームインとなる場合のみ行われるようにしてよい。
　＜変形例２３＞
　切り出し領域の急激なサイズ変更による視聴者にとっての違和感を緩和するために、切り出し領域が所定のサイズ以下になる場合、CPU１３１は変更前のサイズからの縮小率に制限を設けたり、切り出し領域の変更時の補間数を増やしたりしてもよい。
　＜変形例２４＞
　CPU１３１は、次の切り出し領域を算出するために用いられる次の時間区間の複数の移動体の位置の全てが現在の切り出し領域の中にあり、内一つの位置が、端から予め定められた距離以上離れている（すなわちその距離以上に画枠の内側の中央よりにある）場合は、切り出し領域を変更しないようにしてもよい。これにより、連続する時間区間の間で移動体の移動量が小さい場合に切り出し領域を変更してかえって見づらい画像となることを回避できるとともに、余計な切り出し領域の算出処理を省くことができる。
　＜変形例２５＞
　タイムコードや時刻として用いられる値は、同等の時刻情報を生成するカウンタやビデオフレームデータへのポインタなどで代替してよい。
　＜変形例２６＞
　操作者は、ビデオ処理装置１００での処理で用いられる各種の閾値などの設定値を操作入力部１３５およびディスプレイ１３６を使って任意に設定することができる。
　＜変形例２７＞
　ビデオ処理装置１００に入力されるビデオ信号は、複数のカメラで撮影した画像をつなぎ合わせて１つの画像のビデオ信号にしたものであってよい。
　＜変形例２８＞
　本ビデオ処理装置１００は、カメラ１に組み込むことができる。また、本ビデオ処理装置１００は、高解像度ビデオのまま放送されたものを受信し蓄積する家庭用レコーダーに組み込むことができる。
　＜変形例２９＞
　位置情報としてxy座標を用いたが、z座標を加えた３次元座標を用いることによって、より高い精度での切り出し領域の算出が可能になる。
　なお、本技術は以下のような構成もとることができる。
（１）カメラによって第１のフレーム解像度で撮影され、フレーム毎の時刻データが付加された第１のビデオ信号を入力するビデオ入力部と、
　前記入力された第１のビデオ信号に含まれるフレーム毎の第１のビデオデータを前記時刻データと対応付けて記憶するビデオ記憶部と、
　前記第１のビデオ信号に被写体の一部として含まれる特定の移動体の位置情報を受信する位置情報入力部と、
　前記受信された位置情報と時刻とを対応付けて記憶する位置情報記憶部と、
　時間区間の始まりを特定する時刻を記憶する指定開始時刻記憶部と、
　前記時間区間の終わりを特定する時刻を記憶する指定終了時刻記憶部と、
　前記位置情報記憶部から前記指定開始時刻記憶部と前記指定終了時刻記憶部により特定される時間区間毎に１以上の位置情報を読み出し、前記読み出した１以上の位置情報が各々示す１以上の位置を含む切り出し領域を算出し、前記ビデオ記憶部に記憶された前記時間区間の前記第１のビデオデータから前記切り出し領域のビデオデータを切り出し、前記切り出したビデオデータから第２のフレーム解像度の第２のビデオデータを生成するコントローラと
　を具備するビデオ処理装置。
（２）上記（１）のビデオ処理装置であって、
　前記コントローラは、前記第２のフレーム解像度の縦横比を有する前記切り出し領域を算出するように構成される
ビデオ処理装置。
（３）上記（１）または（２）のビデオ処理装置であって、
　前記生成された第２のビデオデータを含む第２のビデオ信号を前記第１のビデオ信号と同じフレームレートで出力するビデオ出力部
　さらに具備するビデオ処理装置。
（４）上記（１）ないし（３）のいずれかのビデオ処理装置であって、
　前記コントローラは、１つの前記時間区間の１以上の位置情報と次の時間区間の少なくとも先頭よりの１以上の位置情報が各々示す複数の位置を含む前記切り出し領域を算出するように構成される
　ビデオ処理装置。
（５）上記（１）ないし（４）のいずれかのビデオ処理装置であって、
　前記時間区間の変更の指示を操作者より受け付ける操作入力部をさらに具備し、
　前記コントローラは、前記操作入力部で受け付けた指示に従って前記時間区間を変更するように構成される
　ビデオ処理装置。
（６）上記（１）ないし（５）のいずれかのビデオ処理装置であって、
　前記コントローラは、次の前記切り出し領域を算出するために用いられる次の時間区間の前記移動体の位置のうち、現在の切り出し領域の端に最も近い位置が、現在の切り出し領域の端から予め定められた距離以上の内側にある場合、切り出し領域の算出をスキップして現在の切り出し領域を有効とするように構成される
　ビデオ処理装置。
（７）上記（１）ないし（６）のいずれかのビデオ処理装置であって、
　前記コントローラは、外部から、前記被写体の場所を特定する情報を含むイベント情報を受けて、前記第１のビデオ信号の画枠において前記イベント情報により特定される場所を含む領域を前記切り出し領域として設定するように構成される
　ビデオ処理装置。
（８）上記（１）ないし（７）のいずれかのビデオ処理装置であって、
　前記ビデオ入力部は、共通の前記被写体を異なる方向から撮影する複数のカメラによって各々撮影され、第１のフレーム解像度を有し、フレーム毎の時刻データが付加された複数の第１のビデオ信号の１つを選択する切替部を有し、
　前記コントローラは、前記位置情報記憶部から少なくとも１つの前記時間区間の１以上の位置情報を読み出し、前記読み出した１以上の位置情報が各々示す１以上の位置をもとに前記移動体の移動方向を判定し、前記判定された移動体の移動方向に対して撮影方向が対向または略対向する１つの前記カメラの第１のビデオ信号を前記切替部に選択させるように構成される
　ビデオ処理装置。
（９）上記（８）のビデオ処理装置であって、
　前記ビデオ入力部の前記切替部は、前記複数の第１のビデオ信号に加え、前記被写体の特定の領域を前記第２のフレーム解像度で撮影する１以上の領域撮影用カメラによって撮影され、フレーム毎の時刻データが付加された第３のビデオ信号の中から１つを選択可能に構成され、
　前記コントローラは、前記位置情報記憶部から読み出された１以上の位置情報が各々示す１以上の位置をもとに算出された前記切り出し領域が前記特定の領域を含む場合、前記切替部に前記領域撮影用カメラの前記第３のビデオ信号を選択させるように構成される
　ビデオ処理装置。
（１０）移動体を含む被写体を第１のフレーム解像度で定点撮影し、フレーム毎の時刻データが付加された第１のビデオ信号を出力する少なくとも１つのカメラと、
　前記移動体の位置情報を生成する位置情報生成装置と、
　　前記第１のビデオ信号を入力するビデオ入力部と；
　　前記入力された第１のビデオ信号に含まれるフレーム毎の第１のビデオデータを前記時刻データと対応付けて記憶するビデオ記憶部と；
　　前記位置情報生成装置によって生成された位置情報を受信する位置情報入力部と；
　　前記受信された位置情報と時刻とを対応付けて記憶する位置情報記憶部と；
　　時間区間の始まりを特定する時刻を記憶する指定開始時刻記憶部と、
　　前記時間区間の終わりを特定する時刻を記憶する指定終了時刻記憶部と、
　　前記位置情報記憶部から前記指定開始時刻記憶部と前記指定終了時刻記憶部により特定される時間区間毎に１以上の位置情報を読み出し、前記読み出した１以上の位置情報が各々示す１以上の位置を含む切り出し領域を算出し、前記ビデオ記憶部に記憶された前記時間区間の前記第１のビデオデータから前記切り出し領域のビデオデータを切り出し、前記切り出したビデオデータから第２のフレーム解像度の第２のビデオデータを生成するコントローラと；
　　を有するビデオ処理装置と
を具備するビデオ処理システム。
（１１）上記（１０）のビデオ処理システムであって、
　前記カメラは、共通の前記被写体を異なる方向から撮影するように各々配置され、
　前記ビデオ処理装置の前記ビデオ入力部は、前記複数のカメラによって各々撮影された複数の第１のビデオ信号の１つを選択する切替部を有し、
　前記コントローラは、前記位置情報記憶部から読み出された１以上の位置情報が各々示す１以上の位置をもとに前記移動体の移動方向を判定し、前記判定された移動体の移動方向に対して撮影方向が対向または略対向する１つの前記カメラの第１のビデオ信号を前記切替部に選択させるように構成される
　ビデオ処理システム。
（１２）上記（１０）または（１１）のビデオ処理システムであって、
　前記被写体の特定の領域を前記第２のフレーム解像度で撮影して第３のビデオ信号を時刻データと対応付けて送信する特定領域用カメラをさらに有し、
　前記切替部は、前記第１のビデオ信号および前記第３のビデオ信号の中から１つのビデオ信号を選択可能に構成され、
　前記コントローラは、前記位置情報記憶部から読み出された１以上の位置情報が各々示す１以上の位置をもとに算出された前記切り出し領域が前記特定の領域を含む場合、前記切替部に前記１以上の第３のビデオ信号のいずれかを選択させるように構成される
　ビデオ処理システム。
（１３）カメラによって第１のフレーム解像度で撮影され、フレーム毎の時刻データが付加された第１のビデオ信号を入力し、
　前記入力された第１のビデオ信号に含まれるフレーム毎の第１のビデオデータを前記時刻データと対応付けてビデオ記憶部に記憶し、
　前記第１のビデオ信号に被写体の一部として含まれる特定の移動体の位置情報を受信し、
　前記取得された位置情報を時刻と対応付けて位置情報記憶部に記憶し、
　コントローラにより、前記位置情報記憶部から少なくとも特定の時間区間毎に１以上の位置情報を読み出し、前記読み出した１以上の位置情報が各々示す１以上の位置を含む切り出し領域を算出し、前記ビデオ記憶部に記憶された前記時間区間の前記第１のビデオデータから前記切り出し領域のビデオデータを切り出し、前記切り出したビデオデータから第２のフレーム解像度の第２のビデオデータを生成する
　ビデオ処理方法。
（１４）上記（１３）のビデオ処理方法であって、
　前記コントローラにより、前記第２のフレーム解像度の縦横比を有する前記切り出し領域を算出する
　ビデオ処理方法。
（１５）上記（１３）または（１４）のビデオ処理方法であって、
　ビデオ出力部により、前記生成された第２のビデオデータを含む第２のビデオ信号を前記第１のビデオ信号と同じフレームレートで出力する
　ビデオ処理方法。
（１６）カメラによって第１のフレーム解像度で撮影され、フレーム毎に時刻データが付加された第１のビデオ信号を入力するビデオ入力部と、
　前記入力された第１のビデオ信号に含まれるフレーム毎の第１のビデオデータを前記時刻データと対応付けて記憶するビデオ記憶部と、
　前記第１のビデオ信号に被写体の一部として含まれる特定の移動体の時刻データ付きの位置情報を受信する位置情報入力部と、
　前記受信された位置情報と前記時刻データとを対応付けて記憶する位置情報記憶部と、
　前記位置情報記憶部から少なくとも特定の時間区間毎に１以上の位置情報を読み出し、前記読み出した１以上の位置情報が各々示す１以上の位置を含む切り出し領域を算出し、前記ビデオ記憶部に記憶された前記時間区間の前記第１のビデオデータから前記切り出し領域のビデオデータを切り出し、前記切り出したビデオデータから第２のフレーム解像度の第２のビデオデータを生成するコントローラと
　を具備するビデオ処理装置。
（１７）上記（１６）のビデオ処理装置であって、
　前記コントローラは、前記第２のフレーム解像度の縦横比を有する前記切り出し領域を算出するように構成される
ビデオ処理装置。
（１８）上記（１６）のビデオ処理装置であって、
　前記生成された第２のビデオデータを含む第２のビデオ信号を前記第１のビデオ信号と同じフレームレートで出力するビデオ出力部
　さらに具備するビデオ処理装置。
（１９）上記（１６）ないし（１８）のいずれかのビデオ処理装置であって、
　前記コントローラは、１つの前記時間区間の１以上の位置情報と次の時間区間の少なくとも先頭よりの１以上の位置情報が各々示す複数の位置を含む前記切り出し領域を算出するように構成される
　ビデオ処理装置。
（２０）上記（１６）ないし（１９）のいずれかのビデオ処理装置であって、
　前記時間区間の変更の指示を操作者より受け付ける操作入力部をさらに具備し、
　前記コントローラは、前記操作入力部で受け付けた指示に従って前記時間区間を変更するように構成される
　ビデオ処理装置。
　１…カメラ
　１０…ビデオ処理システム
　１００…ビデオ処理装置
　１０１…ビデオ入力部
　１０１ａ…切替部
　１０２…ビデオ記憶部
　１０３…位置情報入力部
　１０４…位置情報記憶部
　１０６…切り出し領域算出部
　１０９…切り出しビデオ生成部
　１１０…切り出しビデオ出力部
　１３０…コンピュータ
　１３５…操作入力部
　１３６…ディスプレイ
　１４０…位置情報生成装置

Claims (20)

  1. 　カメラによって第１のフレーム解像度で撮影され、フレーム毎の時刻データが付加された第１のビデオ信号を入力するビデオ入力部と、
    　前記入力された第１のビデオ信号に含まれるフレーム毎の第１のビデオデータを前記時刻データと対応付けて記憶するビデオ記憶部と、
    　前記第１のビデオ信号に被写体の一部として含まれる特定の移動体の位置情報を受信する位置情報入力部と、
    　前記受信された位置情報と時刻とを対応付けて記憶する位置情報記憶部と、
    　時間区間の始まりを特定する時刻を記憶する指定開始時刻記憶部と、
    　前記時間区間の終わりを特定する時刻を記憶する指定終了時刻記憶部と、
    　前記位置情報記憶部から前記指定開始時刻記憶部と前記指定終了時刻記憶部により特定される時間区間毎に１以上の位置情報を読み出し、前記読み出した１以上の位置情報が各々示す１以上の位置を含む切り出し領域を算出し、前記ビデオ記憶部に記憶された前記時間区間の前記第１のビデオデータから前記切り出し領域のビデオデータを切り出し、前記切り出したビデオデータから第２のフレーム解像度の第２のビデオデータを生成するコントローラと
    　を具備するビデオ処理装置。
  2. 　請求項１に記載のビデオ処理装置であって、
    　前記コントローラは、前記第２のフレーム解像度の縦横比を有する前記切り出し領域を算出するように構成される
    ビデオ処理装置。
  3. 　請求項２に記載のビデオ処理装置であって、
    　前記生成された第２のビデオデータを含む第２のビデオ信号を前記第１のビデオ信号と同じフレームレートで出力するビデオ出力部
    　さらに具備するビデオ処理装置。
  4. 　請求項３に記載のビデオ処理装置であって、
    　前記コントローラは、１つの前記時間区間の１以上の位置情報と次の時間区間の少なくとも先頭よりの１以上の位置情報が各々示す複数の位置を含む前記切り出し領域を算出するように構成される
    　ビデオ処理装置。
  5. 　請求項４に記載のビデオ処理装置であって、
    　前記時間区間の変更の指示を操作者より受け付ける操作入力部をさらに具備し、
    　前記コントローラは、前記操作入力部で受け付けた指示に従って前記時間区間を変更するように構成される
    　ビデオ処理装置。
  6. 　請求項５に記載のビデオ処理装置であって、
    　前記コントローラは、次の前記切り出し領域を算出するために用いられる次の時間区間の前記移動体の位置のうち、現在の切り出し領域の端に最も近い位置が、現在の切り出し領域の端から予め定められた距離以上の内側にある場合、切り出し領域の算出をスキップして現在の切り出し領域を有効とするように構成される
    　ビデオ処理装置。
  7. 　請求項６に記載のビデオ処理装置であって、
    　前記コントローラは、外部から、前記被写体の場所を特定する情報を含むイベント情報を受けて、前記第１のビデオ信号の画枠において前記イベント情報により特定される場所を含む領域を前記切り出し領域として設定するように構成される
    　ビデオ処理装置。
  8. 　請求項１に記載のビデオ処理装置であって、
    　前記ビデオ入力部は、共通の前記被写体を異なる方向から撮影する複数のカメラによって各々撮影され、第１のフレーム解像度を有し、フレーム毎に時刻データが付加された複数の第１のビデオ信号の１つを選択する切替部を有し、
    　前記コントローラは、前記位置情報記憶部から少なくとも１つの前記時間区間の１以上の位置情報を読み出し、前記読み出した１以上の位置情報が各々示す１以上の位置をもとに前記移動体の移動方向を判定し、前記判定された移動体の移動方向に対して撮影方向が対向または略対向する１つの前記カメラの第１のビデオ信号を前記切替部に選択させるように構成される
    　ビデオ処理装置。
  9. 　請求項８に記載のビデオ処理装置であって、
    　前記ビデオ入力部の前記切替部は、前記複数の第１のビデオ信号に加え、前記被写体の特定の領域を前記第２のフレーム解像度で撮影する１以上の領域撮影用カメラによって撮影され、フレーム毎に時刻データが付加された第３のビデオ信号の中から１つを選択可能に構成され、
    　前記コントローラは、前記位置情報記憶部から読み出された１以上の位置情報が各々示す１以上の位置をもとに算出された前記切り出し領域が前記特定の領域を含む場合、前記切替部に前記領域撮影用カメラの前記第３のビデオ信号を選択させるように構成される
    　ビデオ処理装置。
  10. 　移動体を含む被写体を第１のフレーム解像度で定点撮影し、フレーム毎の時刻データが付加された第１のビデオ信号を出力する少なくとも１つのカメラと、
    　前記移動体の位置情報を生成する位置情報生成装置と、
    　　前記第１のビデオ信号を入力するビデオ入力部と；
    　　前記入力された第１のビデオ信号に含まれるフレーム毎の第１のビデオデータを前記時刻データと対応付けて記憶するビデオ記憶部と；
    　　前記位置情報生成装置によって生成された位置情報を受信する位置情報入力部と；
    　　前記受信された位置情報と時刻とを対応付けて記憶する位置情報記憶部と；
    　　時間区間の始まりを特定する時刻を記憶する指定開始時刻記憶部と、
    　　前記時間区間の終わりを特定する時刻を記憶する指定終了時刻記憶部と、
    　　前記位置情報記憶部から前記指定開始時刻記憶部と前記指定終了時刻記憶部により特定される時間区間毎に１以上の位置情報を読み出し、前記読み出した１以上の位置情報が各々示す１以上の位置を含む切り出し領域を算出し、前記ビデオ記憶部に記憶された前記時間区間の前記第１のビデオデータから前記切り出し領域のビデオデータを切り出し、前記切り出したビデオデータから第２のフレーム解像度の第２のビデオデータを生成するコントローラと；
    　　を有するビデオ処理装置と
    を具備するビデオ処理システム。
  11. 　請求項１０に記載のビデオ処理システムであって、
    　前記カメラは、共通の前記被写体を異なる方向から撮影するように各々配置され、
    　前記ビデオ処理装置の前記ビデオ入力部は、前記複数のカメラによって各々撮影された複数の第１のビデオ信号の１つを選択する切替部を有し、
    　前記コントローラは、前記位置情報記憶部から読み出された１以上の位置情報が各々示す１以上の位置をもとに前記移動体の移動方向を判定し、前記判定された移動体の移動方向に対して撮影方向が対向または略対向する１つの前記カメラの第１のビデオ信号を前記切替部に選択させるように構成される
    　ビデオ処理システム。
  12. 　請求項１１に記載のビデオ処理システムであって、
    　前記被写体の特定の領域を前記第２のフレーム解像度で撮影して第３のビデオ信号を時刻データと対応付けて送信する特定領域用カメラをさらに有し、
    　前記切替部は、前記第１のビデオ信号および前記第３のビデオ信号の中から１つのビデオ信号を選択可能に構成され、
    　前記コントローラは、前記位置情報記憶部から読み出された１以上の位置情報が各々示す１以上の位置をもとに算出された前記切り出し領域が前記特定の領域を含む場合、前記切替部に前記１以上の第３のビデオ信号のいずれかを選択させるように構成される
    　ビデオ処理システム。
  13. 　カメラによって第１のフレーム解像度で撮影され、フレーム毎の時刻データが付加された第１のビデオ信号を入力し、
    　前記入力された第１のビデオ信号に含まれるフレーム毎の第１のビデオデータを前記時刻データと対応付けてビデオ記憶部に記憶し、
    　前記第１のビデオ信号に被写体の一部として含まれる特定の移動体の位置情報を受信し、
    　前記取得された位置情報を時刻と対応付けて位置情報記憶部に記憶し、
    　コントローラにより、前記位置情報記憶部から少なくとも特定の時間区間毎に１以上の位置情報を読み出し、前記読み出した１以上の位置情報が各々示す１以上の位置を含む切り出し領域を算出し、前記ビデオ記憶部に記憶された前記時間区間の前記第１のビデオデータから前記切り出し領域のビデオデータを切り出し、前記切り出したビデオデータから第２のフレーム解像度の第２のビデオデータを生成する
    　ビデオ処理方法。
  14. 　請求項１３に記載のビデオ処理方法であって、
    　前記コントローラにより、前記第２のフレーム解像度の縦横比を有する前記切り出し領域を算出する
    　ビデオ処理方法。
  15. 　請求項１４に記載のビデオ処理方法であって、
    　ビデオ出力部により、前記生成された第２のビデオデータを含む第２のビデオ信号を前記第１のビデオ信号と同じフレームレートで出力する
    　ビデオ処理方法。
  16. 　カメラによって第１のフレーム解像度で撮影され、フレーム毎に時刻データが付加された第１のビデオ信号を入力するビデオ入力部と、
    　前記入力された第１のビデオ信号に含まれるフレーム毎の第１のビデオデータを前記時刻データと対応付けて記憶するビデオ記憶部と、
    　前記第１のビデオ信号に被写体の一部として含まれる特定の移動体の時刻データ付きの位置情報を受信する位置情報入力部と、
    　前記受信された位置情報と前記時刻データとを対応付けて記憶する位置情報記憶部と、
    　前記位置情報記憶部から少なくとも特定の時間区間毎に１以上の位置情報を読み出し、前記読み出した１以上の位置情報が各々示す１以上の位置を含む切り出し領域を算出し、前記ビデオ記憶部に記憶された前記時間区間の前記第１のビデオデータから前記切り出し領域のビデオデータを切り出し、前記切り出したビデオデータから第２のフレーム解像度の第２のビデオデータを生成するコントローラと
    　を具備するビデオ処理装置。
  17. 　請求項１６に記載のビデオ処理装置であって、
    　前記コントローラは、前記第２のフレーム解像度の縦横比を有する前記切り出し領域を算出するように構成される
    ビデオ処理装置。
  18. 　請求項１７に記載のビデオ処理装置であって、
    　前記生成された第２のビデオデータを含む第２のビデオ信号を前記第１のビデオ信号と同じフレームレートで出力するビデオ出力部
    　さらに具備するビデオ処理装置。
  19. 　請求項１８に記載のビデオ処理装置であって、
    　前記コントローラは、１つの前記時間区間の１以上の位置情報と次の時間区間の少なくとも先頭よりの１以上の位置情報が各々示す複数の位置を含む前記切り出し領域を算出するように構成される
    　ビデオ処理装置。
  20. 　請求項１９に記載のビデオ処理装置であって、
    　前記時間区間の変更の指示を操作者より受け付ける操作入力部をさらに具備し、
    　前記コントローラは、前記操作入力部で受け付けた指示に従って前記時間区間を変更するように構成される
    　ビデオ処理装置。
PCT/JP2016/000730 2015-03-05 2016-02-12 ビデオ処理装置、ビデオ処理システムおよびビデオ処理方法 WO2016139898A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/552,531 US10362266B2 (en) 2015-03-05 2016-02-12 Video processing apparatus, video processing system, and video processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-043556 2015-03-05
JP2015043556A JP2016163311A (ja) 2015-03-05 2015-03-05 ビデオ処理装置、ビデオ処理システムおよびビデオ処理方法

Publications (1)

Publication Number Publication Date
WO2016139898A1 true WO2016139898A1 (ja) 2016-09-09

Family

ID=56845531

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/000730 WO2016139898A1 (ja) 2015-03-05 2016-02-12 ビデオ処理装置、ビデオ処理システムおよびビデオ処理方法

Country Status (3)

Country Link
US (1) US10362266B2 (ja)
JP (1) JP2016163311A (ja)
WO (1) WO2016139898A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6362116B2 (ja) * 2016-11-30 2018-07-25 キヤノン株式会社 表示装置及びその制御方法、プログラム、記憶媒体
JP7042571B2 (ja) * 2017-08-10 2022-03-28 キヤノン株式会社 画像処理装置およびその制御方法、プログラム
JP7121277B2 (ja) * 2018-09-28 2022-08-18 日本電信電話株式会社 情報同期装置、情報同期方法及び情報同期プログラム
US11182642B2 (en) 2019-02-28 2021-11-23 Stats Llc System and method for generating player tracking data from broadcast video
CN111208960B (zh) * 2019-12-26 2023-05-09 杭州顺网科技股份有限公司 基于抽帧控制和时间同步算法的远程显示降延迟方法
WO2023189081A1 (ja) * 2022-03-31 2023-10-05 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005223487A (ja) * 2004-02-04 2005-08-18 Mainichi Broadcasting System Inc デジタルカメラワーク装置、デジタルカメラワーク方法、及びデジタルカメラワークプログラム
JP2005260753A (ja) * 2004-03-12 2005-09-22 Ntt Docomo Inc カメラ選択装置、及びカメラ選択方法
JP2009272970A (ja) * 2008-05-09 2009-11-19 Nippon Hoso Kyokai <Nhk> スポーツ映像送出装置
JP2012084979A (ja) * 2010-10-07 2012-04-26 Sony Corp 情報処理装置及び方法、プログラム、並びに情報処理システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3454396B2 (ja) * 1995-10-11 2003-10-06 株式会社日立製作所 動画像の変化点検出制御方法とそれに基づく再生停止制御方法およびそれらを用いた動画像の編集システム
US7177081B2 (en) * 2001-03-08 2007-02-13 Silicon Light Machines Corporation High contrast grating light valve type device
JP3971346B2 (ja) * 2002-06-24 2007-09-05 株式会社東芝 動画像再生装置、スケジュール・データ、動画像再生方法、及びプログラム
US6810691B2 (en) * 2002-06-28 2004-11-02 Corning Incorporated Method for making glass tubing with multiple bores
US7071996B2 (en) * 2002-07-19 2006-07-04 Sun Microsystems, Inc. Synchronizing video formats with dissimilar timing
JP4561657B2 (ja) * 2006-03-06 2010-10-13 ソニー株式会社 映像監視システムおよび映像監視プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005223487A (ja) * 2004-02-04 2005-08-18 Mainichi Broadcasting System Inc デジタルカメラワーク装置、デジタルカメラワーク方法、及びデジタルカメラワークプログラム
JP2005260753A (ja) * 2004-03-12 2005-09-22 Ntt Docomo Inc カメラ選択装置、及びカメラ選択方法
JP2009272970A (ja) * 2008-05-09 2009-11-19 Nippon Hoso Kyokai <Nhk> スポーツ映像送出装置
JP2012084979A (ja) * 2010-10-07 2012-04-26 Sony Corp 情報処理装置及び方法、プログラム、並びに情報処理システム

Also Published As

Publication number Publication date
US20180035076A1 (en) 2018-02-01
US10362266B2 (en) 2019-07-23
JP2016163311A (ja) 2016-09-05

Similar Documents

Publication Publication Date Title
WO2016139898A1 (ja) ビデオ処理装置、ビデオ処理システムおよびビデオ処理方法
EP3127321B1 (en) Method and system for automatic television production
CN108886583B (zh) 用于通过数据网络向多个用户提供虚拟的摇摄-倾斜-缩放，ptz，视频功能的系统和方法
CA2949005C (en) Method and system for low cost television production
US9325934B2 (en) Image processing system and method
US20130141521A1 (en) Image processing system and method
US11172185B2 (en) Information processing apparatus, information processing method, video processing system, and storage medium
JP2014529930A (ja) ネイティブ画像の一部の選択的キャプチャとその表示
WO2018094443A1 (en) Multiple video camera system
US20100157022A1 (en) Method and apparatus for implementing motion control camera effect based on synchronized multi-images
JP3724117B2 (ja) 画像生成装置および画像生成方法
CN112312114B (zh) 信息处理设备、信息处理方法和存储介质
JP3520318B2 (ja) 映像合成演算処理装置、その方法及びシステム
JP7476160B2 (ja) 情報処理装置、情報処理システム、及びプログラム
JP4423416B2 (ja) 映像合成処理システム
JP2003153213A (ja) 映像生成装置および受信装置
JP4741434B2 (ja) Ｃｇ合成装置およびｃｇ合成プログラム
JP5411806B2 (ja) 画像合成装置およびそのプログラム
KR101164895B1 (ko) 주자관점의 야구경기 영상 생성 장치 및 그 방법의 기록매체
KR102124194B1 (ko) 영상분석을 위한 다채널 영상 전송 시스템 및 이의 제어 방법
WO2024023982A1 (ja) 映像処理装置、方法およびプログラム
JPH10327350A (ja) 画像生成装置および画像生成方法
KR20030064928A (ko) 축구경기의 객체정보 영상처리 시스템 및 데이터베이스구축방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16758599

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16758599

Country of ref document: EP

Kind code of ref document: A1