WO2013150724A1 - 送信装置、再生装置及び送受信方法 - Google Patents

送信装置、再生装置及び送受信方法 Download PDF

Info

Publication number
WO2013150724A1
WO2013150724A1 PCT/JP2013/001647 JP2013001647W WO2013150724A1 WO 2013150724 A1 WO2013150724 A1 WO 2013150724A1 JP 2013001647 W JP2013001647 W JP 2013001647W WO 2013150724 A1 WO2013150724 A1 WO 2013150724A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
video frame
information
additional information
superimposition
Prior art date
Application number
PCT/JP2013/001647
Other languages
English (en)
French (fr)
Inventor
琢士 平本
由佳 小澤
泰治 佐々木
智輝 小川
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Publication of WO2013150724A1 publication Critical patent/WO2013150724A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream

Definitions

  • the present invention relates to a technique for superimposing data related to an image included in a video stream.
  • an object of the present invention is to provide a transmission apparatus, a reproduction apparatus, and a transmission / reception method using a method different from the conventional technique for accurately adjusting display timing while reducing the processing burden on the reception side. .
  • the present invention provides a transmission apparatus, wherein first acquisition means for sequentially acquiring a plurality of video frames constituting a video of a program, and shooting of the video during shooting of the plurality of video frames Second acquisition means for acquiring additional information obtained for a target; and when transmitting each of the plurality of video frames, the additional information acquired at the time of shooting the video frame for at least one of the video frames.
  • transmission processing means for transmitting in one video stream is provided.
  • the transmission device associates and transmits a video frame and additional information acquired at the time of shooting the video frame in one video stream. Therefore, since there is no need to perform synchronization processing between the video frame and the information displayed together with the video frame as in the conventional case on the receiving side, the transmitting device displays the data accurately while reducing the processing load on the receiving side. Timing can be matched.
  • FIG. 2 is a diagram illustrating a configuration of a video photographing unit 101.
  • FIG. 2 is a diagram illustrating a configuration of a video photographing unit 101.
  • FIG. 2 is a diagram illustrating a configuration of an information acquisition unit 102.
  • FIG. 6 is a diagram for explaining an arrangement example of receivers 151 to 154.
  • FIG. It is a figure which shows an example of the data structure of position information table T200. It is a figure which shows an example of the data structure of camera information table T300. It is a figure which shows an example of the data structure of the superimposition information table T500.
  • FIG. 3 is a diagram showing a configuration of a playback device 300.
  • FIG. It is a figure which shows the range image
  • a new viewing service has been studied, and technical development for realizing the service has been promoted.
  • “viewing service that displays, for each image included in a video, data indicating the content of the image (for example, information on a person existing in the image) superimposed on the image in real time” “Viewing service that transmits a viewpoint video different from the broadcast wave video by communication, and displays a different viewpoint video in synchronization with the broadcast wave video as Picture-In-Picture on the broadcast wave video screen”, etc. is there.
  • a synchronization time is given to each of the video and information displayed together with the video
  • the synchronization time corresponding to the video is detected and detected when the video is played back.
  • Information corresponding to the synchronization time is acquired and displayed together with the video.
  • the inventor diligently studied to propose another synchronization method and arrived at the present invention.
  • the transmission device obtains a first acquisition unit that sequentially acquires a plurality of video frames constituting a video of a program, and a subject to be captured of the video at the time of shooting the plurality of video frames.
  • the second acquisition means for acquiring the additional information and the additional information acquired at the time of shooting the video frame in association with at least one of the video frames when transmitting each of the plurality of video frames.
  • Transmission processing means for transmitting in one video stream.
  • FIG. 1 is a diagram showing the configuration of a digital stream in the MPEG-2 transport stream format.
  • the transport stream 40 is obtained by multiplexing a video stream, an audio stream, a subtitle stream, and the like.
  • the video stream stores the main video of the program
  • the audio stream stores the main audio portion and sub-audio of the program
  • the subtitle stream stores the subtitle information of the program.
  • the video stream is encoded using a method such as MPEG-2, MPEG-4 AVC.
  • the audio stream is compressed and encoded by a method such as Dolby AC-3, MPEG-2 AAC, MPEG-4 AAC, HE-AAC.
  • the video stream is obtained by first converting the video frame sequence 31 into a PES (Packetized Elementary Stream) packet sequence 32 and then converting it into a TS packet sequence 33.
  • PES Packetized Elementary Stream
  • the audio stream is converted into an audio frame sequence 34 through quantization and sampling, and then the audio frame sequence 34 is converted into a PES packet sequence 35 and then converted into a TS packet sequence 36. Can be obtained.
  • the subtitle stream is composed of 38 types of segments, such as Page Composition Segment (PCS), Region Composition Segment (RCS), Pallet Define Segment (PDS), and Object Define Segment (ODS). It is obtained by converting into a packet sequence 39.
  • PCS Page Composition Segment
  • RCS Region Composition Segment
  • PDS Pallet Define Segment
  • ODS Object Define Segment
  • the transport stream 40 includes stream management information not shown in FIG.
  • the stream management information is information for managing a video stream, an audio stream, and a subtitle stream that are stored in a system packet called PSI (Program Specification Information) and multiplexed in the transport stream 40 as one broadcast program.
  • the stream management information includes information such as PAT (Program Association Table), PMT (Program Map Table), event information table EIT (Event Information Table), and service information table SIT (Service Information Table).
  • PAT Provide Table
  • PMT Program Map Table
  • EIT Event Information Table
  • SIT Service Information Table
  • the PMT has PID of each stream such as video / audio / subtitles included in the transport stream 40 and stream attribute information corresponding to each PID, and has various descriptors related to the transport stream 40.
  • the descriptor includes copy control information for instructing permission / non-permission of copying of the AV stream.
  • SIT is information defined in accordance with the standard of each broadcast wave using an area that can be defined by the user in the MPEG-2 TS standard.
  • the EIT has information related to the program such as the program name, broadcast date and time, and broadcast content. For the specific format of the above information, please refer to the ARIB (Association of Radio Industries and Businesses) public document (terrestrial digital television broadcasting operation regulations ARIB TR-B14 4.4 edition (second volume)).
  • inter-picture predictive coding when a certain picture is coded, a picture that is forward or backward in display time order is used as a reference picture. Then, the amount of motion from the reference picture is detected, and the amount of data is compressed by removing the redundancy in the spatial direction from the difference value between the motion compensated picture and the picture to be coded.
  • a picture that does not have a reference picture and performs intra-picture predictive coding using only a picture to be coded is called an I picture.
  • a picture is a unit of encoding that includes both a frame and a field.
  • a picture that is inter-picture prediction encoded with reference to one already processed picture is called a P picture
  • a picture that is inter-picture predictively encoded with reference to two already processed pictures at the same time is called a B picture.
  • a picture that is referred to by other pictures in the B picture is called a Br picture.
  • a field having a frame structure and a field having a field structure are referred to as a video access unit here.
  • Fig. 2 shows a picture reference structure of a general video stream.
  • the arrow in FIG. 2 indicates that compression is performed by reference.
  • picture P3 indicates that reference is made to picture I0
  • picture B1 indicates that reference is made to pictures I0 and P3.
  • the video stream has a hierarchical structure as shown in FIG.
  • the video stream is composed of a plurality of GOPs (Group of Pictures), and by using the GOP as a basic unit of encoding processing, editing of a moving image and random access are possible.
  • the GOP is composed of one or more video access units 50.
  • the video access unit is a unit for storing encoded data of a picture. As described above, data of one frame in the case of the frame structure and data of one field in the case of the field structure are stored.
  • Each video access unit 50 includes an AU identification code 51, a sequence header 52, a picture header 53, supplementary data 54, compressed picture data 55, padding data 56, a sequence end code 57, a stream end code 58, and the like.
  • each data is stored in units called NAL units.
  • the AU identification code 51 is a start code indicating the head of the video access unit 50.
  • the sequence header 52 is a header that stores common information in a playback sequence composed of a plurality of video access units 50, and stores information such as resolution, frame rate, aspect ratio, and bit rate.
  • the picture header 53 is a header that stores information such as a coding scheme of the entire picture.
  • the supplementary data 54 is information that is not essential for decoding the compressed data, and stores, for example, closed caption character information displayed on the TV in synchronization with the video, GOP structure information, and the like.
  • the compressed picture data 55 stores compression-encoded picture data.
  • the padding data 56 stores meaningless data for adjusting the format. For example, it is used as stuffing data for maintaining a predetermined bit rate.
  • the sequence end code 57 is data indicating the end of the reproduction sequence.
  • the stream end code 58 is data indicating the end of the bit stream.
  • the contents of the AU identification code 51, the sequence header 52, the picture header 53, the supplementary data 54, the compressed picture data 55, the padding data 56, the sequence end code 57, and the stream end code 58 differ depending on the video encoding method.
  • the AU identification code 51 is an AU delimiter (Access Unit Delimiter)
  • the sequence header 52 is SPS (Sequence Parameter Set)
  • the picture header 53 is PPS (Picture Parameter Set)
  • Supplementary data 54 corresponds to SEI (Supplemental Enhancement Information)
  • compressed picture data 55 corresponds to a plurality of slices
  • padding data 56 corresponds to FillerData
  • sequence end code 57 corresponds to End of Sequence
  • stream end code 58 corresponds to End of Stream.
  • the sequence header 52 is sequence_Header, sequence_extension, group_of_picture_header, the picture header 53 is picture_header, picture_coding_extension, the supplementary data 54 is a sequence of user_55, Corresponds to sequence_end_code.
  • the AU identification code 51 does not exist, but it is possible to determine the break of the access unit by using the start code of each header.
  • sequence header 52 may be necessary only in the video access unit at the head of the GOP and may not be present in other video access units.
  • the picture header may refer to that of the previous video access unit in the code order, and there is no picture header in its own video access unit.
  • the video access unit 50a at the head of the GOP stores I picture data as compressed picture data 55a, and includes an AU identification code 51a, a sequence header 52a, a picture header 53a, and compressed picture data 55a.
  • AU identification code 51a a sequence header 52a
  • a picture header 53a a picture header 53a
  • compressed picture data 55a are always stored, and supplementary data 54a, padding data 56a, sequence end code 57a, and stream end code 58a may or may not be stored.
  • the video access unit 50b other than the head of the GOP always stores the AU identification code 51b and the compressed picture data 55b, the supplementary data 54b, the padding data 56b, the sequence end code 57b, and the stream end code. 58b may or may not be stored.
  • a region F11 to be actually displayed can be designated as a “cropping region” from the encoded frame region (outer frame) F10.
  • the frame_cropping information indicates the difference between the upper line / underline / left line / right line of the cropping area F11 and the upper line / underline / left line / right line of the encoded frame area F10. Specified as crop amount for top, bottom, left and right.
  • frame_cropping_flag is set to 1, and frame_crop_top_offset / frame_crop_bottom_offset / frame_crop_left_offset_ / line_crop_h
  • the vertical and horizontal sizes of the cropping area F11 (display_horizontal_size of sequence_display_extension, display_vertical_size), the center of the encoded frame area F10, and the center of the cropping area F10 and the cropping area F11
  • the cropping area F11 can be specified using the difference information (frame_center_horizontal_offset, frame_center_vertical_offset of picture_display_extension).
  • scaling information indicating a scaling method when the cropping region F11 is actually displayed on a television or the like. This is set as an aspect ratio, for example.
  • the playback apparatus up-converts the cropping area F11 and performs display.
  • aspect ratio information (aspect_ratio_idc) is stored in the SPS as scaling information.
  • an aspect ratio of 4: 3 is designated.
  • aspect ratio information (aspect_ratio_information) is stored in the sequence_header.
  • FIG. 7 shows in more detail how the video stream is stored in the PES packet sequence.
  • the first level in FIG. 7 shows a video frame sequence 60 of the video stream.
  • the second level shows the PES packet sequence 61.
  • a plurality of Video Presentation Units in a video stream are divided for each picture and stored in the payload of the PES packet.
  • Each PES bucket has a PES header, and a PTS (Presentation Time-Stamp) that is a display time of a picture and a DTS (Decoding Time-Stamp) that is a decoding time of a picture are stored in the PES header.
  • PTS Presentation Time-Stamp
  • DTS Decoding Time-Stamp
  • adaptation_field_control 77 indicates the presence / absence thereof.
  • the value 1 is stored in the adaptation_field_control 77, only the TS payload 74 exists, and when the value 2 is stored in the adaptation_field_control 77, only the adaptation field 73 exists and the value 3 is stored in the adaptation_field_control 77.
  • both the TS payload 74 and the adaptation field 73 exist.
  • the adaptation field 73 is a storage area for storing data such as PCR and stuffing data for making the TS packet 70 have a fixed length of 188 bytes.
  • the PES packet is divided and stored.
  • the TS packet included in the transport stream includes PAT, PMT, PCR, and the like in addition to the video / audio / captioned streams.
  • PAT indicates what the PID of the PMT used in the transport stream is, and the PID of the PAT itself is registered as 0.
  • the PMT has PID of each stream such as video / audio / subtitles included in the transport stream and stream attribute information corresponding to each PID, and has various descriptors related to the transport stream.
  • the descriptor includes copy control information for instructing permission / non-permission of copying of the AV stream.
  • the PCR is information on the STC time corresponding to the timing at which the PCR packet is transferred to the decoder.
  • Each stream included in the transport stream is identified by the above PID.
  • the receiving apparatus can extract the target stream.
  • the broadcast / communication cooperation system 1000 includes a relay system 100, a transmission apparatus 200, and a reproduction apparatus 300. Yes. In FIG. 10, only one playback apparatus 300 is illustrated, but the broadcasting / communication cooperation system 1000 includes a plurality of playback apparatuses.
  • the relay system 100 is a system that captures a video related to a distributed program and transmits the captured video to the transmission device 200. For example, the relay system 100 captures a soccer game and transmits the captured video to the transmission device 200. When transmitting the video, the relay system 100 also transmits position information indicating the position of each player during the soccer game to the transmission device 200.
  • the relay system 100 includes a video shooting unit 101 and an information acquisition unit 102.
  • Video shooting unit 101 The video shooting unit 101 has a function of acquiring video and audio for a program (for example, a soccer game).
  • the video photographing unit 101 includes cameras 111, 112, 113, a switching unit 114, and a video transmission unit 115.
  • FIG. 11 only the components related to the function of acquiring and transmitting a video are shown, but the video photographing unit 101 also has a function of acquiring and transmitting audio corresponding to the acquired video.
  • (1-1) Cameras 111, 112, 113 Each of the cameras 111, 112, and 113 is arranged at a different position as shown in FIG. 12, and is for shooting a program (for example, a soccer game). The cameras 111, 112, and 113 sequentially capture images about the program and transmit the captured images to the switching unit 114.
  • each of the cameras 111, 112, and 113 transmits shooting condition information T100 indicating a condition for shooting the video and the time when the image was shot in association with the video when transmitting the shot image. .
  • the imaging condition information T100 is data including a camera number T101, an azimuth angle T102, an elevation angle T103, and a magnification T104, as shown in FIG.
  • the camera number T101 is for uniquely identifying the camera.
  • camera number “1” is assigned to camera 111
  • camera number “2” is assigned to camera 112
  • camera number “3” is assigned to camera 113.
  • the azimuth angle T102 indicates an angle between a certain reference axis and the direction of the camera lens on the plane.
  • the azimuth T102 is an angle formed with the direction of the camera lens with reference to the x axis on the plane defined by the x axis and the y axis shown in FIG. 12, and corresponds to the angle ⁇ shown in FIG. To do.
  • the elevation angle T103 indicates an angle (vertical angle) formed by an angle between the plane and the direction of the camera lens with respect to a certain plane.
  • the elevation angle T103 is an angle formed with the direction of the camera lens on the plane defined by the x-axis and the y-axis shown in FIG. 12, and corresponds to the angle ⁇ shown in FIG.
  • Magnification T104 indicates the magnification when an image is taken.
  • the video photographing unit 101 includes three cameras as components, the number of cameras may be one or more.
  • (1-2) Switching unit 114 The switching unit 114 switches a camera connected to the video transmission unit 115 by a user operation.
  • the video transmission unit 115 transmits the image received from the camera connected by the switching unit 114, the shooting condition information associated with the image, and the time when the video was shot to the transmission device 200. Thereby, the video photographing unit 101 can transmit one image among the images photographed by the cameras 111, 112, and 113 to the transmission device 200.
  • the information acquisition unit 102 has a function of acquiring position information of a person (for example, a soccer player) photographed by the cameras 111, 112, and 113.
  • the information acquisition unit 102 includes a processor and a memory (not shown), and the functions of the information collection processing unit 155 and the information transmission unit 156 are executed by the processor executing a program stored in the memory. It is realized by doing.
  • Receivers 151, 152, 153, 154 The receivers 151, 152, 153, and 154 periodically (for example, every 1/60 seconds) signals generated from wireless transmitters (not shown) provided for the persons photographed by the cameras 111, 112, and 113, respectively. ) And is arranged at a position as shown in FIG. 16, for example.
  • the radio transmitter is attached to, for example, a player's uniform or shoes, and the signal transmitted by the radio transmitter includes an identifier (player identifier) for uniquely identifying the radio transmitter. ing.
  • the information collection processing unit 155 specifies the position of the radio transmitter, that is, the position of the player who owns the radio transmitter, using a signal transmitted by each radio transmitter.
  • the information collection processing unit 155 For each signal transmitted from each wireless transmitter, the information collection processing unit 155 identifies the position of the wireless transmitter from the reception intensity of the signal received by each of the receivers 151, 152, 153, and 154. Specifically, the information collection processing unit 155 estimates the distance (length) to the receiver 151 from the reception intensity of the signal received by the receiver 151, and estimates the estimated distance (length) with the receiver 151 as the center. ) To specify a circular range with a radius. The information collection processing unit 155 specifies a circular range around each of the receivers 152, 153, and 154 in the same manner as described above. Then, the information collection processing unit 155 identifies a point common to all four circular ranges identified using signals transmitted from the same transmitter, and transmits the point as a transmission source of the signal. Identify the position of the machine.
  • the information collection processing unit 155 generates, for each wireless transmitter, position information including a player identifier T201 and position data T202 when the position of the wireless transmitter, that is, the position of the player is specified.
  • the player identifier T201 is for uniquely identifying the wireless transmitter assigned to the wireless transmitter.
  • the position data T202 indicates the position specified for the wireless transmitter, and is represented by, for example, coordinates on a plane determined from the x axis and the y axis shown in FIG.
  • the information collection processing unit 155 When the information collection processing unit 155 generates position information for each wireless transmitter, the information collection processing unit 155 generates a position information table T200 including the position information shown in FIG. The information collection processing unit 155 associates the generated position information table T200 with the time (generation time) at which the position information table T200 is generated, and outputs the associated information to the transmitting apparatus 200.
  • the position information table T200 generated by the information collection processing unit 155 is a signal. Are generated at the same interval as the reception interval (1/60 seconds). In other words, the information collection processing unit 155 periodically generates and transmits the position information table T200 (for example, every 1/60 seconds). Therefore, the reception side (transmission apparatus 200) can know the generation time of each received position information table T200 by associating the generation time of the position information table T200 with each of the generated position information tables T200.
  • the information transmission unit 156 transmits the position information table T200 and the generation time received from the information collection processing unit 155 to the transmission device 200.
  • the transmission device 200 transmits the video received from the relay system 100 and the position information table T200 to the outside (reproduction device 300).
  • the transmission device 200 transmits to the outside (the playback device 300) information related to each player corresponding to each player identifier included in the position information table T200 and to be superimposed on the image.
  • the transmission apparatus 200 acquires the video and position information table T200, and transmits these data (video and position information table T200) and information to be superimposed on the image to the outside (reproduction apparatus 300).
  • the structure which concerns on is demonstrated.
  • the transmission device 200 includes an acquisition processing unit 201, an update processing unit 202, a storage unit 203, a transmission processing unit 204, and a reception unit 205.
  • the transmission device 200 includes a processor and a memory (not shown), and the functions of the acquisition processing unit 201, the update processing unit 202, the transmission processing unit 204, and the reception unit 205 are stored in the memory. This is realized by the processor executing the program.
  • the video and position information table T200 is acquired, and the data (video and position information table T200) and information to be superimposed on the image are transmitted to the outside (reproducing apparatus 300). Only such components are shown, but it has a function of acquiring audio corresponding to the acquired video and transmitting the acquired audio and subtitle data.
  • the acquisition processing unit 201 also has a function of outputting the received position information table T200 to the update processing unit 202.
  • the acquisition processing unit 201 includes a first acquisition unit 211, a second acquisition unit 212, and an association processing unit 213 as illustrated in FIG.
  • the first acquisition unit 211 outputs the video received from the video shooting unit 101 to the broadcast stream generation unit 221 of the transmission processing unit 204 described later.
  • (1-2) Second acquisition unit 212 The second acquisition unit 212 periodically receives the position information table T200 generated by the information acquisition unit 102 and the generation time of the position information table T200 from the information acquisition unit 102 of the relay system 100 (for example, 1/60 seconds). The position information table T200 received and the generation time thereof are sequentially output to the association processing unit 213.
  • the second acquisition unit 212 sequentially outputs the position information table T200 received periodically (for example, every 1/60 seconds) from the information acquisition unit 102 to the update processing unit 202.
  • Association processing unit 213 The association processing unit 213 associates each image included in the video acquired by the first acquisition unit 211 with each position information table T200 acquired by the second acquisition unit 212.
  • the association processing unit 213 compares each shooting time received from the first acquisition unit 211 with each generation time received from the second acquisition unit 212, and for images that coincide with each other, An association with the position information table T200 generated at the time is performed, and the associated image, the position information table T200, and the shooting condition information T100 for the image are streamed to the IP broadcast stream of the transmission processing unit 204 described later.
  • the data is output to the generation unit 222.
  • the position information table T200 is generated every 1/60 seconds, so that each image included in the video and the position information table T200 generated every 1/60 seconds are: Corresponding one-to-one.
  • Update processing unit 202 updates a parameter T503 included in a superimposition information table T500 described later.
  • the update processing unit 202 sequentially receives the position information table T200 from the second acquisition unit 212.
  • the update processing unit 202 determines the person based on a change in position information of the person (soccer player) stored in the position information table T200 received sequentially.
  • the travel distance (movement distance) is calculated. Since the position data included in the position information corresponding to the person is represented by coordinates on the plane, the distance between the two points is calculated by obtaining the distance between the two points. Therefore, for example, the update processing unit 202 calculates the movement distance of the person in one second at the interval by using each position information table T200 in which the generation time interval is one second, and sequentially adds the calculation results. Calculate the travel distance.
  • the update processing unit 202 receives detailed information (for example, the number of shots and the number of goals) in a soccer game for each person (soccer player) equipped with a wireless transmitter from the operator of the device.
  • the update processing unit 202 updates the parameter T503 included in the superimposition information table T500 based on the calculated travel distance and information received from the operator (for example, the number of shots and the number of goals).
  • Storage unit 203 stores information to be transmitted to the outside (reproduction device 300).
  • the camera information table T300 has an area for storing one or more sets of a camera number T301, a model T302, a shooting position T303, and a superimposition permission / inhibition flag T304.
  • the camera number T301 is for uniquely identifying each camera used for photographing.
  • the camera number “1” is assigned to the camera 111 shown in FIG. 11, the camera number “2” is assigned to the camera 112, and the camera number “3” is assigned to the camera 113.
  • Model T302 indicates the model of the camera corresponding to the corresponding camera number.
  • the shooting position T303 indicates the position where the camera corresponding to the corresponding camera number is installed.
  • the shooting position T303 is represented by coordinates on a plane defined by the x-axis and the y-axis, as shown in FIG.
  • the superimposition permission / non-permission flag T304 indicates whether superimposition data can be superimposed on an image captured by the camera corresponding to the corresponding camera number.
  • the superimposition information table T500 stores information on each person (soccer player) equipped with a wireless transmitter, and as shown in FIG. 19, a set of a player identifier T501, a player name T502, and a parameter T503 is 1 It has an area for storing two or more.
  • the player identifier T501 is for uniquely identifying the wireless transmitter assigned to the wireless transmitter, similarly to the player identifier T201 shown in FIG.
  • the player name T502 indicates the name of the player to whom the wireless transmitter having the corresponding player identifier is assigned.
  • the parameter T503 is information regarding the corresponding player, and the parameter T503 includes a travel distance T504, a shot number T505, and a goal number T506 as shown in FIG.
  • the position information table T200 and the transmission device transmitted from the relay system 100 The update processing unit 202 updates the information based on the information received from the 200 operators.
  • Transmission processing unit 204 The transmission processing unit 204 generates a stream corresponding to each transmission form in order to transmit the video received from the relay system 100 to the playback apparatus 300 by broadcast waves and transmission by IP communication, and the generated stream Each one is sent.
  • the transmission processing unit 204 includes a broadcast stream generation unit 221, an IP broadcast stream generation unit 222, a flag assignment unit 223, a first transmission unit 224, and a second transmission unit 225.
  • the broadcast stream generation unit 221 includes a video stream received from the relay system 100 and generates a transport stream (hereinafter referred to as “broadcast stream”) to be transmitted by broadcast waves.
  • the broadcast stream generation unit 221 When receiving the video from the first acquisition unit 211, the broadcast stream generation unit 221 generates compressed picture data by compressing and encoding each of the images constituting the received video. Further, the broadcast stream generation unit 221 generates a video access unit including the compressed picture data for each of the generated compressed picture data, and generates a PES packet from each of the generated video access units. These generated PES packets constitute the PES packet sequence 32 shown in FIG.
  • the broadcast stream generation unit 221 generates an audio PES packet from the acquired audio (not shown) and a functional segment sequence from subtitle data (not shown).
  • the broadcast stream generation unit 221 divides each of the generated PES packet related to the video, the PES packet related to the audio, and the functional segment string into TS packets, and each TS stream (here, the TS stream of the video, the audio stream) TS stream and TS stream of caption data).
  • the broadcast stream generation unit 221 generates a single broadcast stream by multiplexing the generated TS streams, and outputs the generated broadcast stream to the first transmission unit 224.
  • the IP broadcast stream generation unit 222 sequentially receives, from the association processing unit 213, the image and position information table T200 associated with the association processing unit 213 and the shooting condition information T100 for the image.
  • the IP broadcast stream generation unit 222 generates a PES packet for each image received from the association processing unit 213. At this time, the IP broadcast stream generation unit 222 generates the PES packet by including the position information table T200 associated with the image of the video access unit and the shooting condition information with the flag in the supplementary data of the video access unit. To do. Note that the flagged shooting condition information will be described later.
  • IP broadcast stream generation unit 222 generates an audio PES packet and subtitle data functional segment sequence in the same manner as the broadcast stream generation unit 221.
  • the IP broadcast stream generation unit 222 divides each of the generated PES packet related to video, the PES packet related to audio, and the functional segment sequence into TS packets, and each TS stream (here, video TS stream, audio TS stream and subtitle data TS stream).
  • the IP broadcast stream generation unit 222 multiplexes the generated TS streams to generate one IP broadcast stream, and outputs the generated IP broadcast stream to the second transmission unit 225.
  • FIG. 15 is a diagram schematically showing a video stream (video TS stream) VS100 including shooting condition information with a flag.
  • the data structure of the flagged shooting condition information T600a to T600e will be described. Since the data structure of all these pieces of information is the same, the data structure of the flagged shooting condition information T600a will be described here.
  • the superimposition flag T605 indicates whether data is superimposed on an image associated with the flagged shooting condition information T600a.
  • CM video VS102 no values are set for the camera number T601, the azimuth angle T602, the elevation angle T603, and the magnification T604. This is because the CM video VS102 is not the main part of the program (soccer game), that is, it is not a video shot by any of the cameras 111, 112, and 113, so there is no need to indicate the conditions for shooting the video. Because. For the CM video VS102, information indicating “impossible” is always set in the superimposition flag T605.
  • Flag assigning unit 223 The flag assigning unit 223 generates the above-described flagged shooting condition information.
  • the flag assigning unit 223 receives, from the operator (program producer), a superposition flag indicating whether or not superimposition of data is permitted for each image received by the IP broadcast stream generation unit 222.
  • the flag assigning unit 223 assigns the received superposition flag to the photographing condition information T100 associated with the image corresponding to the superposition flag, and generates flagged photographing condition information.
  • the program producer determines whether or not each captured image is an image suitable for a viewing service in which data is superimposed on the image and viewed by the viewer, and an overlay flag is assigned. Can do.
  • the first transmitter 224 receives the broadcast stream generated by the broadcast stream generator 221.
  • the first transmission unit 224 When the first transmission unit 224 receives from the second transmission unit 225 information indicating the storage destination (URL) of the IP broadcast stream, storage location information including the port number, protocol information, etc., the first transmission unit 224 broadcasts the received storage location information. Include in the stream. For example, the storage location information is described in the EIT included in the broadcast stream.
  • the first transmission unit 224 converts the broadcast stream including the storage location information into an ISDB system, for example, converts it into a transmission format conforming to a standard prescribed by the Japan Radio Industry Association and sends it out.
  • the second transmission unit 225 When the second transmission unit 225 receives a start instruction to start transmission of the IP broadcast stream from the reception unit 205, the second transmission unit 225 stores the camera information table T300 and the superimposition information table currently stored from the storage unit 203. T500 is sent prior to sending the IP broadcast stream.
  • the second transmission unit 225 transmits the IP broadcast stream after transmitting the camera information table T300 and the superimposition information table T500.
  • Receiving unit 205 receives a request from the playback device 300 through IP communication.
  • the reception unit 205 When receiving from the playback device 300 an access request to the storage location (URL) of the IP broadcast stream included in the storage location information transmitted to the playback device 300 by broadcast waves, the reception unit 205 issues a start instruction to the second transmission unit 224. Output to.
  • Playback device 300 When the playback device 300 receives the video transmitted from the transmission device 200 by IP communication, the playback device 300 superimposes the superimposed video for superimposing the video on the received video and plays back the video. In this case, the video is reproduced without superimposing the superimposition data.
  • the playback apparatus 300 includes a transmission / reception unit 301 and a playback processing unit 302 as shown in FIG.
  • the playback device 300 includes a processor and a memory (not shown). The functions of the transmission / reception unit 301 and the playback processing unit 302 are executed by the processor executing a program stored in the memory. Realized.
  • FIG. 21 shows only components related to the function of playing back video, but the playback device 300 also has a function of receiving audio and subtitle data corresponding to the video from the transmission device 200 and outputting them together with the video. I have.
  • Transmission / reception unit 301 receives a stream transmitted from the transmission device 200 through broadcast waves and IP communication, and transmits information indicating that the transmission of the IP broadcast stream to the transmission device 200 is requested.
  • the transmission / reception unit 301 includes a broadcast reception unit 311, a transmission unit 312, and an IP broadcast reception unit 313 as illustrated in FIG. 21.
  • the broadcast reception unit 311 receives the broadcast stream transmitted from the first transmission unit 224 of the transmission device 200 and outputs the received broadcast stream to the demultiplexing unit 321 of the reproduction processing unit 302 described later.
  • (1-2) Transmitter 312 Based on the URL, port number, protocol information, and the like that store the IP broadcast stream received from the IP broadcast channel selection unit 323 of the reproduction processing unit 302, which will be described later, the transmission unit 312 sends the IP broadcast stream to the storage location. An access request is transmitted to the transmission apparatus 200 via IP communication.
  • IP broadcast receiving unit 313 receives the IP broadcast stream transmitted from the second transmission unit 225 of the transmission device 200 through IP communication, and the received IP broadcast stream is multiplexed and separated by the reproduction processing unit 302 described later. Output to the unit 322.
  • the IP broadcast receiving unit 313 Prior to receiving the IP broadcast stream, the IP broadcast receiving unit 313 receives the camera information table T300 and the superimposition information table T500 by IP communication, and outputs them to the drawing processing unit 326 of the reproduction processing unit 302 described later. To do.
  • the playback processing unit 302 plays back the video received from the transmission device 200.
  • the reproduction processing unit 302 includes demultiplexing units 321 and 322, an IP broadcast channel selection unit 323, decoders 324 and 325, a drawing processing unit 326, an image superimposition processing unit 327, and an output video switching unit 328. Have.
  • the multiplexing / separating unit 321 separates information such as video / audio / caption data multiplexed by an MPEG-2 transport stream or the like.
  • the demultiplexing unit 321 demultiplexes the broadcast stream received from the transmission apparatus 200 into a video stream, an audio stream, a caption data stream, and SI / PSI such as EIT.
  • the demultiplexing unit 321 outputs the video stream to the decoder 324.
  • the demultiplexing unit 321 outputs the storage location information included in the EIT to the IP broadcast channel selection unit 323.
  • the audio stream is output to the audio decoder
  • the subtitle data is output to the subtitle data decoder, and is decoded and reproduced by each decoder.
  • (2-2) Demultiplexing unit 322 Similar to the multiplexing / separating unit 321, the multiplexing / separating unit 322 separates information such as video / audio / subtitle data multiplexed by the MPEG-2 transport stream or the like.
  • the demultiplexing unit 322 separates the IP broadcast stream received from the transmission apparatus 200 into a video stream, an audio stream, a caption data stream, and SI / PSI such as EIT.
  • the demultiplexing unit 322 outputs the video stream to the decoder 325. Further, the demultiplexing unit 322 draws the position information table T200, the superimposition information table T500, and the flagged shooting condition information stored in the supplementary data assigned to the image for each image included in the video stream. Output to the unit 326.
  • the audio stream is output to the audio decoder
  • the subtitle data is output to the subtitle data decoder, and is decoded and reproduced.
  • the IP broadcast channel selection unit 323 In order to receive the IP broadcast stream, the camera information table T300, and the superimposition information table T500, the IP broadcast channel selection unit 323 controls the transmission unit 312 with respect to the transmission destination of the access request. .
  • the IP broadcast channel selection unit 323 Upon receiving a broadcast mode switching instruction for switching the broadcast reception mode from reception by broadcast waves to reception by IP communication, the IP broadcast channel selection unit 323 transmits the storage location information received from the demultiplexing unit 321 to the transmission unit. 312 is output. Furthermore, the IP broadcast channel selection unit 323 outputs to the output video switching unit 328 a video switching instruction to switch the video to be output from the video received from the broadcast wave to the video received through IP communication.
  • Decoder 324 decodes each compressed and encoded video included in the video stream received from the demultiplexing unit 321.
  • the decoder 324 sequentially outputs (draws) each decoded video to the video display plane F110 of the image superimposition processing unit 327 described later based on the playback order.
  • Decoder 325 decodes each compressed and encoded video included in the video stream received from the demultiplexing unit 322.
  • the decoder 325 sequentially outputs (draws) each decoded video to the video display plane F110 based on the playback order.
  • Drawing processing unit 326 acquires data to be superimposed (hereinafter referred to as “superimposition data”) when it is permitted to superimpose data corresponding to the image on the display target image.
  • superimposition data data to be superimposed
  • the superimposition position of the superimposition data acquired with respect to the image is specified.
  • the drawing processing unit 326 stores the camera information table and the superimposition information table obtained prior to reception of the IP broadcast stream in a predetermined storage area.
  • the drawing processing unit 326 When the drawing processing unit 326 receives the superposition information table from the demultiplexing unit 322, the drawing processing unit 326 updates the superposition information table stored in a predetermined storage area to the received superposition information table.
  • the drawing processing unit 326 specifies the camera number that captured the image to be played back using the flagged shooting condition information assigned to the image.
  • the drawing processing unit 326 is allowed to superimpose both the superimposition permission / inhibition flag associated with the camera number specified from the camera information table and the superimposition flag included in the flagged shooting condition information allocated to the image. The following operations are performed when “permitted” is set to indicate that it is present.
  • the drawing processing unit 326 corresponds to the acquired one or more superimposed data, and corresponds to the superimposed data, based on the position of the identified person on the television screen, the start position for displaying the superimposed data, and Specify the end position.
  • the rendering processing unit 326 adds each of the one or more superimposed data, which is a rectangle determined from the start position and the end position specified for each of the one or more superimposed data, to the superimposed data rendering plane F100 of the image superimposing processing unit 327 described later.
  • an instruction to allow superimposition indicating that the image to be reproduced should be superimposed is output to the image superimposing processing unit 327.
  • the rendering processing unit 326 When at least one of the superimposition permission flag and the superimposition flag is set to “impossible” indicating that superimposition is not permitted, the rendering processing unit 326 performs superimposition indicating that the image to be reproduced is not superimposed. Impossibility information is output to the image superimposition processing unit 327, and drawing on the superimposition data drawing plane F100 is not performed.
  • FIG. 22 is a diagram showing a range captured by the camera 111a.
  • a camera 111a that captures a full view at a soccer stadium or the like is generally installed at a high place in the stadium so that the whole can be photographed.
  • the center mark point P102 on the soccer field is photographed so as to be at the center of the video, and the actual photographing range on the field is a range surrounded by four points P103, P104, P105, and P106. It becomes.
  • the video to be shot is recorded by the camera 111a as a result of projecting the shooting range onto the virtual television screen P107, for example.
  • the description is given using three-dimensional coordinates with the origin P108, which is a point where the height of the camera 111a is zero.
  • FIG. 23 is a diagram for explaining the elevation angle of the camera 111a.
  • the camera 111a is installed at a high place in the stadium, and its height is denoted as h.
  • the depression angle when the center mark point P102 is set at the center of the screen with the camera 111a is denoted as ⁇ 2.
  • the vertical angle of view of the camera 111a is set to 2 ⁇ ⁇ 1 (from the optical axis to the upper side of the shooting range (line segment determined by the points P103 and P105) and from the optical axis to the lower side of the shooting range (points P104 and P106).
  • Each angle up to the line segment determined by is expressed as ⁇ 1).
  • the height h is a value to be investigated when the camera 111a is installed, and the elevation angle ⁇ 2 at the time of photographing is a value that can be acquired from, for example, a camera platform on which the camera 111a is installed.
  • the vertical angle of view 2 ⁇ ⁇ 1 is a value determined from the magnification of the lens mounted on the camera 111a.
  • the magnification of the lens is acquired by, for example, a lens encoder, and is perpendicular to the lens encoder output value measured in advance. This value is extracted from the horizontal angle of view table.
  • the y coordinate of each of the points P104 and P106 is y1
  • the y coordinate of the point P102 is y2
  • the y coordinates of the points P103 and P105 are y3.
  • y1 h ⁇ tan ( ⁇ 2 ⁇ 1)
  • y2 h ⁇ (tan ⁇ 2 ⁇ tan ( ⁇ 2 ⁇ 1))
  • y3 h ⁇ (tan ( ⁇ 1 + ⁇ 2) ⁇ tan ⁇ 2).
  • FIG. 24 is a diagram illustrating the horizontal angle of view of the camera 111a.
  • the horizontal field angle is 2 ⁇ (from the optical axis to the right side of the shooting range (the line segment consisting of the points P105 and P106). (An angle from the axis to the left side of the imaging range (a line segment composed of the points P103 and P104) is expressed as ⁇ ).
  • the horizontal angle of view is a value determined from the magnification of the lens mounted on the camera 111a, as with the vertical angle of view, and is a value extracted from a pre-measured relationship table between the lens encoder value and the horizontal / vertical angle of view. It is.
  • the range photographed by the camera 111a is based on the three-dimensional coordinate system of the soccer field, the point P103: ( ⁇ x2, y2, 0), the point P104: ( ⁇ x1, y1, 0), the point P105: ( x2, y2, 0), point P106: can be represented as a trapezoid (imaging range) F50 surrounded by (x1, y1, 0).
  • imaging range imaging range
  • the shooting parameters of the camera 111a it is possible to specify a shooting range and to specify an object existing in the shooting range.
  • FIG. 25 schematically shows a state in which the video imaged by the camera 111a is displayed on the television screen.
  • the in-screen coordinates of the subject F55 in the television screen can be expressed as (x_s, y_s) when the upper left corner of the screen is the origin.
  • the maximum value of the x coordinate is 1920 and the maximum value of the y coordinate is 1080.
  • a method of calculating the position in the screen where the subject F55 is displayed will be described with reference to FIGS.
  • the description will be made assuming that the value of the subject F55 in the z-axis direction is 0, but in actuality, the calculation is performed in consideration of the height.
  • FIG. 26 is a diagram illustrating the position of the subject F55 when a plane determined from the x-axis and the y-axis is viewed from the vertical direction. It is assumed that the subject F55 exists at a position represented by (x_a, y_a, 0) as coordinates on the field, and the position is acquired by the information acquisition unit 102.
  • the x coordinate when the subject F55 is displayed on the television screen is a point P110 where the straight line connecting the camera 111a and the subject F55 and the virtual television screen P107 intersect.
  • FIG. 27 is a diagram showing the position of the subject F55 when a plane determined from the x-axis and the y-axis is viewed from the horizontal direction.
  • the y coordinate when the subject F55 is displayed on the television screen is a point P120 where the straight line connecting the camera 111a and the subject F55 and the virtual television screen P107 intersect.
  • the coordinate value (x_s, y_s) indicated by the set of the calculated x coordinate (x_s) and y coordinate (y_s) is the position when the subject F55 is displayed on the television screen.
  • the position displayed on the television screen can be calculated, and the display position of the superimposed data to be superimposed on the captured image can be specified. .
  • the shooting range D100 shot by the camera 111a can be specified, and each player A4, A5 existing in the shooting range D100 can be specified.
  • A6, B1, and B2 can also be identified on the television screen.
  • Image superimposition processing unit 327 When superimposing on the image decoded by the decoder 325 is possible, the image superimposing processing unit 327 superimposes one or more superimposing data acquired by the drawing processing unit 326 on the image.
  • the image superimposing processing unit 327 includes a superimposing data drawing plane F100, a video display plane F110, and a superimposing unit 350 as shown in FIG.
  • the superimposition unit 350 When the superimposition unit 350 receives the superimposition possible instruction from the rendering processing unit 326, the image rendered on the superimposed data rendering plane F100, that is, the image on which one or more superimposed data is rendered is rendered on the video display plane F110. An image F120 superimposed on the image and superimposed with the superimposed data is generated and output to the output video switching unit 328.
  • FIG. 29 shows an example in which superimposition data such as “player A1” label F101 is superimposed on player F111 and “player A2” label F102 is superimposed on player F112.
  • the label F101 parameters such as a player name and a running distance for the player are included and displayed as superimposed data to be superimposed.
  • the player in this case, player A1, player A2
  • the image superimposing processing unit 327 generates an image F120 in which superimposing data is superimposed on the positions of these players.
  • point F101a and point F102a shown in FIG. 29 are the start positions of superimposition data F101 and F102
  • point F101b and point F102b are the end positions of superimposition data F101 and F102, respectively.
  • the drawing processing unit 326 is determined.
  • Output video switching unit 328 The output video switching unit 328 sequentially outputs the images to be reproduced to a display unit (not shown) such as a display in accordance with the reproduction order.
  • the output video switching unit 328 switches the reception of the image to be reproduced from the decoder 324 to the image superimposition processing unit 327. After the switching, the output video switching unit 328 sequentially outputs the images output from the image superimposing processing unit 327 to the display unit according to the reproduction order.
  • Each camera 111, 112, 113 of the video shooting unit 101 sequentially captures images, and sequentially outputs the captured images and shooting condition information for the images to the switching unit 114.
  • the information collection processing unit 155 determines the position of the radio transmitter based on the reception intensity of the signal at each of the receivers 151, 152, 153, and 154 that has received the signal for the signal transmitted from each radio transmitter. Specify (step S10).
  • the information collection processing unit 155 generates position information including the position specified for each wireless transmitter, and generates a position information table including the generated position information (step S15).
  • the information collection processing unit 155 transmits the generated position information table to the transmission device 200 via the information transmission unit 156 (step S20).
  • the first acquisition unit 211 receives the video transmitted from the video shooting unit 101 (step S100). Specifically, the first acquisition unit 211 receives each captured image and shooting condition information corresponding to each image.
  • the update processing unit 202 updates the parameter T503 included in the superimposition information table T500 in accordance with the received position information table and the operator's instruction (Step S110). Specifically, for each person (soccer player) equipped with a wireless transmitter, the update processing unit 202 determines the person's position based on the change in the person's position information stored in the received position information table. The travel distance (movement distance) is calculated. Further, the update processing unit 202 receives detailed information (for example, the number of shots and the number of goals) in the soccer game for each person (soccer player) having a wireless transmitter from the operator. The update processing unit 202 updates the parameter T503 included in the superimposition information table T500 based on the calculated travel distance and information received from the operator (for example, the number of shots and the number of goals).
  • the association processing unit 213 associates each image received by the first acquisition unit with each position information table received by the second acquisition unit 212 (step S115). Specifically, the association processing unit 213 compares each shooting time received from the first acquisition unit 211 with each generation time received from the second acquisition unit 212, and the matching time is shot at that time. The associated image is associated with the position information table T200 generated at the time.
  • the broadcast stream generation unit 221 generates a broadcast stream that includes the received video and is transmitted by a broadcast wave (step S120).
  • the flag assigning unit 223 sets, for each image streamed by the IP broadcast stream generating unit 222, a superimposition flag indicating whether or not data superimposition is permitted for the image to an image corresponding to the superimposition flag. This is added to the associated shooting condition information, and flagged shooting condition information is generated (step S125).
  • the first transmission unit 224 includes storage location information including information indicating the storage location of the IP broadcast stream in the broadcast stream, and transmits the broadcast stream as a broadcast wave (step S140).
  • the second transmission unit 224 transmits the IP broadcast stream (step S145). Note that the second transmission unit 224 transmits the camera information table and the superimposition information table currently stored in the storage unit 203 prior to transmission of the IP broadcast stream.
  • the IP broadcast channel selection unit 323 determines whether a broadcast mode switching instruction has been received from the user (step S205).
  • the transmission unit 312 When determining that the broadcast mode switching instruction has been received (“Yes” in step S205), the transmission unit 312 is based on the URL, port number, protocol information, and the like that store the IP broadcast stream included in the broadcast stream.
  • the IP broadcast receiving unit 313 receives the camera information table T300 and the superimposition information table T500 as initial information, and transmits the access request to the transmitting apparatus 200 via IP communication. Store in the storage area (step S210).
  • the IP broadcast receiving unit 313 receives the IP broadcast stream (step S215).
  • the decoder 325 acquires and decodes the video stream separated from the IP broadcast stream by the demultiplexing unit 322 (step S220).
  • the drawing processing unit 326 When receiving the superimposition information table, the drawing processing unit 326 updates the superimposition information table stored in the predetermined storage area to the superimposition information table received from the multiplexing / separating unit 322 (step S225).
  • the rendering processing unit 326 determines whether or not the superimposition flag included in the imaging condition information with the flag assigned to the image decoded in step S220 indicates that superimposition is permitted (step S230).
  • the rendering processing unit 326 When it is determined that the superimposition flag indicates that superimposition is permitted (“Yes” in step S230), the rendering processing unit 326 further associates the image decoded in step S220 with the camera number of the camera that has captured the image. It is determined whether or not the given superimposition permission / prohibition flag indicates permission of superimposition (step S235).
  • the rendering processing unit 326 uses the flagged shooting condition information assigned to the image decoded in step S220. Then, the shooting range where the image is shot is specified (step S240).
  • the drawing processing unit 326 specifies one or more player identifiers of persons existing in the specified shooting range based on the position of each person included in the position information table received from the multiplexing / separating unit 322, and further, the image The position on the television screen of the person corresponding to each player identifier specified in step S245 is also specified (step S245).
  • the drawing processing unit 326 determines the player name included in the superimposition information corresponding to the player identifier based on each of the one or more player identifiers specified from the superimposition information table stored in the predetermined storage area.
  • the image superimposition processing unit 327 superimposes one or more superimposition data acquired by the drawing processing unit 326 on the image decoded in step S220 (step S250).
  • the rendering processing unit 326 displays the superimposition data based on the position of the specified person on the television screen corresponding to the superimposition data for the acquired one or more superimposition data. The start position and the end position of are specified.
  • the rendering processing unit 326 renders each of the one or more superimposed data on the superimposed data rendering plane F100 of the image superimposing processing unit 327 based on the set of the start position and the end position specified for each of the one or more superimposed data.
  • the superimposing unit 350 superimposes the image drawn on the superimposition data drawing plane F100, that is, the image on which one or more pieces of superimposition data are drawn on the image drawn on the video display plane F110, and the superimposition data is superimposed. Generate an image.
  • the output video switching unit 328 outputs the image generated by the image superimposition processing unit 327 on which the superimposition data is superimposed (step S255).
  • the reproduction processing unit 302 performs normal reproduction using the broadcast stream (step S260).
  • the reproduction processing unit 302 outputs the image decoded in step S220 (step S265).
  • One position information table may be associated with a plurality of images. For example, a plurality of images that are continuous along the reproduction time axis may be grouped into one group, and the position information table may be associated with each group. As a group formation, for example, a GOP unit can be considered. In this case, the position information table is associated with the top image of the GOP.
  • the shooting condition information with a flag is associated with each image, that is, the superimposition flag is associated with each image.
  • the present invention is not limited to this.
  • the transmission apparatus transmits the IP broadcast stream including the video, the position information table, and the superimposition information table to the IP broadcast stream, but the present invention is not limited to this.
  • the form transmitted by the transmission apparatus may be any form in which the video is transmitted in association with the position information table and the superimposition information table.
  • the IP broadcast stream may be transmitted without including the video by including the position information table and the superimposition information table in the IP broadcast stream.
  • the playback apparatus 300 receives video from broadcast waves, and receives a position information table and a superimposition information table by IP communication. Then, for each image included in the video, the playback device 300 associates the image with the position information table using the image shooting time and the generation time of the position information table. Thereafter, as described in the first embodiment, the playback device performs processing according to the setting contents of the superposition flag and the superposition permission / denial flag.
  • the transmission apparatus 200 may include a broadcast stream including a video, a position information table, and a superimposition information table, and transmit the broadcast stream.
  • a broadcast stream including a video, a position information table, and a superimposition information table, and transmit the broadcast stream.
  • an IP broadcast stream consisting only of video may or may not be transmitted.
  • the playback apparatus 300 switches the reception mode from reception of a broadcast stream to reception of an IP broadcast stream according to a user instruction, but the present invention is not limited to this.
  • the playback device 300 may automatically switch the reception mode when the broadcast stream includes storage location information about the IP broadcast stream.
  • the transmission apparatus 200 performs the setting of the superimposition flag associated with each image according to the instruction of the operator of the apparatus, but is not limited thereto.
  • the transmission apparatus 200 may automatically set a superimposition flag for each image. For example, the transmission device 200 sets the superimposition flag based on the magnification when the image is captured. Specifically, when the magnification at the time when the image is captured belongs to a predetermined range, the transmission device 200 sets data indicating that superimposition is permitted (“OK”) in the superimposition flag, When the magnification does not belong to a predetermined range, data indicating that superimposition is not permitted (“impossible”) is set in the superimposition flag. When an image is taken at a high magnification that does not belong to the range, there is a high possibility that a person (soccer player) is taken up in the image.
  • the person can be specified without superimposing superimposition data.
  • an image is taken at a low magnification that does not belong to the range, there is a high possibility that a plurality of people (soccer players) are photographed so small that they cannot be recognized as people. Therefore, when superimposing data is superimposed on such an image, the superimposing data is more conspicuous than those photographed, and there is a possibility that the user may feel uncomfortable.
  • the transmission apparatus 200 is shooting a specific person following the camera that shot the video (by follow pan).
  • information indicating that superimposition is not permitted (“impossible”) is set.
  • the superimposition data to be superimposed on the image is composed of parameters such as the player name and the running distance, but is not limited thereto.
  • the superimposition data to be superimposed on the image may be composed of a player name, may be composed only of parameters, or may be composed of one piece of information included in the parameters.
  • the display size of the superimposed data to be superimposed on the image may be changed according to the size of the person existing in the image.
  • the playback device 300 identifies the size of each player existing in the image from the camera information table and the shooting condition information with a flag associated with the image to be superimposed.
  • the playback device compares the size of each player present in the image and determines the display size of the superimposed data according to the ratio.
  • the superimposed data is not limited to the player name and parameters shown in the embodiment, but may include a player's face photo, spine number, affiliation team, and the like.
  • the number of data to be displayed may be changed according to the display size of the superimposed data.
  • FIG. 33 shows an example of changing the number of data to be displayed when displaying the superimposed data with the display size determined according to the size of the person existing in the image.
  • the superimposition data display method is not limited to this.
  • the level of detail displayed as superimposed data may be changed, or the display of superimposed data may be stopped.
  • the change in the level of detail displayed as the superimposed data for example, only the back number, a combination of the back number and the player name, a combination of the back number, the player name, and the face photo are assumed.
  • the players cross only the player specified by the user may display the superimposed data, or when the superimposed data overlaps with an important object such as a ball position, the superimposed data is displayed. May be stopped, or the transparency in the region for displaying the superimposed data (for example, labels F101 and F102 in FIG. 29) may be increased to prevent an important object from becoming invisible.
  • the display size of superimposition data changes with a player's positional information, you may change according to the screen size of the video device to display.
  • the position of the player is specified using the wireless transmitter, but the present invention is not limited to this.
  • the position information of each player may be collected by measurement using a radar or image analysis using a zenith camera. That is, any method can be used as long as the position of the player can be specified.
  • the information acquisition unit 102 may calculate the travel distance of each player, and notify the transmission device 200 of the result together with the position information of the player.
  • the video included in the broadcast stream is the same as the video included in the IP broadcast stream, but the present invention is not limited to this.
  • the video included in the broadcast stream and the video included in the IP broadcast stream may be videos of different viewpoints. That is, the video included in the broadcast stream and the video included in the IP broadcast stream may be different as actual services.
  • the playback apparatus 300 receives the camera information table by IP communication prior to receiving the IP broadcast stream.
  • the present invention is not limited to this.
  • the camera information table may be stored in supplementary data for each image included in the broadcast stream, or may be multiplexed as a PSI in the broadcast stream. That is, the camera information table may be transmitted at any timing as long as it is a method received by the playback apparatus prior to receiving the IP broadcast stream.
  • the position information table is included in the IP broadcast stream and stored in the supplementary data of the image corresponding to the position information table.
  • the present invention is not limited to this.
  • the location information table may be included in a reserved area (reserve area) that is not currently used for PSI, for example, EIT.
  • the position information table the position information of the person (player) is stored.
  • the position information table is not limited to this.
  • the position information of the other object such as the position information of the ball or the position of the referee may be used. Good.
  • the IP broadcast channel selection unit 323 obtains the storage location information related to the IP broadcast stream from the demultiplexing unit 321, but the present invention is not limited to this.
  • the IP broadcast channel selection unit 323 may acquire storage location information if it is a portal server or the like via a network.
  • the transmitting apparatus 200 when transmitting the superimposition information table in the IP broadcast stream, transmits each image by including it in supplementary data corresponding to the image. It is not limited to.
  • the transmission apparatus 200 When transmitting the superimposition information table in the IP broadcast stream, the transmission apparatus 200 includes the image corresponding to the time interval in the supplementary data of the image at a predetermined time interval (for example, every 5 seconds). It may be transmitted, or may be included in SI / PSI according to the time interval.
  • a predetermined time interval for example, every 5 seconds.
  • the playback device 300 may control the acquisition timing. For example, the playback device 300 acquires a superimposition information table from supplementary data corresponding to an image corresponding to the time interval at a predetermined time interval (for example, every 5 seconds), and uses the acquired superimposition information table to set a parameter. Update.
  • the playback device 300 may request and acquire the superimposition information table from the transmission device 200 at a predetermined time interval (for example, every 5 seconds) separately from the reception of the IP broadcast stream.
  • the playback apparatus 300 determines whether or not the superimposition data can be superimposed on the image using both the superimposition flag and the superimposition permission / prohibition flag, but the present invention is not limited to this.
  • the playback device 300 may determine whether or not superimposition is possible using one of these flags.
  • the storage location information is included in the EIT.
  • the present invention is not limited to this.
  • the storage location information may be included in SI / PSI other than EIT. Alternatively, it may be included for each GOP.
  • the transmission device 200 includes the storage location information in the supplementary data of the top image in the GOP, for example.
  • the transmission apparatus 200 transmits the position information table as additional information to be transmitted together with each captured image.
  • the additional information to be transmitted is not limited to the position information table. .
  • the pulse of the person to be imaged or the travel distance may be used. If the pulse or travel distance is greater than or equal to a predetermined value, that fact may be displayed, or the pulse or travel distance itself may be displayed.
  • the pulse of the subject is measured by providing a transmitter that measures the pulse and transmits the result wirelessly, so that the transmitter collects the measurement result (pulse) transmitted from the transmitter. And can be transmitted as additional information.
  • a set of player identifiers and position data corresponding to each of one or more subjects (players) present in the image may be acquired from the position information table, and information including the acquired one or more sets may be used as additional information.
  • any additional information may be used as long as it is possible to specify the superimposed data to be displayed by the playback device superimposed on the image.
  • the additional information in the present application corresponds to information that can specify superimposed data to be displayed superimposed on an image, such as the position information table described above.
  • each of the above devices is a computer system including a microprocessor, ROM, RAM, a hard disk unit, a display unit, a keyboard, a mouse, and the like.
  • a computer program is stored in the RAM or hard disk unit.
  • Each device achieves its functions by the microprocessor operating according to the computer program.
  • a part or all of the constituent elements constituting each of the above-described devices may be constituted by one integrated circuit.
  • a program describing the procedure of the method described in the above embodiment and modification is stored in a memory, and a CPU (Central Processing Unit) or the like reads the program from the memory and executes the read program
  • a CPU Central Processing Unit
  • a program describing the procedure of the method may be stored in a recording medium and distributed.
  • Examples of the medium for storing the program include an IC card, a hard disk, an optical disk, a flexible disk, a ROM, and a flash memory.
  • the transmission apparatus relates to a first acquisition unit that sequentially acquires a plurality of video frames constituting a video of a program, and an imaging target of the video at the time of shooting the plurality of video frames
  • the second acquisition means for acquiring the obtained additional information is associated with the additional information acquired at the time of shooting the video frame for at least one of the video frames.
  • Transmission processing means for transmitting in one video stream.
  • the transmission apparatus associates and transmits a video frame and additional information acquired at the time of shooting the video frame in one video stream. Therefore, since there is no need to perform synchronization processing between the video frame and the information displayed together with the video frame as in the conventional case on the reception side, the transmission device can accurately display the display timing while reducing the processing burden on the reception side. Can be matched.
  • the additional information is information used to specify the display object when a device that receives and reproduces the video stream displays the display object superimposed on a video frame, and transmits the transmission information.
  • the processing means further transmits information serving as a guideline for the device that receives and reproduces the video stream to determine whether or not a display object should be superimposed on each video frame associated with the additional information. It is good.
  • the transmission device transmits information that serves as a guideline for determining whether to superimpose a display object on each video frame associated with the additional information. Whether or not to superimpose a display object specified from the additional information can be controlled in accordance with the contents of the video frame associated with “”, that is, the shooting scene. Thereby, viewer discomfort can be reduced in a viewing service in which a display object is displayed superimposed on a video frame.
  • the transmission processing means as the information that serves as a guideline for the device to determine whether or not to superimpose a display object, for each video frame associated with the additional information, Transmission may be performed with a superposition flag indicating whether or not superimposition is permitted to the frame.
  • the transmission device since the transmission device adds a superimposition flag for each video frame associated with the additional information, it is possible to perform more detailed control on whether to superimpose the display object specified from the additional information. .
  • the transmission device generates a video stream so that the video frame, the additional information associated with the video frame, and the superimposition flag are included in one packet.
  • the processing load is reduced, and furthermore, since the superimposition flag and the video frame are included in the same packet, the video to be determined as to whether or not superimposition is possible
  • the frame can be easily specified.
  • the transmission processing unit prior to transmission of the plurality of video frames, the additional information, and the superposition flag, the transmission processing unit further includes a plurality of cameras used for photographing the plurality of video frames. Transmitting camera information in which a camera identifier for identifying the camera is associated with a permission flag indicating whether or not to be superimposed on a video frame photographed by the camera, the plurality of video frames, the additional information, and the When transmitting the superimposition flag, for each video frame associated with the additional information, a camera identifier that captured the video frame may be associated and transmitted.
  • the transmission apparatus since the transmission apparatus transmits camera information, it is possible to control whether or not to perform superimposition according to a combination of a permission flag included in the camera information and a superposition flag.
  • each of the additional information is position information indicating each position in the video frame with respect to one or more subjects to be imaged of the video frame associated with the additional information.
  • the display object specified from the information may be data related to the subject indicated by the position information.
  • the receiving side can specify a display object to be superimposed using the position information.
  • the playback device is associated with each of a plurality of video frames constituting a program and at least one of the video frames, and the video is captured when the video frames are captured.
  • the information obtained for the additional information used to identify the display object when the display object is superimposed on the video frame, and displayed on each video frame associated with the additional information
  • the display object specified by the additional information is superimposed on the video frame associated with the additional information, or is reproduced or superimposed. Characterized in that it comprises a reproduction processing means for reproducing the video frames without the.
  • the playback device includes additional information, a video frame associated with the additional information, and information serving as a guideline for determining whether to superimpose a display object on the video frame. Received in one video stream.
  • regenerating apparatus can control the superimposition of the display object specified from additional information with respect to the said video frame, it is controllable. It is possible to reduce the viewer's discomfort in a viewing service that superimposes and displays a display object.
  • the playback apparatus does not need to perform synchronization processing between the video frame and information displayed together with the video frame as in the past, so the processing load is reduced and the display timing is accurately adjusted. Can be consistent.
  • the receiving unit performs superimposing on the video frame associated with each video frame associated with the additional information as the information that serves as a guideline for whether or not the display object should be superimposed.
  • the reproduction processing unit in accordance with the content indicated by the superimposition flag, The display object specified by the additional information associated with the video frame may be reproduced by being superimposed on the video frame, or the video frame may be reproduced without being superimposed.
  • the playback apparatus since the playback apparatus receives the added superimposition flag for each video frame associated with the additional information, the playback apparatus performs more detailed control on whether or not to superimpose the display object specified from the additional information. be able to.
  • the reception unit further includes a plurality of cameras used for photographing the plurality of video frames prior to reception of the plurality of video frames, the additional information, and the superposition flag.
  • Camera information in which a camera identifier for identifying the camera is associated with a permission flag indicating whether or not to allow superimposition on a video frame shot by the camera is received in advance and stored in a storage area
  • Each of the video frames associated with the additional information is associated with an identifier of a camera that has captured the video frame
  • the reproduction processing means further includes the additional information associated with the additional information.
  • each of the additional information is position information indicating each position in the video frame of one or more subjects to be imaged in the video frame associated with the additional information.
  • the display object specified by the information is data related to the subject indicated by the position information, and the reproduction processing means adds the display object specified by the additional information to the video frame associated with the additional information.
  • the display object may be superimposed on the position of the subject indicated by the additional information.
  • the playback device since the playback device receives the position information, it is possible to specify a display object to be superimposed using the position information.
  • the receiving unit when receiving the video frame associated with the additional information, the receiving unit further selects a shooting range in which the video frame is shot out of a region that can be shot by the camera. It is used to specify and position of each of the one or more subjects in the video frame, receives shooting information associated with the video frame, and the reproduction processing means associates the additional information with When playing back a video frame, the shooting information may be used to specify a shooting range for the video frame, and the position of the subject existing in the specified shooting range may be specified using the additional information. Good.
  • the playback device receives the shooting information for specifying the shooting range associated with each video frame with which the additional information is associated. Therefore, using the shooting information, the playback device captures the corresponding video frame.
  • a range can be specified.
  • the receiving unit further includes, for each of the candidate subjects, the candidate subject is a subject of a video frame. If it is, the candidate data related to the candidate subject, which is a display object to be displayed superimposed on the video frame, is received, and the reproduction processing means has the superimposition information on the video frame to be reproduced. When the information is associated and the superimposition permission / inhibition information indicates that the display object should be superimposed, data relating to the subject existing at the position indicated by the additional information associated with the video frame is selected as the candidate.
  • the specified candidate data may be superposed on the video frame as the display object specified from the data.
  • the playback apparatus receives candidate data for each of a plurality of candidate subjects that are candidates for shooting, and thus acquires candidate data for a subject that exists in the video frame to be superimposed from the plurality of candidate data. can do.
  • the present invention can be applied to a transmission apparatus that transmits a broadcast program by broadcast waves and communication, and a reproduction apparatus that receives and reproduces the broadcast program.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

　本発明は、受信側の処理負担を軽減しつつ、精度よく表示タイミングを整合させるための、従来とは異なる手法を用いた送信装置を提供する。送信装置は、番組の映像を構成する複数の映像フレームを逐次取得する第１取得手段と、前記複数の映像フレームの撮影時に前記映像の撮影対象について得られた付加情報を取得する第２取得手段と、前記複数の映像フレームそれぞれを送信する際に、少なくとも１つ以上の前記映像フレームについて、当該映像フレームの撮影時に取得された付加情報を対応付けて、１つのビデオストリームで送信する送信処理手段とを備える。

Description

送信装置、再生装置及び送受信方法
　本発明は、ビデオストリームに含まれる画像に、当該画像に関連するデータを重畳する技術に関する。
　近年、放送のデジタル化に伴い、一般家庭のデジタルテレビ（再生装置）において、高画質なハイビジョンの番組映像を楽しむことが可能となっている。また、デジタル放送において、例えばスポーツ番組のようなリアルタイムに放送される番組では、ハイビジョンの映像の視聴だけでなく、番組が撮影された場所において同時刻に得られた情報を用いたデータ放送の視聴や、当該情報から得られる、映像に関連するデータを当該映像に重畳させて視聴することが可能となっている。
　上記のような視聴を実現するために、いろいろな方法が提案されている（非特許文献１参照）。非特許文献１に開示された技術を用いると、リアルタイムに放送される番組の映像を放送波で、当該映像とは異なる情報（例えば番組が撮影された場所において同時刻に得られた情報）を通信で個別に送信することができる。また、別の方法として、映像と、情報とをそれぞれ個別にストリーム化し、ストリーム化されたそれぞれを、多重化して送信する方法もある。
松村欣司、外１名、「Ｈｙｂｒｉｄｃａｓｔ　（ＴＭ）の概要と技術」、ＮＨＫ技研Ｒ＆Ｄ、ＮＨＫ放送技術研究所、２０１０年、Ｎｏ．１２４、ｐ．１０－１７
　ところで、映像に含まれる各画像の表示タイミングと、当該画像とともに表示される情報の表示タイミングとのずれが生じないようにする必要がある。
　そこで、本発明は、受信側の処理負担を軽減しつつ、精度よく表示タイミングを整合させるための、従来とは異なる手法を用いた送信装置、再生装置及び送受信方法を提供することを目的とする。
　上記目的を達成するために、本発明は、送信装置であって、番組の映像を構成する複数の映像フレームを逐次取得する第１取得手段と、前記複数の映像フレームの撮影時に前記映像の撮影対象について得られた付加情報を取得する第２取得手段と、前記複数の映像フレームそれぞれを送信する際に、少なくとも１つ以上の前記映像フレームについて、当該映像フレームの撮影時に取得された付加情報を対応付けて、１つのビデオストリームで送信する送信処理手段とを備えることを特徴とする。
　従来、映像に含まれる各画像の表示タイミングと、当該画像とともに表示される情報の表示タイミングとのずれが生じないようにするため、各画像と当該情報とに同期時刻を付与し、受信側において、同期時刻が一致する画像と情報とを検出するという同期処理が行われていた。
　上記の構成によると、送信装置は、映像フレームと、当該映像フレームの撮影時に取得された付加情報とを対応付けて１つのビデオストリームに含めて送信している。そのため、受信側では従来のように映像フレームと当該映像フレームとともに表示される情報との間で同期処理を行う必要がないので、送信装置は、受信側の処理負担を軽減しつつ、精度よく表示タイミングを整合させることができる。
トランスポートストリーム形式のデジタルストリームの構成を示す図である。 ビデオストリームの参照関係を説明する図である。 ビデオストリームの構造を説明する図である。 ＧＯＰに含まれるビデオアクセスユニットの構成を説明する図である。 クロッピング領域情報とスケーリング情報を説明する図である。 クロッピング領域情報とスケーリング情報の具体的な指定方法を説明する図である。 ＰＥＳパケットの構成を説明する図である。 トランスポートストリームを構成するＴＳパケットのデータ構造を説明する図である。 ＰＭＴのデータ構造を説明する図である。 放送通信連携システム１０００の構成を示す図である。 映像撮影部１０１の構成を示す図である。 カメラの配置例を示す図である。 撮影条件情報のデータ構造の一例を示す図である。 方位角及び仰俯角を説明する図である。 情報取得部１０２の構成を示す図である。 受信機１５１～１５４の配置例を説明する図である。 位置情報テーブルＴ２００のデータ構造の一例を示す図である。 カメラ情報テーブルＴ３００のデータ構造の一例を示す図である。 重畳情報テーブルＴ５００のデータ構造の一例を示す図である 映像ストリームに含まれる画像と当該画像の補足データ領域に格納されているフラグ付き撮影条件情報との関係を示す図である。 再生装置３００の構成を示す図である。 カメラ１１１ａで撮影される範囲を示す図である。 カメラ１１１ａの仰俯角を説明する図である。 カメラ１１１ａの水平画角を説明する図である。 カメラ１１１ａで撮影された映像がテレビ画面に映し出された状態を模式的に示すものである。 ｘ軸及びｙ軸から定まる平面を垂直方向から見た場合における、被写体Ｆ５５の位置を示す図である。 ｘ軸及びｙ軸から定まる平面を水平方向から見た場合における、被写体Ｆ５５の位置を示す図である。 カメラ１１１ａで撮影された撮影範囲Ｄ１００を示す図である。 画像重畳処理部３２７の構成を示す図である。 情報取得部１０２で行われる情報取得処理を示す流れ図である。 送信装置２００で行われる送信処理を示す流れ図である。 再生装置３００で行われる再生処理を示す流れ図である。 画像に存在する人物の大きさに応じて、重畳データの表示サイズ及び表示内容を変更する場合の一例を示す図である。
　１．概要
　近年、ブロードバンド環境が普及することで、多くのユーザは、音声・動画ストリーミングサービスやＳＮＳ（Ｓｏｃｉａｌ　Ｎｅｔｗｏｒｋｉｎｇ　Ｓｅｒｖｉｃｅ）といった様々なインターネットのサービスを楽しむことができるようになっている。この状況に伴い、ネットワーク接続機能を有したデジタルテレビは年々増えており、視聴者はインターネット上の動画を再生する等、テレビ上でインターネットのサービスを楽しむことが可能となってきている。
　このような環境において、新しい視聴サービスの検討がなされ、そのサービスを実現するための技術開発が進められている。新しい視聴サービスの例としては、「映像に含まれる各画像について、当該画像の内容を示すデータ（例えば、画像に存在する人物の情報）を、リアルタイムに当該画像に重畳して表示する視聴サービス」、「放送波の映像とは異なる視点映像を通信で伝送し、放送波の映像の画面上にＰｉｃｔｕｒｅ－Ｉｎ－Ｐｉｃｔｕｒｅとして放送波の映像と同期して異なる視点映像を表示する視聴サービス」等がある。
　これらのような視聴サービスを提供する際に、上述したように、映像に含まれる各画像の表示タイミングと、当該画像とともに表示される情報の表示タイミングとのずれが生じないようにする必要がある。
　現在では、例えば、送信側において、映像、及び当該映像とともに表示される情報のそれぞれに、同期時刻を付与し、受信側では、映像の再生時に当該映像に対応する同期時刻を検出し、検出した同期時刻に対応する情報を取得し、映像とともに表示している。
　発明者は、他の同期手法を提案すべく鋭意検討して、本発明に至った。
　本実施の形態の一態様によれば、送信装置は、番組の映像を構成する複数の映像フレームを逐次取得する第１取得手段と、前記複数の映像フレームの撮影時に前記映像の撮影対象について得られた付加情報を取得する第２取得手段と、前記複数の映像フレームそれぞれを送信する際に、少なくとも１つ以上の前記映像フレームについて、当該映像フレームの撮影時に取得された付加情報を対応付けて、１つのビデオストリームで送信する送信処理手段とを備えることを特徴とする。
　また、本実施の形態において、送信装置は、放送される画像ごとに、当該画像に重畳データの重畳を許可するか否かを示す重畳フラグを対応付けて送信している。受信側では、重畳フラグが示す内容に応じて、再生対象の画像に重畳データを付与、非付与を制御することができる。
　２．第１の実施の形態
　以下、本発明に係る第１の実施の形態について、図面を参照しながら説明する。
　２．１　準備
　先ず始めに、デジタルテレビの放送波等で伝送される一般的なストリームの構造について説明する。
　デジタルテレビの放送波等での伝送では、ＭＰＥＧ－２トランスポートストリーム（Ｔｒａｎｓｐｏｒｔ　Ｓｔｒｅａｍ：ＴＳ）形式のデジタルストリームが使われている。ＭＰＥＧ－２トランスポートストリームとは、ビデオやオーディオ等様々なストリームを多重化して伝送するための規格であり、ＩＳＯ／ＩＥＣ１３８１８－１およびＩＴＵ－Ｔ勧告Ｈ２２２．０において標準化されている。
　図１は、ＭＰＥＧ－２トランスポートストリーム形式のデジタルストリームの構成を示す図である。本図に示すようにトランスポートストリーム４０は、ビデオストリーム、オーディオストリーム及び字幕ストリーム等を多重化することで得られる。ビデオストリームは番組の主映像を、オーディオストリームは番組の主音声部分や副音声を、字幕ストリームは番組の字幕情報を格納している。ビデオストリームは、ＭＰＥＧ－２、ＭＰＥＧ－４　ＡＶＣ等の方式を使って符号化されている。オーディオストリームは、ドルビーＡＣ－３、ＭＰＥＧ－２　ＡＡＣ、ＭＰＥＧ－４　ＡＡＣ、ＨＥ－ＡＡＣ等の方式で圧縮・符号化されている。
　ビデオストリームは、図１に示すように、先ずビデオフレーム列３１がＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ　Ｅｌｅｍｅｎｔａｒｙ　Ｓｔｒｅａｍ）パケット列３２に変換され、その後ＴＳパケット列３３に変換されることで得られる。
　オーディオストリームは、図１に示すように、オーディオ信号が量子化・サンプリングを経てオーディオフレーム列３４に変換され、その後オーディオフレーム列３４がＰＥＳパケット列３５に変換され、そしてＴＳパケット列３６に変換されることで得られる。
　字幕ストリームは、図１に示すように、Ｐａｇｅ　Ｃｏｍｐｏｓｉｔｉｏｎ　Ｓｅｇｍｅｎｔ（ＰＣＳ）、Ｒｅｇｉｏｎ　Ｃｏｍｐｏｓｉｔｉｏｎ　Ｓｅｇｍｅｎｔ（ＲＣＳ）、Ｐａｌｌｅｔ　Ｄｅｆｉｎｅ　Ｓｅｇｍｅｎｔ（ＰＤＳ）、Ｏｂｊｅｃｔ　Ｄｅｆｉｎｅ　Ｓｅｇｍｅｎｔ（ＯＤＳ）といった複数種別からなる機能セグメント列３８を、ＴＳパケット列３９に変換されることで得られる。
　また、トランスポートストリーム４０には、図１には図示していないストリーム管理情報が含まれる。ストリーム管理情報は、ＰＳＩ（Ｐｒｏｇｒａｍ　Ｓｐｅｃｉｆｉｃａｔｉｏｎ　Ｉｎｆｏｒｍａｔｉｏｎ）と呼ばれるシステムパケットに格納され、トランスポートストリーム４０に多重化されているビデオストリーム、オーディオストリーム、字幕ストリームを１つの放送番組として管理する情報のことである。ストリーム管理情報には、ＰＡＴ（Ｐｒｏｇｒａｍ　Ａｓｓｏｃｉａｔｉｏｎ　Ｔａｂｌｅ）、ＰＭＴ（Ｐｒｏｇｒａｍ　Ｍａｐ　Ｔａｂｌｅ）、イベント情報テーブルＥＩＴ（Ｅｖｅｎｔ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｔａｂｌｅ）及びサービス情報テーブルＳＩＴ（Ｓｅｒｖｉｃｅ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｔａｂｌｅ）といった情報から構成されている。ＰＡＴはトランスポートストリーム４０中に利用されるＰＭＴのＰＩＤが何であるかを示し、ＰＡＴ自身のＰＩＤ配列で登録される。ＰＭＴは、トランスポートストリーム４０中に含まれる映像・音声・字幕等の各ストリームのＰＩＤと各ＰＩＤに対応するストリームの属性情報を持ち、またトランスポートストリーム４０に関する各種ディスクリプタを持つ。ディスクリプタにはＡＶストリームのコピーを許可・不許可を指示するコピーコントロール情報等がある。ＳＩＴは、ＭＰＥＧ－２　ＴＳ標準でユーザが定義可能な領域を用いて各放送波の標準に従って定義した情報である。ＥＩＴは、番組の名称や放送日時、放送内容等、番組に関連する情報を持つ。上述の情報の具体的なフォーマットについては、ＡＲＩＢ（Ａｓｓｏｃｉａｔｉｏｎ　ｏｆ　Ｒａｄｉｏ　Ｉｎｄｕｓｔｒｉｅｓ　ａｎｄ　Ｂｕｓｉｎｅｓｓｅｓ）の公開資料（地上デジタルテレビジョン放送運用規定　ＡＲＩＢ　ＴＲ－Ｂ１４　４．４版（第２分冊））を参照されたい。
　次にビデオストリームの構成について説明する。ＭＰＥＧ－２、ＭＰＥＧ－４　ＡＶＣ、ＳＭＰＴＥ　ＶＣ－１等の動画圧縮符号化においては、動画像の空間方向および時間方向の冗長性を利用してデータ量の圧縮を行う。時間方向の冗長性を利用する方法として、ピクチャ間予測符号化が用いられる。ピクチャ間予測符号化では、あるピクチャを符号化する際に、表示時間順で前方または後方にあるピクチャを参照ピクチャとする。そして、その参照ピクチャからの動き量を検出し、動き補償を行ったピクチャと符号化対照のピクチャとの差分値に対して空間方向の冗長度を取り除くことによりデータ量の圧縮を行う。
　ここでは、参照ピクチャを持たずに符号化対象ピクチャのみを用いてピクチャ内予測符号化を行うピクチャをＩピクチャと呼ぶ。ピクチャとは、フレームおよびフィールドの両者を包含する１つの符号化の単位である。また、既に処理済の１枚のピクチャを参照してピクチャ間予測符号化するピクチャをＰピクチャとよび、既に処理済みの２枚のピクチャを同時に参照してピクチャ間予測符号化するピクチャをＢピクチャと呼び、Ｂピクチャの中で他のピクチャから参照されるピクチャをＢｒピクチャと呼ぶ。また、フレーム構造の場合のフレーム、フィールド構造のフィールドを、ここではビデオアクセスユニットと呼ぶ。
　図２に一般的なビデオストリームのピクチャの参照構造を示す。図２における矢印は参照して圧縮されていることを示す。例えば、ピクチャＰ３は、ピクチャＩ０を参照していることを示しており、ピクチャＢ１は、ピクチャＩ０及びＰ３を参照していることを示している。
　また、ビデオストリームは、図３に示すような階層構造を有している。ビデオストリームは、複数のＧＯＰ（Ｇｒｏｕｐ　ｏｆ　Ｐｉｃｔｕｒｅｓ）から構成されており、ＧＯＰを符合化処理の基本単位とすることで動画像の編集やランダムアクセスが可能となっている。ＧＯＰは１つ以上のビデオアクセスユニット５０により構成されている。ビデオアクセスユニットは、ピクチャの符合化データを格納する単位であり、上述したようにフレーム構造の場合は１フレーム、フィールド構造の場合の１フィールドのデータが格納される。各ビデオアクセスユニット５０は、ＡＵ識別コード５１、シーケンスヘッダ５２、ピクチャヘッダ５３、補足データ５４、圧縮ピクチャデータ５５、パディングデータ５６、シーケンス終端コード５７、ストリーム終端コード５８等から構成される。各データはＭＰＥＧ－４　ＡＶＣの場合は、ＮＡＬユニットと呼ばれる単位で格納される。
　ＡＵ識別コード５１は、ビデオアクセスユニット５０の先頭を示す開始符号である。シーケンスヘッダ５２は、複数ビデオアクセスユニット５０から構成される再生シーケンスでの共通の情報を格納したヘッダであり、解像度、フレームレート、アスペクト比、ビットレート等の情報が格納される。ピクチャヘッダ５３は、ピクチャ全体の符合化の方式等の情報を格納したヘッダである。補足データ５４は、圧縮データの復号に必須ではない情報であり、例えば、映像と同期してＴＶに表示するクローズドキャプションの文字情報やＧＯＰ構造情報等が格納される。圧縮ピクチャデータ５５には、圧縮符号化されたピクチャのデータが格納される。パディングデータ５６は、形式を整えるための意味のないデータが格納される。例えば、決められたビットレートを保つためのスタッフィングデータとして用いる。シーケンス終端コード５７は、再生シーケンスの終端を示すデータである。ストリーム終端コード５８は、ビットストリームの終端を示すデータである。
　ＡＵ識別コード５１、シーケンスヘッダ５２、ピクチャヘッダ５３、補足データ５４、圧縮ピクチャデータ５５、パディングデータ５６、シーケンス終端コード５７、ストリーム終端コード５８の中身の構成は、ビデオの符合化方式によって異なる。
　例えば、ＭＰＥＧ－４　ＡＶＣの場合であれば、ＡＵ識別コード５１は、ＡＵデリミタ（Ａｃｃｅｓｓ　Ｕｎｉｔ　Ｄｅｌｉｍｉｔｅｒ）、シーケンスヘッダ５２はＳＰＳ（Ｓｅｑｕｅｎｃｅ　Ｐａｒａｍｔｅｒ　Ｓｅｔ）に、ピクチャヘッダ５３はＰＰＳ（Ｐｉｃｔｕｒｅ　Ｐａｒａｍｅｔｅｒ　Ｓｅｔ）に、補足データ５４はＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ　Ｅｎｈａｎｃｅｍｅｎｔ　Ｉｎｆｏｒｍａｔｉｏｎ）、圧縮ピクチャデータ５５は複数個のスライス、パディングデータ５６はＦｉｌｌｅｒＤａｔａ、シーケンス終端コード５７はＥｎｄ　ｏｆ　Ｓｅｑｕｅｎｃｅ、ストリーム終端コード５８はＥｎｄ　ｏｆ　Ｓｔｒｅａｍに対応する。
　例えば、ＭＰＥＧ－２の場合であれば、シーケンスヘッダ５２はｓｅｑｕｅｎｃｅ＿Ｈｅａｄｅｒ、ｓｅｑｕｅｎｃｅ＿ｅｘｔｅｎｓｉｏｎ、ｇｒｏｕｐ＿ｏｆ＿ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒに、ピクチャヘッダ５３はｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ、ｐｉｃｔｕｒｅ＿ｃｏｄｉｎｇ＿ｅｘｔｅｎｓｉｏｎ、補足データ５４はｕｓｅｒ＿ｄａｔａ、圧縮ピクチャデータ５５は複数個のスライス、シーケンス終端コード５７はｓｅｑｕｅｎｃｅ＿ｅｎｄ＿ｃｏｄｅに対応する。ＡＵ識別コード５１は存在しないが、それぞれのヘッダのスタートコードを使えば、アクセスユニットの切れ目を判断できる。
　各データは常に必要ではなく、例えば、シーケンスヘッダ５２はＧＯＰ先頭のビデオアクセスユニットでのみ必要で、それ以外のビデオアクセスユニットにはなくてもよいとしてもよい。また、符号化方式によっては、ピクチャヘッダは符号順で前のビデオアクセスユニットのものを参照して、自身のビデオアクセスユニット内にピクチャヘッダがなくても良い。
　また、図４（ａ）に示すようにＧＯＰ先頭のビデオアクセスユニット５０ａは、圧縮ピクチャデータ５５ａとしてＩピクチャのデータが格納され、ＡＵ識別コード５１ａ、シーケンスヘッダ５２ａ、ピクチャヘッダ５３ａ、圧縮ピクチャデータ５５ａが必ず格納され、補足データ５４ａ、パディングデータ５６ａ、シーケンス終端コード５７ａ、ストリーム終端コード５８ａが格納されてもよいし、されなくてもよい。
　図４（ｂ）に示すように、ＧＯＰ先頭以外のビデオアクセスユニット５０ｂは、ＡＵ識別コード５１ｂ、圧縮ピクチャデータ５５ｂが必ず格納され、補足データ５４ｂ、パディングデータ５６ｂ、シーケンス終端コード５７ｂ、ストリーム終端コード５８ｂが格納されてもよいし、されなくてもよい。
　次に、クロッピング領域情報とスケーリング情報について図５を参照しながら説明する。
　ビデオ符号化方式によっては、符号化されたフレームの領域と、実際に表示に使う領域を変更することができる。図５のように、符号化されたフレーム領域（外枠）Ｆ１０の中から実際に表示する領域Ｆ１１を、「クロッピング領域」として指定することが出来る。例えば、ＭＰＥＧ－４　ＡＶＣの場合には、ＳＰＳに格納されるｆｒａｍｅ＿ｃｒｏｐｐｉｎｇ情報を使って指定できる。ｆｒａｍｅ＿ｃｒｏｐｐｉｎｇ情報は、図７（ａ）のように、クロッピング領域Ｆ１１の上線／下線／左線／右線と、符号化されたフレーム領域Ｆ１０の上線／下線／左線／右線との差分を、上下左右のクロップ量として指定する。より具体的には、クロッピング領域Ｆ１１を指定する場合には、ｆｒａｍｅ＿ｃｒｏｐｐｉｎｇ＿ｆｌａｇを１に設定し、ｆｒａｍｅ＿ｃｒｏｐ＿ｔｏｐ＿ｏｆｆｓｅｔ ／ ｆｒａｍｅ＿ｃｒｏｐ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ　／　ｆｒａｍｅ＿ｃｒｏｐ＿ｌｅｆｔ＿ｏｆｆｓｅｔ　／ ｆｒａｍｅ＿ｃｒｏｐ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔに上線／下線／左線／右線のクロップ量を指定する。ＭＰＥＧ－２の場合には、図７（ｂ）のように、クロッピング領域Ｆ１１の縦横のサイズ（ｓｅｑｕｅｎｃｅ＿ｄｉｓｐｌａｙ＿ｅｘｔｅｎｓｉｏｎのｄｉｓｐｌａｙ＿ｈｏｒｉｚｏｎｔａｌ＿ｓｉｚｅ， ｄｉｓｐｌａｙ＿ｖｅｒｔｉｃａｌ＿ｓｉｚｅ）と、符号化されたフレーム領域Ｆ１０の中心とクロッピング領域Ｆ１１の中心との差分情報（ｐｉｃｔｕｒｅ＿ｄｉｓｐｌａｙ＿ｅｘｔｅｎｓｉｏｎのｆｒａｍｅ＿ｃｅｎｔｒｅ＿ｈｏｒｉｚｏｎｔａｌ＿ｏｆｆｓｅｔ，　ｆｒａｍｅ＿ｃｅｎｔｒｅ＿ｖｅｒｔｉｃａｌ＿ｏｆｆｓｅｔ）を使ってクロッピング領域Ｆ１１を指定できる。
　また、ビデオ符号化方式によっては、クロッピング領域Ｆ１１を実際にテレビ等に表示する際のスケーリング方法を示すスケーリング情報が存在する。これは、例えばアスペクト比として設定される。再生装置はそのアスペクト比の情報を使って、クロッピング領域Ｆ１１をアップコンバートして表示を行う。例えば、ＭＰＥＧ－４　ＡＶＣの場合には、スケーリング情報として、ＳＰＳにアスペクト比の情報（ａｓｐｅｃｔ＿ｒａｔｉｏ＿ｉｄｃ）が格納される。ＭＰＥＧ－４　ＡＶＣの場合、１４４０×１０８０のクロッピング領域を、１９２０×１０８０に拡大して表示するためには、アスペクト比は４：３を指定する。この場合水平方向に４／３倍にアップコンバート（１４４０×４／３＝１９２０）され、１９２０×１０８０に拡大されて表示される。ＭＰＥＧ－２の場合にも同様にｓｅｑｕｅｎｃｅ＿ｈｅａｄｅｒにアスペクト比の情報（ａｓｐｅｃｔ＿ｒａｔｉｏ＿ｉｎｆｏｒｍａｔｉｏｎ）が格納されている。
　以上がビデオストリームの構成の説明である。
　次にＰＥＳパケット、及びＴＳパケットそれぞれのデータ構造について説明する。
　図７は、ＰＥＳパケット列に、ビデオストリームがどのように格納されるかを更に詳しく示すものである。図７における第１段目はビデオストリームのビデオフレーム列６０を示す。第２段目は、ＰＥＳパケット列６１を示す。図７の矢印ｙｙ１、ｙｙ２、ｙｙ３、ｙｙ４に示すように、ビデオストリームにおける複数のＶｉｄｅｏ　Ｐｒｅｓｅｎｔａｔｉｏｎ　ＵｎｉｔであるＩピクチャ、Ｂピクチャ、Ｐピクチャは、ピクチャ毎に分割され、ＰＥＳパケットのペイロードに格納される。各ＰＥＳバケットはＰＥＳヘッダを持ち、ＰＥＳヘッダには、ピクチャの表示時刻であるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ　Ｔｉｍｅ－Ｓｔａｍｐ）やピクチャの復号化時刻であるＤＴＳ（Ｄｅｃｏｄｉｎｇ　Ｔｉｍｅ－Ｓｔａｍｐ）が格納される。
　図８は、ＴＳパケット７０のデータ構造を示している。ＴＳパケット７０は、４ＢｙｔｅのＴＳヘッダ７１と、データ格納部７２とから構成される１８８Ｂｙｔｅ固定長のパケットである。さらに、データ格納部７２は、アダプテーションフィールド７３とＴＳペイロード７４から構成されている。ＴＳヘッダ７１は、ｔｒａｎｓｐｏｒｔ＿ｐｒｉｏｒｉｔｙ　７５、ＰＩＤ　７６、ａｄａｐｔａｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌ　７７等から構成される。ＰＩＤ　７６は前述したとおりトランスポートストリームに多重化されているストリームを識別するためのＩＤである。ｔｒａｎｓｐｏｒｔ＿ｐｒｉｏｒｉｔｙ　７５は、同一ＰＩＤのＴＳパケットの中のパケットの種別を識別するための情報である。ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌ　７７は、アダプテーションフィールド７３とＴＳペイロード７４の構成を制御するための情報である。アダプテーションフィールド７３とＴＳペイロード７４はどちらかだけが存在する場合と両方が存在する場合があり、ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌ　７７はその有無を示す。ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌ　７７に値１が格納されている場合は、ＴＳペイロード７４のみが存在し、ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌ　７７に値２が格納されている場合は、アダプテーションフィールド７３のみが存在し、ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌ　７７に値３が格納されている場合は、ＴＳペイロード７４とアダプテーションフィールド７３の両方が存在することを示す。
　アダプテーションフィールド７３は、ＰＣＲ等の情報の格納や、ＴＳパケット７０を１８８バイト固定長にするためのスタッフィングするデータの格納領域である。ＴＳペイロード７４にはＰＥＳパケットが分割されて格納される。
　トランスポートストリームに含まれるＴＳパケットには、上述したように、映像・音声・字幕等の各ストリーム以外にもＰＡＴ、ＰＭＴ、ＰＣＲ等が含まれる。ＰＡＴはトランスポートストリーム中に利用されるＰＭＴのＰＩＤが何であるかを示し、ＰＡＴ自身のＰＩＤは０で登録される。ＰＭＴは、トランスポートストリーム中に含まれる映像・音声・字幕等の各ストリームのＰＩＤと各ＰＩＤに対応するストリームの属性情報を持ち、またトランスポートストリームに関する各種ディスクリプタを持つ。ディスクリプタにはＡＶストリームのコピーを許可・不許可を指示するコピーコントロール情報等がある。ＰＣＲは、ＴＳパケットのデコーダへの到着時刻とＰＴＳ・ＤＴＳの時間軸であるＳＴＣ（Ｓｙｓｔｅｍ　Ｔｉｍｅ　Ｃｌｏｃｋ）の同期を取るために、そのＰＣＲパケットがデコーダに転送されるタイミングに対応するＳＴＣ時間の情報を持つ。
　図９は、ＰＭＴのデータ構造を詳しく説明する図である。ＰＭＴ８０の先頭には、そのＰＭＴに含まれるデータの長さ等を記したＰＭＴヘッダ８１が配置される。その後ろには、トランスポートストリームに関する複数のディスクリプタ８２、・・・、８３が配置される。前述したコピーコントロール情報等が、ディスクリプタとして記載される。ディスクリプタの後には、トランスポートストリームに含まれる各ストリームに関する複数のストリーム情報８４、・・・、８５が配置される。各ストリーム情報は、ストリームの圧縮コーデック等を識別するためストリームタイプ８６、ストリームのＰＩＤ８７、ストリームの属性情報（フレームレート、アスペクト比等）が記載されたストリームディスクリプタ８８、・・・、８９から構成される。
　トランスポートストリームに含まれる各ストリームは、上記のＰＩＤによって識別される。このＰＩＤのパケットを抽出することで受信側の装置は、対象のストリームを抽出することができる。
　以上がデジタルテレビの放送波等で伝送される一般的なストリームの構造の説明である。
　２．２　放送通信連携システム（送受信システム）１０００の概要
　本実施の形態に係る放送通信連携システム１０００は、図１０に示すように、中継用システム１００、送信装置２００及び再生装置３００から構成されている。なお、図１０では再生装置３００が１台のみ図示しているが、放送通信連携システム１０００には複数の再生装置が存在している。
　中継用システム１００は、配信される番組に係る映像を撮影し、撮影した映像を送信装置２００へ送信するシステムである。例えば、中継用システム１００は、サッカーの試合を撮影し、撮影した映像を送信装置２００へ送信する。映像を送信する際に、中継用システム１００は、サッカーの試合中における各選手の位置を示す位置情報をも送信装置２００へ送信する。
　送信装置２００は、通常の放送波による映像（番組）と、ＩＰ通信を用いた配信による映像とを再生装置へ送信する装置である。送信装置２００は、中継用システム１００から受信した映像から、放送波による配信のための放送用ストリームと、ＩＰ通信による配信のためのＩＰ放送用ストリームとを生成し、それぞれを送信する。なお、送信装置２００において、中継用システム１００で撮影された各画像（映像フレーム）に対して、当該画像の撮影時に取得された位置情報の割り当てが行われ、ＩＰ放送用ストリームには、各画像と、画像毎に割り当てられた位置情報とが含まれる。
　再生装置３００は、送信装置２００から送信されたストリームを受信し、受信したストリームに含まれる各画像を再生する装置である。
　再生装置３００は、ＩＰ放送用ストリームを用いて再生を行う場合、再生対象の画像に対して当該画像の内容を示す重畳データの重畳が許可されているときには、当該画像に割り当てられた位置情報に基づいた位置に当該重畳データを重畳して再生する。再生装置３００は、放送用ストリームを用いて再生を行う場合には、重畳データを重畳することなしに、各画像の再生を行う。
　２．３　構成
　ここでは、中継用システム１００、送信装置２００及び再生装置３００それぞれの構成について説明する。
　２．３．１　中継用システム１００
　中継用システム１００は、図１０に示すように、映像撮影部１０１と情報取得部１０２とから構成されている。
　（１）映像撮影部１０１
　映像撮影部１０１は、番組（例えば、サッカーの試合）についての映像及び音声を取得する機能を有するものである。
　ここでは、映像撮影部１０１において、映像を取得し、送信装置２００へ送信する機能に係る構成について説明する。
　映像撮影部１０１は、図１１に示すように、カメラ１１１、１１２、１１３、切替部１１４及び映像送信部１１５から構成されている。
　また、映像撮影部１０１は、プロセッサ及びメモリ（図示せず）を含んで構成されており、切替部１１４及び映像送信部１１５それぞれの機能は、メモリに記憶されているプログラムをプロセッサが実行することにより実現される。
　なお、図１１においては映像を取得し、送信する機能に係る構成要素だけを示しているが、映像撮影部１０１は、取得した映像に対応する音声を取得し、送信する機能をも備えている。
（１－１）カメラ１１１、１１２、１１３
　カメラ１１１、１１２、１１３それぞれは、図１２に示すように異なる位置に配置され、番組（例えば、サッカーの試合）を撮影するためのものである。カメラ１１１、１１２、１１３は、番組についての画像を逐次撮影し、撮影した画像を切替部１１４へ送信する。
　また、カメラ１１１、１１２、１１３それぞれは、撮影した画像を送信する際に、当該映像を撮影した条件を示す撮影条件情報Ｔ１００、及び当該画像を撮影した時刻を、当該映像と対応付けて送信する。
　撮影条件情報Ｔ１００は、図１３に示すように、カメラ番号Ｔ１０１、方位角Ｔ１０２、仰俯角Ｔ１０３及び倍率Ｔ１０４からなるデータである。
　カメラ番号Ｔ１０１は、当該カメラを一意に識別するためのものである。ここでは、カメラ１１１にはカメラ番号“１”が、カメラ１１２にはカメラ番号“２”が、カメラ１１３にはカメラ番号“３”が、それぞれ割り当てられているものとする。
　方位角Ｔ１０２は、平面上において、ある基準軸と、カメラレンズの方向とのなす角度を示すものである。例えば、方位角Ｔ１０２は、図１２に示すｘ軸及びｙ軸とから定義される平面上において、ｘ軸を基準としたカメラレンズの方向とのなす角度であり、図１４に示す角度αに相当する。
　仰俯角Ｔ１０３は、ある平面を基準として、当該平面とカメラレンズの方向とのなす角度とのなす角度（上下角）を示すものである。例えば、仰俯角Ｔ１０３は、図１２に示すｘ軸及びｙ軸とから定義される平面上を基準として、カメラレンズの方向とのなす角度であり、図１４に示す角度βに相当する。
　倍率Ｔ１０４は、画像を撮影した際の倍率を示すものである。
　なお、映像撮影部１０１は、３台のカメラを構成要素として備えるとしているが、カメラの台数は１台以上であればよい。
　（１－２）切替部１１４
　切替部１１４は、ユーザ操作により映像送信部１１５と接続されるカメラの切り替えを行うものである。
　映像送信部１１５は、切替部１１４で接続されたカメラから受信した画像と、当該画像に対応付けられた撮影条件情報及び当該映像が撮影された時刻とを送信装置２００へ送信する。これにより、映像撮影部１０１は、カメラ１１１、１１２、１１３それぞれが撮影した画像のうち、一の画像を送信装置２００へ送信することができる。
　（２）情報取得部１０２
　情報取得部１０２は、カメラ１１１、１１２、１１３によって撮影される人物（例えば、サッカー選手）の位置情報を取得する機能を備える。
　情報取得部１０２は、図１５に示すように、受信機１５１、１５２、１５３、１５４、情報収集処理部１５５、及び情報送信部１５６から構成されている。
　また、情報取得部１０２は、プロセッサ及びメモリ（図示せず）を含んで構成されており、情報収集処理部１５５、情報送信部１５６それぞれの機能は、メモリに記憶されているプログラムをプロセッサが実行することにより実現される。
　（２－１）受信機１５１、１５２、１５３、１５４
　受信機１５１、１５２、１５３、１５４は、カメラ１１１、１１２、１１３によって撮影される人物それぞれに備えられた無線発信機（図示せず）から発せられる信号を定期的（例えば、１／６０秒毎）に受信するものであり、例えば、図１６に示すような位置に配置されている。
　なお、無線発信機は、例えば、選手のユニフォームやシューズ等に装着されており、無線発信機が送信する信号には、当該無線発信機を一意に識別するための識別子（選手識別子）が含まれている。
　（２－２）情報収集処理部１５５
　情報収集処理部１５５は、無線発信機それぞれが送信する信号を用いて、当該無線発信機の位置を特定、つまりは当該無線発信機を所持する選手の位置を特定するものである。
　情報収集処理部１５５は、各無線発信機から送信された信号それぞれについて、受信機１５１、１５２、１５３、１５４の各々が受信した当該信号の受信強度から当該無線発信機の位置を特定する。具体的には、情報収集処理部１５５は、受信機１５１が受信した信号の受信強度から受信機１５１との距離（長さ）を推測し、受信機１５１を中心とし、推測した距離（長さ）を半径とする円形状の範囲を特定する。
情報収集処理部１５５は、情報収集処理部１５５は、上記と同様に受信機１５２、１５３、１５４それぞれを中心とする円形状の範囲を特定する。そして、情報収集処理部１５５は、同一の発信機から送信された信号を用いて特定された４つの円形状の範囲全てに共通する地点を特定し、その地点を当該信号の発信元である発信機の位置と特定する。
　情報収集処理部１５５は、無線発信機毎に、当該無線発信機の位置、つまりは選手の位置を特定すると、選手識別子Ｔ２０１と位置データＴ２０２とからなる位置情報を生成する。ここで、選手識別子Ｔ２０１は、上述したように、無線発信機に割り当てられた、当該無線発信機を一意に識別するためのものである。位置データＴ２０２は、当該無線発信機について特定された位置を示すものであり、例えば、図１２に示すｘ軸とｙ軸とから定まる平面上の座標で表される。
　情報収集処理部１５５は、各無線発信機について位置情報を生成すると、図１７に示す、これら位置情報からなる位置情報テーブルＴ２００を生成する。情報収集処理部１５５は、生成した位置情報テーブルＴ２００と、位置情報テーブルＴ２００を生成した時刻（生成時刻）とを対応付けて送信装置２００へ出力する。
　受信機１５１、１５２、１５３、１５４は定期的（例えば、１／６０秒毎）に各無線発信機からの信号を受信するため、情報収集処理部１５５で生成される位置情報テーブルＴ２００は、信号の受信間隔（１／６０秒）と同一の間隔で生成される。つまり、情報収集処理部１５５は、位置情報テーブルＴ２００の生成及び送信を定期的（例えば、１／６０秒毎）に行っている。そのため、生成された位置情報テーブルＴ２００それぞれについて、当該位置情報テーブルＴ２００の生成時刻を対応付けることで、受信側（送信装置２００）は、受信した位置情報テーブルＴ２００それぞれの生成時刻を知ることができる。
　（２－３）情報送信部１５６
　情報送信部１５６は、情報収集処理部１５５から受け取った位置情報テーブルＴ２００及び生成時刻を送信装置２００へ送信する。
　２．３．２　送信装置２００
　送信装置２００は、中継用システム１００から受け取った映像及び位置情報テーブルＴ２００を外部（再生装置３００）へ送信するものである。
　また、送信装置２００は、位置情報テーブルＴ２００に含まれる選手識別子それぞれに対応する選手に関する情報であって、画像に重畳されるための情報をも外部（再生装置３００）へ送信する。
　ここでは、送信装置２００において、映像及び位置情報テーブルＴ２００を取得し、これらデータ（映像及び位置情報テーブルＴ２００）と、画像に重畳されるための情報とを外部（再生装置３００）へ送信する機能に係る構成について説明する。
　送信装置２００は、図１０に示すように、取得処理部２０１、更新処理部２０２、記憶部２０３、送信処理部２０４及び受信部２０５から構成されている。
　また、送信装置２００は、プロセッサ及びメモリ（図示せず）を含んで構成されており、取得処理部２０１、更新処理部２０２、送信処理部２０４及び受信部２０５それぞれの機能は、メモリに記憶されているプログラムをプロセッサが実行することにより実現される。
　なお、図１０においては、映像及び位置情報テーブルＴ２００を取得し、これらデータ（映像及び位置情報テーブルＴ２００）と、画像に重畳されるための情報とを外部（再生装置３００）へ送信する機能に係る構成要素だけを示しているが、取得した映像に対応する音声を取得し、取得した音声及び字幕データを送信する機能を備えている。
　（１）取得処理部２０１
　取得処理部２０１は、中継用システム１００から、撮影された映像及び位置情報テーブルＴ２００を受け取り、所定の処理を行った後、送信処理部２０４へ出力する機能を有している。
　また、取得処理部２０１は、受け取った位置情報テーブルＴ２００を更新処理部２０２へ出力する機能をも有している。
　取得処理部２０１は、図１０に示すように、第１取得部２１１、第２取得部２１２及び対応付け処理部２１３を有している。
　（１－１）第１取得部２１１
　第１取得部２１１は、中継用システム１００の映像撮影部１０１から、当該映像撮影部１０１で撮影された映像、及び映像に含まれる画像それぞれに対応付けられた撮影時刻を受け取り、受け取った映像と、映像に含まれる画像それぞれに対応付けられた撮影時刻及び撮影条件情報Ｔ１００とを対応付け処理部２１３へ出力する。
　また、第１取得部２１１は、映像撮影部１０１から受け取った映像を、後述する送信処理部２０４の放送用ストリーム生成部２２１へ出力する。
　（１－２）第２取得部２１２
　第２取得部２１２は、中継用システム１００の情報取得部１０２から、当該情報取得部１０２で生成された位置情報テーブルＴ２００及び当該位置情報テーブルＴ２００の生成時刻を、定期的（例えば１／６０秒毎）に受け取り、受け取った位置情報テーブルＴ２００及びその生成時刻を、対応付け処理部２１３へ逐次出力する。
　また第２取得部２１２は、情報取得部１０２から定期的（例えば、１／６０秒毎）に受け取った位置情報テーブルＴ２００を、更新処理部２０２へ逐次出力する。
　（１－３）対応付け処理部２１３
　対応付け処理部２１３は、第１取得部２１１で取得した映像に含まれる各画像と、第２取得部２１２で取得した各位置情報テーブルＴ２００との対応付けを行うものである。
　対応付け処理部２１３は、第１取得部２１１から受け取った各撮影時刻と、第２取得部２１２から受け取った各生成時刻とを比較し、一致する時刻について、当該時刻で撮影された画像と、当該時刻で生成された位置情報テーブルＴ２００との対応付けを行い、対応付けされた画像及び位置情報テーブルＴ２００と、当該画像に対する撮影条件情報Ｔ１００とを、後述する送信処理部２０４のＩＰ放送用ストリーム生成部２２２へ出力する。
　通常、テレビで再生される映像は、１／６０秒ごとに更新されるので、映像に含まれる各画像は１／６０秒ごとに撮影されることになる。そのため、本実施の形態のように、位置情報テーブルＴ２００が１／６０秒毎に生成することで、映像に含まれる各画像と、１／６０秒毎に生成される位置情報テーブルＴ２００とは、１対１に対応付けされる。
　（２）更新処理部２０２
　更新処理部２０２は、後述する重畳情報テーブルＴ５００に含まれるパラメータＴ５０３の更新を行うものである。
　更新処理部２０２は、第２取得部２１２から位置情報テーブルＴ２００を逐次受け取る。
　更新処理部２０２は、無線発信機が備えられた各人物（サッカー選手）について、逐次受け取った位置情報テーブルＴ２００に格納されている当該人物（サッカー選手）の位置情報の変化に基づいて、当該人物の走行距離（移動距離）を算出する。当該人物に対応する位置情報に含まれる位置データは、平面上の座標で表されているので、２点間の距離を求めることで、２点間の距離が算出される。そのため、更新処理部２０２は、例えば、生成時刻の間隔が１秒となる各位置情報テーブルＴ２００を用いて、当該間隔における人物の１秒間における移動距離を算出し、算出結果を逐次加算することで、走行距離を算出する。
　また、更新処理部２０２は、当該装置の操作者から、無線発信機を備える各人物（サッカー選手）について、サッカーの試合における詳細な情報（例えば、シュート数、ゴール数）を受け付ける。
　更新処理部２０２は、算出した走行距離、及び操作者から受け付けた情報（例えば、シュート数、ゴール数）に基づいて、重畳情報テーブルＴ５００に含まれるパラメータＴ５０３の更新を行う。
　（３）記憶部２０３
　記憶部２０３は、外部（再生装置３００）へ送信する情報を格納するものである。
　記憶部２０３は、カメラ情報テーブルＴ３００、及び重畳情報テーブルＴ５００を記憶している。
　以下、各テーブルについて説明する。
　（３－１）カメラ情報テーブルＴ３００
　カメラ情報テーブルＴ３００は、図１８に示すように、カメラ番号Ｔ３０１、機種Ｔ３０２、撮影位置Ｔ３０３及び重畳可否フラグＴ３０４からなる組を１つ以上記憶するための領域を有している。
　カメラ番号Ｔ３０１は、撮影に用いられるカメラそれぞれを一意に識別するためのものである。例えば、カメラ番号“１”は図１１に示すカメラ１１１が、カメラ番号“２”はカメラ１１２が、カメラ番号“３”はカメラ１１３が、それぞれ割り当てられている。
　機種Ｔ３０２は、対応するカメラ番号に対応するカメラの機種を示すものである。
　撮影位置Ｔ３０３は、対応するカメラ番号に対応するカメラが設置されている位置を示すものである。撮影位置Ｔ３０３は、例えば、図１２に示すように、ｘ軸及びｙ軸とから定義される平面上の座標で表される。
　重畳可否フラグＴ３０４は、対応するカメラ番号に対応するカメラで撮影された画像に対して重畳データの重畳の可否を示すものである。
　（３－２）重畳情報テーブルＴ５００
　重畳情報テーブルＴ５００は、無線発信機を備えている人物（サッカー選手）それぞれに関する情報を記憶するものであり、図１９に示すように、選手識別子Ｔ５０１、選手名Ｔ５０２、パラメータＴ５０３からなる組を１つ以上記憶するための領域を有している。
　選手識別子Ｔ５０１は、図１７に示す選手識別子Ｔ２０１と同様に、無線発信機に割り当てられた、当該無線発信機を一意に識別するためのものである。
　選手名Ｔ５０２は、対応する選手識別子を有する無線発信機が割り当てられた選手の名前を示すものである。
　パラメータＴ５０３は、対応する選手に関する情報であり、パラメータＴ５０３には、図１９に示すように、走行距離Ｔ５０４、シュート数Ｔ５０５及びゴール数Ｔ５０６が含まれる。放送開始前においては、走行距離Ｔ５０４、シュート数Ｔ５０５及びゴール数Ｔ５０６には何ら情報が格納されていないが、放送が開始されると、中継用システム１００から送信された位置情報テーブルＴ２００及び送信装置２００の操作者から受け付けられた情報に基づいて、更新処理部２０２によって更新される。
　（４）送信処理部２０４
　送信処理部２０４は、中継用システム１００から受け取った映像について、再生装置３００へ放送波による送信、及びＩＰ通信による送信を行うために、それぞれの送信形態に応じたストリームを生成し、生成したストリームそれぞれを送信するものである。
　送信処理部２０４は、図１０に示すように、放送用ストリーム生成部２２１、ＩＰ放送用ストリーム生成部２２２、フラグ付与部２２３、第１送信部２２４及び第２送信部２２５から構成されている。
　（４－１）放送用ストリーム生成部２２１
　放送用ストリーム生成部２２１は、中継用システム１００から受け取った映像を含み、放送波で送信するためのトランスポートストリーム（以下、「放送用ストリーム」という。）を生成するものである。
　放送用ストリーム生成部２２１は、第１取得部２１１から映像を受け取ると、受け取った映像を構成する画像それぞれについて圧縮・符号化して圧縮ピクチャデータを生成する。さらに、放送用ストリーム生成部２２１は、生成した圧縮ピクチャデータそれぞれについて、当該圧縮ピクチャデータを含むビデオアクセスユニットを生成し、生成したビデオアクセスユニットそれぞれからＰＥＳパケットを生成する。生成されたこれらＰＥＳパケットが、図１に示すＰＥＳパケット列３２を構成する。
　また、放送用ストリーム生成部２２１は、取得した音声（図示せず）から音声のＰＥＳパケットを、字幕データ（図示せず）から機能セグメント列を、それぞれ生成する。
　放送用ストリーム生成部２２１は、生成した映像に係るＰＥＳパケット、音声に係るＰＥＳパケット及び機能セグメント列のそれぞれを、ＴＳパケットに分割し、それぞれのＴＳストリーム（ここでは、映像のＴＳストリーム、音声のＴＳストリーム及び字幕データのＴＳストリーム）を生成する。
　放送用ストリーム生成部２２１は、生成した各ＴＳストリームを多重化して、１つの放送用ストリームを生成し、生成した放送用ストリームを第１送信部２２４へ出力する。
　例えば、放送用ストリーム生成部２２１は、映像のＴＳストリームはＭＰＥＧ－２　Ｖｉｄｅｏの圧縮アルゴリズムで、音声のＴＳストリームはＭＰＥＧ－２　ＡＡＣ等の圧縮アルゴリズムで圧縮する。そして、放送用ストリーム生成部２２１は、圧縮された映像・音声データを、例えばＭＰＥＧ－２トランスポートストリームによって多重化して、放送用ストリームを生成する。圧縮アルゴリズム及び伝送フォーマットについては、例えばＭＰＥＧ－４　ＡＶＣ、ＭＰＥＧ―４　ＡＡＣ、ＭＰ４等の他の方式でもよく、特に限定しない。
　（４－２）ＩＰ放送用ストリーム生成部２２２
　ＩＰ放送用ストリーム生成部２２２は、中継用システム１００から受け取った映像を含み、ＩＰ通信で送信するためのトランスポートストリーム（以下、「ＩＰ放送用ストリーム」という。）を生成するものである。
　ＩＰ放送用ストリーム生成部２２２は、対応付け処理部２１３で対応付けされた画像及び位置情報テーブルＴ２００と、当該画像に対する撮影条件情報Ｔ１００とを、対応付け処理部２１３から逐次受け取る。
　ＩＰ放送用ストリーム生成部２２２は、対応付け処理部２１３から受け取った画像それぞれについて、ＰＥＳパケットを生成する。このとき、ＩＰ放送用ストリーム生成部２２２は、ビデオアクセスユニットの補足データに、当該ビデオアクセスユニットの画像に対応付けられた位置情報テーブルＴ２００、及びフラグ付き撮影条件情報を含めて、ＰＥＳパケットを生成する。なお、フラグ付き撮影条件情報については、後述する。
　また、ＩＰ放送用ストリーム生成部２２２は、放送用ストリーム生成部２２１と同様に、音声のＰＥＳパケット、及び字幕データの機能セグメント列を生成する。
　ＩＰ放送用ストリーム生成部２２２は、生成した映像に係るＰＥＳパケット、音声に係るＰＥＳパケット及び機能セグメント列のそれぞれを、ＴＳパケットに分割し、それぞれのＴＳストリーム（ここでは、映像のＴＳストリーム、音声のＴＳストリーム及び字幕データのＴＳストリーム）を生成する。
　ＩＰ放送用ストリーム生成部２２２は、生成した各ＴＳストリームを多重化して、１つのＩＰ放送用ストリームを生成し、生成したＩＰ放送用ストリームを第２送信部２２５へ出力する。
　例えば、ＩＰ放送用ストリーム生成部２２２は、映像のＴＳストリームはＭＰＥＧ－２　Ｖｉｄｅｏの圧縮アルゴリズムで、音声のＴＳストリームはＭＰＥＧ－２　ＡＡＣ等の圧縮アルゴリズムで圧縮する。そして、ＩＰ放送用ストリーム生成部２２２は、圧縮された映像・音声データを、例えばＭＰＥＧ－２トランスポートストリームによって多重化して、ＩＰ放送用ストリームを生成する。圧縮アルゴリズム及び伝送フォーマットについては、例えばＭＰＥＧ－４　ＡＶＣ、ＭＰＥＧ―４　ＡＡＣ、ＭＰ４等の他の方式でもよく、特に限定しない。
　ここで、フラグ付き撮影条件情報のデータ構造について説明する。図１５は、フラグ付き撮影条件情報を含んだビデオストリーム（映像のＴＳストリーム）ＶＳ１００を模式的に示す図である。
　ビデオストリームＶＳ１００は、カメラ１１１で撮影された映像ＶＳ１０１、ＣＭの映像ＶＳ１０２、カメラ１１２で撮影された映像ＶＳ１０３、カメラ１１１で撮影された映像ＶＳ１０４及びカメラ１１３で撮影された映像ＶＳ１０５を含んでいる。各映像ＶＳ１０１～ＶＳ１０５に含まれる画像それぞれの補足データには、フラグ付き撮影条件情報が対応付けられている。例えば、映像ＶＳ１０１に含まれる一の画像にはフラグ付き撮影条件情報Ｔ６００ａが、映像ＶＳ１０２に含まれる一の画像にはフラグ付き撮影条件情報Ｔ６００ｂが、映像ＶＳ１０３に含まれる一の画像にはフラグ付き撮影条件情報Ｔ６００ｃが、映像ＶＳ１０４に含まれる一の画像にはフラグ付き撮影条件情報Ｔ６００ｄが、映像ＶＳ１０５に含まれる一の画像にはフラグ付き撮影条件情報Ｔ６００ｅが、対応付けられた画像の補足データに含まれている。
　フラグ付き撮影条件情報Ｔ６００ａ～Ｔ６００ｅのデータ構造について説明するが、これら情報全て、データ構造は同じであるので、ここでは、フラグ付き撮影条件情報Ｔ６００ａのデータ構造について説明する。
　フラグ付き撮影条件情報Ｔ６００ａは、　図２０に示すように、カメラ番号Ｔ６０１、方位角Ｔ６０２、仰俯角Ｔ６０３、倍率Ｔ６０４及び重畳フラグＴ６０５からなるデータである。
　カメラ番号Ｔ６０１、方位角Ｔ６０２、仰俯角Ｔ６０３及び倍率Ｔ６０４のそれぞれは、図１３に示すカメラ番号Ｔ１０１、方位角Ｔ１０２、仰俯角Ｔ１０３及び倍率Ｔ１０４と同様であるので、ここでの説明は省略する。
　重畳フラグＴ６０５は、フラグ付き撮影条件情報Ｔ６００ａが対応付けられた画像に対して、データの重畳の許否を示すものである。
　なお、フラグ付き撮影条件情報は、フラグ付与部２２３において、撮影条件情報に重畳フラグを付与することで生成される。
　ここで、ＣＭの映像ＶＳ１０２に対して、カメラ番号Ｔ６０１、方位角Ｔ６０２、仰俯角Ｔ６０３、倍率Ｔ６０４には何ら値が設定されていない。これは、ＣＭの映像ＶＳ１０２は、番組の本編（サッカーの試合）ではない、つまりカメラ１１１、１１２、１１３の何れかで撮影された映像ではないので、当該映像を撮影した条件を示す必要はないからである。また、ＣＭの映像ＶＳ１０２に対して、重畳フラグＴ６０５には、常に“不可”を示す情報が設定される。
　（４－３）フラグ付与部２２３
　フラグ付与部２２３は、上述したフラグ付き撮影条件情報を生成するものである。
　フラグ付与部２２３は、ＩＰ放送用ストリーム生成部２２２が受け取った各画像に対して、当該画像についてデータの重畳を許可するか否かを示す重畳フラグを、操作者（番組製作者）から受け付ける。
　フラグ付与部２２３は、受け付けた重畳フラグを、当該重畳フラグに対応する画像に対応付けられた撮影条件情報Ｔ１００に付与し、フラグ付き撮影条件情報を生成する。
　これにより、番組製作者は、撮影された各画像について、当該画像が当該画像にデータを重畳させて視聴者に視聴させる視聴サービスに適する画像であるかどうかを判断し、重畳フラグを付与することができる。
　（４－４）第１送信部２２４
　第１送信部２２４は、放送用ストリームをＩＳＤＢ方式に変換し電波（放送波）として送出するものである。
　第１送信部２２４は、放送用ストリーム生成部２２１で生成された放送用ストリームを受け取る。
　第１送信部２２４は、第２送信部２２５からＩＰ放送用ストリームの格納先（ＵＲＬ）を示す情報や、ポート番号、プロトコル情報等を含む格納先情報を受け取ると、受け取った格納先情報を放送用ストリームに含める。例えば、格納先情報は、放送用ストリームに含まれるＥＩＴに記載される。
　第１送信部２２４は、格納先情報が含まれた放送用ストリームを、ＩＳＤＢ方式に変換、例えば一般社団法人電波産業会が規定する規格に準じた伝送フォーマットに変換し、送出する。
　（４－５）第２送信部２２５
　第２送信部２２５は、ＩＰ放送用ストリーム生成部２２２で生成されたＩＰ放送用ストリームを、例えば一般社団法人ＩＰＴＶフォーラムが規定するＩＰ放送用の伝送フォーマットに変換し送出するものである。
　また、第２送信部２２５は、受信部２０５から、ＩＰ放送用ストリームの送出を開始する旨の開始指示を受け付けると、記憶部２０３から現時点で格納されているカメラ情報テーブルＴ３００、及び重畳情報テーブルＴ５００を、ＩＰ放送用ストリームの送出に先立って、送出する。
　第２送信部２２５は、カメラ情報テーブルＴ３００、及び重畳情報テーブルＴ５００を送信した後に、ＩＰ放送用ストリームの送出を行う。
　（５）受信部２０５
　受信部２０５は、再生装置３００からの要求をＩＰ通信により受け付けるものである。
　受信部２０５は、再生装置３００へ放送波により送信した格納先情報に含まれるＩＰ放送用ストリームの格納先（ＵＲＬ）へのアクセス要求を再生装置３００から受け付けると、開始指示を第２送信部２２４へ出力する。
　２．３．３　再生装置３００
　再生装置３００は、送信装置２００から送信された映像をＩＰ通信により受信した場合には受信した映像に、当該映像と重畳させるための重畳データを重畳して再生し、放送波で映像を受信した場合には重畳データを重畳させることなく映像を再生するものである。
　再生装置３００は、図２１に示すように、送受信部３０１及び再生処理部３０２から構成されている。
　また、再生装置３００は、プロセッサ及びメモリ（図示せず）を含んで構成されており、送受信部３０１及び再生処理部３０２それぞれの機能は、メモリに記憶されているプログラムをプロセッサが実行することにより実現される。
　なお、図２１においては、映像を再生する機能に係る構成要素だけを示しているが、再生装置３００は、映像に対応する音声及び字幕データを送信装置２００から受信し、映像とともに出力する機能も備えている。
　（１）送受信部３０１
　送受信部３０１は、放送波及びＩＰ通信により、送信装置２００から送信されたストリームを受信し、送信装置２００へのＩＰ放送用ストリームの送信を要求する旨の情報を送信するものである。
　送受信部３０１は、図２１に示すように、放送受信部３１１、送信部３１２及びＩＰ放送受信部３１３を有している。
　（１－１）放送受信部３１１
　放送受信部３１１は、送信装置２００の第１送信部２２４から送信された放送用ストリームを受信し、受信した放送用ストリームを、後述する再生処理部３０２の多重化分離部３２１へ出力する。
　（１－２）送信部３１２
　送信部３１２は、後述する再生処理部３０２のＩＰ放送選局部３２３から受け取ったＩＰ放送用ストリームを格納しているＵＲＬやポート番号、プロトコル情報等に基づいて、ＩＰ放送用ストリームの格納先へのアクセス要求を送信装置２００へＩＰ通信を介して送信する。
　（１－３）ＩＰ放送受信部３１３
　ＩＰ放送受信部３１３は、ＩＰ通信により、送信装置２００の第２送信部２２５から送信されたＩＰ放送用ストリームを受信し、受信したＩＰ放送用ストリームを、後述する再生処理部３０２の多重化分離部３２２へ出力する。
　また、ＩＰ放送受信部３１３は、ＩＰ通信により、ＩＰ放送用ストリームの受信に先立って、カメラ情報テーブルＴ３００、及び重畳情報テーブルＴ５００を受信し、後述する再生処理部３０２の描画処理部３２６へ出力する。
　（２）再生処理部３０２
　再生処理部３０２は、送信装置２００から受信した映像の再生を行うものである。
　再生処理部３０２は、図２１に示すように、多重化分離部３２１、３２２、ＩＰ放送選局部３２３、デコーダ３２４、３２５、描画処理部３２６、画像重畳処理部３２７、及び出力映像切替部３２８を有している。
　（２－１）多重化分離部３２１
　多重化分離部３２１は、ＭＰＥＧ－２トランスポートストリーム等で多重化された映像・音声・字幕データ等の情報を分離するものである。
　多重化分離部３２１は、送信装置２００から受信した放送用ストリームを、映像のストリーム、音声のストリーム、字幕データのストリーム及びＥＩＴ等のＳＩ／ＰＳＩに分離する。
　多重化分離部３２１は、映像のストリームをデコーダ３２４に出力する。
　また、多重化分離部３２１は、ＥＩＴに含まれる格納先情報を、ＩＰ放送選局部３２３へ出力する。
　なお、図示していないが、音声のストリームは、音声用のデコーダに、字幕データはストリームを字幕データ用のデコーダにそれぞれ出力され、各デコーダにてデコードされて再生される。
　（２－２）多重化分離部３２２
　多重化分離部３２２は、多重化分離部３２１と同様に、ＭＰＥＧ－２トランスポートストリーム等で多重化された映像・音声・字幕データ等の情報を分離するものである。
　多重化分離部３２２は、送信装置２００から受信したＩＰ放送用ストリームを、映像のストリーム、音声のストリーム、字幕データのストリーム及びＥＩＴ等のＳＩ／ＰＳＩに分離する。
　多重化分離部３２２は、映像のストリームをデコーダ３２５に出力する。さらに、多重化分離部３２２は、映像のストリームに含まれる各画像について、当該画像に割り当てられた補足データに格納された位置情報テーブルＴ２００、重畳情報テーブルＴ５００及びフラグ付き撮影条件情報を、描画処理部３２６へ出力する。
　なお、図示していないが、音声のストリームは、音声用のデコーダに、字幕データはストリームを字幕データ用のデコーダにそれぞれ出力され、デコードされて再生される。
　（２－３）ＩＰ放送選局部３２３
　ＩＰ放送選局部３２３は、ＩＰ放送用ストリーム、カメラ情報テーブルＴ３００、及び重畳情報テーブルＴ５００を受信するために、送信部３１２に対して当該送信部３１２がアクセス要求の送信先を制御するものである。
　ＩＰ放送選局部３２３は、ユーザから放送の受信形態を放送波による受信から、ＩＰ通信による受信へと切り替える放送形態切替指示を受け取ると、多重化分離部３２１から受け取った格納先情報を、送信部３１２へ出力する。さらに、ＩＰ放送選局部３２３は、出力する映像を放送波から受信した映像からＩＰ通信により受信した映像へと切り替える旨の映像切替指示を、出力映像切替部３２８へ出力する。
　（２－４）デコーダ３２４
　デコーダ３２４は、多重化分離部３２１から受け取った映像のストリームに含まれる圧縮・符号化された各映像を復号するものである。
　デコーダ３２４は、復号した各映像を再生順序に基づいて、後述する画像重畳処理部３２７の映像表示プレーンＦ１１０へ逐次出力（描画）する。
　（２－５）デコーダ３２５
　デコーダ３２５は、多重化分離部３２２から受け取った映像のストリームに含まれる圧縮・符号化された各映像を復号するものである。
　デコーダ３２５は、復号した各映像を再生順序に基づいて、映像表示プレーンＦ１１０へ逐次出力（描画）する。
　（２－６）描画処理部３２６
　描画処理部３２６は、表示対象の画像に対して、当該画像に応じたデータを重畳させることが許可されている場合に、重畳させるためデータ（以下、「重畳データ」という。）を取得し、当該画像に対して取得した重畳データの重畳位置を特定するものである。
　描画処理部３２６は、ＩＰ放送用ストリームの受信に先立って得られたカメラ情報テーブル及び重畳情報テーブルを、所定の記憶領域に記憶する。
　描画処理部３２６は、多重化分離部３２２から重畳情報テーブルを受け取ると、所定の記憶領域に記憶されている重畳情報テーブルを、受け取った重畳情報テーブルへと更新する。
　描画処理部３２６は、再生対象の画像を撮影したカメラ番号を、当該画像に割り当てられたフラグ付き撮影条件情報を用いて特定する。描画処理部３２６は、カメラ情報テーブルから特定したカメラ番号に対応付けられた重畳可否フラグ、及び当該画像に割り当てられたフラグ付き撮影条件情報に含まれる重畳フラグの双方ともが、重畳が許可されていることを示す“可”が設定されている場合に、以下の動作を行う。
　描画処理部３２６は、多重化分離部３２２から受け取ったフラグ付き撮影条件情報を用いて、フラグ付き撮影条件情報に割り当てられた、再生対象の画像が撮影された撮影範囲を特定する。
　描画処理部３２６は、多重化分離部３２２から受け取った位置情報テーブルＴ２００に含まれる各人物（サッカー選手）の位置に基づいて、特定した撮影範囲に存在する人物（サッカー選手）の選手識別子を１つ以上特定し、さらには当該画像において特定された選手識別子それぞれに対応する人物のテレビ画面上での位置をも特定する。
　描画処理部３２６は、所定の記憶領域に記憶されている重畳情報テーブルから特定された１つ以上の選手識別子それぞれに基づいて、当該選手識別子に対応する重畳情報に含まれる選手名及びパラメータに含まれる各情報（ここでは、走行距離、シュート数、ゴール数）からなる組を、重畳データとして取得する。
　描画処理部３２６は、取得した１つ以上の重畳データについて、当該重畳データに対応し、特定された人物のテレビ画面上での位置に基づいて、当該重畳データを表示するための開始位置、及び終了位置を特定する。
　描画処理部３２６は、１つ以上の重畳データそれぞれについて特定した開始位置及び終了位置から定まる四角形である、１つ以上の重畳データそれぞれを、後述する画像重畳処理部３２７の重畳データ描画プレーンＦ１００に描画するとともに、再生対象の画像と重畳すべき旨の重畳可能指示を画像重畳処理部３２７へ出力する。
　描画処理部３２６は、重畳可否フラグ、及び重畳フラグのうち少なくとも一方が、重畳が許可されていないことを示す“不可”が設定されている場合には、再生対象の画像と重畳しない旨の重畳不可情報を、画像重畳処理部３２７へ出力し、重畳データ描画プレーンＦ１００への描画は行わない。
　ここで、撮影範囲の特定方法、及び撮影範囲に存在する人物のテレビ画面上での位置の特定方法について説明する。
　図２２は、カメラ１１１ａで撮影される範囲を示す図である。例えば、サッカースタジアム等で全景を撮影するカメラ１１１ａは、一般的にスタジアムの高所であって、全体が撮影可能となるように設置される。図２２では、サッカーのフィールド上におけるセンターマークの地点Ｐ１０２が映像の中心に来るように撮影されており、実際のフィールド上での撮影範囲は４つの地点Ｐ１０３、Ｐ１０４、Ｐ１０５、Ｐ１０６で囲まれる範囲となる。撮影される映像は、この撮影範囲が例えば仮想テレビ画面Ｐ１０７に投影された結果としてカメラ１１１ａで記録されることになる。なお、以降の説明では、カメラ１１１ａの高さが０の地点であるＰ１０８を原点とする３次元座標で説明を行う。
　まず図２３、図２４を使って、撮影範囲の特定方法について説明する。
　図２３は、カメラ１１１ａの仰俯角を説明する図である。カメラ１１１ａは、上述したようにスタジアムの高所に設置されており、その高さはｈと表記される。また、カメラ１１１ａでセンターマークの地点Ｐ１０２を画面中心に設置した場合の俯角をα２と表記する。またその際のカメラ１１１ａの垂直画角を２×α１とする（光軸から撮影範囲の上辺（地点Ｐ１０３及び地点Ｐ１０５で定まる線分）まで、光軸から撮影範囲の下辺（地点Ｐ１０４及び地点Ｐ１０６で定まる線分）までのそれぞれの角度をα１と表記する）。高さｈはカメラ１１１ａを設置する際に調査しておく値であり、撮影時の仰俯角α２は、例えばカメラ１１１ａを設置する雲台から取得することが可能な値である。また、垂直画角２×α１は、カメラ１１１ａに装着されたレンズの倍率から決定される値であり、レンズの倍率を例えばレンズエンコーダで取得し、予め計測されていたレンズエンコーダ出力値と垂直・水平画角の関係表から抽出する値である。
　カメラ１１１ａの位置を（０、０、ｈ）、地点Ｐ１０４及び地点Ｐ１０６それぞれのｙ座標をｙ１、地点Ｐ１０２のｙ座標をｙ２、地点Ｐ１０３及び地点Ｐ１０５のｙ座標をｙ３とした場合、それぞれの値は、ｙ１＝ｈ×ｔａｎ（α２－α１）、ｙ２＝ｈ×（ｔａｎα２－ｔａｎ（α２－α１））、ｙ３＝ｈ×（ｔａｎ（α１＋α２）－ｔａｎα２）として、計算される。
　図２４は、カメラ１１１ａの水平画角を説明する図である。
　ここでは、カメラ１１１ａをセンターマークの地点Ｐ１０２を画面中心となるよう設置した場合の水平画角を２βとする（光軸から撮影範囲の右辺（地点Ｐ１０５及び地点Ｐ１０６からなる線分）まで、光軸から撮影範囲の左辺（地点Ｐ１０３及び地点Ｐ１０４からなる線分）までの角度をそれぞれβと表記する）。この水平画角は、垂直画角と同様にカメラ１１１ａに装着されたレンズの倍率から決定される値であり、予め計測されていたレンズエンコーダ値と水平・垂直画角の関係表から抽出する値である。水平画角と地点Ｐ１０５、Ｐ１０６それぞれのｙ座標ｙ１、ｙ２から地点Ｐ１０５、Ｐ１０６のｘ座標ｘ１、ｘ２はそれぞれ、ｘ１＝ｙ１×ｔａｎβ、ｘ２＝（ｙ１＋ｙ２＋ｙ３）×ｔａｎβとして計算される。すなわち、カメラ１１１ａで撮影される範囲は、サッカーフィールドの３次元座標系をもとに地点Ｐ１０３：（－ｘ２、ｙ２、０）、地点Ｐ１０４：（－ｘ１、ｙ１、０）、地点Ｐ１０５：（ｘ２、ｙ２、０）、地点Ｐ１０６：（ｘ１、ｙ１、０）で囲まれる台形（撮影範囲）Ｆ５０として表すことができる。このようにして、カメラ１１１ａの撮影パラメータを利用することで、撮影範囲を特定し、撮影範囲に存在する対象物を特定することが可能となる。
　次に、図２５、図２６及び図２７を用いて、撮影範囲Ｆ５０に含まれる被写体が、実際のテレビ画面のどの位置に表示されるか説明する。
　図２５は、カメラ１１１ａで撮影された映像がテレビ画面に映し出された状態を模式的に示すものである。テレビ画面内における被写体Ｆ５５の画面内座標は、画面左上を原点とした場合に（ｘ＿ｓ、ｙ＿ｓ）と表すことができる。本実施例では、フルＨＤ対応のテレビを想定しているため、ｘ座標の最大値は１９２０、ｙ座標の最大値は１０８０となる。
　図２６、図２７を用いて、被写体Ｆ５５が表示される画面内の位置を計算する方法について説明する。なお、説明を簡略化する為に被写体Ｆ５５のｚ軸方向の値を０として説明を行うが、実際には高さ分を考慮した計算を行う。
　図２６は、ｘ軸及びｙ軸から定まる平面を垂直方向から見た場合における、被写体Ｆ５５の位置を示す図である。被写体Ｆ５５は、フィールド上の座標として（ｘ＿ａ、ｙ＿ａ、０）で表される位置に存在し、その位置は情報取得部１０２で取得されているものとする。被写体Ｆ５５がテレビ画面に表示される際のｘ座標は、カメラ１１１ａと被写体Ｆ５５を結ぶ直線と仮想テレビ画面Ｐ１０７とが交差する点Ｐ１１０となる。この場合、被写体Ｆ５５のｘ座標は、ｘ＿ｓ＝９６０×（１＋（ｘ＿ａ／ｙ＿ａ）×（１／ｔａｎβ））で計算される。
　図２７は、ｘ軸及びｙ軸から定まる平面を水平方向から見た場合における、被写体Ｆ５５の位置を示す図である。被写体Ｆ５５がテレビ画面に表示される際のｙ座標は、カメラ１１１ａと被写体Ｆ５５を結んだ直線と仮想テレビ画面Ｐ１０７とが交差する点Ｐ１２０となる。この場合、被写体Ｆ５５のｙ座標は、ｙ＿ｓ＝５４０×（１－（１／ｔａｎα１）×（（ｙ＿ａ－ｈ×ｔａｎα２）／（ｈ＋ｙ＿ａ×ｔａｎα２）））で計算される。
　そして、算出されたｘ座標（ｘ＿ｓ）及びｙ座標（ｙ＿ｓ）の組で示さる座標値（ｘ＿ｓ、ｙ＿ｓ）が、被写体Ｆ５５がテレビ画面に表示される際の位置となる。
　このようにして、被写体Ｆ５５のサッカーフィールド上での位置が分かれば、テレビ画面に映し出される位置を計算することが可能となり、撮影された画像に重畳させる重畳データの表示位置を特定することができる。
　例えば、上記にて示す各特定方法を用いることで、図２８に示すように、カメラ１１１ａで撮影された撮影範囲Ｄ１００を特定することができ、さらには撮影範囲Ｄ１００に存在する各選手Ａ４、Ａ５、Ａ６、Ｂ１、Ｂ２のテレビ画面上での位置をも特定することができる。
　（２－７）画像重畳処理部３２７
　画像重畳処理部３２７は、デコーダ３２５でデコードされた画像に重畳が可能な場合には、当該画像に対して、描画処理部３２６で取得された１つ以上の重畳データを重畳するものである。
　画像重畳処理部３２７は、図２９に示すように、重畳データ描画プレーンＦ１００、映像表示プレーンＦ１１０及び重畳部３５０を有している。
　重畳部３５０は、描画処理部３２６から重畳可能指示を受け取ると、重畳データ描画プレーンＦ１００に描画された画像、つまり１つ以上の重畳データが描画された画像を、映像表示プレーンＦ１１０に描画された画像に重畳して、重畳データが重畳された画像Ｆ１２０を生成し、出力映像切替部３２８へ出力する。
　重畳部３５０は、描画処理部３２６から重畳不可指示を受け取ると、映像表示プレーンＦ１１０に描画された画像を、出力映像切替部３２８へ出力する。
　図２９では、選手Ｆ１１１に対して“選手Ａ１”のラベルＦ１０１、選手Ｆ１１２に対して“選手Ａ２”のラベルＦ１０２といった重畳データを重畳する場合の例を示している。なお、例えばラベルＦ１０１では、重畳する重畳データとして選手名及び当該選手に対する走行距離等のパラメータが含まれて表示されていることに留意する。図２９に示すように、再生対象の画像に対して１つ以上の重畳データの重畳が許可されている場合、描画処理部３２６によって当該映像に映っている選手（ここでは、選手Ａ１、選手Ａ２）が抽出され、画像重畳処理部３２７は、これら選手の位置に対して重畳データそれぞれが重畳された画像Ｆ１２０が生成される。また、図２９に示す点Ｆ１０１ａ、点Ｆ１０２ａが、重畳データＦ１０１、Ｆ１０２それぞれの開始位置であり、点Ｆ１０１ｂ、点Ｆ１０２ｂが、重畳データＦ１０１、Ｆ１０２それぞれの終了位置であり、これらの位置は、上述した描画処理部３２６で決定される。
　（２－８）出力映像切替部３２８
　出力映像切替部３２８は、再生対象の画像を、再生順序に従って、ディスプレイ等の表示部（図示せず）へ逐次出力するものである。
　出力映像切替部３２８は、放送波から受信した映像を再生する場合には、デコーダ３２４から出力された画像を、再生順序に従って表示部へ逐次出力する。
　出力映像切替部３２８は、ＩＰ放送選局部３２３から映像切替指示を受け取ると、再生対象の画像の受け取りを、デコーダ３２４から画像重畳処理部３２７へ切り替える。切り替え後においては、出力映像切替部３２８は、画像重畳処理部３２７から出力された画像を、再生順序に従って表示部へ逐次出力する。
　２．４　動作
　ここでは、各装置等における動作について説明する。
　（１）映像撮影部１０１の動作
　映像撮影部１０１の各カメラ１１１、１１２、１１３は、画像を逐次撮影し、撮影した画像と、当該画像に対する撮影条件情報とを切替部１１４へ逐次出力する。
　映像送信部１１５は、切替部１１４の制御により当該映像送信部１１５と接続されたカメラから出力された画像及び当該画像に対応する撮影条件を取得し、取得した画像及び撮影条件情報を送信装置２００へ出力する。
　（２）情報取得部１０２の動作
　ここでは、情報取得部１０２の動作について、図３０に示す流れ図を用いて説明する。
　受信機１５１、１５２，１５３、１５４のそれぞれは、撮影対象となる人物それぞれに備えられた無線発信機からの信号を受信し、情報収集処理部１５５へ出力する（ステップＳ５）。
　情報収集処理部１５５は、各無線発信機から送信された信号について、当該信号を受信した受信機１５１、１５２，１５３、１５４のそれぞれにおける当該信号の受信強度に基づいて当該無線発信機の位置を特定する（ステップＳ１０）。
　情報収集処理部１５５は、無線発信機それぞれについて特定された位置を含む位置情報を生成し、生成した各位置情報からなる位置情報テーブルを生成する（ステップＳ１５）。
　情報収集処理部１５５は、生成した位置情報テーブルを、情報送信部１５６を介して送信装置２００へ送信する（ステップＳ２０）。
　（３）送信装置２００の動作
　ここでは、送信装置２００の動作について、図３１に示す流れ図を用いて説明する。
　第１取得部２１１は、映像撮影部１０１から送信された映像を受信する（ステップＳ１００）。具体的には、第１取得部２１１は、撮影された各画像及び画像それぞれに対応する撮影条件情報を受信する。
　第２取得部２１２は、情報取得部１０２から送信された位置情報テーブルを受信する（ステップＳ１０５）。
　更新処理部２０２は、受信した位置情報テーブル及び操作者の指示により、重畳情報テーブルＴ５００に含まれるパラメータＴ５０３の更新を行う（ステップＳ１１０）。具体的には、更新処理部２０２は、無線発信機が備えられた各人物（サッカー選手）について、受信した位置情報テーブルに格納されている当該人物の位置情報の変化に基づいて、当該人物の走行距離（移動距離）を算出する。さらに更新処理部２０２は、操作者から、無線発信機を備える各人物（サッカー選手）について、サッかーの試合における詳細な情報（例えば、シュート数、ゴール数）を受け付ける。更新処理部２０２は、算出した走行距離、及び操作者から受け付けた情報（例えば、シュート数、ゴール数）に基づいて、重畳情報テーブルＴ５００に含まれるパラメータＴ５０３の更新を行う。
　対応付け処理部２１３は、第１取得部で受信した各画像と、第２取得部２１２で受信した各位置情報テーブルとの対応付けを行う（ステップＳ１１５）。具体的には、対応付け処理部２１３は、第１取得部２１１から受け取った各撮影時刻と、第２取得部２１２から受け取った各生成時刻とを比較し、一致する時刻について、当該時刻で撮影された画像と、当該時刻で生成された位置情報テーブルＴ２００との対応付けを行う。
　放送用ストリーム生成部２２１は、受信した映像を含み、放送波で送信するための放送用ストリームを生成する（ステップＳ１２０）。
　フラグ付与部２２３は、上述したフラグ付き撮影条件情報を生成するものである。
　フラグ付与部２２３は、ＩＰ放送用ストリーム生成部２２２でストリーム化される各画像に対して、当該画像についてデータの重畳を許可するか否かを示す重畳フラグを、当該重畳フラグに対応する画像に対応付けられた撮影条件情報に付与し、フラグ付き撮影条件情報を生成する（ステップＳ１２５）。
　ＩＰ放送用ストリーム生成部２２２は、受信した映像を含み、当該映像に含まれる画像それぞれについて、当該画像に対応付けられた位置情報テーブル及びフラグ付き撮影条件情報が当該画像に対する補足データに含まれる、ＩＰ通信で送信するためのＩＰ放送用ストリームを生成し（ステップＳ１３０）、生成したＩＰ放送用ストリームを所定のＵＲＬに格納する（ステップＳ１３５）。
　第１送信部２２４は、ＩＰ放送用ストリームの格納先を示す情報を含む格納先情報を、放送用ストリームに含めて、放送用ストリームを放送波として送信する（ステップＳ１４０）。
　第２送信部２２４は、ＩＰ放送用ストリームを送信する（ステップＳ１４５）。なお、第２送信部２２４は、ＩＰ放送用ストリームの送信に先立って、現時点で記憶部２０３に格納されているカメラ情報テーブル及び重畳情報テーブルを送信する。
　（４）再生装置３００の動作
　ここでは、再生装置３００の動作について、図３２に示す流れ図を用いて説明する。
　放送受信部３１１は、放送波により送信された放送用ストリームを受信する（ステップＳ２００）。
　ＩＰ放送選局部３２３は、ユーザから放送形態切替指示を受け付けたかどうかを判断する（ステップＳ２０５）。
　放送形態切替指示を受け付けたと判断する場合（ステップＳ２０５における「Ｙｅｓ」）、送信部３１２は、放送用ストリームに含まれるＩＰ放送用ストリームを格納しているＵＲＬやポート番号、プロトコル情報等に基づいて、アクセス要求を送信装置２００へＩＰ通信を介して送信し、その後、ＩＰ放送受信部３１３は、初期情報として、カメラ情報テーブルＴ３００、及び重畳情報テーブルＴ５００を受信し、描画処理部３２６の所定の記憶領域に記憶する（ステップＳ２１０）。
　ＩＰ放送受信部３１３は、ＩＰ放送用ストリームを受信する（ステップＳ２１５）。
　デコーダ３２５は、多重化分離部３２２でＩＰ放送用ストリームから分離されたビデオストリームを取得し、デコードする（ステップＳ２２０）。
　描画処理部３２６は、重畳情報テーブルを受け取ると、所定の記憶領域に記憶されている重畳情報テーブルを、多重化分離部３２２から受け取った重畳情報テーブルへと更新する（ステップＳ２２５）。
　描画処理部３２６は、ステップＳ２２０でデコードされた画像に割り当てられたフラグ付き撮影条件情報に含まれる重畳フラグが、重畳の許可を示すか否かを判断する（ステップＳ２３０）。
　重畳フラグが重畳の許可を示していると判断する場合には（ステップＳ２３０における「可」）、描画処理部３２６は、さらに、ステップＳ２２０でデコードされた画像を撮影したカメラのカメラ番号に対応付けられた重畳可否フラグが、重畳の許可を示すか否かを判断する（ステップＳ２３５）。
　重畳可否フラグが重畳の許可を示していると判断する場合には（ステップＳ２３５における「可」）、描画処理部３２６は、ステップＳ２２０でデコードされた画像に割り当てられたフラグ付き撮影条件情報を用いて、当該画像が撮影された撮影範囲を特定する（ステップＳ２４０）。
　描画処理部３２６は、多重化分離部３２２から受け取った位置情報テーブルに含まれる各人物の位置に基づいて、特定した撮影範囲に存在する人物の選手識別子を１つ以上特定し、さらには当該画像において特定された選手識別子それぞれに対応する人物のテレビ画面上での位置をも特定する（ステップＳ２４５）。
　描画処理部３２６は、所定の記憶領域に記憶されている重畳情報テーブルから特定された１つ以上の選手識別子それぞれに基づいて、当該選手識別子に対応する重畳情報に含まれる選手名を、重畳データとして取得し、画像重畳処理部３２７は、ステップＳ２２０でデコードされた画像に、描画処理部３２６で取得された１つ以上の重畳データを重畳する（ステップＳ２５０）。具体的には、描画処理部３２６は、取得した１つ以上の重畳データについて、当該重畳データに対応し、特定された人物のテレビ画面上での位置に基づいて、当該重畳データを表示するための開始位置、及び終了位置を特定する。描画処理部３２６は、１つ以上の重畳データそれぞれについて特定した開始位置及び終了位置の組を基に、１つ以上の重畳データそれぞれを、画像重畳処理部３２７の重畳データ描画プレーンＦ１００に描画する。重畳部３５０は、重畳データ描画プレーンＦ１００に描画された画像、つまり１つ以上の重畳データが描画された画像を、映像表示プレーンＦ１１０に描画された画像に重畳して、重畳データが重畳された画像を生成する。
　出力映像切替部３２８は、画像重畳処理部３２７で生成された、重畳データが重畳された画像を出力する（ステップＳ２５５）。
　放送形態切替指示を受け付けていないと判断する場合（ステップＳ２０５における「Ｎｏ」）、再生処理部３０２は、放送用ストリームを用いた、通常の再生を行う（ステップＳ２６０）。
　重畳フラグが重畳の不許可を示していると判断する場合には（ステップＳ２３０における「不可」）、及び重畳可否フラグが重畳の不許可を示していると判断する場合には（ステップＳ２３５における「不可」）、再生処理部３０２は、ステップＳ２２０でデコードした画像を出力する（ステップＳ２６５）。
　２．５　変形例
　以上、第１の実施の形態に基づいて説明したが、本発明は上記の第１の実施の形態に限られない。例えば、以下のような変形例が考えられる。
　（１）上記実施の形態において、撮影された画像ごとに、位置情報テーブルを対応付けたが、これに限定されない。
　複数の画像に、１つの位置情報テーブルを対応付けてもよい。例えば、再生時間軸に沿って連続する複数の画像を一のグループとして、グループごとに、位置情報テーブルを対応付けてもよい。グループの形成として、例えば、ＧＯＰ単位が考えられる。この場合、位置情報テーブルは、ＧＯＰの先頭の画像に対応付けられる。
　また、上記実施の形態において、画像ごとに、フラグ付き撮影条件情報を対応付け、つまり重畳フラグを対応付けたが、これに限定されない。
　複数の画像に１つの重畳フラグを対応付けてもよい。例えば、上記と同様に、再生時間軸に沿って連続する複数の画像からなるグループ単位に、対応付けてもよい。
　（２）上記実施の形態において、送信装置は、ＩＰ放送用ストリームに映像、位置情報テーブル及び重畳情報テーブルを含めて、当該ＩＰ放送用ストリームを送信したが、これに限定されない。
　送信装置が送信する形態は、映像と、位置情報テーブル及び重畳情報テーブルとが対応付けられて送信される形態であればよい。
　例えば、ＩＰ放送用ストリームに、位置情報テーブル及び重畳情報テーブルを含め、映像を含めることなく当該ＩＰ放送用ストリームを送信してもよい。この場合、再生装置３００は、映像を放送波から受信し、位置情報テーブル及び重畳情報テーブルをＩＰ通信により受信する。そして、再生装置３００は、映像に含まれる各画像について、画像の撮影時刻と、位置情報テーブルの生成時刻とを用いて、画像と位置情報テーブルとの対応付けを行う。その後、再生装置は、第１の実施の形態で述べたように、重畳フラグ及び重畳許否フラグの設定内容に応じた処理を行う。
　または、別の送信形態として、送信装置２００は、放送用ストリームに映像、位置情報テーブル及び重畳情報テーブルを含めて、当該放送用ストリームを送信する形態であってもよい。この場合、映像のみからなるＩＰ放送用ストリームを送信してもよいし、送信しなくてもよい。
　（３）上記実施の形態において、再生装置３００は、放送用ストリームの受信からＩＰ放送用ストリームの受信へと受信形態の切り替えをユーザの指示により行うとしたが、これに限定されない。
　再生装置３００は、放送用ストリームに、ＩＰ放送用ストリームについての格納先情報が含まれる場合には、自動的に受信形態を切り替えてもよい。
　（４）上記実施の形態において、送信装置２００は、各画像に対応付けられる重畳フラグの設定を、当該装置の操作者の指示により行うとしたが、これに限定されない。
　送信装置２００は、各画像に対する重畳フラグの設定を自動的に行ってもよい。例えば、送信装置２００は、画像が撮影された際の倍率に基づいて、重畳フラグを設定する。具体的には、送信装置２００は、画像が撮影された際の倍率が予め定められた範囲に属する場合には、重畳フラグには重畳を許可する旨のデータ（“可”）を設定し、倍率が予め定められた範囲に属さない場合には、重畳フラグには重畳を許可しない旨のデータ（“不可”）を設定する。画像が、範囲に属さない高い倍率で撮影された場合には、当該画像には、人物（サッカー選手）のアップが撮影されている可能性が高い。そのため、この場合には、重畳データを重畳しなくても、その人物を特定することができる。また、画像が、範囲に属さない低い倍率で撮影された場合には、当該画像には、複数の人物（サッカー選手）が人物として認識できないほど小さく撮影されている可能性が高い。そのため、このような画像に重畳データを重畳すると、撮影されているこれら人物よりも重畳データが目立ち、ユーザに不快感を与える可能性がある。
　また、撮影条件情報に含まれる方位角、仰俯角の少なくとも１つが頻繁に変化する場合には、送信装置２００は、映像を撮影したカメラは特定の人物を追って撮影している（フォロー・パンによる撮影を行っている）と判断し、この状態で撮影された映像に含まれる画像に対する重畳フラグには、重畳を許可しない旨を示す情報（“不可”）を設定する。
　（５）上記実施の形態において、画像に重畳される重畳データは、選手名及び走行距離等のパラメータからなるものとしたが、これに限定されない。
　画像に重畳される重畳データは、選手名からなるものとしてもよいし、パラメータのみからなるものとしてもよいし、パラメータに含まれる１つの情報からなるものとしてもよい。
　（６）上記実施の形態において、画像に重畳される重畳データは、画像に存在する人物の大きさに応じて、その表示サイズを変更してもよい。
　例えば、再生装置３００は、カメラ情報テーブル及び重畳対象の画像に対応付けられたフラグ付き撮影条件情報から、当該画像に存在する各選手の大きさを特定する。再生装置は、画像に存在する各選手の大きさを比較し、その比率に応じて、重畳データの表示サイズを決定する。
　また、重畳データには、実施の形態で示す選手名やパラメータに限らず、選手の顔写真、背番号、及び所属チーム等が含まれてもよい。
　また、重畳データの表示サイズに応じて、表示すべきデータの数を変更してもよい。
　図３３は、画像に存在する人物の大きさに応じて決定された表示サイズで重畳データを表示する際に、表示すべきデータ数を変更する場合の一例を示すものである。
　選手Ｆ２０１は、選手Ｆ２０２に比べてカメラに近い位置に存在するため大きく映像に映っているので、選手Ｆ２０１に対応する重畳データＦ２０４の表示サイズは、選手Ｆ２０２に対応する重畳データＦ２０３の表示サイズよりも大きくなっている。これにより、重畳データＦ２０４ではより多くのデータを表示することができることとなる。そこで、重畳データＦ２０４には、選手Ｆ２０１の顔写真、選手名“選手Ａ”、シュート数、ゴール数、所属チーム“ＸＸＸ”を含めることができ、これらデータを画像に重畳し、表示することができる。
　また、図３３では選手の位置情報からの重畳データの拡大・縮小の例を示したが、重畳データの表示方法は、これに限定されない。
　例えば、複数の人物（サッカー選手）が密集する場合に、重畳データとして表示する詳細度を変化させてもよいし、重畳データの表示を停止する等の対応を行ってもよい。また、ボールを持っている選手やボールの周辺にいる選手の重畳データの詳細度を変化させてもよい。ここで、重畳データとして表示する詳細度の変化としては、例えば背番号だけ、背番号と選手名との組み合わせ、背番号、選手名及び顔写真との組み合わせ等が想定される。また、選手が交錯する場合にはユーザが指定した選手のみ重畳データを表示する等の対応を行ってもよいし、ボール位置等の重要な対象物と重畳データが重なる場合には重畳データの表示を停止してもよいし、重畳データを表示するための領域内（例えば、図２９のラベルＦ１０１、Ｆ１０２）の透明度を高くして重要な対象物が見えなくなることを防止してもよい。
　なお、重畳データの表示サイズは選手の位置情報で変化するとしたが、表示する映像デバイスの画面サイズに応じて変化させてもよい。
　（７）上記実施の形態において、無線発信機を用いて選手の位置を特定するとしたが、これに限定されない。
　例えば、レーダによる計測や、天頂カメラによる画像解析等によって、各選手の位置の情報を収集してもよい。つまり、選手の位置を特定できる方法であればよい。
　（８）上記実施の形態において、選手の走行距離を送信装置２００で算出するとしたが、これに限定されない。
　情報取得部１０２が各選手の走行距離を算出し、その結果を選手の位置の情報とともに送信装置２００へ通知してもよい。
　（９）上記実施の形態において、放送用ストリームに含まれる映像と、ＩＰ放送用ストリームに含まれる映像とは同一のものとしたが、これに限定されない。
　放送用ストリームに含まれる映像と、ＩＰ放送用ストリームに含まれる映像とは、それぞれ異なった視点の映像であってもよい。つまり、放送用ストリームに含まれる映像と、ＩＰ放送用ストリームに含まれる映像とは、実際のサービスとしては異なったものであってもよい。
　（１０）上記実施の形態において、再生装置３００は、カメラ情報テーブルを、ＩＰ放送用ストリームの受信に先立って、ＩＰ通信により受信するとしたが、これに限定されない。
　カメラ情報テーブルは、放送用ストリームに含まれる各画像の補足データに格納されてもよいし、ＰＳＩとして放送用ストリームに多重化されてもよい。つまり、カメラ情報テーブルは、ＩＰ放送用ストリームが受信されるに先立って、再生装置にて受信される方法であれば、どのようなタイミングで送信されてもよい。
　（１１）上記実施の形態において、位置情報テーブルは、ＩＰ放送用ストリームに含まれ、当該位置情報テーブルに対応する画像の補足データに格納されるとしたが、これに限定されない。
　位置情報テーブルは、ＰＳＩ、例えばＥＩＴの現在使用されていない予約領域（ｒｅｓｅｒｖｅ領域）に含めてもよい。
　また、位置情報テーブルでは、人物（選手）の位置の情報を格納したが、これに限らず、例えばボールの位置の情報や審判の位置の情報等、他のオブジェクトの位置の情報であってもよい。
　（１２）上記実施の形態において、ＩＰ放送選局部３２３は、多重化分離部３２１からＩＰ放送用ストリームに関連する格納先情報を得ることとしたが、これに限定されない。
　ＩＰ放送選局部３２３は、ネットワーク経由でポータルサーバ等なら格納先情報を取得してもよい。
　（１３）上記実施の形態において、送信装置２００は、重畳情報テーブルをＩＰ放送用ストリームに含めて送信する場合、画像それぞれに対して、当該画像に対応する補足データに含めて送信したが、これに限定されない。
　送信装置２００は、重畳情報テーブルをＩＰ放送用ストリームに含めて送信する場合、所定の時間間隔（例えば、５秒毎）で、当該時間間隔に応じた画像毎に当該画像の補足データに含めて送信してもよし、当該時間間隔に応じたＳＩ／ＰＳＩに含めて送信してもよい。
　または、重畳情報テーブルをＩＰ放送用ストリームに含まれる画像それぞれに対して、当該画像に対応する補足データに含めて送信する場合、再生装置３００にて取得のタイミングを制御してもよい。例えば、再生装置３００は、所定の時間間隔（例えば、５秒毎）で、当該時間間隔に応じた画像に対応する補足データから重畳情報テーブルを取得し、取得した重畳情報テーブルを用いて、パラメータの更新を行う。
　または、再生装置３００が、ＩＰ放送用ストリームの受信とは別に、所定の時間間隔（例えば５秒毎）に、送信装置２００へ重畳情報テーブルを要求して、取得してもよい。
　（１４）上記実施の形態において、再生装置３００は、画像に対する重畳データの重畳の可否を、重畳フラグ及び重畳許否フラグの双方を用いて判断したが、これに限定されない。
　再生装置３００は、これらフラグのうち１つのフラグを用いて、重畳の可否を判断してもよい。
　（１５）上記実施の形態において、格納先情報は、ＥＩＴに含まれるとしたが、これに限定されない。
　格納先情報は、ＥＩＴ以外のＳＩ／ＰＳＩに含まれるとしてもよい。または、ＧＯＰ毎に含まれるとしてもよい。送信装置２００は、ＧＯＰ毎に格納先情報を含める場合には、例えば当該ＧＯＰにおける先頭の画像の補足データに格納先情報を含める。
　（１６）上記実施の形態において、送信装置２００は、撮影された各画像とともに送信する付加的な情報として、位置情報テーブルを送信したが、送信する付加的な情報は、位置情報テーブルに限定されない。
　付加的な情報として、例えば上述したように、映像の撮影対象者の脈拍や、走行距離などであってもよい。脈拍や走行距離が所定値以上であれば、その旨を表示してもよいし、脈拍や走行距離そのものを表示してもよい。なお、撮影対象者の脈拍は、撮影対象者に脈拍を測定し、その結果を無線で送信する発信機を備えさせることで、送信装置は、発信機から送信された測定結果（脈拍）を収集し、付加的な情報として送信することができる。
　または、画像に存在する１以上の被写体（選手）それぞれに対応する選手識別子、位置データの組を、位置情報テーブルから取得し、取得した１つ以上の組からなる情報を付加情報としてもよい。
　つまり、付加的な情報としては、再生装置が画像に重畳させて表示する重畳データを特定できるものであればよい。本願における付加情報とは、上記にて説明した位置情報テーブル等のように画像に重畳させて表示する重畳データを特定できる情報に相当している。
　（１７）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウス等から構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。
　（１８）上記の各装置を構成する構成要素の一部または全部は、１個の集積回路から構成されているとしてもよい。
　（１９）上記の実施の形態及び変形例で説明した手法の手順を記述したプログラムをメモリに記憶しておき、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等がメモリからプログラムを読み出して、読み出したプログラムを実行することによって、上記の手法が実現されるようにしてもよい。
　また、当該手法の手順を記述したプログラムを記録媒体に格納して、頒布するようにしてもよい。なお、上記プログラムを記憶する媒体としては、例えば、ＩＣカード、ハードディスク、光ディスク、フレキシブルディスク、ＲＯＭ、フラッシュメモリ等がある。
　（２０）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
　３．補足
　（１）本発明の一態様である、送信装置は、番組の映像を構成する複数の映像フレームを逐次取得する第１取得手段と、前記複数の映像フレームの撮影時に前記映像の撮影対象について得られた付加情報を取得する第２取得手段と、前記複数の映像フレームそれぞれを送信する際に、少なくとも１つ以上の前記映像フレームについて、当該映像フレームの撮影時に取得された付加情報を対応付けて、１つのビデオストリームで送信する送信処理手段とを備えることを特徴とする。
　この構成によると、送信装置は、映像フレームと、当該映像フレームの撮影時に取得された付加情報とを対応付けて１つのビデオストリームに含めて送信している。そのため、受信側では従来のように映像フレームと当該映像フレームとともに表示される情報とので同期処理を行う必要がないので、送信装置は、受信側の処理負担を軽減しつつ、精度よく表示タイミングを整合させることができる。
　（２）ここで、前記付加情報は、前記ビデオストリームを受信し再生する装置が映像フレームに表示物を重畳して表示する際に当該表示物を特定するために用いられる情報であり、前記送信処理手段は、さらに、前記ビデオストリームを受信し再生する前記装置が前記付加情報が対応付けられた映像フレームそれぞれに表示物を重畳すべきか否かの判断を行うための指針となる情報を送信するとしてもよい。
　従来、番組の提供者は、表示対象の映像フレームの内容によっては、表示物を重畳させたくないと考える場合がある。例えば、人物の顔がアップで撮影された映像フレームに、当該人物の名前といった文字情報を重畳させると、視聴する際に文字情報が邪魔となり、視聴者に不快感を与える可能性があるからである。
　そこで、この構成によると、送信装置は、付加情報が対応付けられた映像フレームにそれぞれに表示物を重畳するか否かの判断を行うための指針となる情報を送信しているので、付加情報が対応付けられた映像フレームの内容、つまり撮影シーンに応じて、付加情報から特定される表示物の重畳の可否を制御することができる。これにより、映像フレームに表示物を重畳させて表示する視聴サービスにおいて視聴者の不快感を軽減させることができる。
　（３）ここで、前記送信処理手段は、前記装置が表示物を重畳すべきか否かの判断を行うための指針となる前記情報として、前記付加情報が対応付けられた映像フレームごとに当該映像フレームへ重畳を許可するか否かを示す重畳フラグを付加して送信するとしてもよい。
　この構成によると、送信装置は、付加情報が対応付けられた映像フレームごとに、重畳フラグを付加するので、付加情報から特定される表示物の重畳の可否の制御をより詳細に行うことができる。
　（４）ここで、前記送信処理手段は、前記付加情報が対応付けられた映像フレームそれぞれについては、当該映像フレームと、当該映像フレームに対応付けられた付加情報、及び重畳フラグとを１つのパケットに、前記付加情報が対応付けられていない映像フレームについては、当該映像フレームを１つのパケットに、それぞれパケット化して複数のパケットからなるビデオストリームを生成し、生成した前記ビデオストリームを送信するとしてもよい。
　この構成によると、送信装置は、映像フレームと当該映像フレームに対応付けられた付加情報と、重畳フラグとを１つのパケットに含まれるようビデオストリームを生成するので、受信側では、映像フレームと、対応する付加情報との間で従来のような同期処理を行う必要がなく、処理負担が軽減され、さらには、重畳フラグと映像フレームとが同一パケットに含まれるため重畳可否の判断対象となる映像フレームを容易に特定することができる。
　（５）ここで、前記送信処理手段は、さらに、前記複数の映像フレーム、前記付加情報、及び前記重畳フラグの送信に先立って、　前記複数の映像フレームの撮影に用いられる複数のカメラそれぞれについて、当該カメラを識別するカメラ識別子と、当該カメラで撮影された映像フレームへの重畳の許否を示す許可フラグとが対応付けされたカメラ情報を送信し、前記複数の映像フレーム、前記付加情報、及び前記重畳フラグを送信する際に、　前記付加情報が対応付けられた映像フレームそれぞれについては、当該映像フレームを撮影したカメラ識別子を対応付けて送信するとしてもよい。
　この構成によると、送信装置は、カメラ情報を送信しているので、カメラ情報に含まれる許可フラグと、重畳フラグとの組み合わせに応じて、重畳の可否を制御することができる。
　（６）ここで、前記付加情報それぞれは、当該付加情報と対応付けられた映像フレームの撮影対象である１以上の被写体についての当該映像フレームでの各々の位置を示す位置情報であり、前記付加情報から特定される前記表示物は、位置情報で示される被写体に関連するデータであるとしてもよい。
　この構成によると、送信装置は、位置情報を送信するので、受信側では、位置情報を用いて重畳するための表示物を特定することができる。
　（７）ここで、前記第１取得手段は、さらに、前記複数の映像フレームそれぞれについて、カメラによる撮影が可能な領域のうち、当該映像フレームが撮影された撮影範囲を特定、及び当該映像フレームにおける前記１以上の被写体それぞれの位置を特定するために用いられる撮影情報を取得し、前記送信処理手段は、さらに、前記付加情報が対応付けられた映像フレームには、さらに、当該映像フレームについての撮影情報を対応付けて送信するとしてもよい。
　この構成によると、送信装置は、付加情報が対応付けられた映像フレーム毎に撮影範囲を特定するための撮影情報を対応付けて送信するので、受信側では、撮影情報を用いて、対応する映像フレームの撮影範囲を特定することができる。
　（８）ここで、前記複数の映像フレームの撮影に係る撮影対象の候補となる候補被写体は、複数存在し、前記送信装置は、さらに、前記候補被写体それぞれについて、当該候補被写体が映像フレームの被写体である場合には当該映像フレームに重畳されて表示されるための表示物となる、当該候補被写体に関連する候補データを記憶している記憶手段を備え、前記送信処理手段は、さらに、前記候補被写体それぞれに対する前記候補データを送信するとしてもよい。
　この構成によると、送信装置は、撮影対象の候補となる複数の候補被写体それぞれについての候補データを送信するので、受信側では、複数の候補データから、重畳を行う映像フレームに存在する被写体についての候補データを取得することができる。
　（９）本発明の一態様である、再生装置は、番組を構成する複数の映像フレームと、少なくとも１つ以上の前記映像フレームそれぞれに対応付けられ、当該映像フレームの撮影時に前記映像の撮影対象について得られた情報であって、当該映像フレームに表示物を重畳して表示する際に当該表示物を特定するために用いられる付加情報と、前記付加情報が対応付けられた映像フレームそれぞれに表示物を重畳すべきか否かの指針となる情報とを含むビデオストリームを受信する受信手段と、前記付加情報が対応付けられた前記映像フレームそれぞれを再生する際に、表示物を重畳すべきか否かの指針となる情報に応じて、付加情報で指定される表示物を、当該付加情報に対応付けられた映像フレームに重畳して再生を行う、又は重畳を行うことなく映像フレームの再生を行う再生処理手段とを備えることを特徴とする。
　この構成によると、再生装置は、付加情報と、当該付加情報とが対応付けられた映像フレームと、当該映像フレームに表示物を重畳するか否かの判断を行うための指針となる情報とを１つのビデオストリームで受信している。これにより、再生装置は、付加情報が対応付けられた映像フレームを再生する際に、当該映像フレームに対して付加情報から特定される表示物の重畳の可否を制御することができるので、映像フレームに表示物を重畳させて表示する視聴サービスにおいて視聴者の不快感を軽減させて視聴させることができる。また、再生装置は、重畳を行う際には、従来のように映像フレームと当該映像フレームとともに表示される情報とので同期処理を行う必要がないので、処理負担が軽減され、精度よく表示タイミングを整合することができる。
　（１０）ここで、前記受信手段は、表示物を重畳すべきか否かの指針となる前記情報として、前記付加情報が対応付けられた映像フレームごとに対応付けられた、当該映像フレームへ重畳を許可するか否かを示す重畳フラグを受信し、前記再生処理手段は、再生対象の映像フレームに重畳フラグが対応付けられている場合には、当該重畳フラグが示す内容に応じて、当該映像フレームに対応付けられた付加情報で指定される表示物を、当該映像フレームに重畳して再生を行う、又は重畳を行うことなく映像フレームの再生を行うとしてもよい。
　この構成によると、再生装置は、付加情報が対応付けられた映像フレームごとに、付加された重畳フラグを受信するので、付加情報から特定される表示物の重畳の可否の制御をより詳細に行うことができる。
　（１１）ここで、受信手段は、さらに、前記複数の映像フレーム、前記付加情報、及び前記重畳フラグの受信に先立って、　前記複数の映像フレームを撮影されるために用いられる複数のカメラそれぞれについて、当該カメラを識別するカメラ識別子と、当該カメラで撮影された映像フレームに対して重畳を許可するか否かを示す許可フラグとが対応付けされたカメラ情報を予め受信して、記憶領域に格納し、前記付加情報が対応付けられた前記映像フレームそれぞれには、当該映像フレームを撮影したカメラの識別子を対応付けられており、前記再生処理手段は、さらに、前記付加情報が対応付けられた前記映像フレームを再生する場合において、前記重畳フラグ及び前記許可フラグの双方が重畳の許可を示すときには、当該重畳フラグに対応する付加情報で指定される表示物を、当該映像フレームに重畳して再生し、前記重畳フラグ及び前記許可フラグの少なくとも一方が重畳の不許可を示すときには、重畳を行うことなく当該映像フレームの再生を行うとしてもよい。
　この構成によると、再生装置は、カメラ情報を受信しているので、カメラ情報に含まれる許可フラグと、重畳フラグとの組み合わせに応じて、重畳の可否を制御することができる。
　（１２）ここで、前記付加情報それぞれは、当該付加情報が対応付けられた映像フレームの撮影対象である１以上の被写体についての当該映像フレームでの各々の位置を示す位置情報であり、前記付加情報で特定される表示物は、位置情報で示される被写体に関連するデータであり、前記再生処理手段は、前記付加情報が対応付けられた映像フレームに、当該付加情報で指定される表示物を重畳する場合には、前記付加情報で示される、被写体の位置に、当該表示物を重畳するとしてもよい。
　この構成によると、再生装置は、位置情報を受信するので、位置情報を用いて重畳するための表示物を特定することができる。
　（１３）ここで、前記受信手段は、さらに、前記付加情報が対応付けられた映像フレームを受信する際には、カメラによる撮影が可能な領域のうち、当該映像フレームが撮影された撮影範囲を特定、及び当該映像フレームにおける前記１以上の被写体それぞれの位置を特定するために用いられ、当該映像フレームに対応付けられた撮影情報を受信し、前記再生処理手段は、前記付加情報が対応付けられた映像フレームを再生する際には、前記撮影情報を用いて、当該映像フレームについての撮影範囲を特定し、特定した撮影範囲に存在する前記被写体の位置を前記付加情報を用いて特定するとしてもよい。
　この構成によると、再生装置は、付加情報が対応付けられた映像フレームごとに対応付けられた撮影範囲を特定するための撮影情報を受信するので、撮影情報を用いて、対応する映像フレームの撮影範囲を特定することができる。
　（１４）ここで、前記複数の映像フレームの撮影に係る撮影対象の候補となる候補被写体は、複数存在し、前記受信手段は、さらに、前記候補被写体それぞれについて、当該候補被写体が映像フレームの被写体である場合には当該映像フレームに重畳されて表示されるための表示物となる、当該候補被写体に関連する候補データを受信し、前記再生処理手段は、再生対象の映像フレームに重畳可否情報が対応付けられ、且つ当該重畳可否情報が表示物を重畳すべき旨を示している場合には、当該映像フレームに対応付けられた付加情報が示す位置に存在する被写体に関連するデータを、前記候補データから特定し、特定した前記候補データを前記表示物として、当該映像フレームに重畳するとしてもよい。
　この構成によると、再生装置は、撮影対象の候補となる複数の候補被写体それぞれについての候補データを受信するので、複数の候補データから、重畳を行う映像フレームに存在する被写体についての候補データを取得することができる。
　本発明は、放送波及び通信により放送番組を送信する送信装置、及び当該放送番組を受信し、再生する再生装置に適用することができる。
　　１００　　中継用システム
　　１０１　　映像撮影部
　　１０２　　情報取得部
　　１０２　　当該情報取得部
　　１１１、１１２、１１３　　カメラ
　　１１４　　切替部
　　１１５　　映像送信部
　　１５１、１５２、１５３、１５４　　受信機
　　１５５　　情報収集処理部
　　１５６　　情報送信部
　　２００　　送信装置
　　２０１　　取得処理部
　　２０２　　更新処理部
　　２０３　　記憶部
　　２０４　　送信処理部
　　２０５　　受信部
　　２１１　　第１取得部
　　２１２　　第２取得部
　　２１３　　対応付け処理部
　　２２１　　放送用ストリーム生成部
　　２２２　　ＩＰ放送用ストリーム生成部
　　２２３　　フラグ付与部
　　２２４　　第１送信部
　　２２５　　第２送信部
　　３００　　再生装置
　　３０１　　送受信部
　　３０２　　再生処理部
　　３１１　　放送受信部
　　３１２　　送信部
　　３１３　　ＩＰ放送受信部
　　３２１、３２２　　多重化分離部
　　３２３　　ＩＰ放送選局部
　　３２４、３２５　　デコーダ
　　３２６　　描画処理部
　　３２７　　画像重畳処理部
　　３２８　　出力映像切替部
　１０００　　放送通信連携システム（送受信システム）

Claims (16)

  1. 　番組の映像を構成する複数の映像フレームを逐次取得する第１取得手段と、
    　前記複数の映像フレームの撮影時に前記映像の撮影対象について得られた付加情報を取得する第２取得手段と、
    　前記複数の映像フレームそれぞれを送信する際に、少なくとも１つ以上の前記映像フレームについて、当該映像フレームの撮影時に取得された付加情報を対応付けて、１つのビデオストリームで送信する送信処理手段とを備える
    　ことを特徴とする送信装置。
  2. 　前記付加情報は、前記ビデオストリームを受信し再生する装置が映像フレームに表示物を重畳して表示する際に当該表示物を特定するために用いられる情報であり、
    　前記送信処理手段は、さらに、
    　前記ビデオストリームを受信し再生する前記装置が前記付加情報が対応付けられた映像フレームそれぞれに表示物を重畳すべきか否かの判断を行うための指針となる情報を送信する
    　ことを特徴とする請求項１に記載の送信装置。
  3. 　前記送信処理手段は、
    　前記装置が表示物を重畳すべきか否かの判断を行うための指針となる前記情報として、前記付加情報が対応付けられた映像フレームごとに当該映像フレームへ重畳を許可するか否かを示す重畳フラグを付加して送信する
    　ことを特徴とする請求項２に記載の送信装置。
  4. 　前記送信処理手段は、
    　前記付加情報が対応付けられた映像フレームそれぞれについては、当該映像フレームと、当該映像フレームに対応付けられた付加情報、及び重畳フラグとを１つのパケットに、
    　前記付加情報が対応付けられていない映像フレームについては、当該映像フレームを１つのパケットに、それぞれパケット化して複数のパケットからなるビデオストリームを生成し、生成した前記ビデオストリームを送信する
    　ことを特徴とする請求項３に記載の送信装置。
  5. 　前記送信処理手段は、さらに、
    　前記複数の映像フレーム、前記付加情報、及び前記重畳フラグの送信に先立って、　前記複数の映像フレームの撮影に用いられる複数のカメラそれぞれについて、当該カメラを識別するカメラ識別子と、当該カメラで撮影された映像フレームへの重畳の許否を示す許可フラグとが対応付けされたカメラ情報を送信し、
    　前記複数の映像フレーム、前記付加情報、及び前記重畳フラグを送信する際に、　前記付加情報が対応付けられた映像フレームそれぞれについては、当該映像フレームを撮影したカメラ識別子を対応付けて送信する
    　ことを特徴とする請求項３に記載の送信装置。
  6. 　前記付加情報それぞれは、当該付加情報と対応付けられた映像フレームの撮影対象である１以上の被写体についての当該映像フレームでの各々の位置を示す位置情報であり、
    　前記付加情報から特定される前記表示物は、位置情報で示される被写体に関連するデータである
    　ことを特徴とする請求項１に記載の送信装置。
  7. 　前記第１取得手段は、さらに、
    　前記複数の映像フレームそれぞれについて、カメラによる撮影が可能な領域のうち、当該映像フレームが撮影された撮影範囲を特定、及び当該映像フレームにおける前記１以上の被写体それぞれの位置を特定するために用いられる撮影情報を取得し、
    　前記送信処理手段は、さらに、
    　前記付加情報が対応付けられた映像フレームには、さらに、当該映像フレームについての撮影情報を対応付けて送信する
    　ことを特徴とする請求項６に記載の送信装置。
  8. 　前記複数の映像フレームの撮影に係る撮影対象の候補となる候補被写体は、複数存在し、
    　前記送信装置は、さらに、
    　前記候補被写体それぞれについて、当該候補被写体が映像フレームの被写体である場合には当該映像フレームに重畳されて表示されるための表示物となる、当該候補被写体に関連する候補データを記憶している記憶手段を備え、
    　前記送信処理手段は、さらに、
    　前記候補被写体それぞれに対する前記候補データを送信する
    　ことを特徴とする請求項６に記載の送信装置。
  9. 　番組を構成する複数の映像フレームと、少なくとも１つ以上の前記映像フレームそれぞれに対応付けられ、当該映像フレームの撮影時に前記映像の撮影対象について得られた情報であって、当該映像フレームに表示物を重畳して表示する際に当該表示物を特定するために用いられる付加情報と、前記付加情報が対応付けられた映像フレームそれぞれに表示物を重畳すべきか否かの指針となる情報とを含むビデオストリームを受信する受信手段と、
    　前記付加情報が対応付けられた前記映像フレームそれぞれを再生する際に、表示物を重畳すべきか否かの指針となる情報に応じて、付加情報で指定される表示物を、当該付加情報に対応付けられた映像フレームに重畳して再生を行う、又は重畳を行うことなく映像フレームの再生を行う再生処理手段とを備える
    　ことを特徴とする再生装置。
  10. 　前記受信手段は、
    　表示物を重畳すべきか否かの指針となる前記情報として、前記付加情報が対応付けられた映像フレームごとに対応付けられた、当該映像フレームへ重畳を許可するか否かを示す重畳フラグを受信し、
    　前記再生処理手段は、
    　再生対象の映像フレームに重畳フラグが対応付けられている場合には、当該重畳フラグが示す内容に応じて、当該映像フレームに対応付けられた付加情報で指定される表示物を、当該映像フレームに重畳して再生を行う、又は重畳を行うことなく映像フレームの再生を行う
    　ことを特徴とする請求項９に記載の再生装置。
  11. 　受信手段は、さらに、
    　前記複数の映像フレーム、前記付加情報、及び前記重畳フラグの受信に先立って、　前記複数の映像フレームを撮影されるために用いられる複数のカメラそれぞれについて、当該カメラを識別するカメラ識別子と、当該カメラで撮影された映像フレームに対して重畳を許可するか否かを示す許可フラグとが対応付けされたカメラ情報を予め受信して、記憶領域に格納し、
    　前記付加情報が対応付けられた前記映像フレームそれぞれには、当該映像フレームを撮影したカメラの識別子を対応付けられており、
    　前記再生処理手段は、さらに、
    　前記付加情報が対応付けられた前記映像フレームを再生する場合において、前記重畳フラグ及び前記許可フラグの双方が重畳の許可を示すときには、当該重畳フラグに対応する付加情報で指定される表示物を、当該映像フレームに重畳して再生し、前記重畳フラグ及び前記許可フラグの少なくとも一方が重畳の不許可を示すときには、重畳を行うことなく当該映像フレームの再生を行う
    　ことを特徴とする請求項１０に記載の再生装置。
  12. 　前記付加情報それぞれは、当該付加情報が対応付けられた映像フレームの撮影対象である１以上の被写体についての当該映像フレームでの各々の位置を示す位置情報であり、
    　前記付加情報で特定される表示物は、位置情報で示される被写体に関連するデータであり、
    　前記再生処理手段は、
    　前記付加情報が対応付けられた映像フレームに、当該付加情報で指定される表示物を重畳する場合には、前記付加情報で示される、被写体の位置に、当該表示物を重畳する
    　ことを特徴とする請求項９に記載の再生装置。
  13. 　前記受信手段は、さらに、
    　前記付加情報が対応付けられた映像フレームを受信する際には、カメラによる撮影が可能な領域のうち、当該映像フレームが撮影された撮影範囲を特定、及び当該映像フレームにおける前記１以上の被写体それぞれの位置を特定するために用いられ、当該映像フレームに対応付けられた撮影情報を受信し、
    　前記再生処理手段は、
    　前記付加情報が対応付けられた映像フレームを再生する際には、前記撮影情報を用いて、当該映像フレームについての撮影範囲を特定し、特定した撮影範囲に存在する前記被写体の位置を前記付加情報を用いて特定する
    　ことを特徴とする請求項１２に記載の再生装置。
  14. 　前記複数の映像フレームの撮影に係る撮影対象の候補となる候補被写体は、複数存在し、
    　前記受信手段は、さらに、
    　前記候補被写体それぞれについて、当該候補被写体が映像フレームの被写体である場合には当該映像フレームに重畳されて表示されるための表示物となる、当該候補被写体に関連する候補データを受信し、
    　前記再生処理手段は、
    　再生対象の映像フレームに重畳可否情報が対応付けられ、且つ当該重畳可否情報が表示物を重畳すべき旨を示している場合には、当該映像フレームに対応付けられた付加情報が示す位置に存在する被写体に関連するデータを、前記候補データから特定し、特定した前記候補データを前記表示物として、当該映像フレームに重畳する
    　ことを特徴とする請求項１２に記載の再生装置。
  15. 　番組を送信する送信装置と、前記番組を受信し再生する再生装置とからなる送受信システムで用いられる送受信方法であって、
    　前記送信装置が、
    　番組の映像を構成する複数の映像フレームを逐次取得する第１取得ステップと、
    　前記複数の映像フレームの撮影時に前記映像の撮影対象について得られた情報であって、当該映像フレームに表示物を重畳して表示する際に当該表示物を特定するために用いられる付加情報を取得する第２取得ステップと、
    　前記複数の映像フレームそれぞれを送信する際に、少なくとも１つ以上の前記映像フレームについて、当該映像フレームの撮影時に取得された付加情報を対応付けて、１つのビデオストリームで送信する送信処理ステップとを含み、
    　前記再生装置が、
    　前記ビデオストリームを受信する受信ステップと、
    　前記付加情報が対応付けられた前記映像フレームそれぞれを再生する際に、所定の条件に応じて、付加情報で指定される表示物を、当該付加情報に対応付けられた映像フレームに重畳して再生を行う、又は重畳を行うことなく映像フレームの再生を行う再生処理ステップとを含む
    　ことを特徴とする送受信方法。
  16. 　前記付加情報は、前記ビデオストリームを受信し再生する装置が映像フレームに表示物を重畳して表示する際に当該表示物を特定するために用いられる情報であり、
    　前記送信処理ステップは、さらに、
    　前記再生装置が前記付加情報が対応付けられた映像フレームそれぞれに表示物を重畳すべきか否かの判断を行うための指針となる情報を送信し、
    　前記受信ステップは、さらに、
    　表示物を重畳すべきか否かの指針となる前記情報を受信し、
    　前記再生処理ステップは、
    　前記付加情報が対応付けられた前記映像フレームそれぞれを再生する際に、表示物を重畳すべきか否かの指針となる前記情報に応じて、当該映像フレームに対して、付加情報で指定される表示物の重畳及び非重畳の何れかを行う
    　ことを特徴とする請求項１５に記載の送受信方法。
PCT/JP2013/001647 2012-04-03 2013-03-13 送信装置、再生装置及び送受信方法 WO2013150724A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261619614P 2012-04-03 2012-04-03
US61/619,614 2012-04-03

Publications (1)

Publication Number Publication Date
WO2013150724A1 true WO2013150724A1 (ja) 2013-10-10

Family

ID=49300232

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/001647 WO2013150724A1 (ja) 2012-04-03 2013-03-13 送信装置、再生装置及び送受信方法

Country Status (1)

Country Link
WO (1) WO2013150724A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115883864A (zh) * 2022-12-19 2023-03-31 国网河北省电力有限公司营销服务中心 一种记录多维数据的视频编解码方法、装置及终端设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006115006A (ja) * 2004-10-12 2006-04-27 Nippon Telegr & Teleph Corp <Ntt> 個別映像撮影・配信装置、個別映像撮影・配信方法およびプログラム
JP2011055303A (ja) * 2009-09-02 2011-03-17 Wowow Inc 放送システム及び放送の制御方法
JP2011244058A (ja) * 2010-05-14 2011-12-01 Sony Corp 情報処理装置、情報処理システム、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006115006A (ja) * 2004-10-12 2006-04-27 Nippon Telegr & Teleph Corp <Ntt> 個別映像撮影・配信装置、個別映像撮影・配信方法およびプログラム
JP2011055303A (ja) * 2009-09-02 2011-03-17 Wowow Inc 放送システム及び放送の制御方法
JP2011244058A (ja) * 2010-05-14 2011-12-01 Sony Corp 情報処理装置、情報処理システム、及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115883864A (zh) * 2022-12-19 2023-03-31 国网河北省电力有限公司营销服务中心 一种记录多维数据的视频编解码方法、装置及终端设备

Similar Documents

Publication Publication Date Title
US9264765B2 (en) Method for providing a video, transmitting device, and receiving device
WO2013021643A1 (ja) 放送通信連携システム、データ生成装置及び受信装置
JP5979499B2 (ja) 再生装置、再生方法、集積回路、放送システム、及び放送方法
US9271048B2 (en) Systems and methods for immersive viewing experience
US7782344B2 (en) Digital video zooming system
EP3028472B1 (en) Providing tile video streams to a client
US9288470B2 (en) 3D image signal transmission method, 3D image display apparatus and signal processing method therein
KR101018320B1 (ko) 방송망내의 대화형 애플리케이션을 처리하는 장치 및 방법
US20160205341A1 (en) System and method for real-time processing of ultra-high resolution digital video
US20160337706A1 (en) Method and apparatus for transreceiving broadcast signal for panorama service
US8767045B2 (en) Apparatus and method of transmitting stereoscopic image data and apparatus and method of receiving stereoscopic image data
JP2007150747A (ja) 受信装置及び本線映像配信装置
US20120218256A1 (en) Recommended depth value for overlaying a graphics object on three-dimensional video
JP6479473B2 (ja) 送信装置、送信方法、受信装置、受信方法および受信表示方法
JP2005159592A (ja) コンテンツ送信装置およびコンテンツ受信装置
JP2008054155A (ja) 画像合成装置
WO2013150724A1 (ja) 送信装置、再生装置及び送受信方法
Aracena et al. Live VR end-to-end workflows: Real-life deployments and advances in VR and network technology
KR20240026002A (ko) 실시간 콘텐츠 제공 서비스 시스템, 실시간 콘텐츠 제공 방법 및 이를 위한 컴퓨터 프로그램
IL191265A (en) Digital video zooming system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13772255

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13772255

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP