WO2018079388A1 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

送信装置、送信方法、受信装置および受信方法 Download PDF

Info

Publication number
WO2018079388A1
WO2018079388A1 PCT/JP2017/037764 JP2017037764W WO2018079388A1 WO 2018079388 A1 WO2018079388 A1 WO 2018079388A1 JP 2017037764 W JP2017037764 W JP 2017037764W WO 2018079388 A1 WO2018079388 A1 WO 2018079388A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
viewing angle
wide viewing
information
target point
Prior art date
Application number
PCT/JP2017/037764
Other languages
English (en)
French (fr)
Inventor
塚越　郁夫
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP17864519.8A priority Critical patent/EP3534611A1/en
Priority to JP2018547606A priority patent/JP6969572B2/ja
Priority to CN201780063699.8A priority patent/CN109845274B/zh
Publication of WO2018079388A1 publication Critical patent/WO2018079388A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Definitions

  • the present technology relates to a transmission device, a transmission method, a reception device, and a reception method, and more particularly, to a transmission device that transmits a video stream obtained by encoding moving image data of a wide viewing angle image.
  • Patent Document 1 describes an omnidirectional image as a wide viewing angle image.
  • the purpose of this technology is to be able to display a certain partial image within a wide viewing angle image consistently between receivers.
  • the concept of this technology is A transmission unit for transmitting a container in a predetermined format including a video stream obtained by encoding moving image data of a wide viewing angle image;
  • the transmission apparatus includes an information insertion unit that inserts information on a target point set in the wide viewing angle image into the video stream.
  • a container having a predetermined format including a video stream obtained by encoding moving image data of a wide viewing angle image is transmitted by the transmission unit.
  • Information on the target point set in the wide viewing angle image is inserted into the video stream by the information insertion unit.
  • the information insertion unit may insert the target point information corresponding to the encoded data of all the pictures or only corresponding to the encoded data of the first picture of the GOP.
  • the information insertion unit further inserts information on the effective image area of the ellipse existing in the rectangular area of the wide viewing angle image and information on the reference point set on the effective image area of the ellipse into the video stream. You may be like.
  • the target point information includes information on the relative radius of the ellipse from the reference point set on the effective image area of the ellipse existing in the rectangular area of the wide viewing angle image and the angle from the horizontal axis. May be.
  • the target point information may include information on a two-dimensional relative position from a reference point in the rectangular area, with a rectangular area of the wide viewing angle image as an effective image area.
  • the reference point may be a top left point of the rectangular area.
  • the reference point may be a reference point set on an effective image area of an ellipse existing in the rectangular area.
  • the information of the target point set in the wide viewing angle image is inserted and transmitted in the video stream obtained by encoding the moving image data of the wide viewing angle image. Therefore, by using the information of the target point, it becomes possible to display a certain partial image in the wide viewing angle image consistently between the receivers.
  • a receiving unit that receives a container in a predetermined format including a video stream obtained by encoding moving image data of a wide viewing angle image; In the video stream, information on the target point set in the wide viewing angle image is inserted, The moving image data of the wide viewing angle image obtained by decoding the video stream is used to display an image of a partial region corresponding to the target point in the wide viewing angle image using the information of the target point.
  • the receiving apparatus further includes a processing unit for processing.
  • a container having a predetermined format including a video stream obtained by encoding moving image data of a wide viewing angle image is received by the receiving unit.
  • Information on the target point set in the wide viewing angle image is inserted in the video stream.
  • the video data of the wide viewing angle image obtained by decoding the video stream is displayed by the processing unit using the information of the target point to display an image of a partial region corresponding to the target point in the wide viewing angle image. Is processed as follows.
  • the moving image data of the wide viewing angle image obtained by decoding the video stream is used with the information of the target point set in the wide viewing angle image inserted in the video stream.
  • processing is performed to display an image of a partial region corresponding to the target point in the wide viewing angle image. Therefore, it becomes possible to display a certain partial image in the wide viewing angle image with consistency between the receivers.
  • a display control unit that controls to display a user interface screen for selecting an arbitrary target point from a plurality of target points is further provided, and the processing unit is selected based on the user interface screen
  • the target point information may be used. Thereby, the user can easily select an image of a partial area to be displayed.
  • RP reference point
  • FIG. 1 It is a figure which shows the example of a setting of the target point (TP) set in a wide viewing angle image.
  • the figure for demonstrating the process of the receiving side in case the information of the target point (TP) set in the wide viewing angle image is inserted in the video stream obtained by encoding the moving image data of a wide viewing angle image It is.
  • the target point (TP) is designated by the type 1.
  • FIG. 2 It is a figure for demonstrating the example where two effective image areas of an ellipse exist in the rectangular area
  • FIG. 1 It is a figure which shows the example of a setting of the target point (TP) set in a wide viewing angle image.
  • It is a figure (1/2) which shows the structural example of a target point indication SEI message.
  • It is a figure (2/2) which shows the structural example of a target point indication SEI message.
  • FIG. 1 shows a configuration example of a transmission / reception system 10 as an embodiment.
  • the transmission / reception system 10 includes a transmission device 100 and a reception device 200.
  • the transmission device 100 transmits a transport stream TS as a container on a broadcast wave.
  • the transport stream TS includes a video stream obtained by encoding moving image data of a wide viewing angle image such as an omnidirectional image. In this video stream, information on the target point set in the wide viewing angle image is inserted.
  • This target point information is inserted corresponding to the encoded data of all pictures or only corresponding to the encoded data of the first picture of GOP (Group Of Picture).
  • information on the effective image area of an ellipse existing in the rectangular area of the wide viewing angle image and information on the reference point set on the effective image area of the ellipse are also inserted in the transport stream TS. Is done.
  • the target point information is information on the relative radius of the ellipse from the reference point set on the effective image area of the ellipse (including the circle) existing in the rectangular area of the wide viewing angle image and the angle from the horizontal axis. It is supposed to include. Further, for example, the target point information includes a rectangular area of the wide viewing angle image as an effective image area, and includes information on a two-dimensional relative position from a reference point in the rectangular area. In this case, for example, the reference point is a top left point of the rectangular area or a reference point set on an effective image area of an ellipse existing in the rectangular area.
  • the receiving device 200 receives the above-described transport stream TS transmitted from the transmitting device 100 on a broadcast wave.
  • the transport stream TS includes a video stream obtained by encoding moving image data of a wide viewing angle image. In this video stream, information on the target point set in the wide viewing angle image is inserted.
  • the receiving apparatus 200 uses the video data of the wide viewing angle image obtained by decoding the video stream, and the image of a partial region corresponding to the target point in the wide viewing angle image using the target point information. Process to display.
  • receiving apparatus 200 displays a user interface screen for selecting an arbitrary target point from a plurality of target points, and uses information on the target point selected based on this user interface screen. The user can easily select an image of a partial area to be displayed.
  • FIG. 2 shows a configuration example of the transmission device 100.
  • the transmission apparatus 100 includes a control unit 101, a user operation unit 101a, a display unit 101b, a wide viewing angle camera 102, an uncompressed data buffer (dpb) 103, a video encoder 104, and compressed data.
  • a buffer (cpb: coded picture buffer) 105, a TS formatter 106, and a transmission unit 107 are included.
  • the control unit 101 includes a CPU (Central Processing Unit) and controls the operation of each unit of the transmission apparatus 100.
  • the control unit 101 is connected to a user operation unit 101a and a display unit 101b that constitute a user interface.
  • the user can perform various input operations using the user operation unit 101a.
  • the user operation unit 101a can perform an operation for setting a target point in a wide viewing angle image displayed on the display unit 101b.
  • the wide viewing angle camera 102 captures a subject and obtains moving image data VD of a wide viewing angle image such as an omnidirectional image.
  • the moving image data VD of the wide viewing angle image obtained by the wide viewing angle camera 102 is sent to the display unit 101b via the control unit 101.
  • a wide viewing angle image is displayed on the display unit 101b.
  • the video encoder 104 receives the moving image data VD of a wide viewing angle image through the uncompressed data buffer 103 and encodes it with AVC or HEVC to obtain a video stream.
  • the video encoder 104 inserts the target point information set by the user operation from the user operation unit 101a as described above into the video stream.
  • the number of target points is one, or two or more.
  • the video encoder 104 also includes information on the effective image area of the ellipse existing in the rectangular area of the wide viewing angle image in the video stream, and a reference point (RP: Reference Point) set on the effective image area of the ellipse. Also insert the information.
  • the video encoder 104 inserts these pieces of information corresponding to the encoded data of all the pictures or only corresponding to the encoded data of the first picture of the GOP.
  • the reference point (RP) information will be described with reference to FIG.
  • This reference point (RP) is set on the effective image area of the ellipse existing in the rectangular area of the wide viewing angle image, and indicates a reference position, for example, the center of the ellipse.
  • an elliptical effective image area exists in the rectangular area of the wide viewing angle image, and a reference point (RP) is set on the effective image area.
  • the position of the reference point (RP) is specified as a ratio between the vertical direction and the horizontal direction (rh%, rv%) when the rectangular top-left is set as the starting point and the entire rectangle is 1 in the vertical and horizontal directions. .
  • the position indicated by a series of relative positions has an advantage that an accurate position can be designated without depending on the resolution of the video by keeping a good accuracy. If the video resolution can be specified in advance, all the position designations can be expressed by the number of pixels instead of the relative position.
  • a line segment drawn from the reference point (RP) to the specified position of the rectangle is represented by an angle ⁇ from the horizontal axis, and the reference point RP
  • the ratio of the length to the point where the line segment intersects the circle or ellipse is expressed as a percentage at the angle ⁇ .
  • the line segment OP in FIG. 4 is directed toward the angle ⁇ from the horizontal axis, and when the length of OP is 1, OQ is expressed as a ratio r.
  • the elliptical trajectory as shown in FIG. 4 can be obtained as a trajectory passing through the four points A to D expressed by their angles and percentages ( ⁇ , r) as follows. Can be obtained.
  • B: (90, 1 (OB / OT 1))
  • D: (270, 1 (OD / OW 1))
  • the angles of OA, OB, OC, and OD are not necessarily in increments of 90 degrees, and are elements that can be arbitrarily designated as angles from the horizontal axis.
  • target point (TP) information will be described.
  • type 1 (Type 1) will be described with reference to FIG.
  • the target point (TP) is defined by the relative radius dr of the ellipse from the reference point (RP) set on the effective image area of the ellipse existing in the rectangular area of the wide viewing angle image and the horizontal axis. It is indicated by an angle ⁇ (TP ( ⁇ , dr)).
  • the angle ⁇ is represented in degrees counterclockwise from the angle of the horizontal line at the reference point (RP) as 0.
  • the relative radius dr is shown as a ratio when the distance (corresponding to the radius) to the end point of the effective pixel region at the angle ⁇ is 1.
  • type 2 (Type 2) will be described with reference to FIG.
  • the target point (TP) is indicated by a two-dimensional relative position when the rectangular area of the wide viewing angle image is an effective image area and the whole rectangle is set to 1 from a reference point in the rectangular area. It is.
  • This type 2 is an effective method when the effective image area does not fall within the elliptical range.
  • the target point (TP) When the reference point is the top-left of the rectangular area, the target point (TP) is indicated by (tx, ty).
  • the target point (TP) When the reference point is the reference point (RP), the target point (TP) is represented by (tx-rh, ty-rv), assuming that it is RP (rh, rv).
  • the horizontal position of the target point (TP) is positive in the right direction from the reference point and negative in the left direction
  • the vertical position is positive in the downward direction from the reference point. And a negative value in the upward direction.
  • FIG. 7 shows a setting example of the target point (TP) set in the wide viewing angle image.
  • the target point (TP) is designated by the relative radius dr of the ellipse from the reference point (RP) and the angle ⁇ from the horizontal axis.
  • the target points of TP1 to TP6 have the same relative radius dr of the ellipse from the reference point (RP) at dr1.
  • the target point of TR7 is different from the target points of TP1 to TP6 because the relative radius dr of the ellipse from the reference point (RP) is dr2.
  • FIG. 8 (a) shows an image obtained by panoramic development of the wide viewing angle image shown in FIG.
  • FIG. 8B shows the positions of the target points TP1 to TP7 on the panoramic development image.
  • Each target point is identified by a target ID.
  • FIG. 8C On the receiving side, as shown in FIG. 8C, by selecting a desired target point from each target point identified by the target ID, it is possible to display an image of a partial region corresponding to the target point. . In this case, the display is performed so that the target point is the center of the display. Note that after the display, the display area can be freely shifted by a user operation.
  • FIG. 9 shows an example in which two elliptical effective image regions exist in the rectangular region of the wide viewing angle image, and the target point (TP) is designated as type 1.
  • the reference point (RP) is set on each elliptical effective image area.
  • the position of each reference point (RP) is designated as a ratio between the vertical direction and the horizontal direction when the top-left of the rectangle is the starting point and the entire rectangle is 1 in the vertical and horizontal directions.
  • the position of the reference point (RP1) set on the left ellipse effective image area is (rh1%, rv1%), and the reference point (RP2) set on the right ellipse effective image area
  • the position of is (rh2%, rv2%).
  • each elliptical effective image area is indicated by angles and percentages at four points on the trajectory as in the above example.
  • Each target point (TP) exists in a rectangular region of a wide viewing angle image, and is based on the relative radius dr of the ellipse from the reference point (RP) set on the effective image region of the ellipse to which the target point (TP) belongs and the horizontal axis.
  • RP reference point
  • the target point (TP1) is indicated by a relative radius dr1 of the ellipse from the reference point (RP1) set on the left ellipse effective image area and an angle ⁇ 1 from the horizontal axis
  • the target point (TP2) Is shown by the relative radius dr2 of the ellipse from the reference point (RP2) set on the right ellipse effective image area and the angle ⁇ 2 from the horizontal axis.
  • FIG. 10 shows an example in which two elliptical effective image regions exist in the rectangular region of the wide viewing angle image, and the target point (TP) is designated by type 2.
  • the reference point (RP) is set on each elliptical effective image area.
  • the position of each reference point (RP) is designated as a ratio between the vertical direction and the horizontal direction when the top-left of the rectangle is the starting point and the entire rectangle is 1 in the vertical and horizontal directions.
  • the position of the reference point (RP1) set on the left ellipse effective image area is (rh1%, rv1%), and the reference point (RP2) set on the right ellipse effective image area
  • the position of is (rh2%, rv2%).
  • each elliptical effective image area is indicated by angles and percentages at four points on the trajectory as in the above example.
  • Each target point (TP) is indicated by a two-dimensional relative position where the rectangular area of the wide viewing angle image is an effective image area and the entire rectangle is set to 1 from a reference point in the rectangular area.
  • the target point (TP1) when the reference point is the top-left of the rectangular area, the target point (TP1) is indicated by (tx1, ty1), and the target point (TP2) is (tx2, ty2). ).
  • the target point (TP1) belongs to the effective image area of the left ellipse and is indicated by (tx1-rh1, ty1-rv1).
  • (TP2) belongs to the effective image area of the right ellipse and is represented by (tx2-rh2, ty2-rv2).
  • the horizontal position of the target point (TP) is positive in the right direction from the reference point and negative in the left direction
  • the vertical position is positive in the downward direction from the reference point. And a negative value in the upward direction.
  • FIG. 11 shows a setting example of the target point (TP) set in the wide viewing angle image.
  • This example is an example in which the target point (TP) is indicated by a two-dimensional relative position where the entire rectangle is 1 from the reference point in the rectangular region of the wide viewing angle image.
  • the target point of TP11 is set in the effective image area of the left ellipse.
  • target points of TP12 and TP13 are set in the effective image area of the right ellipse.
  • FIG. 12 (a) shows an image obtained by panoramic development of the wide viewing angle image shown in FIG.
  • FIG. 12B shows the positions of the target points TP11 to TP13 on the panoramic development image.
  • Each target point is identified by a target ID.
  • On the receiving side as shown in FIG. 12C, by selecting a desired target point from each target point identified by the target ID, it is possible to display an image of a partial area corresponding to the target point. . In this case, the display is performed so that the target point is the center of the display. Note that after the display, the display area can be freely shifted by a user operation.
  • the video encoder 104 specifically includes information on the reference point (RP), the effective image area of the ellipse, and the target point (TP) in the “SEIs” portion of the access unit (AU).
  • a newly defined target point indication SEI message (Target_point_indication SEI message) having meta information is inserted.
  • the video encoder 104 inserts this target point indication SEI message into all access units or only into the first access unit of the GOP.
  • FIG. 13 shows the top access unit of GOP (Group Of Pictures) when the encoding method is HEVC.
  • a decoding SEI message group “Prefix_SEIs” is arranged before a slice (slices) in which pixel data is encoded, and a display SEI message group “ “Suffix_SEIs” is arranged.
  • the target point indication SEI message is arranged, for example, as an SEI message group “Suffix_SEIs”.
  • FIG. 14 and 15 show a structure example (Syntax) of the target point indication SEI message.
  • FIG. 16 shows the contents (Semantics) of main information in the structural example.
  • An 8-bit field of “byte_length” indicates the subsequent size of this SEI message in bytes.
  • the 8-point field “pointing_type” indicates the type of the method for specifying the coordinate position of the target point. For example, “0x01” indicates coordinates (type 1) based on polar coordinates, and “0x02” indicates coordinates (type 2) based on orthogonal coordinates.
  • the 8-bit field of “number_of_active_area” indicates the number of elliptical effective image areas existing in the encoding area (rectangular area of the wide viewing angle image). The following fields exist repeatedly for this number.
  • the 8-bit field “area_id” indicates identification information of the effective image area of the ellipse.
  • the 16-bit field of “rp_position_h” indicates the horizontal position of the reference point (RP) as a relative distance in the image from the top left of the image.
  • the 16-bit field of “rp_position_v” indicates the vertical position of the reference point (RP) as a relative distance within the image from the top-left of the image.
  • a 16-bit field of “degree_h” indicates a degree indicating the inclination of the major axis of the ellipse from the horizontal axis.
  • the 16-bit field of “degree_v” indicates the degree indicating the inclination from the horizontal axis of the minor axis of the ellipse.
  • the 16-bit field of “h_boundary_r” is a ratio of the distance from the reference point (RP) to the right edge boundary of the ellipse major axis (indicated by “degree_h”) with respect to the distance from the extension line to the intersection with the encoding target rectangle.
  • the 16-bit field of “h_boundary_l” is a ratio of the distance from the reference point (RP) to the left edge boundary of the ellipse major axis (indicated by “degree_h”) with respect to the distance from the extension line to the intersection with the encoding target rectangle.
  • v_boundary_t indicates the distance from the reference point (RP) to the upper boundary of the ellipse minor axis (indicated by “degree_v”) with respect to the distance from the extension line to the intersection with the encoding target rectangle. Expressed as a ratio.
  • the distance from the “v_boundary_b” reference point (RP) to the lower boundary of the ellipse minor axis (indicated by “degree_v”) is expressed as a ratio to the distance from the extension line to the intersection with the encoding target rectangle.
  • An 8-bit field of “target_id” indicates identification information of a target point. For example, “0” indicates a view overlooking the entire wide viewing angle, and other than “0” indicates an individual view.
  • a 16-bit field of “direction_degree” indicates an angle ⁇ from the horizontal axis.
  • a 16-bit field of “distance_ratio” indicates a relative radius dr from the reference point (PR).
  • An 8-bit field of “target_id” indicates identification information of a target point. For example, “0” indicates a view overlooking the entire wide viewing angle, and other than “0” indicates an individual view.
  • a 16-bit field of “relative_h_position” indicates a horizontal relative position from a reference point.
  • a 16-bit field of “relative_v_position” indicates a vertical relative position from a reference point.
  • the compressed data buffer (cpb) 105 temporarily stores the video stream generated by the video encoder 104.
  • the TS formatter 106 reads out a video stream stored in the compressed data buffer 105, converts it into a PES packet, further converts it into a transport packet, and multiplexes it to obtain a transport stream TS as a multiplexed stream.
  • the transmission unit 107 transmits the transport stream TS obtained by the TS formatter 106 on a broadcast wave or a network packet to the reception device 200.
  • the moving image data VD of the wide viewing angle image obtained by the wide viewing angle camera 102 is supplied to the video encoder 104 via the uncompressed data buffer (dpb) 103.
  • the moving image data VD is encoded by AVC or HEVC, and a video stream (encoded stream) is obtained.
  • a target point set in the wide viewing angle image by a user operation for example, a target point set in the wide viewing angle image by a user operation, an effective image area of an ellipse existing in the rectangular area of the wide viewing angle image, Information such as a reference point (RP) set on the effective image area is inserted. These pieces of information are inserted corresponding to the encoded data of all pictures or only corresponding to the encoded data of the first picture of the GOP.
  • RP reference point
  • the “SEIs” portion of the access unit (AU) has meta information such as information on the reference point (RP), the effective image area of the ellipse, and the target point (TP).
  • RP reference point
  • TP target point
  • a target point indication SEI message to be defined is inserted (see FIGS. 13, 14, and 15).
  • the video stream generated by the video encoder 104 is temporarily stored in the compressed data buffer (cpb) 105.
  • the encoded stream stored in the compressed data buffer 105 is read out, converted into a PES packet, further converted into a transport packet, and multiplexed to obtain a transport stream TS as a multiplexed stream.
  • the transport stream TS obtained by the TS formatter 106 is sent to the transmission unit 107.
  • the transport stream TS obtained by the TS formatter 106 is transmitted on a broadcast wave or a network packet and transmitted to the reception device 200.
  • FIG. 17 illustrates a configuration example of the receiving device 200.
  • the receiving apparatus 200 includes a control unit (Central Processing Unit) 201, a user operation unit 201a, a receiving unit 202, a TS analysis unit 203, a compressed data buffer (cpb: coded picture buffer) 204, a video decoder 205, , An uncompressed data buffer (dpb: decoded picture buffer) 206, a converter / selector 207, a synthesis unit 208, and a display unit 209.
  • a control unit Central Processing Unit
  • a user operation unit 201a includes a user operation unit 201a, a receiving unit 202, a TS analysis unit 203, a compressed data buffer (cpb: coded picture buffer) 204, a video decoder 205, , An uncompressed data buffer (dpb: decoded picture buffer) 206, a converter / selector 207, a synthesis unit 208, and a display unit 209.
  • the control unit 201 includes a CPU (Central Processing Unit) and controls the operation of each unit of the receiving device 200.
  • the control unit 201 is connected to a user operation unit 201a that constitutes a user interface.
  • the user can perform various input operations using the user operation unit 201a. For example, the display image can be selected and changed by designating the target ID from the user operation unit 201a.
  • the receiving unit 202 receives the transport stream TS transmitted from the transmitting device 100 on broadcast waves or net packets.
  • the TS analysis unit 203 extracts a video stream related to the moving image data VD of the wide viewing angle image included in the transport stream TS and sends the video stream to the compressed data buffer (cpb) 204.
  • the video decoder 205 reads and decodes the encoded image data of each picture stored in the compressed data buffer 204 at a decode timing given by the DTS (Decoding Time stamp) of the picture.
  • the image data of each picture obtained by decoding is temporarily stored in the uncompressed data buffer 206. Then, the image data of each picture is read from the uncompressed data buffer 206 at the timing given by the PTS (Presentation Time Stamp) of the picture, and the moving image data VD of the wide viewing angle image is obtained, and the converter / selector 207.
  • the video decoder 205 extracts the parameter set and SEI message inserted in the video stream and sends them to the control unit 201.
  • the target point indication SEI message inserted in all access units or only in the head access unit of the GOP (see FIGS. 14 and 15). ) Is also included.
  • This target point indication SEI message includes information on the target point (TP) set in the wide viewing angle image, information on the effective image area of the ellipse existing in the rectangular area of the wide viewing angle image, and the ellipse And meta information such as information on the reference point (RP) set on the effective image area.
  • the control unit 201 recognizes these pieces of information for all access units or for the first access unit of the GOP.
  • the converter / selector 207 performs panoramic image processing on the wide-viewing-angle moving image data VD obtained by the uncompressed data buffer 206 to obtain panorama display image data.
  • This panoramic development image processing is performed by information on the effective image area of the ellipse existing in the rectangular area of the wide viewing angle image from the control unit 201 and information on the reference point (RP) set on the effective image area of the ellipse. Etc.
  • the converter / selector 207 generates thumbnail data indicating the contents of the wide viewing angle image, and based on the target point (TP) information from the control unit 201, each target point ( TP) is generated, and thumbnail data indicating the contents of the image of a partial area corresponding to TP) is generated, and the thumbnail data is sent to the control unit 201.
  • the control unit 201 selects a wide viewing angle image or a thumbnail of a partial area image corresponding to each target point based on the thumbnail data sent from the converter / selector 207.
  • a UI display signal for display in association with the target ID is generated.
  • FIG. 18 shows an example of a UI screen. This example corresponds to the setting example of the target point (TP) in FIG.
  • the user can select a desired image as a display image by designating a target ID from the user operation unit 201a based on the UI screen.
  • the control unit 201 sends target ID designation information to the converter / selector 207. Note that the control unit 201 converts the target ID information such as the smallest target value other than “0” or “0” into the converter / selector in a state where the target ID is not designated by the user operation. Send to 207.
  • the converter / selector 207 generates display image data for displaying an image corresponding to the designated target ID. For example, when the designated target ID is “0”, the image data of the wide viewing angle image is subjected to processing such as pixel position conversion and resolution conversion as necessary to display the wide viewing angle image. Display image data is generated. Also, for example, when the designated target ID is other than “0”, image data for displaying an image of a partial region corresponding to the target point indicated by the target ID is selected from the panorama display image data. To obtain display image data.
  • the synthesizing unit 208 synthesizes the display video signal generated by the converter / selector 207 and the UI display signal generated by the control unit 201, and sends them to the display unit 209.
  • the display unit 209 includes, for example, an LCD (Liquid Crystal Display), an organic EL (Organic Electro-Luminescence) panel, and the like.
  • the display unit 209 may be an external device connected to the receiving device 200.
  • the display unit 209 displays an image based on the display video signal generated by the converter / selector 207 in a state where the UI display signal is not generated by the control unit 201.
  • the display unit 209 displays a UI screen based on the UI display signal in a state where the UI display signal is generated by the control unit 201, or an image based on the video signal for display is superimposed on the UI screen based on the UI display signal. Display in the state.
  • the converter / selector 207 selectively extracts image data for displaying a partial area image corresponding to the target point indicated by the target ID from the panorama display image data, and displays the partial area on the display unit 209. With the image displayed, the display image can be scrolled up, down, left, and right by an operation from the user operation unit 201a. In this case, the converter / selector 207 sequentially changes the extraction area from the panorama display image data in accordance with the user operation.
  • the reception unit 202 receives the transport stream TS transmitted from the transmission device 100 on broadcast waves or net packets.
  • the transport stream TS is supplied to the TS analysis unit 203.
  • a video stream related to the moving image data VD of the wide viewing angle image included in the transport stream TS is extracted and sent to the compressed data buffer 204.
  • the encoded image data of each picture stored in the compressed data buffer 204 is read and decoded at the decoding timing given by the DTS (Decoding Time stamp) of the picture.
  • the image data of each picture obtained by decoding is temporarily stored in the uncompressed data buffer 206.
  • the image data of each picture is read from the uncompressed data buffer 206 at the timing given by the PTS (Presentation Time Stamp) of the picture, and the moving image data VD of the wide viewing angle image is obtained, and the converter / selector 207.
  • the video decoder 205 extracts the parameter set and SEI message inserted in the video stream and sends them to the control unit 201.
  • This extracted information includes target point indication SEI messages.
  • the control unit 201 the information of the target point (TP) set in the wide viewing angle image corresponding to all access units or the head access unit of the GOP, present in the rectangular region of the wide viewing angle image The information on the effective image area of the ellipse and the information on the reference point (RP) set on the effective image area of the ellipse are recognized.
  • the converter / selector 207 performs panoramic image processing on the moving image data VD of the wide viewing angle image to obtain panorama display image data.
  • the converter / selector 207 generates thumbnail data indicating the contents of the wide viewing angle image, and based on the target point (TP) information from the control unit 201, each target of the wide viewing angle image. Thumbnail data indicating the contents of the image of the partial area corresponding to the point (TP) is generated, and the thumbnail data is sent to the control unit 201.
  • control unit 201 when the user selects a display image, a thumbnail of a wide viewing angle image or a partial region image corresponding to each target point is selected based on the thumbnail data sent from the converter / selector 207.
  • a UI display signal for display in association with the target ID is generated.
  • This UI display signal is supplied to the display unit 209 via the synthesis unit 208.
  • the UI screen (see FIG. 18) is displayed on the display unit 209.
  • the user can select a desired image as a display image by designating a target ID from the user operation unit 201a based on the UI screen.
  • the target ID designation information is sent from the control unit 201 to the converter / selector 207.
  • target ID information such as a preset target ID, for example, the smallest value other than “0” or “0” is sent.
  • the converter / selector 207 generates display image data for displaying an image corresponding to the designated target ID. For example, when the designated target ID is “0”, the image data of the wide viewing angle image is subjected to processing such as pixel position conversion and resolution conversion as necessary to display the wide viewing angle image. Display image data is generated. Further, for example, when the designated target ID is other than “0”, image data for displaying a partial area image corresponding to the target point indicated by the target ID is selected from the panorama display image data. Thus, display image data is generated.
  • the display image data generated by the converter / selector 207 is supplied to the display unit 209 via the synthesis unit 208.
  • the display unit 209 displays an image based on the display image data (a wide viewing angle image, an image of a partial region corresponding to the target point in the wide viewing angle image).
  • the UI screen is displayed on the display unit 209, and the display image is changed by designating the change of the target ID from the user operation unit 201a based on the UI screen.
  • the display image is scrolled up, down, left, and right by an operation from the user operation unit 201a in a state where an image of a partial region corresponding to the target point in the wide viewing angle image is displayed.
  • the converter / selector 207 sequentially changes the extraction area from the panorama display image data in accordance with the user operation.
  • the transmission device 100 uses the target point (set in the wide viewing angle image) in the video stream obtained by encoding the moving image data of the wide viewing angle image.
  • TP target point
  • the transmission device 100 uses the target point (set in the wide viewing angle image) in the video stream obtained by encoding the moving image data of the wide viewing angle image.
  • TP information is inserted and transmitted. Therefore, by using the information of the target point (TP), it becomes possible to display a certain partial image in the wide viewing angle image consistently between the receivers.
  • the reception apparatus 200 when the user selects a display image, the reception apparatus 200 associates a wide viewing angle image or a thumbnail of a partial area image corresponding to each target point with a target ID. Display the UI screen. Therefore, the user can easily change the selection of the display image.
  • the transmission / reception system 10 including the transmission device 100 and the reception device 200 is shown, but the configuration of the transmission / reception system to which the present technology can be applied is not limited to this.
  • the receiving device 200 may be a configuration of a set-top box and a monitor connected via a digital interface such as (High-Definition Multimedia Interface (HDMI)). Trademark.
  • HDMI High-Definition Multimedia Interface
  • the container is a transport stream (MPEG-2 TS)
  • MPEG-2 TS transport stream
  • the present technology can be similarly applied to a system configured to be distributed to receiving terminals using a network such as the Internet.
  • distribution is often performed using ISOBMFF (or MP4) or containers of other formats.
  • containers of various formats such as transport stream (MPEG-2 TS) adopted in the digital broadcasting standard and ISOBMFF (or MP4) used in Internet distribution are applicable.
  • this technique can also take the following structures.
  • a transmission unit that transmits a container in a predetermined format including a video stream obtained by encoding moving image data of a wide viewing angle image;
  • a transmission apparatus comprising: an information insertion unit that inserts information on a target point set in the wide viewing angle image into the video stream.
  • the information on the target point includes information on the relative radius of the ellipse from the reference point set on the effective image area of the ellipse existing in the rectangular area of the wide viewing angle image and the angle from the horizontal axis.
  • the transmission device according to (1).
  • the information on the target point includes information on a two-dimensional relative position from a reference point in the rectangular area, where the rectangular area of the wide viewing angle image is an effective image area.
  • Transmitter device (4) The transmitting device according to (3), wherein the reference point is a top left point of the rectangular region. (5) The transmission device according to (3), wherein the reference point is a reference point set on an effective image area of an ellipse existing in the rectangular area. (6) The information insertion unit further adds information on an effective image area of an ellipse existing in the rectangular area of the wide viewing angle image and information on a reference point set on the effective image area of the ellipse to the video stream. Insert the transmitter according to any one of (1) to (5). (7) The information insertion unit inserts the information of the target point corresponding to the encoded data of all the pictures or only corresponding to the encoded data of the first picture of the GOP.
  • a transmission method comprising: an information insertion step in which an information insertion unit inserts information of a target point set in the wide viewing angle image into the video stream.
  • a receiving unit that receives a container in a predetermined format including a video stream obtained by encoding moving image data of a wide viewing angle image; In the video stream, information on the target point set in the wide viewing angle image is inserted, The moving image data of the wide viewing angle image obtained by decoding the video stream is used to display an image of a partial region corresponding to the target point in the wide viewing angle image using the information of the target point.
  • a receiving device further comprising: (10) a display control unit that controls to display a user interface screen for selecting an arbitrary target point from the plurality of target points; The receiving device according to (9), wherein the processing unit uses information on a target point selected based on the user interface screen.
  • the reception unit includes a reception step of receiving a container in a predetermined format including a video stream obtained by encoding moving image data of a wide viewing angle image, In the video stream, information on the target point set in the wide viewing angle image is inserted, An image of a partial region corresponding to the target point in the wide viewing angle image using moving image data of the wide viewing angle image obtained by decoding the video stream by the processing unit using the information on the target point
  • a receiving method further comprising a processing step of processing so as to display.
  • the main feature of this technology is that the information of the target point (TP) set in the wide viewing angle image is inserted and transmitted in the video stream obtained by encoding the moving image data of the wide viewing angle image. In other words, it is possible to display a constant partial image within the wide viewing angle image consistently between the receivers (see FIGS. 7 and 13).
  • DESCRIPTION OF SYMBOLS 10 ... Transmission / reception system 100 ... Transmission apparatus 101 ... Control part 101a ... User operation part 101b ... Display part 102 ... Wide viewing angle camera 103 ... Uncompressed data buffer 104 ... Video encoder 105 ... Compressed data buffer 106 ... TS formatter 107 ... Transmitter 200 ... Receiver 201 ... Control unit 201a ... User operation unit 202 ... Receiver 203 ... TS analysis unit 204 ... compressed data buffer 205 ... video decoder 206 ... uncompressed data buffer 207 ... converter / selector 208 ... compositing unit 209 ... display unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

広視野角画像内の一定の部分画像を受信機間で一貫性をもって表示可能とする。　広視野角画像の動画像データを符号化して得られたビデオストリームを含む所定フォーマットのコンテナを送信する。広視野角画像内に設定されたターゲットポイントの情報をビデオストリームに挿入する。例えば、ターゲットポイントの情報は、広視野角画像の長方形領域内に存在する楕円の有効画像領域上に設定された基準点からの楕円の相対半径と水平軸からの角度の情報を含む。また、例えば、ターゲットポイントの情報は、広視野角画像の長方形領域を有効画像領域とし、長方形領域内の基準となる点からの２次元相対位置の情報を含む。

Description

送信装置、送信方法、受信装置および受信方法
　本技術は、送信装置、送信方法、受信装置および受信方法に関し、詳しくは、広視野角画像の動画像データを符号化して得られたビデオストリームを送信する送信装置等に関する。
　広視野角画像は、広視野角に対応するミラーやレンズなどを用いてキャプチャされたものである。例えば、特許文献１には、広視野角画像としての全方位画像などの記載がある。
　広視野角画像の動画像データを送信する場合、受信側においては、表示の際に変換の仕方によって表示対象部分が異なってくる。そのため、広視野角画像内の一定の部分画像を受信機間で一貫性をもって表示させたい場合に、従来は、その方法が存在しないという問題があった。
特開２００９－２００９３９号公報
　本技術の目的は、広視野角画像内の一定の部分画像を受信機間で一貫性をもって表示可能とすることにある。
　本技術の概念は、
　広視野角画像の動画像データを符号化して得られたビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
　上記広視野角画像内に設定されたターゲットポイントの情報を上記ビデオストリームに挿入する情報挿入部を備える
　送信装置にある。
　本技術において、送信部により、広視野角画像の動画像データを符号化して得られたビデオストリームを含む所定フォーマットのコンテナが送信される。情報挿入部により、広視野角画像内に設定されたターゲットポイントの情報がビデオストリームに挿入される。例えば、情報挿入部は、ターゲットポイントの情報を、全てのピクチャの符号化データに対応してあるいはＧＯＰの先頭のピクチャの符号化データのみに対応して挿入する、ようにされてもよい。また、例えば、情報挿入部は、広視野角画像の長方形領域内に存在する楕円の有効画像領域の情報と該楕円の有効画像領域上に設定された基準点の情報を上記ビデオストリームにさらに挿入する、ようにされてもよい。
　例えば、ターゲットポイントの情報は、広視野角画像の長方形領域内に存在する楕円の有効画像領域上に設定された基準点からの楕円の相対半径と水平軸からの角度の情報を含む、ようにされてもよい。また、例えば、ターゲットポイントの情報は、広視野角画像の長方形領域を有効画像領域とし、長方形領域内の基準となる点からの２次元相対位置の情報を含む、ようにされてもよい。この場合、例えば、基準となる点は、長方形領域のトップ・レフトの点である、ようにされてもよい。また、この場合、例えば、基準となる点は、長方形領域内に存在する楕円の有効画像領域上に設定された基準点である、ようにされてもよい。
　このように本技術においては、広視野角画像の動画像データを符号化して得られたビデオストリームに広視野角画像内に設定されたターゲットポイントの情報を挿入して送信するものである。そのため、ターゲットポイントの情報を用いることで、広視野角画像内の一定の部分画像を受信機間で一貫性をもって表示させることが可能となる。
　また、本技術の他の概念は、
　広視野角画像の動画像データを符号化して得られたビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
　上記ビデオストリームには、上記広視野角画像内に設定されたターゲットポイントの情報が挿入されており、
　上記ビデオストリームを復号化して得られる上記広視野角画像の動画像データを上記ターゲットポイントの情報を用いて上記広視野角画像のうちの上記ターゲットポイントに対応した一部領域の画像を表示するように処理する処理部をさらに備える
　受信装置にある。
　本技術において、受信部により、広視野角画像の動画像データを符号化して得られたビデオストリームを含む所定フォーマットのコンテナが受信される。ビデオストリームには、広視野角画像内に設定されたターゲットポイントの情報が挿入されている。処理部により、ビデオストリームを復号化して得られた広視野角画像の動画像データがターゲットポイントの情報が用いられて広視野角画像のうちのターゲットポイントに対応した一部領域の画像を表示するように処理される。
　このように、本技術においては、ビデオストリームを復号化して得られた広視野角画像の動画像データを、ビデオストリームに挿入されている広視野角画像内に設定されたターゲットポイントの情報を用いて、広視野角画像のうちのターゲットポイントに対応した一部領域の画像を表示するように処理するものである。そのため、広視野角画像内の一定の部分画像を受信機間で一貫性をもって表示させることが可能となる。
　なお、本技術において、例えば、複数のターゲットポイントから任意のターゲットポイントを選択するためのユーザインタフェース画面を表示するように制御する表示制御部をさらに備え、処理部は、ユーザインタフェース画面に基づいて選択されたターゲットポイントの情報を用いる、ようにされてもよい。これにより、ユーザは、表示される一部領域の画像の選択を容易に行い得る。
　本技術によれば、広視野角画像内の一定の部分画像を受信機間で一貫性をもって表示できる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
実施の形態としての送受信システムの構成例を示すブロック図である。 送信装置の構成例を示すブロック図である。 広視野角画像の長方形領域内に存在する楕円の有効画像領域上に設定された基準点（ＲＰ）の情報を説明するための図である。 広視野角画像の長方形領域内に存在する楕円の有効画像領域の情報を説明するための図である。 広視野角画像上に設定されるターゲットポイント（Ｔｐ）の情報（タイプ１）を説明するための図である。 広視野角画像上に設定されるターゲットポイント（Ｔｐ）の情報（タイプ２）を説明するための図である。 広視野角画像内に設定されるターゲットポイント（ＴＰ）の設定例を示す図である。 広視野角画像の動画像データを符号化して得られたビデオストリームに広視野角画像内に設定されたターゲットポイント（ＴＰ）の情報が挿入される場合における受信側の処理を説明するための図である。 広視野角画像の長方形領域内に楕円の有効画像領域が２個存在し、ターゲットポイント（ＴＰ）がタイプ１で指定される例を説明するための図である。 広視野角画像の長方形領域内に楕円の有効画像領域が２個存在し、ターゲットポイント（ＴＰ）がタイプ２で指定される例を説明するための図である。 広視野角画像内に設定されるターゲットポイント（ＴＰ）の設定例を示す図である。 広視野角画像の動画像データを符号化して得られたビデオストリームに広視野角画像内に設定されたターゲットポイント（ＴＰ）の情報が挿入される場合における受信側の処理を説明するための図である。 符号化方式がＨＥＶＣである場合におけるＧＯＰの先頭のアクセスユニットを示す図である。 ターゲット・ポイント・インディケーション・ＳＥＩメッセージの構造例を示す図（１/２）である。 ターゲット・ポイント・インディケーション・ＳＥＩメッセージの構造例を示す図（２/２）である。 ターゲット・ポイント・インディケーション・ＳＥＩメッセージの構造例における主要な情報の内容を示す図である。 受信装置の構成例を示すブロック図である。 ＵＩ画面の一例を示す図である。
　以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
　１．実施の形態
　２．変形例
　＜１．実施の形態＞
　［送受信システム］
　図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、送信装置１００と、受信装置２００とを有する構成となっている。
　送信装置１００は、コンテナとしてのトランスポートストリームＴＳを放送波に載せて送信する。このトランスポートストリームＴＳには、全方位画像などの広視野角画像の動画像データを符号化して得られたビデオストリームが含まれている。そして、このビデオストリームには、広視野角画像内に設定されたターゲットポイントの情報が挿入されている。
　このターゲットポイントの情報は、全てのピクチャの符号化データに対応して、あるいはＧＯＰ（Group Of Picture）の先頭のピクチャの符号化データのみに対応して挿入される。この実施の形態において、トランスポートストリームＴＳには、広視野角画像の長方形領域内に存在する楕円の有効画像領域の情報と、この楕円の有効画像領域上に設定された基準点の情報も挿入される。
　例えば、ターゲットポイントの情報は、広視野角画像の長方形領域内に存在する楕円（円を含む）の有効画像領域上に設定された基準点からの楕円の相対半径と水平軸からの角度の情報を含むものとされる。また、例えば、ターゲットポイントの情報は、広視野角画像の長方形領域を有効画像領域とし、長方形領域内の基準となる点からの２次元相対位置の情報を含むものとされる。この場合、例えば、基準となる点は、長方形領域のトップ・レフトの点、あるいは長方形領域内に存在する楕円の有効画像領域上に設定された基準点とされる。
　受信装置２００は、送信装置１００から放送波に載せて送られてくる上述のトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳには、上述したように、広視野角画像の動画像データを符号化して得られたビデオストリームが含まれている。そして、このビデオストリームには、広視野角画像内に設定されたターゲットポイントの情報が挿入されている。
　受信装置２００は、ビデオストリームを復号化して得られた広視野角画像の動画像データを、ターゲットポイントの情報を用いて、広視野角画像のうちのターゲットポイントに対応した一部領域の画像を表示するように処理する。この実施の形態において、受信装置２００は、複数のターゲットポイントから任意のターゲットポイントを選択するためのユーザインタフェース画面を表示し、このユーザインタフェース画面に基づいて選択されたターゲットポイントの情報を用いる。ユーザは、表示される一部領域の画像の選択を容易に行い得る。
　「送信装置の構成」
　図２は、送信装置１００の構成例を示している。この送信装置１００は、制御部１０１と、ユーザ操作部１０１ａと、表示部１０１ｂと、広視野角カメラ１０２と、非圧縮データバッファ（ｄｐｂ：decoded picture buffer）１０３と、ビデオエンコーダ１０４と、圧縮データバッファ（ｃｐｂ：coded picture buffer）１０５と、ＴＳフォーマッタ１０６と、送信部１０７を有している。
　制御部１０１は、ＣＰＵ（Central Processing Unit）を備えており、送信装置１００の各部の動作を制御する。この制御部１０１には、ユーザインタフェースを構成するユーザ操作部１０１ａおよび表示部１０１ｂが接続されている。ユーザは、ユーザ操作部１０１ａにより種々の入力操作を行うことができる。例えば、ユーザ操作部１０１ａから、表示部１０１ｂに表示される広視野角画像の内に、ターゲットポイントを設定する操作を行うことができる。
　広視野角カメラ１０２は、被写体を撮像して全方位画像などの広視野角画像の動画像データＶＤを得る。上述したように広視野角画像内にターゲットポイントを設定する際には、広視野角カメラ１０２で得られた広視野角画像の動画像データＶＤが制御部１０１を介して表示部１０１ｂに送られて、この表示部１０１ｂに広視野角画像が表示される。ビデオエンコーダ１０４は、非圧縮データバッファ１０３を通じて広視野角画像の動画像データＶＤを入力し、ＡＶＣあるいはＨＥＶＣなどで符号化してビデオストリームを得る。
　この際、ビデオエンコーダ１０４は、ビデオストリームに、上述したようにユーザ操作部１０１ａからのユーザ操作で設定されたターゲットポイントの情報を挿入する。ここで、ターゲットポイントの個数は１個、あるいは２個以上である。また、ビデオエンコーダ１０４は、ビデオストリームに、広視野角画像の長方形領域内に存在する楕円の有効画像領域の情報と、この楕円の有効画像領域上に設定された基準点（RP: Reference Point）の情報も挿入する。ビデオエンコーダ１０４は、これらの情報を、全てのピクチャの符号化データに対応して、あるいはＧＯＰの先頭のピクチャの符号化データのみに対応して挿入する。
　各情報について説明する。図３を参照して、基準点（ＲＰ）の情報について説明する。この基準点（ＲＰ）は、広視野角画像の長方形領域内に存在する楕円の有効画像領域上に設定され、基準となる位置、例えば楕円の中心を示す。図３において、広視野角画像の長方形領域内に楕円の有効画像領域が存在し、この有効画像領域上に基準点（ＲＰ）が設定される。基準点（ＲＰ）の位置は、長方形のトップ・レフト（top-left）を起点とし、長方形全体を縦横１とした場合の縦方向と横方向の割合(ｒｈ％，ｒｖ％)として指定される。
　なお、一連の相対位置で示す位置は、精度をよく取っておくことでビデオの解像度に依存せずに的確な位置の指定が行えるメリットがある。ビデオの解像度が予め特定できる場合は、位置の指定をすべて、相対位置でなく画素数で表すこともできる。
　次に、図４を参照して、楕円の有効画像領域の情報について説明する。この場合、外側の長方形に対する楕円（円を含む）の外形位置を特定するために、基準点（ＲＰ）から長方形の特定位置へ引いた線分を水平軸からの角度θで表し、基準点ＲＰから、その線分が円または楕円と交わる点への長さの、線分に対する比を角度θにおけるパーセンテージで表す。例えば、図４の線分ＯＰは水平軸より角度θの方向へ向かうものであり、ＯＰの長さを１とするとＯＱは比率ｒとして表される。
　図４のような楕円の軌道は、以下のように、Ａ～Ｄの４点をその角度とパーセンテージ、（θ、r)で表し、それらを通る軌道として求めることができ、楕円の有効画像領域を得ることが可能となる。
　　　Ａ：（０，ＯＡ/ＯＳ）
　　　Ｂ：（９０，１（ＯＢ/ＯＴ＝１）)
　　　Ｃ：（１８０，ＯＣ/ＯＵ）
　　　Ｄ：（２７０，１（ＯＤ/ＯＷ＝１））
　なお、ＯＡ，ＯＢ，ＯＣ，ＯＤの角度は必ずしも９０度刻みである必要はなく、水平軸からの角度として任意に指定できる要素である。
　次に、ターゲットポイント（ＴＰ）の情報について説明する。最初に、図５を参照して、タイプ１（Type1）を説明する。このタイプ１の場合、ターゲットポイント（ＴＰ）は、広視野角画像の長方形領域に存在する楕円の有効画像領域上に設定された基準点（ＲＰ）からの楕円の相対半径ｄｒと水平軸からの角度φで示される（ＴＰ（φ，ｄｒ））。ここで、角度φは、基準点（ＲＰ）における水平線の角度を０として、そこから反時計回りの度数で示される。また、相対半径ｄｒは、角度φにおける有効画素領域の端点までの距離（半径に相当する）を１とした場合の割合で示される。
　次に、図６を参照して、タイプ２（Type2）を説明する。このタイプ２の場合、ターゲットポイント（ＴＰ）は、広視野角画像の長方形領域を有効画像領域とし、この長方形領域内の基準となる点から長方形全体を１とした場合の２次元相対位置で示される。このタイプ２は、有効画像領域が楕円範囲内に収まらない場合に有効な方法である。
　基準となる点が長方形領域のトップ・レフト（top-left）である場合、ターゲットポイント（ＴＰ）は（ｔｘ、ｔｙ）で示される。また、基準となる点が基準点（ＲＰ）である場合、ＲＰ（ｒｈ，ｒｖ）であるとして、ターゲットポイント（ＴＰ）は（ｔｘ－ｒｈ，ｔｙ－ｒｖ）で示される。この場合、ターゲットポイント（ＴＰ）の水平位置に関しては基準となる点から右側方向では正値となると共に左側方向では負値となり、またその垂直位置に関しては基準となる点から下側方向では正値となると共に上側方向では負値となる。
　図７は、広視野角画像内に設定されたターゲットポイント（ＴＰ）の設定例を示している。この例は、ターゲットポイント（ＴＰ）が基準点（ＲＰ）からの楕円の相対半径ｄｒと水平軸からの角度φで指定された場合の例である。ＴＰ１～ＴＰ６のターゲットポイントは、基準点（ＲＰ）からの楕円の相対半径ｄｒがｄｒ１で共通となっている。ＴＲ７のターゲットポイントは、基準点（ＲＰ）からの楕円の相対半径ｄｒがｄｒ２で、ＴＰ１～ＴＰ６のターゲットポイントとは異なっている。
　図８（ａ）は、図７に示す広視野角画像をパノラマ展開して得られた画像を示している。図８（ｂ）は、パノラマ展開画像上におけるＴＰ１～ＴＰ７のターゲットポイントの位置を示している。各ターゲットポイントはターゲットＩＤで識別される。受信側では、図８（ｃ）に示すように、ターゲットＩＤで識別される各ターゲットポイントから所望のターゲットポイントを選択することで、そのターゲットポイントに対応した一部領域の画像表示が可能となる。この場合、ターゲットポイントが表示の中心となるように表示が行われる。なお、表示後に、ユーザ操作で表示領域をずらしていくことは自由に行われる。
　上述例では、広視野角画像の長方形領域内に楕円の有効画像領域が１個だけ存在している。しかし、広視野角画像の長方形領域内に楕円の有効画像領域が複数個存在する場合もある。その場合にあっても、基準点（ＲＰ）、楕円の有効画像領域およびターゲットポイント（ＴＰ）の情報に関しては、上述例と同様に考えることができる。
　図９は、広視野角画像の長方形領域内に楕円の有効画像領域が２個存在する例であって、ターゲットポイント（ＴＰ）がタイプ１で指定される例を示している。基準点（ＲＰ）は、各楕円有効画像領域上にそれぞれ設定されている。各基準点（ＲＰ）の位置は、長方形のトップ・レフト（top-left）を起点とし、長方形全体を縦横１とした場合の縦方向と横方向の割合として指定される。図示の例では、左側の楕円有効画像領域上に設定された基準点（ＲＰ１）の位置は(ｒｈ１％，ｒｖ１％)であり、右側の楕円有効画像領域上に設定された基準点（ＲＰ２）の位置は(ｒｈ２％，ｒｖ２％)である。
　また、各楕円有効画像領域は、詳細説明は省略するが、上述例と同様に、軌道上の４点における角度とパーセンテージで示される。各ターゲットポイント（ＴＰ）は、広視野角画像の長方形領域に存在し、自身が属する側の楕円の有効画像領域上に設定された基準点（ＲＰ）からの楕円の相対半径ｄｒと水平軸からの角度φで示される。図示の例では、ターゲットポイント（ＴＰ１）は左側の楕円有効画像領域上に設定された基準点（ＲＰ１）からの楕円の相対半径ｄｒ１と水平軸からの角度φ１で示され、ターゲットポイント（ＴＰ２）は右側の楕円有効画像領域上に設定された基準点（ＲＰ２）からの楕円の相対半径ｄｒ２と水平軸からの角度φ２で示される。
　図１０は、広視野角画像の長方形領域内に楕円の有効画像領域が２個存在する例であって、ターゲットポイント（ＴＰ）がタイプ２で指定される例を示している。基準点（ＲＰ）は、各楕円有効画像領域上にそれぞれ設定されている。各基準点（ＲＰ）の位置は、長方形のトップ・レフト（top-left）を起点とし、長方形全体を縦横１とした場合の縦方向と横方向の割合として指定される。図示の例では、左側の楕円有効画像領域上に設定された基準点（ＲＰ１）の位置は(ｒｈ１％，ｒｖ１％)であり、右側の楕円有効画像領域上に設定された基準点（ＲＰ２）の位置は(ｒｈ２％，ｒｖ２％)である。
　また、各楕円有効画像領域は、詳細説明は省略するが、上述例と同様に、軌道上の４点における角度とパーセンテージで示される。各ターゲットポイント（ＴＰ）は、広視野角画像の長方形領域を有効画像領域とし、この長方形領域内の基準となる点から長方形全体を１とした場合の２次元相対位置で示される。
　図示の例では、基準となる点が長方形領域のトップ・レフト（top-left）である場合、ターゲットポイント（ＴＰ１）は（ｔｘ１、ｔｙ１）で示され、ターゲットポイント（ＴＰ２）は（ｔｘ２、ｔｙ２）で示される。また、基準となる点が基準点（ＲＰ）である場合、ターゲットポイント（ＴＰ１）は左側の楕円の有効画像領域に属するものとされて（ｔｘ１－ｒｈ１，ｔｙ１－ｒｖ１）で示され、ターゲットポイント（ＴＰ２）は右側の楕円の有効画像領域に属するものとされて（ｔｘ２－ｒｈ２，ｔｙ２－ｒｖ２）で示される。この場合、ターゲットポイント（ＴＰ）の水平位置に関しては基準となる点から右側方向では正値となると共に左側方向では負値となり、またその垂直位置に関しては基準となる点から下側方向では正値となると共に上側方向では負値となる。
　図１１は、広視野角画像内に設定されたターゲットポイント（ＴＰ）の設定例を示している。この例は、ターゲットポイント（ＴＰ）が広視野角画像の長方形領域内の基準となる点から長方形全体を１とした場合の２次元相対位置で示された場合の例である。左側の楕円の有効画像領域内にＴＰ１１のターゲットポイントが設定されている。また、右側の楕円の有効画像慮域内にＴＰ１２，ＴＰ１３のターゲットポイントが設定されている。
　図１２（ａ）は、図１１に示す広視野角画像をパノラマ展開して得られた画像を示している。図１２（ｂ）は、パノラマ展開画像上におけるＴＰ１１～ＴＰ１３のターゲットポイントの位置を示している。各ターゲットポイントはターゲットＩＤで識別される。受信側では、図１２（ｃ）に示すように、ターゲットＩＤで識別される各ターゲットポイントから所望のターゲットポイントを選択することで、そのターゲットポイントに対応した一部領域の画像表示が可能となる。この場合、ターゲットポイントが表示の中心となるように表示が行われる。なお、表示後に、ユーザ操作で表示領域をずらしていくことは自由に行われる。
　図２に戻って、ビデオエンコーダ１０４は、具体的には、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、基準点（ＲＰ）、楕円の有効画像領域およびターゲットポイント（ＴＰ）の情報などのメタ情報を持つ、新規定義するターゲット・ポイント・インディケーション・ＳＥＩメッセージ（Target_point_indication SEI message）を挿入する。ビデオエンコーダ１０４は、このターゲット・ポイント・インディケーション・ＳＥＩメッセージを、全てのアクセスユニットに挿入するか、あるいは、ＧＯＰの先頭のアクセスユニットのみに挿入する。
　図１３は、符号化方式がＨＥＶＣである場合におけるＧＯＰ（Group Of Pictures）の先頭のアクセスユニットを示している。ＨＥＶＣの符号化方式の場合、画素データが符号化されているスライス（slices）の前にデコード用のＳＥＩメッセージ群「Prefix_SEIs」が配置され、このスライス（slices）の後に表示用のＳＥＩメッセージ群「Suffix_SEIs」が配置される。ターゲット・ポイント・インディケーション・ＳＥＩメッセージは、例えば、ＳＥＩメッセージ群「Suffix_SEIs」として配置される。
　図１４、図１５は、ターゲット・ポイント・インディケーション・ＳＥＩメッセージの構造例(Syntax)を示している。図１６は、その構造例における主要な情報の内容（Semantics）を示している。「byte_length」の８ビットフィールドは、このＳＥＩメッセージの以降のサイズをバイト数で示す。
　「pointing_type」の８ビットフィールドは、ターゲットポイントの座標位置の指定方法の種別を示す。例えば、“０ｘ０１”は極座標による座標（タイプ１）を示し、“０ｘ０２”は直交座標による座標（タイプ２）を示す。「number_of_active_area」の８ビットフィールドは、符号化エリア（広視野角画像の長方形領域）に存在する楕円の有効画像領域の数を示す。この数の分だけ、以下のフィールドが繰り返し存在する。
　「area_id」の８ビットフィールドは、楕円の有効画像領域の識別情報を示す。「rp_position_h」の１６ビットフィールドは、基準点（ＲＰ）の水平位置を画像のトップ・レフト（top-left）からの画像内相対距離で示す。「rp_position_v」の１６ビットフィールドは、基準点（ＲＰ）の垂直位置を画像のトップ・レフト（top-left）からの画像内相対距離で示す。「degree_h」の１６ビットフィールドは、楕円の長径の水平軸からの傾きを示す度数を示す。「degree_v」の１６ビットフィールドは、楕円の短径の水平軸からの傾きを示す度数を示す。
　「h_boundary_r」の１６ビットフィールドは、基準点（ＲＰ）からの楕円長径（「degree_h」で示される）の右端境界までの距離を、その延長線の符号化対象長方形との交点までの距離に対する比で表す。「h_boundary_l」の１６ビットフィールドは、基準点（ＲＰ）からの楕円長径（「degree_h」で示される）の左端境界までの距離を、その延長線の符号化対象長方形との交点までの距離に対する比で表す。
　「v_boundary_t」の１６ビットフィールドは、基準点（ＲＰ）からの楕円短径（「degree_v」で示される）の上端境界までの距離を、その延長線の符号化対象長方形との交点までの距離に対する比で表す。「v_boundary_b」基準点（ＲＰ）からの楕円短径（「degree_v」で示される）の下端境界までの距離を、その延長線の符号化対象長方形との交点までの距離に対する比で表す。
　「pointing_type」が“０ｘ０１”であるとき、以下のフィールドが存在する。「target_id」の８ビットフィールドは、ターゲットポイントの識別情報を示す。例えば、“０”は広視野角全体を見渡すビューであることを示し、“０”以外は個々のビューであることを示す。「direction_degree」の１６ビットフィールドは、水平軸からの角度φを示す。「distance_ratio」の１６ビットフィールドは、基準点（ＰＲ）からの相対半径ｄｒを示す。
　また、「pointing_type」が“０ｘ０１”であるとき、以下のフィールドが存在する。「target_id」の８ビットフィールドは、ターゲットポイントの識別情報を示す。例えば、“０”は広視野角全体を見渡すビューであることを示し、“０”以外は個々のビューであることを示す。「relative_h_position」の１６ビットフィールドは、基準となる点からの水平方向相対位置を示す。「relative_v_position」の１６ビットフィールドは、基準となる点からの垂直方向相対位置を示す。
　図２に戻って、圧縮データバッファ(ｃｐｂ)１０５は、ビデオエンコーダ１０４で生成されたビデオストリームを、一時的に蓄積する。ＴＳフォーマッタ１０６は、圧縮データバッファ１０５に蓄積されているビデオストリームを読み出し、ＰＥＳパケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームＴＳを得る。送信部１０７は、ＴＳフォーマッタ１０６で得られたトランスポートストリームＴＳを、放送波あるいはネットのパケットに載せて、受信装置２００に送信する。
　図２に示す送信装置１００の動作を簡単に説明する。広視野角カメラ１０２で得られた広視野角画像の動画像データＶＤは、非圧縮データバッファ(ｄｐｂ)１０３を介して、ビデオエンコーダ１０４に供給される。ビデオエンコーダ１０４では、動画像データＶＤがＡＶＣあるいはＨＥＶＣなどで符号化されて、ビデオストリーム（符号化ストリーム）が得られる。
　また、ビデオエンコーダ１０４では、ビデオストリームに、例えば、ユーザ操作で広視野角画像内に設定されたターゲットポイント、さらには、広視野角画像の長方形領域内に存在する楕円の有効画像領域、この楕円の有効画像領域上に設定された基準点（ＲＰ）などの情報が挿入される。これら情報は、全てのピクチャの符号化データに対応して、あるいはＧＯＰの先頭のピクチャの符号化データのみに対応して挿入される。
　具体的には、ビデオエンコーダ１０４では、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、基準点（ＲＰ）、楕円の有効画像領域およびターゲットポイント（ＴＰ）の情報などのメタ情報を持つ、新規定義するターゲット・ポイント・インディケーション・ＳＥＩメッセージが挿入される（図１３、図１４、図１５参照）。
　ビデオエンコーダ１０４で生成されたビデオストリームは、圧縮データバッファ(ｃｐｂ)１０５に一時的に蓄積される。ＴＳフォーマッタ１０６では、圧縮データバッファ１０５に蓄積されている符号化ストリームが読み出され、ＰＥＳパケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームＴＳが得られる。
　ＴＳフォーマッタ１０６で得られたトランスポートストリームＴＳは、送信部１０７に送られる。送信部１０７では、ＴＳフォーマッタ１０６で得られたトランスポートストリームＴＳが、放送波あるいはネットのパケットに載せて、受信装置２００に送信される。
　「受信装置の構成」
　図１７は、受信装置２００の構成例を示している。この受信装置２００は、制御部（Central Processing Unit）２０１と、ユーザ操作部２０１ａと、受信部２０２と、ＴＳ解析部２０３と、圧縮データバッファ（ｃｐｂ：coded picture buffer）２０４と、ビデオデコーダ２０５と、非圧縮データバッファ（ｄｐｂ：decoded picture buffer）２０６と、コンバータ/セレクタ２０７と、合成部２０８と、表示部２０９を有している。
　制御部２０１は、ＣＰＵ（Central Processing Unit）を備えており、受信装置２００の各部の動作を制御する。この制御部２０１には、ユーザインタフェースを構成するユーザ操作部２０１ａが接続されている。ユーザは、ユーザ操作部２０１ａにより種々の入力操作を行うことができる。例えば、ユーザ操作部２０１ａからターゲットＩＤを指定することで、表示画像の選択変更が可能となる。
　受信部２０２は、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳを受信する。ＴＳ解析部２０３は、トランスポートストリームＴＳから、それに含まれる広視野角画像の動画像データＶＤに係るビデオストリームを取り出して圧縮データバッファ（ｃｐｂ）２０４に送る。
　ビデオデコーダ２０５は、圧縮データバッファ２０４に蓄積されている各ピクチャの符号化画像データを、それぞれ、そのピクチャのＤＴＳ（Decoding Time stamp）で与えられるデコードタイミングで読み出してデコードする。デコードして得られた各ピクチャの画像データは非圧縮データバッファ２０６に一時的に蓄積される。そして、この非圧縮データバッファ２０６から各ピクチャの画像データがそのピクチャのＰＴＳ（Presentation Time Stamp）で与えられるタイミングで読み出されて、広視野角画像の動画像データＶＤが得られ、コンバータ/セレクタ２０７に送られる。
　また、ビデオデコーダ２０５は、ビデオストリームに挿入されているパラメータセットやＳＥＩメッセージを抽出し、制御部２０１に送る。この抽出情報には、上述したように、全てのアクセスユニットに挿入されている、あるいはＧＯＰの先頭のアクセスユニットのみに挿入されているターゲット・ポイント・インディケーション・ＳＥＩメッセージ（図１４、図１５参照）も含まれる。
　このターゲット・ポイント・インディケーション・ＳＥＩメッセージは、広視野角画像内に設定されたターゲットポイント（ＴＰ）の情報、広視野角画像の長方形領域内に存在する楕円の有効画像領域の情報、および楕円の有効画像領域上に設定された基準点（ＲＰ）の情報などのメタ情報を持っている。制御部２０１は、全てのアクセスユニットに、あるいはＧＯＰの先頭のアクセスユニットに対応して、これらの情報を認識する。
　コンバータ/セレクタ２０７は、非圧縮データバッファ２０６で得られた広視野角画像の動画像データＶＤにパノラマ展開の画像処理を施して、パノラマ表示用画像データを得る。このパノラマ展開の画像処理は、制御部２０１からの広視野角画像の長方形領域内に存在する楕円の有効画像領域の情報、および楕円の有効画像領域上に設定された基準点（ＲＰ）の情報などに基づいて行われる。
　また、コンバータ/セレクタ２０７は、広視野角画像の内容を示すサムネイルのデータを生成すると共に、制御部２０１からのターゲットポイント（ＴＰ）の情報に基づいて広視野角画像のうちの各ターゲットポイント（ＴＰ）に対応した一部領域の画像の内容を示すサムネイルのデータを生成し、それらのサムネイルデータを制御部２０１に送る。
　制御部２０１は、ユーザが表示画像を選択する際に、コンバータ/セレクタ２０７から送られてくるサムネイルデータに基づいて、広視野角画像や、各ターゲットポイントに対応した一部領域の画像のサムネイルをターゲットＩＤと関連づけて表示するためのＵＩ表示信号を生成する。図１８は、ＵＩ画面の一例を示している。この例は、図７のターゲットポイント（ＴＰ）の設定例に対応している。ユーザは、このＵＩ画面に基づいて、ユーザ操作部２０１ａからターゲットＩＤを指定することで、所望の画像を表示画像として選択できる。
　制御部２０１は、ターゲットＩＤの指定情報をコンバータ/セレクタ２０７に送る。なお、制御部２０１は、ユーザ操作によってターゲットＩＤが指定されていない状態では、予め設定されたターゲットＩＤ、例えば“０”あるいは”０”以外の最も小さい値などのターゲットＩＤの情報をコンバータ/セレクタ２０７に送る。
　コンバータ/セレクタ２０７は、指定されたターゲットＩＤに対応した画像を表示する表示用画像データを生成する。例えば、指定されたターゲットＩＤが“０”である場合には、広視野角画像の画像データに必要に応じて画素位置の変換や解像度変換などの処理を行って広視野角画像を表示するための表示用画像データを生成する。また、例えば、指定されたターゲットＩＤが“０”以外である場合には、パノラマ表示用画像データから、ターゲットＩＤが示すターゲットポイントに対応した一部領域の画像を表示するための画像データを選択的に取り出して表示用画像データを生成する。
　合成部２０８は、コンバータ/セレクタ２０７で生成された表示用ビデオ信号および制御部２０１で発生されるＵＩ表示信号を合成して、表示部２０９に送る。表示部２０９は、例えば、ＬＣＤ(Liquid Crystal Display)、有機ＥＬ（Organic Electro-Luminescence）パネル等で構成されている。なお、この表示部２０９は、受信装置２００に接続される外部機器であってもよい。
　表示部２０９は、制御部２０１でＵＩ表示信号を発生していない状態では、コンバータ/セレクタ２０７で生成された表示用ビデオ信号による画像を表示する。また、表示部２０９は、制御部２０１でＵＩ表示信号を発生している状態では、ＵＩ表示信号によるＵＩ画面を表示するか、あるいは表示用ビデオ信号による画像をＵＩ表示信号によるＵＩ画面が重畳された状態で表示する。
　なお、コンバータ/セレクタ２０７でパノラマ表示用画像データからターゲットＩＤが示すターゲットポイントに対応した一部領域の画像を表示するための画像データが選択的に取り出され、表示部２０９にその一部領域の画像が表示されている状態で、ユーザ操作部２０１ａからの操作で表示画像を上下左右にスクロールすることが可能とされる。この場合、コンバータ/セレクタ２０７は、パノラマ表示用画像データからの取り出し領域を、ユーザ操作に応じて順次変更していく。
　図１７に示す受信装置２００の動作を簡単に説明する。受信部２０２では、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳが受信される。このトランスポートストリームＴＳは、ＴＳ解析部２０３に供給される。ＴＳ解析部２０３では、トランスポートストリームＴＳから、それに含まれる広視野角画像の動画像データＶＤに係るビデオストリームが取り出され、圧縮データバッファ２０４に送られる。
　ビデオデコーダ２０５では、圧縮データバッファ２０４に蓄積されている各ピクチャの符号化画像データが、それぞれ、そのピクチャのＤＴＳ（Decoding Time stamp）で与えられるデコードタイミングで読み出されてデコードされる。デコードされて得られた各ピクチャの画像データは非圧縮データバッファ２０６に一時的に蓄積される。そして、この非圧縮データバッファ２０６から各ピクチャの画像データがそのピクチャのＰＴＳ（Presentation Time Stamp）で与えられるタイミングで読み出されて、広視野角画像の動画像データＶＤが得られ、コンバータ/セレクタ２０７に送られる。
　また、ビデオデコーダ２０５では、ビデオストリームに挿入されているパラメータセットやＳＥＩメッセージが抽出され、制御部２０１に送られる。この抽出情報には、ターゲット・ポイント・インディケーション・ＳＥＩメッセージも含まれる。制御部２０１では、全てのアクセスユニットに、あるいはＧＯＰの先頭のアクセスユニットに対応して、広視野角画像内に設定されたターゲットポイント（ＴＰ）の情報、広視野角画像の長方形領域内に存在する楕円の有効画像領域の情報、および楕円の有効画像領域上に設定された基準点（ＲＰ）の情報が認識される。
　コンバータ/セレクタ２０７では、広視野角画像の動画像データＶＤにパノラマ展開の画像処理が施されて、パノラマ表示用画像データが得られる。
　また、コンバータ/セレクタ２０７では、広視野角画像の内容を示すサムネイルのデータが生成されると共に、制御部２０１からのターゲットポイント（ＴＰ）の情報に基づいて、広視野角画像のうちの各ターゲットポイント（ＴＰ）に対応した一部領域の画像の内容を示すサムネイルのデータが生成され、それらのサムネイルデータが制御部２０１に送られる。
　制御部２０１では、ユーザが表示画像を選択する際に、コンバータ/セレクタ２０７から送られてくるサムネイルデータに基づいて、広視野角画像や、各ターゲットポイントに対応した一部領域の画像のサムネイルをターゲットＩＤと関連づけて表示するためのＵＩ表示信号が生成される。このＵＩ表示信号は、合成部２０８を介して、表示部２０９に供給される。これにより、表示部２０９に、ＵＩ画面（図１８参照）が表示される。ユーザは、このＵＩ画面に基づいて、ユーザ操作部２０１ａからターゲットＩＤを指定することで、所望の画像を表示画像として選択できる。
　制御部２０１からコンバータ/セレクタ２０７にターゲットＩＤの指定情報が送られる。なお、ユーザ操作によってターゲットＩＤが指定されていない状態では、予め設定されたターゲットＩＤ、例えば“０”あるいは”０”以外の最も小さい値などのターゲットＩＤの情報が送られる。
　コンバータ/セレクタ２０７では、指定されたターゲットＩＤに対応した画像を表示する表示用画像データが生成される。例えば、指定されたターゲットＩＤが“０”である場合には、広視野角画像の画像データに必要に応じて画素位置の変換や解像度変換などの処理が行われて広視野角画像を表示するための表示用画像データが生成される。また、例えば、指定されたターゲットＩＤが“０”以外である場合には、パノラマ表示用画像データから、ターゲットＩＤが示すターゲットポイントに対応した一部領域の画像を表示するための画像データが選択的に取り出されて表示用画像データが生成される。
　コンバータ/セレクタ２０７で生成された表示用画像データは、合成部２０８を介して、表示部２０９に供給される。これにより、表示部２０９には、その表示用画像データによる画像（広視野角画像、広視野角画像のうちのターゲットポイントに対応した一部領域の画像）が表示される。なお、この画像表示状態で、表示部２０９にＵＩ画面を表示し、このＵＩ画面に基づいてユーザ操作部２０１ａからターゲットＩＤの変更指定をすることで、表示画像の変更が行われる。
　なお、広視野角画像のうちのターゲットポイントに対応した一部領域の画像が表示されている状態で、ユーザ操作部２０１ａからの操作で表示画像は上下左右にスクロールされる。この場合、コンバータ/セレクタ２０７では、パノラマ表示用画像データからの取り出し領域が、ユーザ操作に応じて順次変更されていく。
　以上説明したように、図１に示す送受信システム１０において、送信装置１００は、広視野角画像の動画像データを符号化して得られたビデオストリームに広視野角画像内に設定されたターゲットポイント（ＴＰ）の情報を挿入して送信するものである。そのため、ターゲットポイント（ＴＰ）の情報を用いることで、広視野角画像内の一定の部分画像を受信機間で一貫性をもって表示させることが可能となる。
　また、図１に示す送受信システム１０において、受信装置２００は、ユーザが表示画像を選択する際に、広視野角画像や、各ターゲットポイントに対応した一部領域の画像のサムネイルをターゲットＩＤと関連づけたＵＩ画面を表示する。そのため、ユーザは、表示画像の選択変更を容易に行い得る。
　＜２．変形例＞
　なお、上述実施の形態においては、送信装置１００と受信装置２００からなる送受信システム１０を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、受信装置２００の部分が、例えば、（ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。なお、「ＨＤＭＩ」は、登録商標である。
　また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ－２　ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＩＳＯＢＭＦＦ（あるいはＭＰ４）やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ－２　ＴＳ）、インターネット配信で使用されているＩＳＯＢＭＦＦ（あるいはＭＰ４）などの種々のフォーマットのコンテナが該当する。
　また、本技術は、以下のような構成を取ることもできる。
　（１）広視野角画像の動画像データを符号化して得られたビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
　上記広視野角画像内に設定されたターゲットポイントの情報を上記ビデオストリームに挿入する情報挿入部を備える
　送信装置。
　（２）上記ターゲットポイントの情報は、上記広視野角画像の長方形領域内に存在する楕円の有効画像領域上に設定された基準点からの楕円の相対半径と水平軸からの角度の情報を含む
　前記（１）に記載の送信装置。
　（３）上記ターゲットポイントの情報は、上記広視野角画像の長方形領域を有効画像領域とし、上記長方形領域内の基準となる点からの２次元相対位置の情報を含む
　前記（１）に記載の送信装置。
　（４）上記基準となる点は、上記長方形領域のトップ・レフトの点である
　前記（３）に記載の送信装置。
　（５）上記基準となる点は、上記長方形領域内に存在する楕円の有効画像領域上に設定された基準点である
　前記（３）に記載の送信装置。
　（６）上記情報挿入部は、上記広視野角画像の長方形領域内に存在する楕円の有効画像領域の情報と該楕円の有効画像領域上に設定された基準点の情報を上記ビデオストリームにさらに挿入する
　前記（１）から（５）のいずれかに記載の送信装置。
　（７）上記情報挿入部は、上記ターゲットポイントの情報を、全てのピクチャの符号化データに対応してあるいはＧＯＰの先頭のピクチャの符号化データのみに対応して挿入する
　前記（１）から（６）のいずれかに記載の送信装置。
　（８）送信部が、広視野角画像の動画像データを符号化して得られたビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップと、
　情報挿入部が、上記広視野角画像内に設定されたターゲットポイントの情報を上記ビデオストリームに挿入する情報挿入ステップを有する
　送信方法。
　（９）広視野角画像の動画像データを符号化して得られたビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
　上記ビデオストリームには、上記広視野角画像内に設定されたターゲットポイントの情報が挿入されており、
　上記ビデオストリームを復号化して得られた上記広視野角画像の動画像データを上記ターゲットポイントの情報を用いて上記広視野角画像のうちの上記ターゲットポイントに対応した一部領域の画像を表示するように処理する処理部をさらに備える
　受信装置。
　（１０）複数の上記ターゲットポイントから任意のターゲットポイントを選択するためのユーザインタフェース画面を表示するように制御する表示制御部をさらに備え、
　上記処理部は、上記ユーザインタフェース画面に基づいて選択されたターゲットポイントの情報を用いる
　前記（９）に記載の受信装置。
　（１１）受信部が、広視野角画像の動画像データを符号化して得られたビデオストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
　上記ビデオストリームには、上記広視野角画像内に設定されたターゲットポイントの情報が挿入されており、
　処理部が、上記ビデオストリームを復号化して得られる上記広視野角画像の動画像データを上記ターゲットポイントの情報を用いて上記広視野角画像のうちの上記ターゲットポイントに対応した一部領域の画像を表示するように処理する処理ステップをさらに有する
　受信方法。
　本技術の主な特徴は、広視野角画像の動画像データを符号化して得られたビデオストリームに広視野角画像内に設定されたターゲットポイント（ＴＰ）の情報を挿入して送信することで、広視野角画像内の一定の部分画像を受信機間で一貫性をもって表示させることを可能としたことである（図７、図１３参照）。
　１０・・・送受信システム
　１００・・・送信装置
　１０１・・・制御部
　１０１ａ・・・ユーザ操作部
　１０１ｂ・・・表示部
　１０２・・・広視野角カメラ
　１０３・・・非圧縮データバッファ
　１０４・・・ビデオエンコーダ
　１０５・・・圧縮データバッファ
　１０６・・・ＴＳフォーマッタ
　１０７・・・送信部
　２００・・・受信装置
　２０１・・・制御部
　２０１ａ・・・ユーザ操作部
　２０２・・・受信部
　２０３・・・ＴＳ解析部
　２０４・・・圧縮データバッファ
　２０５・・・ビデオデコーダ
　２０６・・・非圧縮データバッファ
　２０７・・・コンバータ/セレクタ
　２０８・・・合成部
　２０９・・・表示部

Claims (11)

  1. 　広視野角画像の動画像データを符号化して得られたビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
    　上記広視野角画像内に設定されたターゲットポイントの情報を上記ビデオストリームに挿入する情報挿入部を備える
    　送信装置。
  2. 　上記ターゲットポイントの情報は、上記広視野角画像の長方形領域内に存在する楕円の有効画像領域上に設定された基準点からの楕円の相対半径と水平軸からの角度の情報を含む
    　請求項１に記載の送信装置。
  3. 　上記ターゲットポイントの情報は、上記広視野角画像の長方形領域を有効画像領域とし、上記長方形領域内の基準となる点からの２次元相対位置の情報を含む
    　請求項１に記載の送信装置。
  4. 　上記基準となる点は、上記長方形領域のトップ・レフトの点である
    　請求項３に記載の送信装置。
  5. 　上記基準となる点は、上記長方形領域内に存在する楕円の有効画像領域上に設定された基準点である
    　請求項３に記載の送信装置。
  6. 　上記情報挿入部は、上記広視野角画像の長方形領域内に存在する楕円の有効画像領域の情報と該楕円の有効画像領域上に設定された基準点の情報を上記ビデオストリームにさらに挿入する
    　請求項１に記載の送信装置。
  7. 　上記情報挿入部は、上記ターゲットポイントの情報を、全てのピクチャの符号化データに対応してあるいはＧＯＰの先頭のピクチャの符号化データのみに対応して挿入する
    　請求項１に記載の送信装置。
  8. 　送信部が、広視野角画像の動画像データを符号化して得られたビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップと、
    　情報挿入部が、上記広視野角画像内に設定されたターゲットポイントの情報を上記ビデオストリームに挿入する情報挿入ステップを有する
    　送信方法。
  9. 　広視野角画像の動画像データを符号化して得られたビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
    　上記ビデオストリームには、上記広視野角画像内に設定されたターゲットポイントの情報が挿入されており、
    　上記ビデオストリームを復号化して得られた上記広視野角画像の動画像データを上記ターゲットポイントの情報を用いて上記広視野角画像のうちの上記ターゲットポイントに対応した一部領域の画像を表示するように処理する処理部をさらに備える
    　受信装置。
  10. 　複数の上記ターゲットポイントから任意のターゲットポイントを選択するためのユーザインタフェース画面を表示するように制御する表示制御部をさらに備え、
    　上記処理部は、上記ユーザインタフェース画面に基づいて選択されたターゲットポイントの情報を用いる
    　請求項９に記載の受信装置。
  11. 　受信部が、広視野角画像の動画像データを符号化して得られたビデオストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
    　上記ビデオストリームには、上記広視野角画像内に設定されたターゲットポイントの情報が挿入されており、
    　処理部が、上記ビデオストリームを復号化して得られる上記広視野角画像の動画像データを上記ターゲットポイントの情報を用いて上記広視野角画像のうちの上記ターゲットポイントに対応した一部領域の画像を表示するように処理する処理ステップをさらに有する
    　受信方法。
PCT/JP2017/037764 2016-10-25 2017-10-18 送信装置、送信方法、受信装置および受信方法 WO2018079388A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP17864519.8A EP3534611A1 (en) 2016-10-25 2017-10-18 Transmission apparatus, transmission method, reception apparatus, and reception method
JP2018547606A JP6969572B2 (ja) 2016-10-25 2017-10-18 送信装置、送信方法、受信装置および受信方法
CN201780063699.8A CN109845274B (zh) 2016-10-25 2017-10-18 发送设备、发送方法、接收设备和接收方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016208350 2016-10-25
JP2016-208350 2016-10-25

Publications (1)

Publication Number Publication Date
WO2018079388A1 true WO2018079388A1 (ja) 2018-05-03

Family

ID=62024910

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/037764 WO2018079388A1 (ja) 2016-10-25 2017-10-18 送信装置、送信方法、受信装置および受信方法

Country Status (4)

Country Link
EP (1) EP3534611A1 (ja)
JP (1) JP6969572B2 (ja)
CN (1) CN109845274B (ja)
WO (1) WO2018079388A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3534612A4 (en) * 2016-10-26 2019-09-04 Sony Corporation SENDING DEVICE, TRANSMISSION PROCEDURE, RECEPTION DEVICE AND RECEPTION PROCEDURE

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016056411A1 (ja) * 2014-10-10 2016-04-14 ソニー株式会社 符号化装置および方法、再生装置および方法、並びにプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2827680B1 (fr) * 2001-07-20 2003-10-10 Immervision Internat Pte Ltd Procede de capture d'une image panoramique au moyen d'un capteur d'image de forme rectangulaire
GB0230328D0 (en) * 2002-12-31 2003-02-05 British Telecomm Video streaming
KR101603791B1 (ko) * 2009-03-18 2016-03-17 삼성전자주식회사 파노라마의 생성 방법
JP5593772B2 (ja) * 2010-03-29 2014-09-24 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP6192902B2 (ja) * 2011-11-11 2017-09-06 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
JP6267961B2 (ja) * 2012-08-10 2018-01-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 映像提供方法および送信装置
KR20160021428A (ko) * 2013-06-19 2016-02-25 엘지전자 주식회사 신호 송수신 장치 및 신호 송수신 장치의 제어 방법
CN106031180A (zh) * 2014-02-18 2016-10-12 Lg电子株式会社 收发用于全景服务的广播信号的方法和设备
WO2015197815A1 (en) * 2014-06-27 2015-12-30 Koninklijke Kpn N.V. Determining a region of interest on the basis of a hevc-tiled video stream
JP5920897B2 (ja) * 2014-07-03 2016-05-18 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
GB2530751A (en) * 2014-09-30 2016-04-06 Sony Corp Video data encoding and decoding
KR101844032B1 (ko) * 2014-12-26 2018-05-14 주식회사 케이티 파노라믹 비디오 영상의 관심 영역의 영상 전송 방법, 장치 및 디바이스
GB201502205D0 (en) * 2015-02-10 2015-03-25 Canon Kabushiki Kaisha And Telecom Paris Tech Image data encapsulation
CN105843541A (zh) * 2016-03-22 2016-08-10 乐视网信息技术（北京）股份有限公司 全景视频中的目标追踪显示方法和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016056411A1 (ja) * 2014-10-10 2016-04-14 ソニー株式会社 符号化装置および方法、再生装置および方法、並びにプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3534611A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3534612A4 (en) * 2016-10-26 2019-09-04 Sony Corporation SENDING DEVICE, TRANSMISSION PROCEDURE, RECEPTION DEVICE AND RECEPTION PROCEDURE

Also Published As

Publication number Publication date
EP3534611A4 (en) 2019-09-04
EP3534611A1 (en) 2019-09-04
JPWO2018079388A1 (ja) 2019-09-12
JP6969572B2 (ja) 2021-11-24
CN109845274B (zh) 2021-10-12
CN109845274A (zh) 2019-06-04

Similar Documents

Publication Publication Date Title
CN107004419B (zh) 发送装置、发送方法、接收装置和接收方法
US11049323B2 (en) Method and apparatus for deriving VR projection, packing, ROI and viewport related tracks in ISOBMFF and supporting viewport roll signaling
US10575062B2 (en) Reception apparatus, reception method, transmission apparatus, and transmission method
US11089285B2 (en) Transmission device, transmission method, reception device, and reception method
EP3739889A1 (en) Transmission device, transmission method, reception device and reception method
JP2024015131A (ja) 送信装置、送信方法、受信装置および受信方法
JP6969572B2 (ja) 送信装置、送信方法、受信装置および受信方法
US20200372919A1 (en) Transmission apparatus, transmission method, processing apparatus, and processing method
JP6943255B2 (ja) 送信装置、送信方法、受信装置および受信方法
WO2023153472A1 (ja) メディア処理装置、送信装置及び受信装置
WO2023153473A1 (ja) メディア処理装置、送信装置及び受信装置
JP7056576B2 (ja) 送信装置、送信方法、受信装置および受信方法
US10965971B2 (en) Server device, method of transmission processing of server device, client device, method of reception processing of client device, and server system
WO2019181493A1 (ja) 受信装置、受信方法、送信装置および送信方法
WO2020039973A1 (ja) 受信装置、受信方法、送信装置および送信方法
JP2023117400A (ja) メディア処理装置、送信装置及び受信装置
JP2023117157A (ja) メディア処理装置、送信装置及び受信装置
JP2023117151A (ja) メディア処理装置及びユーザ端末

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17864519

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018547606

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017864519

Country of ref document: EP

Effective date: 20190527