WO2013121823A1 - 送信装置、送信方法および受信装置 - Google Patents

送信装置、送信方法および受信装置 Download PDF

Info

Publication number
WO2013121823A1
WO2013121823A1 PCT/JP2013/050723 JP2013050723W WO2013121823A1 WO 2013121823 A1 WO2013121823 A1 WO 2013121823A1 JP 2013050723 W JP2013050723 W JP 2013050723W WO 2013121823 A1 WO2013121823 A1 WO 2013121823A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
picture
disparity information
image data
disparity
Prior art date
Application number
PCT/JP2013/050723
Other languages
English (en)
French (fr)
Inventor
塚越　郁夫
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2013542274A priority Critical patent/JP6090168B2/ja
Priority to BR112013026086-6A priority patent/BR112013026086A2/pt
Priority to CN201380001556.6A priority patent/CN103597823B/zh
Priority to KR1020137026511A priority patent/KR101981813B1/ko
Priority to EP13748981.1A priority patent/EP2683168B1/en
Priority to US14/110,512 priority patent/US9596449B2/en
Publication of WO2013121823A1 publication Critical patent/WO2013121823A1/ja
Priority to US15/411,260 priority patent/US9860511B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the present technology relates to a transmission device, a transmission method, and a reception device, and more particularly, to a transmission device and the like for enabling good display of a stereoscopic image or superimposing display of graphics on a stereoscopic image.
  • Patent Document 1 proposes a transmission method using a television broadcast radio wave of stereoscopic image data.
  • left-eye image data and right-eye image data constituting a stereoscopic image are transmitted, and stereoscopic image display using binocular parallax is performed in the television receiver.
  • FIG. 77 shows the relationship between the display position of the left and right images of an object (object) on the screen and the playback position of the stereoscopic image in stereoscopic image display using binocular parallax.
  • object object
  • FIG. 77 shows the relationship between the display position of the left and right images of an object (object) on the screen and the playback position of the stereoscopic image in stereoscopic image display using binocular parallax.
  • the right and left lines of sight intersect on the screen surface. It becomes on the surface.
  • the left image Lc is shifted to the left side and the right image Rc is shifted to the right side, the right and left lines of sight intersect at the back of the screen surface.
  • the playback position is behind the screen.
  • the viewer recognizes the perspective of the stereoscopic image using binocular parallax.
  • the parallax angle with respect to the closest object reproduction position (parallax angle in the crossing direction) and the parallax angle with respect to the innermost object reproduction position (parallax angle in the same side direction) are within a predetermined range so as not to harm viewing health. Need to be within.
  • the parallax angle is checked on the receiver side, and if the parallax angle is not within the predetermined range, the left eye image and the right eye image may be reconstructed so as to be within the predetermined range. Be expected.
  • graphics such as OSD (On-Screen Display) or applications superimposed on images in receivers (set-top boxes, television receivers, etc.) are not only two-dimensional spatial but also three-dimensional sense of depth. Are also expected to be rendered in conjunction with stereoscopic image display.
  • graphics are superimposed on an image in a receiver, it is expected that parallax adjustment is performed according to the perspective of each object in the image to maintain perspective consistency.
  • the purpose of the present technology is to make it possible to satisfactorily display a stereoscopic image or to superimpose graphics on a stereoscopic image.
  • An image data acquisition unit for acquiring left-eye image data and right-eye image data constituting a stereoscopic image; For each predetermined picture of the acquired image data, the first disparity information for the other of the left eye image and the right eye image and corresponding to the foremost object reproduction position in the predetermined area of the picture display screen
  • a disparity information acquiring unit that acquires disparity information and second disparity information corresponding to the innermost object reproduction position in a predetermined area of the picture display screen
  • a disparity information insertion unit that inserts the acquired disparity information into a video stream obtained by encoding the acquired image data
  • an image data transmission unit that transmits a container of a predetermined format including the video stream in which the disparity information is inserted.
  • the left eye image data and the right eye image data constituting the stereoscopic image are acquired by the image data acquisition unit.
  • the image data in this case is, for example, data obtained by being imaged by a camera or data obtained by being read from a storage medium.
  • the disparity information acquisition unit acquires the first disparity information and the second disparity information that are the other disparity information for one of the left eye image and the right eye image for each predetermined picture of the image data.
  • the disparity information may be obtained at least in the picture to which the disparity information is to be transmitted, and is not necessarily performed in all the pictures.
  • the first disparity information is disparity information corresponding to the foremost object reproduction position in the predetermined area of the picture display screen.
  • the second disparity information is disparity information corresponding to the deepest object reproduction position in a predetermined area of the picture display screen.
  • the disparity information acquisition unit acquires first disparity information in each divided region obtained by dividing the picture display screen by the division information, and acquires second disparity information in the entire picture display screen. May be. Further, for example, the disparity information acquisition unit may acquire first disparity information and second disparity information in each divided region obtained by dividing the picture display screen by the division information. Further, for example, the disparity information acquisition unit acquires the first disparity information in each divided region obtained by dividing the picture display screen with the first division information, and the picture display screen with the second division information. The second parallax information in each divided area obtained by dividing may be acquired.
  • the acquired first disparity information and the second disparity information are inserted into the video stream obtained by encoding the acquired image data by the disparity information insertion unit.
  • disparity information is inserted into a video stream in units of pictures or in groups of GOPs (Group of pictures). Furthermore, it may be inserted in other units, for example, scene units.
  • the disparity information insertion unit may be configured to insert the disparity information into the video stream after performing compression encoding processing on the disparity information.
  • compression encoding processing it is conceivable to perform data compression using a variable length code. Further, by taking variable data of disparity information between pictures and applying the variable length code to the difference data, a compression rate is further increased. It is conceivable to increase.
  • the disparity information insertion unit inserts the disparity information into a predetermined picture of the video stream
  • the disparity information is the disparity information in the entire picture display screen or each divided region divided into a predetermined number
  • identification information for identifying whether or not the disparity information is included may be inserted. With this identification information, the receiving side can easily grasp whether the transmitted disparity information corresponds to the entire picture display screen or for each of the plurality of divided areas.
  • the image data transmission unit transmits a container in a predetermined format including a video stream in which disparity information is inserted.
  • the container may be a transport stream (MPEG-2 TS) adopted in the digital broadcasting standard.
  • the container may be MP4 used for Internet distribution or the like, or a container of other formats.
  • the identification information insertion unit inserts identification information for identifying whether or not disparity information is inserted into the video stream into the container layer.
  • the container may be a transport stream, and the identification information insertion unit may insert the identification information under the program map table or the event information table.
  • the identification information inserting unit describes the identification information in a descriptor inserted under the program map table or the event information table.
  • the first disparity information (disparity information corresponding to the foremost object reproduction position in the predetermined area of the picture display screen) acquired for each predetermined picture of the image data and the second disparity information (Disparity information corresponding to the farthest object reproduction position in a predetermined area of the picture display screen) is inserted into the video stream and transmitted.
  • the parallax angle with respect to the nearest object playback position (parallax angle in the cross direction) and the parallax angle with respect to the farthest object playback position (same It is possible to check whether or not the (parallax angle in the lateral direction) is within a predetermined range that does not harm health for viewing.
  • An image data receiving unit for receiving a container in a predetermined format including a video stream;
  • the video stream is obtained by encoding left-eye image data and right-eye image data constituting a stereoscopic image,
  • disparity information of the other of the left eye image and the right eye image corresponding to the foremost object reproduction position in a predetermined area of the picture display screen
  • the first disparity information and the second disparity information corresponding to the innermost object reproduction position in the predetermined area of the picture display screen are inserted,
  • An information acquisition unit that acquires the left-eye image data and the right-eye image data from the video stream included in the container, and acquires the first disparity information and the second disparity information;
  • a control unit that instructs at least reconstruction of the left-eye image data and the right-eye image data so that the parallax angle falls within a predetermined range based on the acquired first parallax information and second parallax information; It is in a receiving device further provided.
  • a container of a predetermined format including a video stream is received by the image data receiving unit.
  • This video stream is obtained by encoding left-eye image data and right-eye image data constituting a stereoscopic image.
  • the first disparity information and the second disparity information that are the other disparity information for one of the left eye image and the right eye image are inserted for each predetermined picture of the image data.
  • the first disparity information is disparity information corresponding to the foremost object reproduction position in the predetermined area of the picture display screen.
  • the second disparity information is disparity information corresponding to the deepest object reproduction position in a predetermined area of the picture display screen.
  • the information acquisition unit acquires the left eye image data and the right eye image data from the video stream included in the container, and the first disparity information and the second disparity inserted in a predetermined picture of the image data. Information is acquired. Then, based on the acquired first parallax information and second parallax information, the control unit instructs the reconstruction of the left eye image data and the right eye image data so that the parallax angle falls within a predetermined range. .
  • the reconfiguration of the left eye image data and the right eye image data is instructed based on the first parallax information and the second parallax information so that the parallax angle falls within a predetermined range. For this reason, the parallax angle with respect to the closest object reproduction position (parallax angle in the crossing direction) and the parallax angle with respect to the innermost object reproduction position (parallax angle in the same direction) are within a predetermined range that does not impair health for viewing. In addition, the left eye image data and the right eye image data can be reconstructed.
  • Still another concept of this technology is An image data acquisition unit for acquiring left-eye image data and right-eye image data constituting a stereoscopic image;
  • a parallax information acquisition unit that acquires parallax information of the other of the left eye image and the right eye image for each predetermined picture of the acquired image data;
  • a compression encoding unit that performs compression encoding processing on the acquired parallax information;
  • a disparity information insertion unit that inserts the compression-coded disparity information into a video stream obtained by encoding the acquired image data;
  • an image data transmission unit that transmits a container of a predetermined format including the video stream in which the disparity information is inserted.
  • the left eye image data and the right eye image data constituting the stereoscopic image are acquired by the image data acquisition unit.
  • the image data in this case is, for example, data obtained by being imaged by a camera or data obtained by being read from a storage medium.
  • the parallax information acquisition unit acquires the parallax information of the other of the left eye image and the right eye image for each predetermined picture of the image data.
  • the disparity information in this case is, for example, information generated based on the left eye image data and right eye image data, or information obtained by reading from a storage medium.
  • the compression encoding unit performs compression encoding processing on the acquired parallax information.
  • the compression encoding unit may perform a process using a variable length code on the disparity information of each acquired picture as the compression encoding process.
  • the compression encoding unit acquires difference data from a referenced picture in a reference picture among the acquired pictures, and performs variable length encoding on the difference data. Processing may be performed.
  • the compression encoding unit may acquire difference data using a picture preceding in display order as a referenced picture.
  • the compression encoding unit may acquire difference data using a picture preceding in decoding order as a referenced picture.
  • the disparity information insertion unit inserts the compression-coded disparity information into the video stream obtained by encoding the acquired image data.
  • disparity information is inserted into a video stream in units of pictures or in groups of GOPs (Group of pictures). Furthermore, it may be inserted in other units, for example, scene units.
  • the disparity information insertion unit further inserts identification information for identifying whether the inserted disparity information is intra data or difference data when the disparity information is inserted into a predetermined picture of the video stream. It may be made like. In this case, the receiving side can easily grasp whether the inserted disparity information is intra data or differential data.
  • the disparity information insertion unit inserts disparity information corresponding to the I picture, P picture, and referenced B picture of the video stream, and when the inserted disparity information is difference data, Information about the number of pictures may be further inserted. In this case, the receiving side can easily grasp the referenced picture.
  • the disparity information acquired for each predetermined picture of the image data is transmitted by being inserted into the video stream, and the depth control of the graphics superimposed on the stereoscopic image on the receiving side is performed. It can be performed well with picture (frame) accuracy.
  • the disparity information inserted into the video stream is compression-encoded, and the data amount can be reduced.
  • An image data receiving unit for receiving a container in a predetermined format including a video stream;
  • the video stream is obtained by encoding left-eye image data and right-eye image data constituting a stereoscopic image, In the video stream, disparity information on the other of the left eye image and the right eye image is inserted for each predetermined picture of the image data,
  • An information acquisition unit for acquiring the left-eye image data and right-eye image data from the video stream included in the container, and acquiring the parallax information;
  • the reception apparatus further includes a disparity information interpolation unit that generates, by interpolation, disparity information of a picture for which there is no disparity information acquired by the information acquisition unit, from the acquired disparity information of the previous and subsequent pictures.
  • a container of a predetermined format including a video stream is received by the image data receiving unit.
  • This video stream is obtained by encoding left-eye image data and right-eye image data constituting a stereoscopic image. Also, in this video stream, disparity information of the other of the left eye image and the right eye image is inserted for each predetermined picture of the image data.
  • the information acquisition unit acquires left-eye image data and right-eye image data from the video stream included in the container, and acquires disparity information inserted in a predetermined picture of the image data. Then, the disparity information interpolation unit generates the disparity information of the picture having no disparity information by interpolation from the acquired disparity information of the previous and subsequent pictures.
  • the disparity information of the picture having no disparity information is generated by interpolation from the acquired disparity information of the previous and subsequent pictures. Therefore, for example, the depth control of graphics superimposed and displayed on a stereoscopic image can be favorably performed with picture (frame) accuracy.
  • the disparity information of the interpolated picture is generated with decimal precision, if the disparity information of the sub-pixel is supported, the dynamic update of the graphics depth can be performed more smoothly. .
  • An image data receiving unit for receiving a container in a predetermined format including a video stream;
  • the video stream is obtained by encoding left-eye image data and right-eye image data constituting a stereoscopic image,
  • disparity information of the other of the left eye image and the right eye image corresponding to the foremost object reproduction position in a predetermined area of the picture display screen
  • the first disparity information and the second disparity information corresponding to the innermost object reproduction position in the predetermined area of the picture display screen are inserted,
  • An information acquisition unit that acquires the left-eye image data and the right-eye image data from the video stream included in the container, and acquires the first disparity information and the second disparity information;
  • a transmission unit that associates the acquired left-eye image data and right-eye image data with the acquired first parallax information and second parallax information, and transmits the first parallax information and the second parallax information to an external device; It is in the receiving device.
  • a container of a predetermined format including a video stream is received by the image data receiving unit.
  • the container may be a transport stream (MPEG-2 TS) adopted in the digital broadcasting standard.
  • the container may be MP4 used for Internet distribution or the like, or a container of other formats.
  • This video stream is obtained by encoding left-eye image data and right-eye image data constituting a stereoscopic image.
  • the first disparity information and the second disparity information that are the other disparity information for one of the left eye image and the right eye image are inserted for each predetermined picture of the image data.
  • the first disparity information is disparity information corresponding to the foremost object reproduction position in the predetermined area of the picture display screen.
  • the second disparity information is disparity information corresponding to the deepest object reproduction position in a predetermined area of the picture display screen.
  • the information acquisition unit acquires the left eye image data and the right eye image data from the video stream included in the container, and the first disparity information and the second disparity inserted in a predetermined picture of the image data. Information is acquired. The acquired left-eye image data and right-eye image data and the acquired first disparity information and second disparity information are associated with each other and transmitted to the external device.
  • the transmission unit transmits image data to an external device by a differential signal using a predetermined number of channels, and transmits the parallax information to the external device by inserting the parallax information during a blanking period of the image data.
  • the transmission unit inserts disparity information into an information packet of a predetermined format arranged in the blanking period of the image data.
  • an information reconstructing unit that reconstructs image data and disparity information so that the disparity angle falls within a predetermined range is further provided, and a transmission unit
  • the reconstructed left-eye image data and right-eye image data and the reconstructed first disparity information and second disparity information are associated with each other and transmitted to an external device. Good.
  • the left-eye image data and the right-eye image data acquired from the video stream included in the receiving container are associated with the first disparity information and the second disparity information, Sent to an external device. Therefore, in the external device, based on the first parallax information and the second parallax information, the parallax angle with respect to the closest object reproduction position (parallax angle in the cross direction) and the parallax angle with respect to the deepest object reproduction position ( It is possible to check whether or not the parallax angle in the ipsilateral direction is within a predetermined range that does not impair health in viewing.
  • the transmission unit transmits disparity information of the first picture and the second picture that are continuous in units of two pictures, and at least the disparity information of the first picture or the second picture is It may be the difference data between the disparity information of the previous picture.
  • the transmission data amount can be reduced.
  • the disparity information of the first picture is used as difference data or the second picture It may be configured to further include a determination unit that determines whether the parallax information is difference data.
  • a determination unit that determines whether the parallax information is difference data.
  • the disparity information of the first picture can be determined as difference data. Further reduction in the amount of transmitted data is possible.
  • identification information indicating whether the disparity information of the first picture is difference data or the disparity information of the second picture is difference data is added to the disparity information transmitted by the transmission unit. May be. In this case, it can be easily determined whether the disparity information of the first picture is difference data or the disparity information of the second picture is difference data.
  • FIG. 10 is a diagram illustrating a configuration of “Exp-Golomb code se (v)” as a variable length code. It is a figure for demonstrating the compression encoding of a non-prediction type (Non-Prediction
  • FIG. 11 is a diagram illustrating a structure example of VS_Info when the mode is a single picture mode and the divided region is “16”.
  • FIG. 10 is a diagram illustrating a structure example of VS_Info in a double picture mode when a divided region is “16”.
  • FIG. 1 shows a configuration example of an image transmission / reception system 10 as an embodiment.
  • the image transmission / reception system 10 includes a broadcasting station 100, a set top box (STB) 200, and a television receiver 300 as a monitor.
  • the set top box 200 and the television receiver (TV) 300 are connected via an HDMI (High Definition Multimedia Interface) cable 400.
  • HDMI High Definition Multimedia Interface
  • the broadcasting station 100 transmits a transport stream TS as a container on a broadcast wave.
  • This transport stream TS includes a video stream obtained by encoding left-eye image data and right-eye image data constituting a stereoscopic image.
  • left eye image data and right eye image data are transmitted by one video stream.
  • the left eye image data and the right eye image data are interleaved, configured as side-by-side or top-and-bottom image data, and included in one video stream.
  • the left eye image data and the right eye image data are each transmitted by separate video streams.
  • the left-eye image data is included in the MVC base view stream
  • the right-eye image data is included in the MVC non-base view stream.
  • disparity information (Disparity data) of the other of the left eye image and the right eye image acquired for each predetermined picture of the image data is inserted.
  • the disparity information is acquired at least in the picture to which the disparity information is to be transmitted.
  • the disparity information for each picture includes first disparity information and second disparity information.
  • the first disparity information is disparity information corresponding to the foremost object reproduction position in the predetermined area of the picture display screen.
  • the second disparity information is disparity information corresponding to the deepest object reproduction position in a predetermined area of the picture display screen.
  • this parallax information is obtained as a negative value when the object playback position is in front of the screen (see DPa in FIG. 71).
  • this parallax information is obtained as a positive value (see DPc in FIG. 71). Therefore, as the first parallax information, for example, the parallax information having the minimum value among the parallax information in the predetermined area is used. Further, as the second parallax information, for example, the parallax information having the maximum value among the parallax information in the predetermined area is used.
  • the following acquisition methods are conceivable as the first parallax information and the second parallax information.
  • the first disparity information in each divided region obtained by dividing the picture display screen by the division information is acquired, and the second disparity information in the entire picture display screen is acquired.
  • the first disparity information and the second disparity information in each divided region obtained by dividing the picture display screen by the division information are acquired.
  • the disparity information of the entire picture display screen or each divided region is acquired by performing a downsizing process on the disparity information for each block (Block).
  • FIG. 2 shows an example of disparity information (disparity vector) for each block.
  • FIG. 3 shows an example of a method for generating disparity information in units of blocks.
  • disparity information indicating the right eye view (Right-View) is obtained from the left eye view (Left-View).
  • a pixel block (parallax detection block) such as 4 * 4, 8 * 8, or 16 * 16 is set in the picture of the left eye view.
  • the left-eye view picture is the detected image
  • the right-eye view picture is the reference image
  • the sum of absolute differences between pixels is minimized for each block of the left-eye view picture.
  • a block search of the picture of the right eye view is performed to obtain disparity data.
  • the parallax information DPn of the Nth block is obtained by block search so that the sum of absolute differences in the Nth block is minimized, for example, as shown in the following equation (1).
  • Dj represents a pixel value in the right-eye view picture
  • Di represents a pixel value in the left-eye view picture.
  • DPn min ( ⁇ abs (differ (Dj-Di)) (1)
  • FIG. 4 shows an example of the downsizing process.
  • FIG. 4A shows disparity information for each block obtained as described above.
  • the first disparity information and the second disparity information for each group (Group Of Block) are obtained.
  • a group corresponds to an upper layer of a block and is obtained by grouping a plurality of adjacent blocks together.
  • each group is composed of four blocks bounded by a broken line frame.
  • the 1st parallax information of each group is obtained by selecting the parallax information of the minimum value from the parallax information of all the blocks in the group, for example.
  • the second disparity information of each group is obtained, for example, by selecting the maximum value of disparity information from the disparity information of all the blocks in the group.
  • the first disparity information and the second disparity information for each partition are obtained based on the disparity vector for each group.
  • the partition is an upper layer of the group and is obtained by grouping a plurality of adjacent groups together.
  • each partition is configured by two groups bounded by a broken line frame.
  • the 1st parallax information of each partition is obtained by selecting the 1st parallax information of the minimum value from the 1st parallax information of all the groups in the partition, for example.
  • the second disparity information of each partition is obtained, for example, by selecting the second disparity information having the maximum value from the second disparity information of all groups in the partition.
  • the first disparity information and the second disparity information of the entire picture (entire picture display screen) located in the highest layer are obtained. Desired.
  • the entire picture includes four partitions that are bounded by a broken line frame.
  • the first disparity information of the entire picture is obtained, for example, by selecting the first disparity information having the minimum value from the first disparity information of all partitions included in the entire picture.
  • the second disparity information of the entire picture is obtained by selecting, for example, the second disparity information having the maximum value from the second disparity information of all partitions included in the entire picture.
  • the picture display screen is divided based on the division information, and the parallax information of each divided area is acquired as described above. In this case, the picture display screen is divided so as not to cross the coding block boundary.
  • FIG. 5 shows a detailed example of division of the picture display screen. This example is an example of a 1920 * 1080 pixel format, and is divided into two parts horizontally and vertically, and four divided regions of Partition A, Partition , B, Partition C, and Partition2D are obtained.
  • On the transmission side since encoding is performed for each 16 ⁇ 16 block, 8 lines of blank data are added, and encoding is performed as image data of 1920 pixels * 1088 lines. Therefore, the vertical direction is divided into two based on 1088 lines.
  • the video stream includes disparity information (first disparity information, second disparity information) of the entire picture display screen or each divided region (Partition) acquired for each predetermined picture (frame) of the image data. Information) is inserted.
  • FIG. 6 schematically shows a transition example of the parallax information of each divided region. This example is an example in which there are 16 divided areas from Partition 0 to 15 Partition 15 respectively, which are divided into 4 parts horizontally and vertically. In this example, only the transition of the parallax information D0, D3, D9, and D15 of Partition 0, Partition 3, 9, Partition 9, and 15 is shown for simplification of the drawing.
  • the value of each parallax information includes a case where the value changes with time (D0, D3, D9) and a case where the value is fixed (D15).
  • FIG. 7A shows an example of synchronizing with picture encoding, that is, an example of inserting disparity information into a video stream in units of pictures. In this example, there is little delay when transmitting image data, and it is suitable for live broadcasting for transmitting image data captured by a camera.
  • FIG. 7B shows an example of synchronizing with an I picture (Intra picture) or GOP (Group Of Pictures) of encoded video, that is, an example in which disparity information is inserted into a video stream in units of GOPs.
  • I picture Intra picture
  • GOP Group Of Pictures
  • the delay in transmitting image data is larger than in the example of FIG. 7A.
  • FIG. 7C shows an example of synchronizing with a video scene, that is, an example of inserting disparity information into a video stream in units of scenes.
  • FIGS. 7A to 7C are examples, and insertion in other units may be considered.
  • identification information for identifying whether or not disparity information may be inserted into the layer of the transport stream TS. Good.
  • This identification information is inserted, for example, under the program map table (PMT: Program Map Table) included in the transport stream TS or under the event information table (EIT: Event Information Table).
  • PMT Program Map Table
  • EIT Event Information Table
  • FIG. 8 illustrates a configuration example of the transmission data generation unit 110 that generates the above-described transport stream TS in the broadcast station 100.
  • the transmission data generation unit 110 includes image data output units 111L and 111R, scalers 112L and 112R, a video encoder 113, a multiplexer 114, and a parallax data generation unit 115. Further, the transmission data generation unit 110 includes a subtitle data output unit 116, a subtitle encoder 117, an audio data output unit 118, and an audio encoder 119.
  • the image data output units 111L and 111R output left-eye image data VL and right-eye image data VR constituting a stereoscopic image, respectively.
  • the image data output units 111L and 111R include, for example, a camera that captures an image of a subject and outputs image data, or an image data reading unit that reads and outputs image data from a storage medium.
  • the image data VL and VR are, for example, 1920 * 1080 full HD size image data.
  • Scalers 112L and 112R perform scaling processing in the horizontal direction and the vertical direction as necessary on the image data VL and VR, respectively. For example, when transmitting side-by-side or top-and-bottom image data in order to transmit the image data VL and VR in one video stream, the horizontal or vertical direction is 1 ⁇ 2. Scale down to output. Further, for example, when the image data VL and VR are transmitted as separate video streams such as an MVC base view stream and a non-base view stream, the image data VL and VR are not subjected to scaling processing. Is output as is.
  • the video encoder 113 encodes the left-eye image data and the right-eye image data output from the scalers 112L and 112R, for example, MPEG4-AVC (MVC), MPEG2 video, or HEVC (High-Efficiency-Video Coding). To obtain encoded video data. Further, the video encoder 113 generates a video stream including the encoded data by a stream formatter (not shown) provided in the subsequent stage. In this case, the video encoder 113 generates one or two video streams (video elementary streams) including encoded video data of left eye image data and right eye image data.
  • MVC MPEG4-AVC
  • HEVC High-Efficiency-Video Coding
  • the parallax data generation unit 115 generates parallax information for each picture (frame) based on the left eye image data VL and the right eye image data VR output from the image data output units 111L and 111R.
  • the disparity data generation unit 115 acquires disparity information for each block (Block) as described above for each picture.
  • the parallax data generation unit 115 reads out and acquires parallax information for each block from the storage medium together with the image data. Is also possible. Further, a method of detecting parallax information using a result of block matching performed between the right eye image data and the left eye image data in the video encoder 113 is also conceivable.
  • the disparity information generation unit 115 performs downsizing processing on disparity information for each block (Block), and the entire picture display screen or each divided region (Partition) obtained by dividing the picture display screen. 1 parallax information and 2nd parallax information are produced
  • the video encoder 113 inserts the first disparity information and the second disparity information for each picture generated by the disparity data generation unit 115 into the video stream.
  • disparity information for each picture is inserted into the video stream in units of pictures or units of GOP (see FIG. 7).
  • the left-eye image data and the right-eye image data may be inserted only into one of the video streams in order to be transmitted as separate video data.
  • the subtitle data output unit 116 outputs subtitle (caption) data to be superimposed on the image.
  • the subtitle data output unit 116 is configured by, for example, a personal computer.
  • the subtitle encoder 117 generates a subtitle stream (subtitle elementary stream) including the subtitle data output from the subtitle data output unit 116.
  • the subtitle encoder 117 refers to the disparity information for each block generated by the disparity data generation unit 115, and adds disparity information corresponding to the display position of the subtitle to the subtitle data. That is, the subtitle data included in the subtitle stream has disparity information corresponding to the display position of the subtitle.
  • the audio data output unit 118 outputs audio data corresponding to the image data.
  • the audio data output unit 118 is configured by, for example, a microphone or an audio data reading unit that reads and outputs audio data from a storage medium.
  • the audio encoder 119 performs encoding such as MPEG-2Audio or AAC on the audio data output from the audio data output unit 118, and generates an audio stream (audio elementary stream).
  • the multiplexer 114 converts each elementary stream generated by the video encoder 113, the subtitle encoder 117, and the audio encoder 119 into PES packets and multiplexes them to generate a transport stream TS.
  • PTS Presentation Time Stamp
  • PES Packetized Elementary Stream
  • the multiplexer 114 inserts the identification information described above into the layer of the transport stream TS.
  • This identification information is information for identifying whether or not disparity information (first disparity information, second disparity information) is inserted in the video stream.
  • This identification information is inserted, for example, under the program map table (PMT: Program Map Table) included in the transport stream TS or under the event information table (EIT: Event Information Table).
  • PMT Program Map Table
  • EIT Event Information Table
  • the left eye image data VL and the right eye image data VR constituting the stereoscopic image output from the image data output units 111L and 111R are supplied to the scalers 112L and 112R, respectively.
  • the scalers 112L and 112R perform scaling processing in the horizontal direction and the vertical direction on the image data VL and VR, respectively, as necessary.
  • the left eye image data and right eye image data output from the scalers 112L and 112R are supplied to the video encoder 113.
  • the video encoder 113 performs encoding such as MPEG4-AVC (MVC), MPEG2 video, HEVC or the like on the left eye image data and the right eye image data to obtain encoded video data. Further, in the video encoder 113, a video stream including the encoded data is generated by a stream formatter provided in the subsequent stage. In this case, one or two video streams including encoded video data of left eye image data and right eye image data are generated.
  • MVC MPEG4-AVC
  • MPEG2 video MPEG2 video
  • HEVC High Efficiency Video Coding
  • the left eye image data VL and the right eye image data VR constituting the stereoscopic image output from the image data output units 111L and 111R are supplied to the parallax data generation unit 115.
  • the disparity data generation unit 115 acquires disparity information for each block (Block) for each picture.
  • the disparity data generation unit 115 further performs downsizing processing on disparity information for each block (Block), and each divided area obtained by dividing the entire picture display screen or the picture display screen. First disparity information and second disparity information are generated.
  • the first disparity information and the second disparity information for each picture generated by the disparity data generation unit 115 are supplied to the video encoder 113.
  • the first disparity information and the second disparity information for each picture are inserted into the video stream in units of pictures or units of GOP.
  • the subtitle data output unit 116 outputs subtitle (caption) data to be superimposed on the image.
  • This subtitle data is supplied to the subtitle encoder 117.
  • a subtitle stream including subtitle data is generated.
  • the subtitle encoder 117 refers to the disparity information for each block generated by the disparity data generation unit 115, and disparity information corresponding to the display position is added to the subtitle data.
  • the audio data output unit 118 outputs audio data corresponding to the image data.
  • This audio data is supplied to the audio encoder 119.
  • the audio encoder 119 performs encoding such as MPEG-2Audio or AAC on the audio data, and generates an audio stream.
  • the video stream obtained by the video encoder 113, the subtitle stream obtained by the subtitle encoder 117, and the audio stream obtained by the audio encoder 119 are respectively supplied to the multiplexer 114.
  • the multiplexer 114 the elementary streams supplied from each encoder are converted into PES packets and multiplexed to generate a transport stream TS. In this case, a PTS is inserted into each PES header for synchronous reproduction on the receiving side. Also, in the multiplexer 114, identification information for identifying whether or not disparity information is inserted into the video stream is inserted under the PMT or the EIT.
  • FIG. 9 illustrates a configuration example of the transport stream TS.
  • left eye image data and right eye image data are transmitted in separate video streams. That is, the PES packet “video PES1” of the video stream in which the left eye image data is encoded and the PES packet “video PES2” of the video stream in which the right eye image data is encoded are included. Also, in this configuration example, the subtitle stream PES packet “subtitle PES3” in which subtitle data (including disparity information) is encoded and the audio stream PES packet “audio PES4” in which audio data is encoded are included. It is.
  • Depth information SEI depth_information_sei () including first disparity information and second disparity information for each picture is inserted in the user data area of the video stream.
  • the depth information SEI is inserted into the user data area of each picture of the video stream.
  • this depth information SEI is the user data area of the picture corresponding to the head of the GOP of the video stream or the position where the sequence parameter information is inserted Inserted into.
  • the depth information SEI is shown to be inserted into both of the two video streams, but may be inserted into only one video stream.
  • the transport stream TS includes a PMT (Program Map Table) as PSI (Program Specific Information). This PSI is information describing to which program each elementary stream included in the transport stream TS belongs.
  • the transport stream TS includes an EIT (Event Information Table) as SI (Serviced Information) for managing each event.
  • disparity information first disparity information, second disparity information
  • This descriptor is, for example, an existing AVC video descriptor (AVC video descriptor) or MVC extension descriptor (MVC_extension_descriptor), or a newly defined depth info descriptor (Depth_info_descriptor). Note that the depth info descriptor may be inserted under the EIT as shown by the broken line.
  • FIG. 10A shows a structural example (Syntax) of an AVC video descriptor (AVC video descriptor) in which identification information is described.
  • AVC video descriptor AVC video descriptor
  • This descriptor can be applied when the video is in the MPEG4-AVC frame compatible format.
  • This descriptor itself is already H.264. H.264 / AVC standard.
  • 1-bit flag information of “depth_info_not_existed_flag [0]” is newly defined in this descriptor.
  • the flag information includes whether or not depth information SEI (depth_information_sei ()) including disparity information for each picture is inserted in the corresponding video stream. Indicate. When this flag information is “0”, it indicates that it is inserted. On the other hand, when this flag information is “1”, it indicates that it is not inserted.
  • depth information SEI depth_information_sei ()
  • FIG. 11A shows a structural example (Syntax) of an MVC extension descriptor (MVC extension descriptor) in which identification information is described.
  • MVC extension descriptor MVC extension descriptor
  • This descriptor can be applied when the video is in the MPEG4-AVCAnex H MVC format.
  • This descriptor itself is already H.264. H.264 / AVC standard.
  • 1-bit flag information of “depth_info_not_existed_flag” is newly defined in this descriptor.
  • depth information SEI depth_information_sei ()
  • disparity information for each picture is inserted in the corresponding video stream.
  • this flag information indicates that it is inserted.
  • this flag information is “1”, it indicates that it is not inserted.
  • FIG. 12A shows a structural example (Syntax) of the depth info descriptor (depth_info_descriptor).
  • the 8-bit field of “descriptor_tag” indicates that this descriptor is “depth_info_descriptor”.
  • the 8-bit field of “descriptor_length” indicates the number of subsequent data bytes. In this descriptor, 1-bit flag information of “depth_info_not_existed_flag” is described.
  • this flag information includes whether or not depth information SEI (depth_information_sei ()) including disparity information for each picture is inserted in the corresponding video stream. Indicate. When this flag information is “0”, it indicates that it is inserted. On the other hand, when this flag information is “1”, it indicates that it is not inserted.
  • depth information SEI depth_information_sei ()
  • depth information SEI depth_information_sei ()
  • disparity information for each picture is inserted into the user data area of the video stream.
  • FIG. 13A shows the top access unit of a GOP (Group Of Pictures), and FIG. 13B shows an access unit other than the top of the GOP.
  • depth_information SEI message is inserted only in the first access unit of the GOP.
  • FIG. 14A shows a structure example (Syntax) of “depth_information SEI message”. “Uuid_iso_iec_11578” has a UUID value indicated by “ISO / IEC 11578: 1996AnnexA.”. “Depth_information_sei_data ()” is inserted into the “user_data_payload_byte” field.
  • FIG. 14B illustrates a structure example (Syntax) of “depth_information_sei_data ()”. In this, depth information SEI (depth_information_sei ()) is inserted. “Userdata_id” is an identifier of “depth_information_sei ()” indicated by unsigned 16 bits.
  • FIG. 15 each show a structural example (Syntax) of “depth_information_sei ()” when disparity information for each picture is inserted in units of pictures.
  • FIG. 18 shows the contents (Semantics) of main information in these structural examples.
  • FIG. 15 is the above-mentioned (1) “obtaining first disparity information in each divided region obtained by dividing the picture display screen by the division information and obtaining second disparity information in the entire picture display screen”.
  • a structure example (Syntax) corresponding to the acquisition method is shown.
  • “3-bit field of“ partition_type ” indicates the partition type of the picture display screen. “000” indicates no division, “001” indicates that the horizontal and vertical are divided into two equal parts, and “010” indicates that the horizontal and vertical are divided into four equal parts.
  • the 8-bit field of “max_disparity_in_picture” indicates the second disparity information of the entire picture display screen, that is, the maximum disparity information (disparity value) of the entire picture.
  • the 8-bit field of “min_disparity_in_partition” indicates the first disparity information of each divided region (Partition), that is, the minimum disparity information (disparity value) in each divided region.
  • FIG. 16 shows a structural example corresponding to the acquisition method (2) “acquires first disparity information and second disparity information in each divided region obtained by dividing a picture display screen by dividing information”. (Syntax) is shown. In FIG. 16, the description of portions corresponding to FIG. 15 is omitted as appropriate.
  • “3-bit field of“ partition_type ” indicates the partition type of the picture display screen.
  • the 4-bit field of “partition_count” indicates the total number of partition areas (Partitions), and is a value dependent on the above “partition_type”.
  • the 8-bit field of “max_disparity_in_partition” indicates second disparity information of each divided region (Partition), that is, maximum disparity information (disparity value) in each divided region.
  • the 8-bit field of “min_disparity_in_partition” indicates the first disparity information of each divided region (Partition), that is, the minimum disparity information (disparity value) in each divided region.
  • FIG. 17 shows the above (3) “obtaining first disparity information in each divided area obtained by dividing the picture display screen by the first division information, and dividing the picture display screen by the second division information. 17 shows a structural example (Syntax) corresponding to the acquisition method of acquiring the second parallax information in each divided region obtained in Step 1. In this Fig. 17, portions corresponding to Figs. The description is omitted.
  • “3-bit field of“ partition_type ” indicates the partition type of the picture display screen related to the acquisition of the first disparity information.
  • the 4-bit field of “min_partition_count” indicates the total number of partition areas (Partitions) from which the first disparity information is acquired, and is a value dependent on the above “partition_type”.
  • the 8-bit field of “min_disparity_in_partition” indicates the first disparity information of each divided region (Partition), that is, the minimum disparity information (disparity value) in each divided region.
  • the 4-bit field of “max_partition_count” indicates the total number of partition areas (Partitions) from which the second disparity information is acquired.
  • the 8-bit field of “max_disparity_in_partition” indicates second disparity information of each divided region (Partition), that is, maximum disparity information (disparity value) in each divided region.
  • FIG. 20 respectively show structural examples of “depth_information_sei ()” when synthesizing a plurality of pictures together, such as when disparity information for each picture is inserted in GOP units (Syntax ).
  • FIG. 18 shows the contents (Semantics) of main information in these structural examples.
  • FIG. 20 is the above-described (1) “Acquisition of first disparity information in each divided region obtained by dividing a picture display screen by division information and acquisition of second disparity information in the entire picture display screen”
  • a structure example (Syntax) corresponding to the acquisition method is shown.
  • the 6-bit field “picture_count” indicates the number of pictures. This “depth_information_sei ()” includes the first disparity information and the second disparity information for the number of pictures.
  • a 4-bit field of “partition_count” indicates the total number of partition areas (Partitions).
  • the 8-bit field of “max_disparity_in_picture” indicates second disparity information of the entire picture display screen, that is, maximum disparity information (disparity value) of the entire picture.
  • the 8-bit field of “min_disparity_in_partition” indicates the first disparity information of each divided region (Partition), that is, the minimum disparity information (disparity value) in each divided region.
  • FIG. 21 is a structural example corresponding to the acquisition method of (2) “acquiring first disparity information and second disparity information in each divided region obtained by dividing a picture display screen by dividing information”. (Syntax) is shown. In FIG. 21, portions corresponding to those in FIGS. 16 and 20 will not be described as appropriate.
  • the 6-bit field “picture_count” indicates the number of pictures. This “depth_information_sei ()” includes the first disparity information and the second disparity information for the number of pictures.
  • a 4-bit field of “partition_count” indicates the total number of partition areas (Partitions).
  • the 8-bit field of “max_disparity_in_partition” indicates second disparity information of each divided region (Partition), that is, maximum disparity information (disparity value) in each divided region.
  • the 8-bit field of “min_disparity_in_partition” indicates the first disparity information of each divided region (Partition), that is, the minimum disparity information (disparity value) in each divided region.
  • FIG. 22 shows the above (3) “obtaining first disparity information in each divided region obtained by dividing the picture display screen by the first division information, and dividing the picture display screen by the second division information.
  • 22 shows a structural example (Syntax) corresponding to the acquisition method of acquiring the second parallax information in each divided region obtained in Step 2.
  • Syntax structural example
  • the 6-bit field “picture_count” indicates the number of pictures.
  • This “depth_information_sei ()” includes the first disparity information and the second disparity information for the number of pictures.
  • a 4-bit field of “min_partition_count” indicates the total number of partition areas (Partitions) from which the first disparity information is acquired, and a 4-bit field of “max_partition_count” is a partition area (Partition) from which the second disparity information is acquired. ).
  • the 8-bit field of “min_disparity_in_partition” indicates the first disparity information of each divided region (Partition), that is, the minimum disparity information (disparity value) in each divided region.
  • the 8-bit field of “max_disparity_in_partition” indicates second disparity information of each divided region (Partition), that is, maximum disparity information (disparity value) in each divided region.
  • FIG. 23A shows a structural example (Syntax) of “user_data ()”.
  • a 32-bit field of “user_data_start_code” is a start code of user data (user_data), and is a fixed value of “0x000001B2”.
  • the 32-bit field following this start code is an identifier for identifying the contents of user data.
  • it is “depth_information_sei_data_identifier”, and it is possible to identify that the user data is “depth_information_sei_data”.
  • “Depth_information_sei_data ()” is inserted as a data body after this identifier.
  • FIG. 23B shows a structural example (Syntax) of “depth_information_sei_data ()”. In this, “depth_information_sei ()” is inserted (see FIGS. 15 to 17 and FIGS. 20 to 22).
  • disparity information insertion into a video stream when the encoding method is AVC or MPEG2 video has been described. Although detailed description is omitted, disparity information can be inserted into a video stream with a similar structure even in an encoding method having another similar structure, such as HEVC.
  • the disparity information (first disparity information and second disparity information) for each picture generated by the disparity data generation unit 115 is inserted into the video stream as it is.
  • An example to do it is also conceivable to insert the disparity information for each picture into the video stream after performing compression encoding processing to reduce the data amount.
  • FIG. 24 shows a configuration example of the transmission data generation unit 110A in that case. 24, parts corresponding to those in FIG. 8 are denoted by the same reference numerals, and detailed description thereof is omitted.
  • the transmission data generation unit 110A has a compression encoding unit 120.
  • the compression encoding unit 120 performs compression encoding processing on the disparity information (first disparity information and second disparity information) for each picture generated by the disparity data generation unit 115 to reduce the data amount.
  • the compression encoding unit 120 performs a process using a variable length code as a compression encoding process, for example.
  • the video encoder 113 inserts the disparity information (first disparity information and second disparity information) of each picture after being compressed and encoded by the compression encoding unit 120 into the video stream.
  • the other parts of the transmission data generation unit 110A shown in FIG. 24 are configured in the same manner as the transmission data generation unit 110 shown in FIG. 8 and operate in the same manner.
  • FIG. 25 shows a schematic configuration example of the compression encoding unit 120.
  • the compression encoding unit 120 includes a buffer 121, a subtracter 122, and a variable length encoding unit 122.
  • the buffer 121 temporarily stores disparity information for each input picture.
  • the subtracter 122 acquires difference data between pictures.
  • the variable length coding unit 122 performs variable length coding.
  • the variable length coding unit 120 uses, for example, “Exp-Golomb code se (v)” shown in FIG. 26 as the variable length code, but other variable length codes may be used.
  • the compression encoding unit 120 performs compression encoding processing with either a non-prediction type (Non-Prediction type) or a prediction type (Prediction type).
  • Non-Prediction type a non-prediction type
  • Prediction type a prediction type
  • the non-prediction type compression encoding process will be described.
  • the encoding processing unit 120 performs variable length encoding on the disparity information itself of each input picture. Therefore, in this non-prediction type compression encoding process, the disparity information of each picture input is supplied to the variable length encoding unit 123 as it is in the compression encoding unit 120 shown in FIG.
  • FIG. 27 shows a case of only a non-prediction type (Non-Prediction Type) in which no prediction is performed.
  • FIG. 27A shows an example of the display order of video slices (Video Slice) of I picture, P picture, and B picture. There is disparity information (illustrated by “SEI”) of each picture corresponding to each video slice.
  • FIG. 27B shows the decoding order (encoding order) of each picture.
  • the disparity information of each picture is variable-length encoded as it is, that is, in the state of intra data (illustrated as “Intra”).
  • the encoding processing unit 120 acquires difference data from the reference picture in the disparity information of each input picture, and performs variable-length encoding on the difference data. Is called. Therefore, in the compression coding process with this prediction type, in the compression coding unit 120 shown in FIG. 25, in the reference picture, the subtractor 122 takes the difference data from the referenced picture and performs variable length coding. Supplied to the unit 123.
  • FIG. 28 shows a case of prediction type 0 (PredictionType 0).
  • FIG. 28A shows an example of the display order of video slices (VideoSlice) of I picture, P picture, and B picture.
  • an arrow indicates a prediction target when performing prediction.
  • disparity information illustrated by “SEI”
  • SEI disparity information
  • FIG. 28B shows the decoding order (encoding order) of each picture.
  • the disparity information of each picture is variable-length encoded as it is, that is, in the state of intra data (illustrated as “Intra”).
  • the previous picture in the display order is set as a referenced picture, and difference data (illustrated by “Delta”) is taken. This difference data has a variable length. Encoded.
  • the tip of the arrow from each picture indicates the referenced picture that is referenced by that picture.
  • this prediction type 0 (Prediction Type 0) since the SEI prediction is performed in the display order, the value of the difference data can be kept small, and the encoding efficiency becomes the highest. However, since the SEI prediction order does not match the video encoding order, it is necessary to store SEI in the buffer. Also, it is not suitable for special reproduction such as B skip.
  • Prediction Type a type that predicts and refers to SEI in order of decoding can be considered.
  • a type that performs SEI prediction combined with the video picture type (prediction type 1: Prediction Type 1) is conceivable.
  • FIG. 29 shows the case of prediction type 1 (Prediction Type 1).
  • FIG. 29A shows an example of the display order of video slices (VideoSlice) of I picture, P picture, and B picture. There is disparity information (illustrated by “SEI”) of each picture corresponding to each video slice.
  • SEI disparity information
  • FIG. 29B shows the decoding order of each picture.
  • the disparity information of the I picture is variable-length encoded as it is, that is, in the state of intra data (illustrated as “Intra”).
  • the picture combined with the video picture type is set as the referenced picture in the decoding order, and the difference data (illustrated by “Delta”) is taken.
  • the difference data is variable length encoded.
  • the tip of the arrow from each picture indicates the referenced picture to which that picture refers.
  • the SEI prediction order matches the video coding order including the video picture type. It is suitable for live encoding and can support special playback such as B-skip. However, since the SEI prediction straddles a plurality of frames, there is a possibility that the encoding efficiency is inferior compared with the above-described prediction type 0 (Prediction Type 0).
  • Prediction Type there is a type that predicts and references SEI in the order of decoding, and a type that refers to SEI decoded immediately before (Prediction Type 2).
  • FIG. 30 shows a case of prediction type 2 (Prediction Type 2).
  • FIG. 30A shows an example of the display order of video slices (VideoSlice) of I picture, P picture, and B picture.
  • SEI disparity information
  • FIG. 30B shows the decoding order (encoding order) of each picture.
  • the disparity information of the I picture is variable-length encoded as it is, that is, in the state of intra data (illustrated as “Intra”).
  • the immediately preceding picture is set as a referenced picture and differential data (illustrated by “Delta”) is taken, and this differential data is variable. Long coded.
  • the tip of the arrow from each picture indicates the referenced picture to which that picture refers.
  • this prediction type 2 (Prediction Type 2)
  • the SEI prediction order matches the video encoding order.
  • SEI prediction is independent of video picture type. Although it is suitable for live encoding, since SEI prediction spans a plurality of frames, encoding efficiency may be inferior to that of the prediction type 0 (Prediction Type 0) described above.
  • Prediction ⁇ ⁇ Type a type in which SEI is predicted and referred to in order of decoding, and SEI prediction combined with a video picture type is performed, and disparity information is transmitted only by a referenced picture such as an I picture or a P picture.
  • Prediction type 3 Prediction Type 3
  • FIG. 31 shows a case of prediction type 3 (Prediction Type 3).
  • FIG. 31A shows an example of the display order of video slices (VideoSlice) of I picture, P picture, and B picture. There is disparity information (illustrated by “SEI”) of each picture corresponding to each video slice.
  • SEI disparity information
  • FIG. 31 (b) shows the decoding order of each picture.
  • the disparity information of the I picture is variable-length encoded as it is, that is, in the state of intra data (illustrated as “Intra”).
  • the difference data (“Delta”).
  • the tip of the arrow from each picture indicates the referenced picture that the picture refers to.
  • SEI information of a picture (B picture) in which SEI information is not encoded is interpolated from information of two SEI encoded in the reference picture before and after in the display order in the decoder.
  • the SEI prediction order matches the video coding order including the video picture type. It is suitable for live encoding and can support special playback such as B-skip. Since the disparity information is encoded and transmitted only by the referenced pictures such as the I picture, the P picture, and the referenced B picture, the encoding efficiency is improved. However, since the SEI prediction straddles a plurality of frames, the encoding efficiency is inferior compared to the prediction type 0 (PredictionPreType 0) described above. Further, since the non-coded SEI information is interpolated and assigned to each picture, it is necessary to clearly indicate the number of pictures as a temporal distance to the prediction destination of the disparity information (disparity).
  • an AUD Access Unit Delimiter
  • the video packet order is composed of “AUD”-“SPS”-“PPS”-“SEI”-“Slice”. Therefore, the decoder uses the information of AUD in order to correctly decode the information in the SEI earlier than decoding “Slice”.
  • the referenced picture is also added to the referenced picture in addition to the I picture and the P picture as described above.
  • disparity information is encoded and transmitted only by a referenced picture such as an I picture, a P picture, or a referenced B picture. For this reason, on the decoder side (reception side), for a picture without transmission of disparity information, for example, it is obtained by interpolation from the disparity information of the previous and subsequent pictures.
  • the disparity information for the pictures corresponding to B1 and B2 is obtained based on the disparity information transmitted by “SEI0” and “SEI3”.
  • the decoder (receiver) corresponding to “subpixel disparity” can perform the dynamic update of the graphics display position more smoothly.
  • FIGS. 32, 33, and 34 show structural examples (Syntax) of “depth_information_sei ()” when disparity information that has been compression-coded for each picture is inserted in units of pictures.
  • FIG. 18 shows the contents (Semantics) of main information in these structural examples. Although detailed description is omitted, these structural examples are the same as the structural examples (Syntax) shown in FIGS. 15, 16, and 17 described above except that the disparity information is compression-coded.
  • FIG. 35, FIG. 36, and FIG. 37 respectively show “depth_information_sei ()” in the case where a plurality of pictures are encoded together, such as when disparity information that has been compression-coded for each picture is inserted in GOP units.
  • An example of the structure (Syntax) is shown.
  • FIG. 18 shows the contents (Semantics) of main information in these structural examples. Although detailed description is omitted, these structural examples are the same as the structural examples (Syntax) shown in FIGS. 20, 21, and 22 described above except that the disparity information is compression-coded.
  • FIG. 38 shows a structural example (Syntax) of “depth_information_sei ()” applicable to the prediction type 3 (Prediction Type 3).
  • FIG. 18 shows the contents (Semantics) of main information in these structural examples.
  • the field of “picture_count_for_skipping” indicates the number of pictures up to the previous referenced picture as a prediction destination of disparity information (disparity). Note that the information in this field may be inserted after variable-length coding of the number of pictures using, for example, “Exp-Golomb code ue (v)” shown in FIG.
  • 1-bit flag information of “partition_enabled_flag” indicates whether or not the screen is divided. When this flag information is “1”, it indicates that the picture display screen is divided, and when this flag information is “0”, it indicates that the screen is not divided. With this flag information, the receiving side can easily grasp whether the transmitted disparity information corresponds to the entire picture display screen or for each of a plurality of divided areas.
  • the 3-bit field of “partition_type” is replaced with 1-bit flag information of “partition_enabled_flag”. It is also possible to replace with.
  • a 3-bit field of “partition_type” can be handled as flag information similar to this “partition_enabled_flag”. In this case, when any one of the 3 bits is “1”, the picture display screen is divided. When all the 3 bits are “0”, the screen is not divided. It shall be shown.
  • the 1-bit flag information “Intra_disparity_flag” indicates whether or not the value of the disparity information (disparity) is a non-predicted value (intra data). When this flag information is “1”, it indicates a non-predicted value (intra data), and when this flag information is “0”, it indicates a predicted value (difference data).
  • 1-bit flag information of “Intra_disparity_flag” may be further added. In this case, the receiving side can easily grasp whether the inserted disparity information is intra data or differential data.
  • “4-bit field of“ partition_count ” indicates the total number of partition areas (Partitions).
  • the field of “max_disparity_in_partition” indicates second disparity information of each divided region (Partition), that is, maximum disparity information (disparity value) in each divided region.
  • the field of “min_disparity_in_partition” indicates the first disparity information of each divided region (Partition), that is, the minimum disparity information (disparity value) in each divided region.
  • the structure example (Syntax) of “depth_information_sei ()” shown in FIG. 38 corresponds to the structure example (Syntax) of “depth_information_sei ()” shown in FIG. Although illustration is omitted, other structures corresponding to the structure example (Syntax) of “depth_information_sei ()” shown in FIGS. 33 to 37 are also conceivable. Instead of the “depth_information_sei ()” structure example (Syntax) shown in FIG. 38, the “depth_information_sei ()” structure example (Syntax) shown in FIG. 40 is also conceivable. In this case, the 3-bit field of “partition_type” is treated as flag information similar to “partition_enabled_flag”, for example.
  • the set top box 200 receives the transport stream TS transmitted from the broadcast station 100 on the broadcast wave. Further, the set top box 200 decodes the video stream included in the transport stream TS, and generates left eye image data and right eye image data constituting a stereoscopic image. In addition, the set-top box 200 extracts disparity information (first disparity information and second disparity information) for each picture of the image data inserted in the video stream.
  • disparity information first disparity information and second disparity information
  • the set-top box 200 Based on the first parallax information and the second parallax information, the set-top box 200, for example, a parallax angle with respect to the closest object reproduction position (parallax angle in the cross direction) and a parallax angle with respect to the innermost object reproduction position ( It is checked whether or not the parallax angle in the ipsilateral direction is within a predetermined range that does not harm health for viewing. If the set-top box 200 does not fall within the predetermined range, the set-top box 200 reconstructs the left-eye image data and the right-eye image data so that the set-top box 200 falls within the predetermined range. Correct it.
  • the set top box 200 uses the image data, the parallax information (first parallax information), and the graphics data, and the left on which the graphics is superimposed. Obtain eye image data and right eye image data. In this case, the set-top box 200 assigns a parallax corresponding to the display position of the graphics to the graphics superimposed on the left-eye image and the right-eye image for each picture, and data of the left-eye image on which the graphics are superimposed. And right eye image data on which graphics are superimposed.
  • FIG. 41 shows the concept of graphics depth control based on parallax information.
  • parallax information is a negative value
  • parallax is given so that the left-eye display graphics are shifted to the right side and the right-eye display graphics are shifted to the left side on the screen.
  • the graphics display position is in front of the screen.
  • the parallax information is a positive value
  • the parallax is given so that the left-eye display graphics are shifted to the left side and the right-eye display graphics are shifted to the right side on the screen.
  • the graphics display position is behind the screen.
  • the set-top box 200 can accurately control the depth of graphics using disparity information using disparity information that matches the display timing of graphics.
  • FIG. 41 shows the parallax angle ( ⁇ 0 ⁇ 2) in the same direction and the parallax angle ( ⁇ 0 ⁇ 1) in the intersecting direction.
  • the set-top box 200 based on the first disparity information and the second disparity information for each picture inserted into the video stream, whether these disparity angles are within a predetermined range that does not harm the viewing health. No is checked.
  • FIG. 42 shows an example in which disparity information is inserted into a video stream in units of pictures.
  • disparity information is sequentially acquired at the picture timing of image data.
  • disparity information first disparity information
  • FIG. 43 shows an example in which disparity information is inserted into the video stream in units of GOPs.
  • Information (disparity information set) is acquired collectively.
  • disparity information (first disparity information) that matches the display timing of graphics is used, and appropriate disparity is given to the graphics.
  • “Side View” in FIG. 44A shows a display example of subtitles and OSD graphics on an image.
  • This display example is an example in which subtitles and graphics are superimposed on an image composed of a background, a foreground object, and a foreground object.
  • “Top View” in FIG. 44B shows the perspective of the background, the middle scene object, the foreground object, the caption, and the graphics.
  • the subtitles and graphics indicate that they are recognized as being in front of the object corresponding to the display position.
  • an appropriate parallax is given to the graphics so that the graphics are recognized in front of the caption.
  • FIG. 45 shows a configuration example of the set top box 200.
  • the set top box 200 includes a container buffer 211, a demultiplexer 212, a coded buffer 213, a video decoder 214, a decoded buffer 215, a scaler 216, an L / R reconfiguration unit 263, and a superimposition unit 217. is doing.
  • the set top box 200 includes a compression decoding unit 261, a disparity information buffer 218, a disparity information control unit 262, a set top box (STB) graphics generation unit 219, a depth control unit 220, and a graphics buffer 221. Have.
  • the set top box 200 includes a coded buffer 231, a subtitle decoder 232, a pixel buffer 233, a subtitle parallax information buffer 234, and a subtitle display control unit 235. Further, the set top box 200 includes a coded buffer 241, an audio decoder 242, an audio buffer 243, a channel mixing unit 244, and an HDMI transmission unit 251.
  • the container buffer 211 temporarily stores a transport stream TS received by a digital tuner or the like (not shown).
  • the transport stream TS includes a video stream, a subtitle stream, and an audio stream.
  • As the video stream one or two video streams obtained by encoding the left eye image data and the right eye image data are included.
  • left eye image data and right eye image data may be sent in separate video streams, such as an MVC base view stream and a non-base view stream, respectively.
  • the demultiplexer 212 extracts video, subtitle, and audio streams from the transport stream TS temporarily stored in the container buffer 211. Further, the demultiplexer 212 extracts identification information (flag information of “graphics_depth_info_not_existed_flag [0]”) indicating whether or not disparity information is inserted in the video stream from the transport stream TS, and a control unit (not shown) CPU).
  • the video decoder 214 controls the disparity information (first disparity information, second disparity information) from the video stream, as will be described later, when the identification information indicates insertion of disparity information under the control of the control unit (CPU). To get.
  • the coded buffer 213 temporarily stores the video stream extracted by the demultiplexer 212.
  • the video decoder 214 performs decoding processing on the video stream stored in the coded buffer 213 to obtain left eye image data and right eye image data.
  • the video decoder 214 acquires disparity information (first disparity information, second disparity information) for each picture of the image data inserted in the video stream.
  • the decoded buffer 215 temporarily stores the left eye image data and right eye image data acquired by the video decoder 214.
  • the compression decoding unit 261 inputs disparity information (first disparity information, second disparity information) for each picture of the image data acquired by the video decoder 214, and the input disparity information is compression-encoded. When it is, the decoding process is performed. When the input parallax information is not compression-coded, the compression decoding unit 261 uses the input parallax information as output parallax information as it is.
  • the compression / decoding unit 261 performs a process reverse to that of the compression encoding unit 120 in the transmission data generation unit 110A illustrated in FIG.
  • FIG. 46 shows a schematic configuration example of the compression decoding unit 261.
  • the compression decoding unit 261 includes a variable length decoding unit 264, a buffer 265, and an addition unit 266.
  • the variable length decoding unit 264 performs variable length decoding on the compression-encoded input disparity information.
  • the buffer 265 temporarily stores the decoded output parallax information.
  • the adding unit 266 adds the difference data of the reference picture to the disparity information of the reference picture to obtain the output disparity information of the reference picture.
  • the disparity information buffer 218 temporarily stores the compression-decoded disparity information (first disparity information, second disparity information).
  • the disparity information control unit 262 based on the first disparity information and the second disparity information for each picture stored in the disparity information buffer 218, the disparity angle with respect to the nearest object reproduction position (disparity angle in the cross direction) In addition, it is checked whether or not the parallax angle (parallax angle in the same direction) with respect to the innermost object reproduction position is within a predetermined range that does not impair health for viewing.
  • the parallax information control unit 262 causes the L / R reconstruction unit 263 to store the left eye image data and the parallax angle within the predetermined range. Instructs reconstruction of right-eye image data. Further, the parallax information control unit 262 corrects and outputs the first parallax information and / or the second parallax information in accordance with the reconstructed left-eye image data and right-eye image data. Note that the parallax information control unit 262 does not instruct the L / R reconstruction unit 263 to reconstruct the left eye image data and the right eye image data when the parallax angle is within a predetermined range. Also, the first disparity information and the second disparity information are output as they are without correction.
  • a range d indicates a range of parallax angles that do not harm health in viewing. In this example, there is a section that does not fall within the range d at the far-side parallax angle.
  • the lower part of FIG. 47 shows an example of time transition of the near side and far side parallax angles in the reconstructed data (left eye image data and right eye image data).
  • A is an example when limit control is performed when the range d is exceeded.
  • B is an example when the entire depth amount (depth volume) is reduced so as not to exceed the range d.
  • FIG. 48 illustrates a configuration example of the parallax information control unit 262.
  • the parallax information control unit 262 includes a maximum value acquisition unit 271, a minimum value acquisition unit 272, a parallax angle check unit 272, and a parallax information correction unit 274.
  • the maximum value acquisition unit 271 selects the maximum value from the received second parallax information (Max disparity) and supplies the selected value to the parallax angle check unit 273.
  • the received second disparity information is one for the entire picture screen, and is plural for each of the plurality of divided areas.
  • the minimum value acquisition unit 272 selects the minimum value from the received first disparity information (Min (disparity) and supplies the selected value to the disparity angle check unit 273.
  • the received first disparity information is one when it is for the entire picture screen, and is plural when it is for each of a plurality of divided regions.
  • the parallax angle check unit 273 Based on the first parallax information and the second parallax information, the parallax angle check unit 273 has a parallax angle range d () in which the near-side parallax angle and the far-side parallax angle do not harm the viewing health. 47), the check result is supplied to the parallax information correction unit 274.
  • the parallax information correction unit 274 sends the received left-eye image data and right-eye image data to the L / R reconstruction unit 263 so that the parallax angle falls within the range d when the parallax angle does not fall within the range d. Direct reconfiguration.
  • the received first parallax information (Minardisparity) and second parallax information (Max disparity) are supplied to the parallax information correction unit 274.
  • the disparity information correction unit 274 performs a correction process on the first disparity information and the second disparity information in accordance with the above-described instructions for reconstructing the left eye image data and the right eye image data, and the corrected first information Disparity information (Corrected Min disparity) and second disparity information (Corrected Max disparity) are output. Note that when the parallax angle is within the range d, the parallax information correction unit 274 does not instruct the L / R reconstruction unit 263 to reconstruct the left-eye image data and the right-eye image data. The first disparity information and the second disparity information are output as they are without correction.
  • the scaler 216 performs scaling processing in the horizontal direction and the vertical direction on the left eye image data and right eye image data output from the decoded buffer 215 as necessary. For example, when left-eye image data and right-eye image data are sent as a single video stream as side-by-side or top-and-bottom image data, the horizontal or vertical direction is doubled. Scale up to output. Also, for example, when the left-eye image data and the right-eye image data are respectively sent as separate video streams such as an MVC base view stream and a non-base view stream, without performing a scaling process, The left eye image data and right eye image data are output as they are.
  • the L / R reconstruction unit 263 reconstructs left eye image data and right eye image data. That is, the L / R reconstruction unit 263 instructs the reconstruction from the above-described parallax information control unit 262 when either of the ipsilateral direction or the cross-direction parallax angle protrudes from a predetermined range that does not harm the viewing health. Based on the above, the left eye image data and the right eye image data are reconstructed so as to be within a predetermined range.
  • the coded buffer 231 temporarily stores the subtitle stream extracted by the demultiplexer 214.
  • the subtitle decoder 232 performs a process reverse to that of the subtitle encoder 117 (see FIG. 8) of the transmission data generation unit 110 described above. That is, the subtitle decoder 232 performs a decoding process on the subtitle stream stored in the coded buffer 231 to obtain subtitle data.
  • the subtitle data includes bitmap data of the subtitle (subtitle), display position information “Subtitle rendering position (x2, y2)” of the subtitle, and parallax information “Subtitle disparity” of the subtitle (subtitle). .
  • the pixel buffer 233 temporarily stores the subtitle (caption) bitmap data obtained by the subtitle decoder 232 and the subtitle (caption) display position information “Subtitlexrendering position (x2, y2)”.
  • the subtitle disparity information buffer 234 temporarily stores the subtitle (caption) disparity information “Subtitle disparity” obtained by the subtitle decoder 232.
  • the subtitle display control unit 235 uses the subtitle (caption) bitmap data, the display position information and the parallax information of the subtitle (caption), and the subtitles for the left eye display and the right eye display to which the parallax is added. Generate bitmap data “Subtitle data”.
  • the set top box (STB) graphics generation unit 219 generates graphics data such as OSD, application, or EPG. This graphics data includes graphics bitmap data “Graphics data” and display position information “Graphics rendering position (x1, y1)” of the graphics.
  • the graphics buffer 221 temporarily stores the graphics bitmap data “Graphics data” generated by the set-top box graphics generation unit 219.
  • the superimposing unit 217 superimposes the left eye display data and the right eye display subtitle bitmap data “Subtitle data” generated by the subtitle display control unit 235 on the left eye image data and the right eye image data, respectively.
  • the superimposing unit 217 superimposes the graphics bitmap data “Graphics data” stored in the graphics buffer 221 on the left eye image data and the right eye image data, respectively.
  • the graphics bitmap data “Graphics data” superimposed on each of the left eye image data and the right eye image data is given parallax by the depth control unit 220 described later.
  • the superimposing unit 217 overwrites the graphics data on the subtitle data.
  • the depth control unit 220 gives disparity to the graphics bitmap data “Graphics data” superimposed on each of the left eye image data and the right eye image data. Therefore, the depth control unit 220 generates graphics display position information “Rendering position” for left-eye display and right-eye display for each picture of image data, and graphics bitmap data stored in the graphics buffer 221. Shift control of the superimposition position on the left eye image data and right eye image data of “Graphics data” is performed.
  • the depth control unit 220 generates display position information “Rendering position” using the following information as shown in FIG. That is, the depth control unit 220 uses the first disparity information (Min disparity) for each picture output from the disparity information control unit 262. Also, the depth control unit 220 uses the display position information “Subtitle rendering position (x2, y2)” of the subtitle (caption) stored in the pixel buffer 233.
  • the depth control unit 220 uses the subtitle (subtitle) disparity information “Subtitle disparity” stored in the subtitle disparity information buffer 234. Further, the depth control unit 220 uses the display position information “Graphics rendering position (x1, y1)” generated by the set top box graphics generation unit 219. In addition, the depth control unit 220 uses identification information indicating whether or not disparity information is inserted in the video stream.
  • the depth control unit 220 updates the first disparity information (Min disparity) for each picture output from the disparity information control unit 262 in accordance with the superimposition of the caption or graphics on the image.
  • the depth control unit 220 assigns the value of the disparity information (Disparity) of the divided region (Partition) corresponding to the display position of the subtitle (caption) and the display position of the graphics, for example, the disparity addition of the subtitle (caption) or graphics To the value of the disparity information (Disparity) used in
  • step ST1 it is determined based on the identification information whether there is insertion of disparity information for graphics in the video stream.
  • step ST3 When the disparity information is inserted into the video stream, the depth control unit 220 proceeds to the process of step ST3. In this step ST3, all the divided regions (partitions) including the coordinates for overlaying (overlaying) graphics are inspected. In step ST4, the depth control unit 220 compares the disparity information (disparity) of the target divided region (partition), selects an optimum value, for example, the minimum value, and sets the value of the graphics disparity information (disparity). (Graphics_disparity).
  • step ST5 the depth control unit 220 proceeds to the process of step ST5.
  • the depth control unit 220 determines whether there is a subtitle stream (Subtitle stream) having disparity information (disparity).
  • the depth control unit 220 determines the value (subtitle_disparity) of the subtitle disparity information (disparity) and the value of the disparity information for graphics. Compare with (graphics_disparity). Note that the value of graphics disparity information (graphics_disparity) is, for example, “0” when no graphics disparity information (disparity) is inserted into the video stream.
  • step ST7 the depth control unit 220 determines whether or not the condition “subtitle_disparity> (graphics_disparity) is satisfied.
  • the depth control unit 220 determines in step ST8 that the graphics buffer For the graphics bitmap data “Graphics data” stored in 221, for the left-eye display in which the display position is shifted by using a value equivalent to the value (graphics_disparity) of the disparity information for graphics (graphics_disparity)
  • Graphics bitmap data for right-eye display is obtained and superimposed on left-eye image data and right-eye image data, respectively.
  • step ST9 the depth control unit 220 updates the value of the disparity information (disparity) of the divided region (Partition) corresponding to the screen position on which the subtitle or graphics is superimposed.
  • the depth control unit 220 ends the control process in step ST10 after the process in step ST9.
  • the depth control unit 220 uses the subtitle disparity information (disparity) for the graphics bitmap data “Graphics data” stored in the graphics buffer 221 in step ST10. Is used to obtain graphics bitmap data for left-eye display and right-eye display whose display positions are shifted, and are superimposed on the left-eye image data and right-eye image data, respectively.
  • the depth control unit 220 goes through the process of step ST9 and ends the control process in step ST10.
  • step ST5 the depth control unit 220 proceeds to the process of step ST12.
  • step ST12 the depth control unit 220 uses the value of graphics disparity information (graphics_disparity) obtained in step ST4 or the value of disparity information (disparity) calculated by the set top box 200, Performs graphics depth control.
  • the depth control unit 220 sets the value of graphics disparity information (graphics_disparity) or the calculated value of disparity information (disparity) for graphics bitmap data “Graphics data” stored in the graphics buffer 221. In this way, graphics bitmap data for left-eye display and right-eye display whose display positions are shifted are obtained and superimposed on left-eye image data and right-eye image data, respectively.
  • the depth control unit 220 finishes the control process in step ST10 after performing the process in step ST9 after the process in step ST12.
  • FIG. 52 shows an example of graphics depth control in the set-top box 200.
  • graphics STB graphics
  • Partition 2, 3, 6, 7, 10, 11, 14, 15 Parallax is added to the left-eye display graphics and the right-eye display graphics.
  • the graphics are displayed in front of the image (video) objects of these eight divided areas.
  • FIG. 53 also shows an example of graphics depth control in the set-top box 200.
  • graphics STB graphics
  • the parallax is given to the left-eye display graphics and the right-eye display graphics.
  • the graphics are displayed in front of the image (video) object of these eight divided areas and further in front of the subtitle (caption).
  • the subtitle (caption) is also based on the image (video) object of the four divided regions (Partition 8, 9, 10, 11) corresponding to the display position of the subtitle based on the disparity information of the subtitle (caption). It will be displayed in the foreground.
  • the disparity information update process in the case of the depth control example of FIG. 53 is performed as follows, for example. That is, first, the disparity information (Disparity) values of the four divided regions (Partition 8, 9, 10, 11) corresponding to the display position of the subtitle are the disparity information values (subtitle_disparity) ). After that, the value of the disparity information (Disparity) of the eight divided regions (Partition2, 3, 6, 7, 10, 11, 14, 15) is updated with the disparity information value (graphics_disparity) used to add the disparity to the graphics. Is done.
  • the coded buffer 241 temporarily stores the audio stream extracted by the demultiplexer 212.
  • the audio decoder 242 performs processing opposite to that of the audio encoder 119 (see FIG. 8) of the transmission data generation unit 110 described above. That is, the audio decoder 242 performs decoding processing on the audio stream stored in the coded buffer 241 to obtain decoded audio data.
  • the audio buffer 243 temporarily stores audio data obtained by the audio decoder 242.
  • the channel mixing unit 244 generates and outputs audio data of each channel for realizing, for example, 5.1ch surround with respect to the audio data stored in the audio buffer 243.
  • reading of information (data) from the decoded buffer 215, the disparity information buffer 218, the pixel buffer 233, the subtitle disparity information buffer 234, and the audio buffer 243 is performed based on the PTS, and transfer synchronization is taken.
  • the HDMI transmission unit 251 transmits the left-eye image data and the right-eye image data obtained by performing the subtitle and graphics superimposition processing in the superimposition unit 217 and the channels obtained in the channel mixing unit 244 by communication conforming to HDMI.
  • the HDMI sink device which is the television receiver 300 in this embodiment.
  • the left eye image data obtained by the superimposing unit 217 is data of a left eye image on which a subtitle (caption) for displaying the left eye and STB graphics are superimposed.
  • the right eye image data obtained by the superimposing unit 217 is data of a right eye image on which a subtitle (caption) for displaying the right eye and STB graphics are superimposed.
  • the HDMI transmission unit 251 also includes first disparity information (MinMdisparity) of each picture updated by the depth control unit 220 and second disparity information (Max) of each picture output from the disparity information control unit 262. disparity) is transmitted to the television receiver 300 via the HDMI interface.
  • first disparity information and the second disparity information are inserted and transmitted in the blanking period of the image data. Details of the HDMI transmission unit 251 will be described later.
  • the transport stream TS received by a digital tuner or the like is temporarily stored in the container buffer 211.
  • the transport stream TS includes a video stream, a subtitle stream, and an audio stream.
  • the video stream includes one or two video streams obtained by encoding the left eye image data and the right eye image data.
  • the demultiplexer 212 extracts video, subtitle, and audio streams from the transport stream TS temporarily stored in the container buffer 211. Further, the demultiplexer 212 extracts identification information (flag information of “graphics_depth_info_not_existed_flag [0]”) indicating whether or not disparity information is inserted in the video stream from the transport stream TS, and a control unit (not shown) CPU).
  • the video stream extracted by the demultiplexer 212 is supplied to the coded buffer 213 and temporarily stored.
  • the video decoder 214 then decodes the video stream stored in the coded buffer 213 to obtain left eye image data and right eye image data.
  • the left eye image data and right eye image data are temporarily stored in the decoded buffer 215.
  • the video decoder 214 obtains disparity information (first disparity information, second disparity information) for each picture of the image data inserted in the video stream.
  • the disparity information is temporarily stored in the disparity information buffer 218 after being appropriately compressed and decoded by the compression decoding unit 261.
  • the disparity information control unit 262 based on the first disparity information and the second disparity information for each picture stored in the disparity information buffer 218, the disparity angle with respect to the closest object reproduction position (disparity angle in the cross direction) And it is checked whether or not the parallax angle (parallax angle in the same direction) with respect to the innermost object reproduction position is within a range d (see FIG. 47) that does not harm health for viewing.
  • the parallax information control unit 262 when the parallax angle does not fall within the predetermined range, the left / right image data and the right eye image data are sent to the L / R reconstruction unit 263 so that the parallax angle falls within the range d. Instructing reconfiguration is performed. In this case, the disparity information control unit 262 corrects and outputs the first disparity information and / or the second disparity information in accordance with the reconstructed left eye image data and right eye image data. Is done. Note that the parallax information control unit 262 instructs the L / R reconstruction unit 263 to reconstruct the left eye image data and the right eye image data when the parallax angle is within the predetermined range d. In addition, the first disparity information and the second disparity information are output without being corrected.
  • the scaler 216 performs horizontal and vertical scaling processing on the left eye image data and right eye image data output from the decoded buffer 215 as necessary. From this scaler 216, for example, left-eye image data and right-eye image data having a full HD size of 1920 * 1080 are obtained. The left eye image data and right eye image data are supplied to the superimposing unit 217 via the L / R reconstruction unit 263.
  • the L / R reconstruction unit 263 reconstructs the left eye image data and the right eye image data as necessary. That is, in the L / R reconstruction unit 263, when either of the ipsilateral direction or the cross direction parallax angle is not within the range d (see FIG. 47) that does not harm the viewing health, the parallax information control unit 262 Based on the reconstruction instruction, the left-eye image data and the right-eye image data are reconstructed so that the parallax angle is within a predetermined range.
  • the subtitle stream extracted by the demultiplexer 212 is supplied to the coded buffer 231 and temporarily stored.
  • the subtitle decoder 232 decodes the subtitle stream stored in the coded buffer 231 to obtain subtitle data.
  • the subtitle data includes bitmap data of the subtitle (subtitle), display position information “Subtitle rendering position (x2, y2)” of the subtitle, and parallax information “Subtitle disparity” of the subtitle (subtitle). .
  • the subtitle (caption) bitmap data obtained by the subtitle decoder 232 and the subtitle (caption) display position information “Subtitlexrendering position (x2, y2)” are temporarily stored in the pixel buffer 233. Also, the subtitle disparity information “Subtitle disparity” obtained by the subtitle decoder 232 is temporarily stored in the subtitle disparity information buffer 234.
  • the subtitle display control unit 235 uses the subtitle (caption) bitmap data, the display position information and the parallax information of the subtitle (caption), and the subtitles for the left eye display and the right eye display to which the parallax is added.
  • Bitmap data “Subtitle data” is generated.
  • the left-eye display and right-eye display subtitle bitmap data “Subtitle ⁇ data” generated in this way is supplied to the superimposing unit 217 and is superimposed on the left-eye image data and the right-eye image data, respectively.
  • the set top box (STB) graphics generation unit 219 generates graphics data such as OSD, application, or EPG.
  • the graphics data includes graphics bitmap data “Graphics data” and display position information “Graphics rendering position (x1, y1)” of the graphics.
  • the graphics buffer 221 temporarily stores graphics data generated by the set top box (STB) graphics generation unit 219.
  • the graphics bitmap data “Graphics data” stored in the graphics buffer 221 is superimposed on the left eye image data and the right eye image data.
  • graphics bitmap data “Graphics data” to be superimposed on each of the left eye image data and the right eye image data is added to each picture of the image data output from the disparity information control unit 262 by the depth control unit 220.
  • disparity is given based on disparity information corresponding to the graphics display position. In this case, when the graphics bitmap data “Graphics data” shares the same pixel as the subtitle bitmap data “Subtitle data”, the superimposing unit 217 overwrites the graphics data on the subtitle data.
  • the superimposing unit 217 obtains left-eye image data in which the left-eye display subtitle (caption) and STB graphics are superimposed, and the right-eye display subtitle (caption) and STB graphics are superimposed on the right eye. Image data is obtained.
  • the left eye image data and right eye image data are supplied to the HDMI transmission unit 251.
  • the audio stream extracted by the demultiplexer 212 is supplied to the coded buffer 241 and temporarily stored.
  • the audio decoder 242 decodes the audio stream stored in the coded buffer 241 to obtain decoded audio data.
  • This audio data is supplied to the channel mixing unit 244 via the audio buffer 243.
  • the channel mixing unit 244 generates audio data for each channel for realizing, for example, 5.1ch surround with respect to the audio data.
  • the audio data is supplied to the HDMI transmission unit 251.
  • the first disparity information for each divided region of each picture of the image data output from the disparity information control unit 262 is updated in accordance with the superimposition of the caption or graphics on the image.
  • the value of the disparity information (Disparity) of the divided region (Partition) corresponding to the display position of the subtitle (caption) and the display position of the graphics is, for example, the disparity information used to add the disparity of the subtitle (caption) or graphics. Updated to (Disparity) value.
  • the updated parallax information is supplied to the HDMI transmission unit 251.
  • the second disparity information of each picture of the image data output from the disparity information control unit 262 is also supplied to the HDMI transmission unit 251.
  • the HDMI transmission unit 251 left-eye image data, right-eye image data, audio data, and further, disparity information (first disparity information, second disparity information) of each picture of the image data by communication conforming to HDMI Is transmitted to the television receiver 300.
  • the disparity information is transmitted by being inserted into an information packet arranged in the blanking period of the image data, in this embodiment, an HDMI vendor specific info frame (HDMI-Vendor-Specific InfoFrame).
  • the television receiver 300 receives the parallax information of each picture of left-eye image data, right-eye image data, audio data, and image data sent from the set-top box 200 via the HDMI cable 400. (First disparity information, second disparity information) is received.
  • the television receiver 300 uses the image data, the first parallax information, and the graphics data, and the left eye image and the right on which the graphics are superimposed. Obtain eye image data.
  • the television receiver 300 assigns, for each picture, a parallax corresponding to the display position of the graphics to the graphics superimposed on the left-eye image and the right-eye image, and data of the left-eye image on which the graphics are superimposed. And right eye image data on which graphics are superimposed.
  • the television receiver 300 based on the first parallax information and the second parallax information, has a parallax angle with respect to the closest object reproduction position (parallax angle in the crossing direction) and a parallax angle with respect to the innermost object reproduction position ( It can be checked whether or not the parallax angle in the ipsilateral direction is within a range d (see FIG. 47) that does not impair health for viewing. If not, the left eye image data and the right eye image data can be reconstructed. .
  • FIG. 54 shows a configuration example of the HDMI input system of the television receiver 300. Note that the parallax angle check system is omitted.
  • the television receiver 300 includes an HDMI receiving unit 311, a scaler 312, a superimposing unit 313, a depth control unit 314, a graphics buffer 315, a television (TV) graphics generation unit 316, and an audio processing unit 317. Yes.
  • the HDMI receiving unit 311 receives audio data from left eye image data and right eye image data constituting a stereoscopic image from an HDMI source device, in this embodiment, the set top box 200, through communication conforming to HDMI. . Also, the HDMI receiving unit 311 receives disparity information (first disparity information and second disparity information) of each picture of the image data from the set top box 200 via the HDMI interface. Details of the HDMI receiving unit 311 will be described later.
  • the scaler 312 performs a scaling process on the left eye image data and the right eye image data received by the HDMI receiving unit 311 as necessary. For example, the scaler 312 matches the size of the left eye image data and right eye image data with the display size.
  • a television (TV) graphics generation unit 316 generates graphics data such as an OSD, an application, or an EPG. This graphics data includes graphics bitmap data “Graphics data” and display position information “Graphics rendering position (x1, y1)” of the graphics.
  • the graphics buffer 315 temporarily stores graphics bitmap data “Graphics data” generated by the television graphics generation unit 316.
  • the superimposing unit 313 superimposes graphics bitmap data “Graphics data” stored in the graphics buffer 315 on the left-eye image data and the right-eye image data, respectively.
  • the graphics bitmap data “Graphics data” superimposed on each of the left eye image data and the right eye image data is given parallax by the depth control unit 314 described later.
  • the depth control unit 314 gives disparity to the graphics bitmap data “Graphics data” superimposed on each of the left eye image data and the right eye image data. Therefore, the depth control unit 314 generates the display position information “Rendering position” of the left-eye display and right-eye display graphics for each picture of the image data, and the graphics bitmap data stored in the graphics buffer 315 Shift control of the superimposition position on the left eye image data and right eye image data of “Graphics data” is performed.
  • the depth control unit 314 generates display position information “Rendering position” using the following information as shown in FIG. That is, the depth control unit 314 uses the first disparity information (Min disparity) of each divided region (Partition) for each picture of the image data received by the HDMI receiving unit 311. Further, the depth control unit 314 uses the display position information “Graphics rendering position (x1, y1)” generated by the television graphics generation unit 316. Further, the depth control unit 314 uses reception information indicating whether or not the parallax information is received by the HDMI reception unit 311.
  • the flowchart in FIG. 56 shows an example of the control processing procedure of the depth control unit 314.
  • the depth control unit 314 executes this control process for each picture (frame) that performs graphics display.
  • step ST21 the depth control unit 314 starts control processing.
  • step ST22 based on the received information, the HDMI receiving unit 311 determines whether or not there is reception of the disparity information for graphics.
  • the HDMI receiving unit 311 extracts the disparity information from the packet and uses it when the identification information of “PRTY” of the HDMI Vendor Specific InfoFrame packet described later indicates the presence of disparity information as information to be referred to. Prepare. In this case, the received information is “received”.
  • step ST23 When receiving disparity information (disparity), the depth control unit 314 proceeds to the process of step ST23.
  • step ST23 all the divided regions (partitions) including the coordinates for overlaying (overlaying) graphics are inspected.
  • step ST24 the depth control unit 314 compares the first disparity information (MinMdisparity) of the target partition region (partition), selects an optimum value, for example, the minimum value, and performs graphics disparity information ( Disparity) value (graphics_disparity).
  • the depth control unit 314 has a value equivalent to the value (graphics_disparity) of the graphics disparity information (disparity) for the graphics bitmap data “Graphics data” stored in the graphics buffer 315. Is used to obtain graphics bitmap data for left-eye display and right-eye display whose display positions are shifted, and are superimposed on left-eye image data and right-eye image data, respectively.
  • the depth control unit 314 ends the control process in step ST26 after the process in step ST25.
  • the depth control unit 314 When no disparity information (disparity) is received in step ST22, the depth control unit 314 performs the television receiver 300 on the graphics bitmap data “Graphics data” stored in the graphics buffer 315 in step ST27. Is used to obtain graphics bitmap data for left-eye display and right-eye display whose display positions are shifted, and the left-eye image data and right-eye image data, respectively. Superimpose on.
  • the depth control unit 314 ends the control process in step ST26 after the process in step ST27.
  • FIG. 57 shows an example of graphics depth control in the television receiver 300.
  • the left-eye display graphics and the left-eye display graphics are selected based on the minimum disparity information among the first disparity information of the four right-side divided regions (Partitions 10, 11, 14, 15). Parallax is given to the right-eye display graphics.
  • the TV graphics is displayed in front of the image (video) objects of these four divided areas.
  • the subtitle (caption) and STB graphics are already superimposed on the image (video) in the set top box 200.
  • the HDMI receiving unit 311 performs left-eye image data, right-eye image data, audio data, and further, disparity information (first disparity information, second disparity information) of each picture of the image data by communication conforming to HDMI. Are received from the set top box 200.
  • the left eye image data and right eye image data received by the HDMI receiving unit 311 are supplied to the superimposing unit 313 after being scaled as necessary by the scaler 312.
  • the television TV) graphics generator 316 generates graphics data such as an OSD or application, or an EPG.
  • the graphics data includes graphics bitmap data “Graphics data” and graphics display position information “Graphicsrendering position (x1, y1)”.
  • the graphics buffer 315 the graphics data generated by the television graphics generation unit 315 is temporarily stored.
  • the graphics bitmap data “Graphics data” stored in the graphics buffer 315 is superimposed on the left eye image data and the right eye image data.
  • the depth control unit 314 applies the first disparity information (Min disparity) corresponding to the graphics display position to the graphics bitmap data “Graphics data” superimposed on each of the left eye image data and the right eye image data. ) On the basis of ().
  • the depth control unit 314 generates the first disparity information of each partition area (Partition) for each picture of the image data received by the HDMI reception unit 311 and the television graphics generation unit 316 for the control.
  • Graphics display position information “Graphics rendering position (x1, y1)” is used.
  • the superimposing unit 313 obtains left-eye image data on which left-eye display TV graphics are superimposed, and right-eye image data on which right-eye display TV graphics are superimposed. These image data are sent to a processing unit for stereoscopic image display, and stereoscopic image display is performed.
  • the audio data of each channel received by the HDMI receiving unit 311 is supplied to the speaker via the audio processing unit 317 that adjusts the sound quality and volume, and the audio is output in accordance with the stereoscopic image display.
  • [Configuration Example of HDMI Transmitter and HDMI Receiver] 58 shows a configuration example of the HDMI transmission unit 251 of the set top box 200 and the HDMI reception unit 311 of the television receiver 300 in the image transmission / reception system 10 of FIG.
  • the HDMI transmission unit 251 transmits a differential signal corresponding to pixel data of an uncompressed image for one screen in an effective image section (hereinafter, also referred to as an active video section as appropriate) using a plurality of channels.
  • the effective image section is a section obtained by removing the horizontal blanking section and the vertical blanking section from the section from one vertical synchronization signal to the next vertical synchronization signal.
  • the HDMI transmission unit 251 receives a differential signal corresponding to at least audio data, control data, and other auxiliary data associated with an image on a plurality of channels in a horizontal blanking interval or a vertical blanking interval. Transmit to the unit 311 in one direction.
  • the transmission channels of the HDMI system including the HDMI transmission unit 251 and the HDMI reception unit 311 include the following transmission channels. That is, three TMDS channels # 0 to ## as transmission channels for serially transmitting pixel data and audio data in one direction in synchronization with the pixel clock from the HDMI transmitting unit 251 to the HDMI receiving unit 311. There are two. There is also a TMDS clock channel as a transmission channel for transmitting a pixel clock.
  • the HDMI transmission unit 251 has an HDMI transmitter 81.
  • the transmitter 81 converts, for example, pixel data of an uncompressed image into a corresponding differential signal, and is connected via the HDMI cable 400 with three TMDS channels # 0, # 1, and # 2 that are a plurality of channels. Serial transmission in one direction to the HDMI receiving unit 311.
  • the transmitter 81 converts audio data accompanying uncompressed images, further necessary control data and other auxiliary data, etc. into corresponding differential signals, and converts them into three TMDS channels # 0, # 1, #. 2 serially transmits to the HDMI receiving unit 311 in one direction.
  • the transmitter 81 transmits the pixel clock synchronized with the pixel data transmitted through the three TMDS channels # 0, # 1, and # 2 to the HDMI receiving unit 311 connected via the HDMI cable 400 using the TMDS clock channel. Send.
  • the HDMI receiving unit 311 receives a differential signal corresponding to pixel data transmitted in one direction from the HDMI transmitting unit 251 through a plurality of channels in the active video section. Further, the HDMI receiving unit 311 receives differential signals corresponding to audio data and control data transmitted in one direction from the HDMI transmitting unit 251 through a plurality of channels in a horizontal blanking interval or a vertical blanking interval. Receive.
  • the HDMI receiving unit 311 has an HDMI receiver 82.
  • This HDMI receiver 82 uses TMDS channels # 0, # 1, and # 2 to transmit a differential signal corresponding to pixel data and a difference corresponding to audio data and control data transmitted from the HDMI transmission unit 251 in one direction. Receive a motion signal. In this case, reception is performed in synchronization with the pixel clock transmitted from the HDMI transmission unit 251 through the TMDS clock channel.
  • the transmission channels of the HDMI system include transmission channels called DDC (Display Data Channel) 83 and CEC line 84 in addition to the above-described TMDS channels # 0 to # 2 and the TMDS clock channel.
  • the DDC 83 includes two signal lines (not shown) included in the HDMI cable 400.
  • the DDC 83 is used by the HDMI transmission unit 251 to read E-EDID (Enhanced Extended Display Identification Data) from the HDMI reception unit 311.
  • E-EDID Enhanced Extended Display Identification Data
  • the HDMI receiving unit 311 has an EDID ROM (Read Only Memory) 85 that stores E-EDID, which is performance information related to its performance (Configuration / capability), in addition to the HDMI receiver 81.
  • E-EDID ROM Read Only Memory
  • the HDMI transmission unit 251 reads E-EDID from the HDMI reception unit 311 connected via the HDMI cable 400 via the DDC 83.
  • the HDMI transmission unit 251 sends the read E-EDID to the control unit (CPU).
  • the control unit (CPU) can recognize the performance setting of the HDMI receiving unit 311 based on the E-EDID. For example, the control unit (CPU) determines whether the television receiver 300 having the HDMI receiving unit 311 can handle stereoscopic image data, and if so, what TMDS transmission data structure can be supported. recognize.
  • the CEC line 84 is made up of one signal line (not shown) included in the HDMI cable 400, and is used for bidirectional communication of control data between the HDMI transmission unit 251 and the HDMI reception unit 311.
  • the CEC line 84 constitutes a control data line.
  • the HDMI cable 400 includes a line (HPD line) 86 connected to a pin called HPD (Hot Plug Detect).
  • HPD line 86 is also used as a HEAC-line constituting a bidirectional communication path.
  • the HDMI cable 400 includes a line (power line) 87 used for supplying power from the source device to the sink device.
  • the HDMI cable 400 includes a utility line 88.
  • the utility line 88 is also used as a HEAC + line constituting a bidirectional communication path.
  • FIG. 59 shows an example of the structure of TMDS transmission data.
  • FIG. 59 shows sections of various transmission data when image data of horizontal ⁇ vertical 1920 pixels ⁇ 1080 lines is transmitted in TMDS channels # 0, # 1, and # 2.
  • Video Field In a video field (Video Field) in which transmission data is transmitted through the three TMDS channels # 0, # 1, and # 2 of HDMI, there are three types of sections according to the type of transmission data. These three types of sections are a video data period (Video Data period), a data island period (Data Island period), and a control period (Control period).
  • the video field period is a period from the rising edge (active edge) of a certain vertical synchronizing signal to the rising edge of the next vertical synchronizing signal.
  • This video field section is divided into a horizontal blanking period (horizontal blanking), a vertical blanking period (vertical blanking), and an active video section (Active Video).
  • This active video section is a section obtained by removing the horizontal blanking period and the vertical blanking period from the video field section.
  • the video data section is assigned to the active video section.
  • 1920 pixels (pixels) ⁇ 1080 lines of effective pixel (Active pixel) data constituting uncompressed image data for one screen is transmitted.
  • Data island section and control section are assigned to horizontal blanking period and vertical blanking period.
  • auxiliary data (Auxiliary data) is transmitted. That is, the data island period is assigned to a part of the horizontal blanking period and the vertical blanking period.
  • audio data packets which are data not related to control, of auxiliary data are transmitted.
  • the control section is assigned to other parts of the horizontal blanking period and the vertical blanking period.
  • this control period for example, vertical synchronization signals, horizontal synchronization signals, control packets, and the like, which are data related to control, of auxiliary data are transmitted.
  • FIG. 60 shows an example of the pin arrangement of the HDMI terminal.
  • the pin arrangement shown in FIG. 60 is called type A (type-A).
  • TMDS Data # i + and TMDS Data # i ⁇ which are differential signals of TMDS channel #i, are transmitted by two lines which are differential lines. These two lines consist of pins assigned TMDS Data # i + (pin numbers 1, 4, and 7) and pins assigned TMDS Data # i- (pin numbers 3, 6, and 7). 9 pin).
  • the CEC line 84 through which the CEC signal, which is control data, is transmitted is connected to a pin whose pin number is 13.
  • a line for transmitting an SDA (Serial Data) signal such as E-EDID is connected to a pin having a pin number of 16.
  • a line through which an SCL (Serial Clock) signal, which is a clock signal used for synchronization during transmission and reception of the SDA signal, is connected to a pin having a pin number of 15.
  • the above-described DDC 83 includes a line for transmitting the SDA signal and a line for transmitting the SCL signal.
  • the HPD line (HEAC-line) 86 for the source device to detect the connection of the sink device is connected to a pin having a pin number of 19.
  • the utility line (HEAC + line) 88 is connected to a pin having a pin number of 14.
  • the line 87 for supplying power is connected to a pin having a pin number of 18.
  • “3D_Metadata_type” is defined as unused, for example, “001”, and disparity information (Disparity) of each divided region (Partition) is designated.
  • FIG. 61 shows a packet structure example of VS_Info. Since VS_Info is defined in CEA-861-D, detailed description thereof is omitted.
  • FIG. 62 shows the contents of main information in the packet structure example shown in FIG.
  • 3 bits information “HDMI_Video_Format” indicating the type of image data is arranged from the 7th bit to the 5th bit of the 4th byte (PB4).
  • the 3-bit information is “010”.
  • 4-bit information “3D_Structure” indicating the TMDS transmission data structure is arranged from the 7th bit to the 4th bit of the 5th byte (PB5). For example, in the case of the frame packing method, this 4-bit information is “0000”.
  • 3D_Meta_present is arranged in the third bit of the fifth byte (PB5) and Vendor Specific InfoFrame extension is specified, this one bit is set to “1”. Further, “3D_Metadata_type” is arranged from the 7th bit to the 5th bit of the 7th byte (PB7). When disparity information (Disparity) of each divided region (Partition) is designated, this 3-bit information is unused, for example, “001”.
  • 3D_Metadata_length is arranged from the 4th byte to the 0th byte of the 7th byte (PB7).
  • This 5-bit information indicates the size of disparity information (Disparity) of each divided region (Partition).
  • the value of “3D_Metadata_length” takes a value of 0x00 to 0x1F, and the value obtained by adding 2 represents the overall size of the disparity information (Disparity) after this field. For example, “00000” represents 2 (in decimal), and “11111” represents 33 (in decimal).
  • 1-bit identification information of “PRTY” is arranged in the 0th bit of the 6th byte (PB6). This identification information indicates whether or not the information to be referred to by the HDMI sink side, here, disparity information (Disparity) is included in this VS_Info. “1” indicates that information to be referred to by the HDMI sink is necessarily included. “0” indicates that the information to be referred to by the HDMI sink is not necessarily included.
  • the television receiver 300 in this embodiment refers to the VS_Info IV without checking “3D_Metadata_type” or less. Whether or not information to be included is included can be determined. Therefore, in the HDMI sink, extraction processing of information to be referred to from VS_Info can be performed without waste using this identification information, and the processing load can be reduced.
  • partition_type is arranged from the seventh bit to the fifth bit of the eighth byte (PB8).
  • This 3-bit information indicates the division type of the display screen of the target picture. “000” indicates no division, “001” indicates that the horizontal and vertical are divided into two equal parts, and “010” indicates that the horizontal and vertical are divided into four equal parts.
  • 1-bit identification information of “d_picture” is arranged in the fourth bit of the eighth byte (PB8). This identification information indicates whether it is a single picture or a double picture. “0” indicates a single picture, that is, a mode for transmitting one picture as disparity information (Disparity) of each divided region (Partition). “1” indicates a double picture, that is, a mode in which two pictures are transmitted as disparity information (Disparity) of each divided region (Partition).
  • Partition_count is arranged from the 3rd bit to the 0th bit of the 8th byte (PB8).
  • This 4-bit information indicates the total number of partition areas (Partitions), and is a value dependent on the above-mentioned “partition_type”. For example, “0000” indicates the total number “1”, and “1111” indicates the total number “16”.
  • disparity information (first disparity information, second disparity information) for one picture or two pictures is sequentially arranged after the 8 + 1th byte (PB8 + 1).
  • the 8-bit information “max_disparity_in_picture” indicates second disparity information of the entire picture display screen (entire picture), that is, maximum disparity information (disparity value) of the entire picture.
  • the 8-bit information of “disparity_in_partition” indicates the first disparity information of each divided region (Partition), that is, the minimum disparity information (disparity value) in each divided region.
  • the set-top box 200 acquires disparity information for one picture at the timing of each picture of the image data (see FIG. 42). Further, as described above, when the disparity information is inserted into the video stream in units of GOPs, the set top box 200 disparity information (disparity information set) of each picture in the GOP at the start timing of the GOP of the image data. Are collectively acquired (see FIG. 43).
  • the set-top box 200 is either a single picture or a double picture based on, for example, negotiation with the television receiver 300 using the CEC line 84 or setting in the EDIDROM 85. Any mode can be selected. In this case, the set-top box 200 can select a mode according to the transmission band for transmitting disparity information for each picture, the processing capability of the set-top box 200 or the television receiver 300, and the like. It becomes possible to transmit the disparity information to the satisfactorily.
  • FIG. 65 illustrates a case where the set-top box 200 acquires disparity information for one picture at the timing of each picture in the image data, and sequentially transmits the disparity information for each picture to the television receiver 300 in the single picture mode. Is shown schematically. 66, the set-top box 200 acquires disparity information for one picture at the timing of each picture of the image data, and sequentially transmits the disparity information of each picture to the television receiver 300 in the double picture mode. The case is shown schematically.
  • the set-top box 200 collectively obtains disparity information of each picture in the GOP at the start timing of the GOP of the image data, and the television receiver 300 receives the picture of each picture in the single picture mode.
  • the case where parallax information is transmitted sequentially is schematically shown.
  • FIG. 68 shows that the set-top box 200 collectively acquires disparity information of each picture in the GOP at the start timing of the GOP of the image data, and the television receiver 300 uses the double picture mode to acquire each picture.
  • the case where parallax information is transmitted sequentially is schematically shown.
  • the set-top box 200 has been described so that it can arbitrarily select a single picture mode or a double picture mode.
  • the disparity information of each picture in the GOP when it is acquired collectively at the start timing of the GOP of the image data, it may be transmitted in the single picture mode.
  • the disparity information of each picture in the GOP is distributed for each single picture, and the disparity information for each single picture is sequentially transmitted in units of pictures (see FIG. 67). In this case, even when the transmission band for transmitting the disparity information for each picture is small, the disparity information of each picture can be transmitted to the television receiver 300 satisfactorily.
  • the disparity information of the continuous first picture and second picture is transmitted as it is, that is, intra data is transmitted in units of 2 pictures (2 frames) when in the double picture mode.
  • the disparity information of the first picture or the second picture may be difference data between the disparity information of the previous picture and the transmission data amount may be reduced.
  • FIGS. 69 and 70 show other packet structure examples of VS_Info (HDMI Vendor Specific InfoFrame). Although detailed description is omitted, the 0th byte (PB0) to 6th byte (PB6) are the same as those in the packet structure example shown in FIG.
  • FIG. 71 shows the contents of main information in the packet structure examples shown in FIGS. 69 and 70.
  • 3D_Metadata_type is arranged from the 7th bit to the 5th bit of the 7th byte (PB7).
  • disparity information Disposibility
  • this 3-bit information is unused, for example, “001”.
  • 3D_Metadata_length is arranged from the 4th byte to the 0th byte of the 7th byte (PB7).
  • This 5-bit information indicates the size of disparity information (Disparity) of each divided region (Partition).
  • the value of “3D_Metadata_length” takes a value of 0x00 to 0x16. For example, “00011” represents 3 (in decimal), and “11010” represents 26 (in decimal).
  • 1-bit identification information of “d_picture” is arranged in the seventh bit of the eighth byte (PB8). This identification information indicates whether it is a single picture or a double picture. “0” indicates a single picture, that is, a mode for transmitting one picture as disparity information (Disparity) of each divided region (Partition). “1” indicates a double picture, that is, a mode in which two pictures are transmitted as disparity information (Disparity) of each divided region (Partition).
  • Identification information “partition_enable” is arranged in the fifth bit of the eighth byte (PB8). This identification information indicates whether the target picture has disparity information (Disparity) of each partition area (Partition). “1” indicates that divided areas are designated in the horizontal and vertical directions, and each has disparity information (Disparity). “0” indicates that the entire screen has one piece of disparity information (Disparity).
  • 1-bit identification information of “Picture_reorder” is arranged in the sixth bit of the eighth byte (PB8).
  • transmission of two pictures N, N + 1) indicates whether N is first and N + 1 is later or N + 1 is first and N is later.
  • “1” represents the value of the disparity information (Disparity) in 8 bits with the (N + 1) picture first, and represents the difference value from the disparity information (Disparity) of the (N ⁇ 1) picture in 4 bits after the N picture. It shows that. “0” indicates that the N picture first represents the value of the disparity information (Disparity) in 8 bits, and the (N + 1) picture later represents the difference value from the disparity information (Disparity) of the N pictures in 4 bits.
  • Partition_count is arranged from the 3rd bit to the 0th bit of the 8th byte (PB8). This 4-bit information indicates the total number of divided areas (Partitions). For example, “0000” indicates the total number “1”, and “1111” indicates the total number “16”.
  • disparity information (first disparity information, second disparity information) for one picture or two pictures is sequentially arranged after the 8 + 1th byte (PB8 + 1).
  • the 8-bit information “max_disparity_in_picture” indicates second disparity information of the entire picture display screen (entire picture), that is, maximum disparity information (disparity value) of the entire picture.
  • the 8-bit information “Min_disparity_in_partition” indicates the first disparity information of each divided region (Partition), that is, the minimum disparity information (disparity value) in each divided region.
  • the second disparity information of the entire picture display screen in the N picture that is, “Max_disparity_in_picture” that is the maximum disparity information (disparity value) of the entire picture is arranged in the eighth + 1 byte (PB8 + 1). Then, from the 8 + 2 byte (PB8 + 2) to the 8 + 16 byte (PB8 + 16), “Min_disparity_in_partition” is the first disparity information of each partition area (Partition) in the N picture, that is, the minimum disparity information (disparity value) in each partition area Is arranged.
  • the difference data of the second disparity information of the entire picture display screen in the N + 1 picture that is, the maximum disparity information (disparity value) of the entire picture
  • the third bit to the 0th bit of the 8 + 17 bytes (PB8 + 17).
  • “Differential_max_disparity_in_picture” is arranged.
  • From the 8 + 18th byte (PB8 + 18) to the 8th + 25th byte (PB8 + 25) is the difference value of the first disparity information of each partition area (Partition) in the N + 1 picture, that is, the minimum disparity information (disparity value) in each partition area.
  • “Differential_min_disparity_in_partition” is arranged.
  • the second disparity information of the entire picture display screen in the (N + 1) picture that is, “Max_disparity_in_picture” that is the maximum disparity information (disparity value) of the entire picture is arranged in the 8 + 1 byte (PB8 + 1).
  • “Min_disparity_in_partition” is the first disparity information of each divided region (Partition) in the N + 1 picture, that is, the minimum disparity information (disparity value) in each divided region. Is arranged.
  • the difference data of the second disparity information of the entire picture display screen in the N picture that is, the maximum disparity information (disparity value) of the entire picture
  • the third bit to the 0th bit of the 8 + 17 bytes (PB8 + 17).
  • “Differential_max_disparity_in_picture” is arranged.
  • From the 8 + 18th byte (PB8 + 18) to the 8th + 25th byte (PB8 + 25) is the difference value of the first disparity information of each partition area (Partition) in the N picture, that is, the minimum disparity information (disparity value) in each partition area.
  • “Differential_min_disparity_in_partition” is arranged.
  • the determination of the order of the N picture and the N + 1 picture that is, the determination of whether “picture_reorder” is set to “0” or “1” is performed as follows, for example.
  • the order of the N picture and the N + 1 picture is determined by a configuration as shown in FIG. 72, for example.
  • the disparity information is supplied to the frame memory 281 and delayed by one frame.
  • the subtractor 282 calculates difference data “D (N) ⁇ D (N + 1)” between the disparity information D (N + 1) of the N + 1 picture and the disparity information D (N) of the N picture, and the difference data Is sent to the order determination unit 283.
  • the order determining unit 283 compares the absolute value
  • ⁇ Th the order determining unit 283 determines “N picture is first, N + 1 picture is later”, and “picture_reorder” of VS_Info_ is set to “0”.
  • VS_Info disparity information of N pictures and N + 1 pictures is arranged as shown in FIG. 69 described above. In this case, the disparity information of the N + 1 picture is the difference data from the disparity information of the N picture.
  • FIG. 73 shows a time transition example of disparity information (Disparity value) when
  • the disparity information changes greatly between the N-1 picture and the N picture.
  • the change in disparity information between the N picture and the N + 1 picture is small. Therefore,
  • the disparity information of the N + 1 picture becomes difference data with the disparity information of the N picture, the value is relatively small.
  • the order determining unit 283 determines “N + 1 picture is first and N picture is later”, and “picture_reorder” of VS_Info is “1”.
  • the N + 1 picture and the N picture disparity information are arranged as shown in FIG.
  • the disparity information of the N picture is the difference data from the disparity information of the N ⁇ 1 picture.
  • FIG. 74 shows a time transition example of disparity information (Disparity value) when
  • > Th is satisfied.
  • the disparity information of the N picture becomes difference data with the disparity information of the N ⁇ 1 picture, the value is relatively small.
  • D (N + 1) and D (N) are set to “Min_disparity_in_partition” of each partition area (Partition) as shown in the following formulas (2) and (3), respectively.
  • the minimum values Min_disparity (N + 1) and Min_disparity (N) are used.
  • N + 1 pictures are arranged first and N pictures are arranged later.
  • the structure from the 8 + 1 byte (PB8 + 1) to the 8 + 25 byte (PB + 25) is the same as the structure example of VS_Info_ in FIG. 69 in which the N picture is temporally arranged and the N + 1 picture is arranged after. Therefore, the reading on the receiving side can be stabilized.
  • PB8 + 1 the structure example of VS_Info_ in FIG. 70
  • the set top box 200 can select a single picture mode or a double picture mode.
  • the mode of a plurality of pictures is used instead of the mode of double pictures, and the number of pictures can be arbitrarily selected.
  • the number of modes that can be selected is three or more is also conceivable. In that case, the number of partitions can be changed to an appropriate number on the HDMI source side so that transmission can be performed in a given band.
  • the broadcast station 100 inserts the first disparity information and the second disparity information acquired for each predetermined picture of the image data into the video stream.
  • the first disparity information is disparity information corresponding to the foremost object reproduction position in the predetermined area of the picture display screen
  • the second disparity information is the deepest object reproduction position in the predetermined area of the picture display screen.
  • Corresponding parallax information Therefore, in the set-top box 200 on the receiving side, for example, based on the first disparity information and the second disparity information, it is checked whether or not the disparity angle is within a predetermined range that does not harm the viewing health.
  • the left eye image data and the right eye image data can be reconstructed as necessary.
  • the broadcast station 100 performs compression encoding processing on disparity information when disparity information acquired for each predetermined picture of image data is inserted into a video stream and transmitted. The amount of data can be reduced.
  • the image transmission / reception system 10 includes the broadcasting station 100, the set-top box 200, and the television receiver 300.
  • an image transmission / reception system 10A including a broadcasting station 100 and a television receiver 300A is also conceivable.
  • FIG. 76 shows a configuration example of the television receiver 300A.
  • the television (TV) graphics generation unit 219A is the same as the set top box (STB) graphics generation unit 219 of the set top box 200 of FIG. 45, and generates graphics data such as OSD, application, or EPG.
  • the superimposing unit 217 obtains left-eye image data on which the left-eye display subtitle (caption) and graphics are superimposed, and the right-eye display subtitle (caption) and graphics on the right-eye image on which graphics are superimposed. Data is obtained. These image data are sent to a processing unit for stereoscopic image display, and stereoscopic image display is performed. Also, the channel mixing unit 244 generates audio data for each channel for realizing, for example, 5.1ch surround with respect to the audio data. This audio data is supplied to, for example, a speaker, and audio output is performed in accordance with the stereoscopic image display.
  • the rest of the television receiver 300A shown in FIG. 76 is configured in the same manner as the set-top box 200 of FIG. 45 and operates in the same manner.
  • the set-top box 200 and the television receiver 300 are connected by an HDMI digital interface.
  • the present technology can be similarly applied even when these are connected by a digital interface similar to the HDMI digital interface (including wireless as well as wired).
  • a method of using HDMI “Vendor” specific “InfoFrame” has been described as a method of transmitting disparity information from the set-top box 200 to the television receiver 300.
  • a method using an active space (Active Space), and transmission through a bidirectional communication path composed of an HPD line 86 (HEAC ⁇ line) and a utility line 88 (HEAC + line) may be considered.
  • the source device may be a disc player such as a BD or a DVD, or a game machine
  • the sink device may be a monitor device or a projector device.
  • the container is a transport stream (MPEG-2 TS)
  • MPEG-2 TS transport stream
  • the present technology can be similarly applied to a system configured to be distributed to receiving terminals using a network such as the Internet.
  • the Internet distribution it is often distributed in a container of MP4 or other formats.
  • containers of various formats such as transport stream (MPEG-2 TS) adopted in the digital broadcasting standard and MP4 used in Internet distribution are applicable.
  • MPEG-2 TS transport stream
  • MP4 used in Internet distribution
  • this technique can also take the following structures.
  • an image data acquisition unit that acquires left-eye image data and right-eye image data constituting a stereoscopic image; For each predetermined picture of the acquired image data, the first disparity information for the other of the left eye image and the right eye image and corresponding to the foremost object reproduction position in the predetermined area of the picture display screen
  • a disparity information acquiring unit that acquires disparity information and second disparity information corresponding to the innermost object reproduction position in a predetermined area of the picture display screen
  • a disparity information insertion unit that inserts the acquired disparity information into a video stream obtained by encoding the acquired image data
  • a transmission apparatus comprising: an image data transmission unit configured to transmit a container having a predetermined format including the video stream in which the disparity information is inserted.
  • the disparity information insertion unit The transmission apparatus according to (1), wherein the first disparity information and the second disparity information are inserted in units of pictures or in units of GOPs.
  • the disparity information inserting unit The transmission apparatus according to (1) or (2), wherein the acquired disparity information is inserted into the video stream after being subjected to compression encoding processing.
  • the disparity information insertion unit inserts the disparity information into a predetermined picture of the video stream, the disparity information is the disparity information in the entire picture display screen or is divided into a predetermined number.
  • the transmitting apparatus according to any one of (1) to (3), further including identification information for identifying whether the disparity information is in the area.
  • the parallax information acquisition unit The first disparity information in each divided region obtained by dividing the picture display screen by the division information is acquired, and the second disparity information in the entire picture display screen is acquired.
  • the transmission apparatus in any one of.
  • the parallax information acquisition unit The transmission device according to any one of (1) to (4), wherein the first disparity information and the second disparity information in each divided region obtained by dividing a picture display screen by division information are acquired.
  • the parallax information acquisition unit Each divided region obtained by dividing the picture display screen by the second division information while obtaining the first disparity information in each divided region obtained by dividing the picture display screen by the first division information
  • the transmission device according to any one of (1) to (4), wherein the second disparity information is acquired.
  • an image data receiving unit that receives a container of a predetermined format including a video stream;
  • the video stream is obtained by encoding left-eye image data and right-eye image data constituting a stereoscopic image,
  • disparity information of the other of the left eye image and the right eye image corresponding to the foremost object reproduction position in a predetermined area of the picture display screen
  • the first disparity information and the second disparity information corresponding to the innermost object reproduction position in the predetermined area of the picture display screen are inserted,
  • An information acquisition unit that acquires the left-eye image data and the right-eye image data from the video stream included in the container, and acquires the first disparity information and the second disparity information;
  • a control unit that instructs reconstruction of the left-eye image data and the right-eye image data so that the parallax angle falls within a predetermined range based on the acquired first parallax information and second parallax information;
  • a receiving device (10) an image data acquisition unit that acquires left-
  • the transmission apparatus wherein the compression encoding unit performs a process using a variable length code on the acquired disparity information of each picture as the compression encoding process.
  • the compression encoding unit acquires, in the reference picture, difference data from the referenced picture among the acquired pictures, and the variable length code is added to the difference data.
  • the transmission device 11), wherein the transmission processing is performed.
  • the compression encoding unit acquires difference data using a picture preceding in display order as a referenced picture.
  • the compression encoding unit acquires difference data with a picture preceding in decoding order as a referenced picture.
  • the disparity information insertion unit inserts the disparity information into a predetermined picture of the video stream, identification information for identifying whether the disparity information to be inserted is intra data or difference data. Further inserting the transmission device according to any one of (12) to (14). (16) The disparity information inserting unit Inserting the disparity information corresponding to the I picture, P picture and referenced B picture of the video stream, The transmission device according to (14), wherein when the disparity information to be inserted is difference data, information on the number of pictures up to the referenced picture is further inserted.
  • An image data receiving unit that receives a container of a predetermined format including a video stream, The video stream is obtained by encoding left-eye image data and right-eye image data constituting a stereoscopic image, In the video stream, disparity information on the other of the left eye image and the right eye image is inserted for each predetermined picture of the image data, An information acquisition unit for acquiring the left-eye image data and right-eye image data from the video stream included in the container, and acquiring the parallax information; A receiving apparatus, further comprising: a disparity information interpolation unit that generates, by interpolation, disparity information of a picture for which there is no disparity information acquired by the information acquisition unit, from the acquired disparity information of the previous and subsequent pictures.
  • An image data receiving unit that receives a container of a predetermined format including a video stream, The video stream is obtained by encoding left-eye image data and right-eye image data constituting a stereoscopic image, In the video stream, for each predetermined picture of the image data, disparity information of the other of the left eye image and the right eye image, corresponding to the foremost object reproduction position in a predetermined area of the picture display screen The first disparity information and the second disparity information corresponding to the innermost object reproduction position in the predetermined area of the picture display screen are inserted, An information acquisition unit that acquires the left-eye image data and the right-eye image data from the video stream included in the container, and acquires the first disparity information and the second disparity information; A transmission unit that associates the acquired left-eye image data and right-eye image data with the acquired first parallax information and second parallax information, and transmits the first parallax information and the second parallax information to an external device; A receiving device.
  • An information reconstructing unit that reconstructs image data and parallax information so that a parallax angle falls within a predetermined range based on the acquired first parallax information and second parallax information,
  • the transmission unit associates the reconstructed left-eye image data and right-eye image data with the reconstructed first disparity information and second disparity information and transmits them to an external device.
  • the receiving apparatus according to (19).
  • the transmission unit transmits disparity information of a continuous first picture and second picture in units of two pictures, The receiving apparatus according to (1) or (20), wherein at least the disparity information of the first picture or the second picture is difference data between the disparity information of the previous picture.
  • the disparity information of the first picture is used as difference data or the disparity information of the second picture
  • the receiving apparatus according to (21) further including: a determination unit that determines whether or not to be difference data.
  • Identification information indicating whether the disparity information of the first picture is difference data or the disparity information of the second picture is difference data is added to the disparity information transmitted by the transmission unit.
  • the main feature of the present technology is that the maximum value (second disparity information) and the minimum value (first disparity information) of disparity information acquired for each picture are inserted into a video stream and transmitted. In other words, it is possible to check whether or not the parallax angle is within a predetermined range that does not impair health in viewing on the receiving side (see FIGS. 8 and 15).
  • the disparity information acquired for each picture is inserted into a video stream and transmitted, compression processing is performed on the disparity information, thereby reducing the amount of data (see FIG. 24).
  • disparity information of two pictures that are consecutive in units of two pictures is transmitted to an external device via HDMI, the disparity information of one picture is used as difference data from the previous picture, so that transmission data This is to reduce the amount (see FIG. 69).
  • Superimposition unit 218 ... Parallax information buffer 219 ... Set top box (STB) graphics buffer 219A ... Television (TV) graphics buffer 220 ... Depth control unit 221 ... Graphics buffer 231 Coded buffer 232 Subtitle decoder 233 Pixel buffer 234 Subtitle parallax information buffer 235 Subtitle display control unit 241 Coded buffer 242 Audio decoder 243 Audio Buffer 244 ... Channel mixing unit 251 ... HDMI transmission unit 261 ... Compression decoding unit 262 ... Disparity information control unit 263 ... L / R reconstruction unit 264 ... Variable length decoding unit 265 ... Buffer 266 ... Adder 271 ... Maximum value acquisition unit 272 ... Minimum value acquisition unit 273 ...
  • Parallax angle check unit 274 ... Parallax information correction unit 281 ... Frame memory 282 ... Subtractor 283 ... Order determining unit 300, 300A ... TV receiver 311 ... HDMI receiving unit 312 ... Scaler 313 ... Superimposing unit 314 ... Depth control unit 315 ... Graphics buffer 316 ... -Television (TV) graphics generation unit 317 ... Audio processing unit 400 ... HDMI cable

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

　立体画像の表示を良好に行い得るようにする。　画像データの所定のピクチャ毎に取得された第１の視差情報（ピクチャ表示画面の所定領域における最も手前のオブジェクト再生位置に対応した視差情報）と第２の視差情報（ピクチャ表示画面の所定領域における最も奥のオブジェクト再生位置に対応した視差情報）をビデオストリームに挿入して送信する。受信側では、これら第１の視差情報および第２の視差情報に基づいて、同側方向および交差方向の視差角が視聴上健康を害さない所定の範囲内にあるか否かをチェックでき、必要に応じて、立体画像を構成する左眼画像データおよび右眼画像データを再構成できる。

Description

送信装置、送信方法および受信装置
　本技術は、送信装置、送信方法および受信装置に関し、特に立体画像の表示あるいは立体画像へのグラフィクスの重畳表示を良好に行い得るようにするための送信装置等に関する。
　例えば、特許文献１には、立体画像データのテレビ放送電波を用いた伝送方式について提案されている。この場合、立体画像を構成する左眼画像データおよび右眼画像データが送信され、テレビ受信機において、両眼視差を利用した立体画像表示が行われる。
　図７７は、両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクト（物体）の左右像の表示位置と、その立体像の再生位置との関係を示している。例えば、スクリーン上に図示のように左像Ｌａが右側に右像Ｒａが左側にずれて表示されているオブジェクトＡに関しては、左右の視線がスクリーン面より手前で交差するため、その立体像の再生位置はスクリーン面より手前となる。
　また、例えば、スクリーン上に図示のように左像Ｌｂおよび右像Ｒｂが同一位置に表示されているオブジェクトＢに関しては、左右の視線がスクリーン面で交差するため、その立体像の再生位置はスクリーン面上となる。さらに、例えば、スクリーン上に図示のように左像Ｌｃが左側に右像Ｒｃが右側にずれて表示されているオブジェクトＣに関しては、左右の視線がスクリーン面より奥で交差するため、その立体像の再生位置はスクリーン面より奥となる。
特開２００５－６１１４号公報
　上述したように、立体画像表示において、視聴者は、両眼視差を利用して、立体画像の遠近感を認知する。ここで、最も手前のオブジェクト再生位置に対する視差角（交差方向の視差角）および最も奥のオブジェクト再生位置に対する視差角（同側方向の視差角）が、視聴上健康を害さないように所定の範囲内にある必要がある。つまり、受信機側で、視差角をチェックし、この視差角が所定の範囲内に収まっていない場合には、所定の範囲内に収まるように左眼画像および右眼画像を再構成することが期待される。
　また、受信機（セットトップボックス、テレビ受信機など）において画像に重畳表示されるＯＳＤ（On-Screen Display）あるいはアプリケーションなどのグラフィクスに関しても、２次元空間的のみならず、３次元の奥行き感としても、立体画像表示と連動してレンダリングされることが期待される。受信機においてグラフィクスを画像に重畳表示する場合、画像内の各物体の遠近感に応じて視差調整を施し、遠近感の整合性を維持することが期待される。
　本技術の目的は、立体画像の表示あるいは立体画像へのグラフィクスの重畳表示を良好に行い得るようにすることにある。
　本技術の概念は、
　立体画像を構成する左眼画像データおよび右眼画像データを取得する画像データ取得部と、
　上記取得された画像データの所定のピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報であって、ピクチャ表示画面の所定領域における最も手前のオブジェクト再生位置に対応した第１の視差情報と、ピクチャ表示画面の所定領域における最も奥のオブジェクト再生位置に対応した第２の視差情報を取得する視差情報取得部と、
　上記取得された画像データが符号化されて得られたビデオストリームに、上記取得された視差情報を挿入する視差情報挿入部と、
　上記視差情報が挿入されたビデオストリームを含む所定フォーマットのコンテナを送信する画像データ送信部とを備える
　送信装置にある。
　本技術において、画像データ取得部により、立体画像を構成する左眼画像データおよび右眼画像データが取得される。この場合の画像データは、例えば、カメラで撮像されて得られたもの、あるいは記憶媒体から読み出されて得られたものなどである。
　視差情報取得部により、画像データの所定のピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報であって、第１の視差情報および第２の視差情報が取得される。この場合、視差情報の取得は、少なくとも視差情報を送信すべきピクチャで行われればよく、必ずしも全てのピクチャで行う必要はない。第１の視差情報は、ピクチャ表示画面の所定領域における最も手前のオブジェクト再生位置に対応した視差情報である。また、第２の視差情報は、ピクチャ表示画面の所定領域における最も奥のオブジェクト再生位置に対応した視差情報である。
　例えば、視差情報取得部は、ピクチャ表示画面を分割情報で分割して得られた各分割領域における第１の視差情報を取得すると共に、ピクチャ表示画面全体における第２の視差情報を取得する、ようにされてもよい。また、例えば、視差情報取得部は、ピクチャ表示画面を分割情報で分割して得られた各分割領域における第１の視差情報および第２の視差情報を取得する、ようにされてもよい。さらに、例えば、視差情報取得部は、ピクチャ表示画面を第１の分割情報で分割して得られた各分割領域における第１の視差情報を取得すると共に、ピクチャ表示画面を第２の分割情報で分割して得られた各分割領域における第２の視差情報を取得する、ようにされてもよい。
　視差情報挿入部により、取得された画像データが符号化されて得られたビデオストリームに、取得された第１の視差情報および第２の視差情報が挿入される。例えば、視差情報は、ビデオストリームに、ピクチャ単位、あるいはＧＯＰ（Group of Picture）単位で挿入される。さらには、その他の単位、例えばシーン単位で挿入されてもよい。
　この場合、視差情報挿入部は、視差情報に対して、圧縮符号化処理を行った後に、ビデオストリームに挿入する、ようにされてもよい。例えば、圧縮符号化処理においては、可変長符号を用いてデータ圧縮を行うことが考えられ、また、ピクチャ間の視差情報の差分データをとってそれに対して可変長符号を適用してさらに圧縮率を高めることが考えられる。
　また、この場合、視差情報挿入部は、ビデオストリームの所定のピクチャに視差情報を挿入する際に、この視差情報がピクチャ表示画面全体における視差情報であるか、所定数に分割された各分割領域における視差情報であるかを識別する識別情報をさらに挿入する、ようにされてもよい。この識別情報により、受信側では、送信されてくる視差情報がピクチャ表示画面全体に対応するものであるか複数の分割領域毎のものであるのかを容易に把握可能となる。
　画像データ送信部により、視差情報が挿入されたビデオストリームを含む所定フォーマットのコンテナが送信される。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ－２　ＴＳ）であってもよい。また、例えば、コンテナは、インターネットの配信などで用いられるＭＰ４、あるいはそれ以外のフォーマットのコンテナであってもよい。
　識別情報挿入部により、コンテナのレイヤに、ビデオストリームに視差情報の挿入があるか否かを識別するための識別情報が挿入される。例えば、コンテナはトランスポートストリームであり、識別情報挿入部は、識別情報をプログラム・マップ・テーブル、あるいはイベント・インフォメーション・テーブルの配下に挿入する、ようにされてもよい。例えば、識別情報挿入部は、プログラム・マップ・テーブル、あるいはイベント・インフォメーション・テーブルの配下に挿入されるデスクリプタに、識別情報を記述する、ようにされる。
　このように本技術においては、画像データの所定のピクチャ毎に取得された第１の視差情報（ピクチャ表示画面の所定領域における最も手前のオブジェクト再生位置に対応した視差情報）と第２の視差情報（ピクチャ表示画面の所定領域における最も奥のオブジェクト再生位置に対応した視差情報）がビデオストリームに挿入されて送信される。そのため、受信側では、これら第１の視差情報および第２の視差情報に基づいて、最も手前のオブジェクト再生位置に対する視差角（交差方向の視差角）および最も奥のオブジェクト再生位置に対する視差角（同側方向の視差角）が視聴上健康を害さない所定の範囲内にあるか否かをチェックすることが可能となる。
　また、本技術の他の概念は、
　ビデオストリームを含む所定フォーマットのコンテナを受信する画像データ受信部を備え、
　上記ビデオストリームは、立体画像を構成する左眼画像データおよび右眼画像データが符号化されて得られたものであり、
　上記ビデオストリームには、上記画像データの所定のピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報であって、ピクチャ表示画面の所定領域における最も手前のオブジェクト再生位置に対応した第１の視差情報と、ピクチャ表示画面の所定領域における最も奥のオブジェクト再生位置に対応した第２の視差情報が挿入されており、
　上記コンテナに含まれるビデオストリームから上記左眼画像データおよび右眼画像データを取得すると共に、上記第１の視差情報および第２の視差情報を取得する情報取得部と、
　上記取得された第１の視差情報および第２の視差情報に基づいて、視差角が所定範囲内に入るように、少なくとも上記左眼画像データおよび右眼画像データの再構成を指示する制御部とをさらに備える
　受信装置にある。
　本技術において、画像データ受信部により、ビデオストリームを含む所定フォーマットのコンテナが受信される。このビデオストリームは、立体画像を構成する左眼画像データおよび右眼画像データが符号化されて得られたものである。また、このビデオストリームには、画像データの所定のピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報であって、第１の視差情報および第２の視差情報が挿入されている。第１の視差情報は、ピクチャ表示画面の所定領域における最も手前のオブジェクト再生位置に対応した視差情報である。また、第２の視差情報は、ピクチャ表示画面の所定領域における最も奥のオブジェクト再生位置に対応した視差情報である。
　情報取得部により、コンテナに含まれるビデオストリームから、左眼画像データおよび右眼画像データが取得されると共に、この画像データの所定のピクチャに挿入されている第１の視差情報および第２の視差情報が取得される。そして、制御部により、取得された第１の視差情報および第２の視差情報に基づいて、視差角が所定範囲内に入るように左眼画像データおよび右眼画像データの再構成が指示される。
　このように本技術においては、第１の視差情報および第２の視差情報に基づいて、視差角が所定範囲内に入るように左眼画像データおよび右眼画像データの再構成が指示される。そのため、最も手前のオブジェクト再生位置に対する視差角（交差方向の視差角）および最も奥のオブジェクト再生位置に対する視差角（同側方向の視差角）が視聴上健康を害さない所定の範囲内に収まるように、左眼画像データおよび右眼画像データを再構成できる。
　また、本技術のさらに他の概念は、
　立体画像を構成する左眼画像データおよび右眼画像データを取得する画像データ取得部と、
　上記取得された画像データの所定のピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報を取得する視差情報取得部と、
　上記取得された視差情報に対して圧縮符号化処理を行う圧縮符号化部と、
　上記取得された画像データが符号化されて得られたビデオストリームに、上記圧縮符号化された視差情報を挿入する視差情報挿入部と、
　上記視差情報が挿入されたビデオストリームを含む所定フォーマットのコンテナを送信する画像データ送信部とを備える
　送信装置にある。
　本技術において、画像データ取得部により、立体画像を構成する左眼画像データおよび右眼画像データが取得される。この場合の画像データは、例えば、カメラで撮像されて得られたもの、あるいは記憶媒体から読み出されて得られたものなどである。
　視差情報取得部により、画像データの所定のピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報が取得される。この場合の視差情報は、例えば、左眼画像データおよび右眼画像データに基づいて生成されたもの、あるいは記憶媒体から読み出されて得られたものなどである。
　圧縮符号化部により、取得された視差情報に対して圧縮符号化処理が行われる。例えば、圧縮符号化部は、圧縮符号化処理として、取得された各ピクチャの視差情報に対して可変長符号を用いた処理を行う、ようにされてもよい。また、例えば、圧縮符号化部は、圧縮符号化処理として、取得された各ピクチャのうち、参照ピクチャでは、被参照ピクチャとの間の差分データを取得し、この差分データに可変長符号化の処理を行う、ようにされてもよい。この場合、例えば、圧縮符号化部は、表示順で先行するピクチャを被参照ピクチャとして差分データを取得する、ようにされてもよい。また、この場合、例えば、圧縮符号化部は、デコード順で先行するピクチャを被参照ピクチャとして差分データを取得する、ようにされてもよい。
　視差情報挿入部により、取得された画像データが符号化されて得られたビデオストリームに、圧縮符号化された視差情報が挿入される。例えば、視差情報は、ビデオストリームに、ピクチャ単位、あるいはＧＯＰ（Group of Picture）単位で挿入される。さらには、その他の単位、例えばシーン単位で挿入されてもよい。
　例えば、視差情報挿入部は、ビデオストリームの所定のピクチャに視差情報を挿入する際に、この挿入される視差情報がイントラデータであるか差分データであるかを識別する識別情報をさらに挿入する、ようにされてもよい。この場合、受信側では、挿入されている視差情報がイントラデータであるか差分データであるかを容易に把握可能となる。
　また、例えば、視差情報挿入部は、ビデオストリームのＩピクチャ、Ｐピクチャおよび被参照Ｂピクチャに対応して視差情報を挿入し、挿入される視差情報が差分データであるとき、被参照ピクチャまでのピクチャ数の情報をさらに挿入する、ようにされてもよい。この場合、受信側では被参照ピクチャを容易に把握可能となる。
　このように本技術においては、画像データの所定のピクチャ毎に取得された視差情報がビデオストリームに挿入されて送信されるものであり、受信側における立体画像に重畳表示されるグラフィクスの奥行き制御をピクチャ（フレーム）精度で良好に行うことができる。また、本技術においては、ビデオストリームに挿入される視差情報は、圧縮符号化されたものであり、データ量の低減を図ることができる。
　また、本技術の別の概念は、
　ビデオストリームを含む所定フォーマットのコンテナを受信する画像データ受信部を備え、
　上記ビデオストリームは、立体画像を構成する左眼画像データおよび右眼画像データが符号化されて得られたものであり、
　上記ビデオストリームには、上記画像データの所定のピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報が挿入されており、
　上記コンテナに含まれるビデオストリームから上記左眼画像データおよび右眼画像データを取得すると共に、上記視差情報を取得する情報取得部と、
　上記情報取得部で取得される視差情報が存在しないピクチャの視差情報を、上記取得された前後のピクチャの視差情報から補間により生成する視差情報補間部とをさらに備える
　受信装置にある。
　本技術において、画像データ受信部により、ビデオストリームを含む所定フォーマットのコンテナが受信される。このビデオストリームは、立体画像を構成する左眼画像データおよび右眼画像データが符号化されて得られたものである。また、このビデオストリームには、画像データの所定のピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報が挿入されている。
　情報取得部により、コンテナに含まれるビデオストリームから、左眼画像データおよび右眼画像データが取得されると共に、画像データの所定のピクチャに挿入されている視差情報が取得される。そして、視差情報補間部により、視差情報が存在しないピクチャの視差情報は、取得された前後のピクチャの視差情報から補間により生成される。
　このように本技術においては、視差情報が存在しないピクチャの視差情報は、取得された前後のピクチャの視差情報から補間により生成されるものである。そのため、例えば、立体画像に重畳表示されるグラフィクスの奥行き制御を、ピクチャ（フレーム）精度で良好に行うことができる。この場合、補間生成されるピクチャの視差情報が小数精度で生成されるとき、サブピクセルの視差情報に対応していれば、グラフィクスの奥行きの動的なアップデートをよりスムーズに行うことが可能となる。
　また、本技術のさらに別の概念は、
　ビデオストリームを含む所定フォーマットのコンテナを受信する画像データ受信部を備え、
　上記ビデオストリームは、立体画像を構成する左眼画像データおよび右眼画像データが符号化されて得られたものであり、
　上記ビデオストリームには、上記画像データの所定のピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報であって、ピクチャ表示画面の所定領域における最も手前のオブジェクト再生位置に対応した第１の視差情報と、ピクチャ表示画面の所定領域における最も奥のオブジェクト再生位置に対応した第２の視差情報が挿入されており、
　上記コンテナに含まれるビデオストリームから上記左眼画像データおよび右眼画像データを取得すると共に、上記第１の視差情報および第２の視差情報を取得する情報取得部と、
　上記取得された上記左眼画像データおよび上記右眼画像データと、上記取得された上記第１の視差情報および第２の視差情報とを、対応付けて、外部機器に送信する送信部とをさらに備える
　受信装置にある。
　本技術において、画像データ受信部により、ビデオストリームを含む所定フォーマットのコンテナが受信される。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ－２　ＴＳ）であってもよい。また、例えば、コンテナは、インターネットの配信などで用いられるＭＰ４、あるいはそれ以外のフォーマットのコンテナであってもよい。
　このビデオストリームは、立体画像を構成する左眼画像データおよび右眼画像データが符号化されて得られたものである。また、このビデオストリームには、画像データの所定のピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報であって、第１の視差情報および第２の視差情報が挿入されている。第１の視差情報は、ピクチャ表示画面の所定領域における最も手前のオブジェクト再生位置に対応した視差情報である。また、第２の視差情報は、ピクチャ表示画面の所定領域における最も奥のオブジェクト再生位置に対応した視差情報である。
　情報取得部により、コンテナに含まれるビデオストリームから、左眼画像データおよび右眼画像データが取得されると共に、この画像データの所定のピクチャに挿入されている第１の視差情報および第２の視差情報が取得される。送信部により、取得された左眼画像データおよび右眼画像データと、取得された第１の視差情報および第２の視差情報とが、対応付けられて、外部機器に送信される。
　例えば、送信部は、画像データを、所定数のチャネルで、差動信号により、外部機器に送信し、画像データのブランキング期間に視差情報を挿入することで、この視差情報を外部機器に送信する、ようにされる。この場合、例えば、送信部は、画像データのブランキング期間に配置される所定フォーマットの情報パケットに、視差情報を挿入する、ようにされる。
　例えば、取得された第１の視差情報および第２の視差情報に基づいて、視差角が所定範囲内に入るように画像データおよび視差情報の再構成を行う情報再構成部をさらに備え、送信部は、再構成された左眼画像データおよび右眼画像データと、再構成された第１の視差情報および第２の視差情報とを、対応付けて、外部機器に送信する、ようにされてもよい。
　このように、本技術においては、受信コンテナに含まれるビデオストリームから取得された左眼画像データおよび右眼画像データと、第１の視差情報および第２の視差情報とが、対応付けられて、外部機器に送信される。そのため、外部機器においては、これら第１の視差情報および第２の視差情報に基づいて、最も手前のオブジェクト再生位置に対する視差角（交差方向の視差角）および最も奥のオブジェクト再生位置に対する視差角（同側方向の視差角）が視聴上健康を害さない所定の範囲内にあるか否かをチェックすることが可能となる。
　なお、本技術において、例えば、送信部は、２ピクチャ単位で、連続する第１のピクチャおよび第２のピクチャの視差情報を送信し、少なくとも、第１のピクチャまたは第２のピクチャの視差情報は、１つ前のピクチャの視差情報との間の差分データとされてもよい。このように、送信部から送信される第１のピクチャおよび第２のピクチャの視差情報のうちいずれかは差分データとされるので、伝送データ量の低減が可能となる。
　また、本技術において、例えば、第１のピクチャの視差情報と上記第２のピクチャの視差情報との差分データに基づいて、上記第１のピクチャの視差情報を差分データとするか第２のピクチャの視差情報を差分データとするかを決定する決定部をさらに備える、ようにされてもよい。この場合、例えば、シーンチェンジなどで第１のピクチャの視差情報と第２のピクチャの視差情報との間の差分が大きくなるとき、第１のピクチャの視差情報を差分データとするように決定でき、伝送データ量のさらなる低減が可能となる。
　また、本技術において、例えば、送信部が送信する視差情報には、第１のピクチャの視差情報が差分データであるか第２のピクチャの視差情報が差分データであるかを示す識別情報が付加されてもよい。この場合、第１のピクチャの視差情報が差分データであるか第２のピクチャの視差情報が差分データであるかを容易に判別可能となる。
　本技術によれば、立体画像の表示あるいは立体画像へのグラフィクスの重畳表示を良好に行うことができる。
実施の形態としての画像送受信システムの構成例を示すブロック図である。 ブロック（Block）毎の視差情報（視差ベクトル）の一例を示す図である。 ブロック単位の視差情報の生成方法の一例を説明するための図である。 ブロック毎の視差情報から所定の分割領域の視差情報を得るためのダウンサイジング処理の一例を説明するための図である。 符号化ブロック境界を跨がないようにピクチャ表示画面が分割されることを説明するための図である。 ピクチャ毎の各分割領域の視差情報の推移例を模式的に示す図である。 画像データのピクチャ毎に取得された視差情報のビデオストリームへの挿入タイミングを説明するための図である。 放送局においてトランスポートストリームを生成する送信データ生成部の構成例を示すブロック図である。 トランスポートストリームの構成例を示す図である。 ＡＶＣ・ビデオ・デスクリプタ（AVC video descriptor）の構造例（Syntax）および主要な規定内容（semantics）を示す図である。 ＭＶＣ・エクステンション・デスクリプタ（MVC extension descriptor）の構造例（Syntax）および主要な規定内容（semantics）を示す図である。 グラフィクス・デプス・インフォ・デスクリプタ（graphics_depth_info_descriptor）の構造例（Syntax）および主要な規定内容（semantics）を示す図である。 符号化方式がＡＶＣである場合におけるＧＯＰの先頭のアクセスユニットおよびＧＯＰの先頭以外のアクセスユニットの一例を示している。 「depth_information_for_graphics SEI message」の構造例(Syntax)および「depth_information_for_graphics_data()」の構造例(Syntax)を示す図である。 ピクチャ毎の視差情報をピクチャ単位で挿入する場合における「depth_information_for_graphics()」の構造例(Syntax)を示す図である。 ピクチャ毎の視差情報をピクチャ単位で挿入する場合における「depth_information_for_graphics()」の構造例(Syntax)を示す図である。 ピクチャ毎の視差情報をピクチャ単位で挿入する場合における「depth_information_for_graphics()」の構造例(Syntax)を示す図である。 「depth_information_for_graphics()」の構造例(Syntax)における主要な情報の内容（Semantics）を示す図である。 ピクチャ表示画面の分割例を示す図である。 ピクチャ毎の視差情報を複数のピクチャをまとめて符号化する場合における、「depth_information_for_graphics()」の構造例(Syntax)を示す図である。 ピクチャ毎の視差情報を複数のピクチャをまとめて符号化する場合における、「depth_information_for_graphics()」の構造例(Syntax)を示す図である。 ピクチャ毎の視差情報を複数のピクチャをまとめて符号化する場合における、「depth_information_for_graphics()」の構造例(Syntax)を示す図である。 「user_data()」の構造例(Syntax)および「depth_information_for_graphics_data()」の構造例(Syntax)を示す図である。 放送局においてトランスポートストリームを生成する送信データ生成部の他の構成例を示すブロック図である。 圧縮符号化部の概略構成例を示すブロック図である。 可変長符号としての「Exp-Golomb 符号 se(v)」の構成を示す図である。 非予測タイプ（Non-Prediction Type）の圧縮符号化を説明するための図である。 予測タイプ０（Non-Prediction Type 0）の圧縮符号化を説明するための図である。 予測タイプ１（Non-Prediction Type 1）の圧縮符号化を説明するための図である。 予測タイプ２（Non-Prediction Type 2）の圧縮符号化を説明するための図である。 予測タイプ３（Non-Prediction Type 3）の圧縮符号化を説明するための図である。 ピクチャ毎の圧縮符号化された視差情報をピクチャ単位で挿入する場合における「depth_information_sei()」の構造例(Syntax)を示す図である。 ピクチャ毎の圧縮符号化された視差情報をピクチャ単位で挿入する場合における「depth_information_sei()」の構造例(Syntax)を示す図である。 ピクチャ毎の圧縮符号化された視差情報をピクチャ単位で挿入する場合における「depth_information_sei()」の構造例(Syntax)を示す図である。 ピクチャ毎の圧縮符号化された視差情報を複数のピクチャをまとめて符号化する場合における「depth_information_sei()」の構造例(Syntax)を示す図である。 ピクチャ毎の圧縮符号化された視差情報を複数のピクチャをまとめて符号化する場合における「depth_information_sei()」の構造例(Syntax)を示す図である。 ピクチャ毎の圧縮符号化された視差情報を複数のピクチャをまとめて符号化する場合における「depth_information_sei()」の構造例(Syntax)を示す図である。 「depth_information_sei()」の他の構造例(Syntax)を示す図である。 可変長符号としての「Exp-Golomb 符号 ue(v)」の構成を示す図である。 「depth_information_sei()」の他の構造例(Syntax)を示す図である。 視差情報によるグラフィクスの奥行き制御の概念を示す図である。 ビデオストリームにピクチャ単位で視差情報が挿入されている場合に画像データのピクチャタイミングで順次視差情報が取得されることを示す図である。 ビデオストリームにＧＯＰ単位で視差情報が挿入されている場合に画像データのＧＯＰの先頭タイミングで、ＧＯＰ内の各ピクチャの視差情報がまとめて取得されることを示す図である。 画像上における字幕（サブタイトル）およびＯＳＤグラフィクスの表示例を示す図である。 セットトップボックスの構成例を示すブロック図である。 圧縮復号化部の概略構成例を示すブロック図である。 視差角のチェックおよび画像データの再構成を説明するための図である。 視差情報制御部の構成例を示すブロック図である。 奥行き制御部の制御を説明するためのブロック図である。 奥行き制御部の制御処理の手順の一例を示すフローチャート（１／２）である。 奥行き制御部の制御処理の手順の一例を示すフローチャート（２／２）である。 セットトップボックスにおけるグラフィクスの奥行き制御例を示す図である。 セットトップボックスにおけるグラフィクスの他の奥行き制御例を示す図である。 テレビ受信機（ＨＤＭＩ入力系）の構成例を示すブロック図である。 奥行き制御部の制御を説明するためのブロック図である。 奥行き制御部の制御処理の手順の一例を示すフローチャートである。 テレビ受信機におけるグラフィクスの奥行き制御例を示す図である。 ソース機器のＨＤＭＩ送信部とシンク機器のＨＤＭＩ受信部の構成例を示すブロック図である。 ＴＭＤＳ伝送データの構造例（横×縦が１９２０ピクセル×１０８０ラインの画像データが伝送される場合）を示す図である。 ソース機器およびシンク機器のＨＤＭＩケーブルが接続されるＨＤＭＩ端子のピン配列（タイプＡ）を示す図である。 視差情報の送信にＨＤＭＩ Vendor Specific InfoFrame を利用する場合における、ＨＤＭＩVendor Specific InfoFrame のパケット構造例を示す図である。 ＨＤＭＩ Vendor Specific InfoFrame のパケット構造例における主要な情報の内容を示す図である。 シングルピクチャのモードであり、分割領域が「１６」である場合における VS_Info の構造例を示す図である。 ダブルピクチャのモードであり、分割領域が「１６」である場合における VS_Info の構造例を示す図である。 ピクチャ単位受信かつシングルピクチャモード送信を行う場合を概略的に示す図である。 ピクチャ単位受信かつダブルピクチャモード送信を行う場合を概略的に示す図である。 ＧＯＰ単位（複数ピクチャ単位）受信かつシングルピクチャモード送信を行う場合を概略的に示す図である。 ＧＯＰ単位（複数ピクチャ単位）受信かつダブルピクチャモード送信を行う場合を概略的に示す図である。 VS_Info（ＨＤＭＩ Vendor Specific InfoFrame）の他のパケット構造例を示す図である。 VS_Info（ＨＤＭＩ Vendor Specific InfoFrame）の他のパケット構造例を示す図である。 ＨＤＭＩ Vendor Specific InfoFrame のパケット構造例における主要な情報の内容を示す図である。 ＮピクチャとＮ＋１ピクチャの順番決定を行うための構成例を示すブロック図である。 ｜Ｄ（N+1）－Ｄ（N）｜≦Ｔｈとなる場合の視差情報（Disparity値）の時間推移例を示す図である。 ｜Ｄ（N+1）－Ｄ（N）｜＞Ｔｈとなる場合の視差情報（Disparity値）の時間推移例を示す図である。 画像送受信システムの他の構成例を示すブロック図である。 テレビ受信機の構成例を示すブロック図である。 両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクトの左右像の表示位置と、その立体像の再生位置との関係を示す図である。
　以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
　１．実施の形態
　２．変形例
　＜１．実施の形態＞
　［画像送受信システム］
　図１は、実施の形態としての画像送受信システム１０の構成例を示している。この画像送受信システム１０は、放送局１００と、セットトップボックス（ＳＴＢ）２００と、モニタとしてのテレビ受信機３００を有している。セットトップボックス２００およびテレビ受信機（ＴＶ）３００は、ＨＤＭＩ(High Definition Multimedia Interface)ケーブル４００を介して接続されている。
　「放送局の説明」
　放送局１００は、コンテナとしてのトランスポートストリームＴＳを放送波に載せて送信する。このトランスポートストリームＴＳには、立体画像を構成する左眼画像データおよび右眼画像データが符号化されて得られたビデオストリームが含まれる。例えば、左眼画像データおよび右眼画像データは、１つのビデオストリームにより伝送される。この場合、例えば、左眼画像データおよび右眼画像データは、インターリーブ処理され、サイド・バイ・サイド方式あるいはトップ・アンド・ボトム方式の画像データとして構成され、１つのビデオストリームに含まれる。
　また、例えば、左眼画像データおよび右眼画像データは、それぞれ、別個のビデオストリームにより伝送される。この場合、例えば、左眼画像データはＭＶＣのベースビュー(base view)のストリームに含まれ、右眼画像データはＭＶＣのノンベースビュー（Nonbase view）のストリームに含まれる。
　ビデオストリームには、画像データの所定のピクチャ毎に取得された、左眼画像および右眼画像の一方に対する他方の視差情報（Disparity data）が挿入される。この場合、視差情報の取得は、少なくとも視差情報を送信すべきピクチャで行われることを前提とする。
　ここで、ピクチャ毎の視差情報は、第１の視差情報および第２の視差情報からなっている。第１の視差情報は、ピクチャ表示画面の所定領域における最も手前のオブジェクト再生位置に対応した視差情報である。また、第２の視差情報は、ピクチャ表示画面の所定領域における最も奥のオブジェクト再生位置に対応した視差情報である。
　スクリーン位置を視差ゼロとすると、オブジェクト再生位置がスクリーンより手前にある場合、この視差情報はマイナス値で得られる（図７１のＤＰａ参照）。一方、オブジェクトの再生位置がスクリーンより奥にある場合、この視差情報はプラス値で得られる（図７１のＤＰｃ参照）。そのため、第１の視差情報として、例えば、所定領域における視差情報のうち、最小値の視差情報が用いられる。また、第２の視差情報として、例えば、所定領域における視差情報のうち、最大値の視差情報が用いられる。
　この場合、第１の視差情報および第２の視差情報として、例えば、以下のような取得方法が考えられる。
　（１）ピクチャ表示画面を分割情報で分割して得られた各分割領域における第１の視差情報を取得し、ピクチャ表示画面全体における第２の視差情報を取得する。
　（２）ピクチャ表示画面を分割情報で分割して得られた各分割領域における第１の視差情報および第２の視差情報を取得する。
　（３）ピクチャ表示画面を第１の分割情報で分割して得られた各分割領域における第１の視差情報を取得し、ピクチャ表示画面を第２の分割情報で分割して得られた各分割領域における第２の視差情報を取得する。
　（４）ピクチャ表示画面全体における第１の視差情報を取得し、ピクチャ表示画面全体における第２の視差情報を取得する。
　ピクチャ表示画面全体、あるいは各分割領域の視差情報は、ブロック（Block）毎の視差情報に対して、ダウンサイジング処理を施すことで、取得される。図２は、ブロック（Block）毎の視差情報（視差ベクトル）の一例を示している。
　図３は、ブロック単位の視差情報の生成方法の一例を示している。この例は、左眼ビュー（Left-View）から右眼ビュー（Right-View）を指し示す視差情報を求める例である。この場合、左眼ビューのピクチャに、例えば４＊４、８＊８あるいは１６＊１６などの画素ブロック（視差検出ブロック）が設定される。
　図示のように、左眼ビューのピクチャが検出画像とされ、右眼ビューのピクチャが参照画像とされて、左眼ビューのピクチャのブロック毎に、画素間の差分絶対値和が最小となるように、右眼ビューのピクチャのブロック探索がされて、視差データが求められる。
　すなわち、Ｎ番目のブロックの視差情報ＤＰｎは、例えば、以下の（１）式に示すように、このＮ番目のブロックにおける差分絶対値和が最小となるようにブロック探索されて求められる。なお、この（１）式において、Ｄｊは右眼ビューのピクチャにおける画素値、Ｄｉは左眼ビューのピクチャにおける画素値を示している。
　ＤＰｎ ＝ min ( Σ abs( differ (Dj - Di)))　　・・・（１）
　図４は、ダウンサイジング処理の一例を示している。図４（ａ）は、上述したように求められたブロック毎の視差情報を示している。このブロック毎の視差情報に基づいて、図４（ｂ）に示すように、グループ（Group Of Block）毎の第１の視差情報および第２の視差情報が求められる。グループは、ブロックの上位層に当たり、複数個の近接するブロックをまとめてグループ化することで得られる。図４（ｂ）の例では、各グループは、破線枠で括られる４個のブロックにより構成されている。そして、各グループの第１の視差情報は、例えば、そのグループ内の全ブロックの視差情報から最小の値の視差情報が選択されることで得られる。また、各グループの第２の視差情報は、例えば、そのグループ内の全ブロックの視差情報から最大の値の視差情報が選択されることで得られる。
　次に、このグループ毎の視差ベクトルに基づいて、図４（ｃ）に示すように、パーティション(partition)毎の第１の視差情報および第２の視差情報が求められる。パーティションは、グループの上位層に当たり、複数個の近接するグループをまとめてグループ化することで得られる。図４（ｃ）の例では、各パーティションは、破線枠で括られる２個のグループにより構成されている。そして、各パーティションの第１の視差情報は、例えば、そのパーティション内の全グループの第１の視差情報から、最小の値の第１の視差情報が選択されることで得られる。また、各パーティションの第２の視差情報は、例えば、そのパーティション内の全グループの第２の視差情報から、最大の値の第２の視差情報が選択されることで得られる。
　次に、このパーティション毎の視差情報に基づいて、図４（ｄ）に示すように、最上位層に位置するピクチャ全体（ピクチャ表示画面全体）の第１の視差情報および第２の視差情報が求められる。図４（ｄ）の例では、ピクチャ全体には、破線枠で括られる４個のパーティションが含まれている。そして、ピクチャ全体の第１の視差情報は、例えば、ピクチャ全体に含まれる全パーティションの第１の視差情報から、最小の値の第１の視差情報が選択されることで得られる。また、ピクチャ全体の第２の視差情報は、例えば、ピクチャ全体に含まれる全パーティションの第２の視差情報から、最大の値の第２の視差情報が選択されることで得られる。
　ピクチャ表示画面は分割情報に基づいて分割され、上述したように各分割領域の視差情報が取得される。この場合、符号化ブロック境界を跨がないようにピクチャ表示画面が分割される。図５は、ピクチャ表示画面の分割詳細例を示している。この例は、１９２０＊１０８０のピクセルフォーマットの例であって、水平、垂直にそれぞれ２分割され、Partition A，Partition B，Partition C，Partition Dの４つの分割領域が得られる例である。送信側では、１６×１６のブロック毎に符号化が行われるために、ブランクデータからなる８ラインが付加されて、１９２０画素＊１０８８ラインの画像データとして符号化が行われる。そこで、垂直方向に関しては、１０８８ラインを元に２分割されている。
　上述したように、ビデオストリームには、画像データの所定のピクチャ（フレーム）毎に取得された、ピクチャ表示画面全体あるいは各分割領域（Partition）の視差情報（第１の視差情報、第２の視差情報）が挿入される。図６は、各分割領域の視差情報の推移例を模式的に示している。この例は、水平、垂直にそれぞれ４分割され、Partition 0 ～ Partition 15 までの１６個の分割領域が存在する例である。この例では、図面の簡単化のため、Partition 0，Partition 3，Partition 9，Partition 15の視差情報Ｄ0，Ｄ3，Ｄ9，Ｄ15の推移のみを示している。各視差情報の値は、時間と共に値が変化する場合（Ｄ0，Ｄ3，Ｄ9）と固定である場合（Ｄ15）とがある。
　画像データの所定のピクチャ毎に取得された視差情報は、ビデオストリームに、ピクチャ単位、あるいはＧＯＰ単位などの単位で挿入される。図７（ａ）は、ピクチャの符号化に同期させる例、つまりビデオストリームに視差情報をピクチャ単位で挿入する例を示している。この例においては、画像データを送信する際の遅延が少なくて済み、カメラで撮像した画像データを送信するライブ放送に適するものとなる。
　図７（ｂ）は、符号化ビデオのＩピクチャ(Intra picture)、またはＧＯＰ（Group Of Pictures）に同期させる例、つまりビデオストリームに視差情報をＧＯＰ単位で挿入する例を示している。この例においては、図７（ａ）の例に比べて、画像データを送信する際の遅延が大きくなるが、複数のピクチャ（フレーム）の視差情報がまとめて送信されるので、受信側における視差情報の取得処理の回数を低減できる。図７（ｃ）は、ビデオのシーンに同期させる例、つまりビデオストリームに視差情報をシーン単位で挿入する例を示している。なお、図７（ａ）～（ｃ）は一例であって、その他の単位で挿入することも考えられる。
　また、トランスポートストリームＴＳのレイヤに、ビデオストリームに視差情報（第１の視差情報、第２の視差情報）の挿入があるか否かを識別するための識別情報が挿入されるようにしてもよい。この識別情報は、例えば、トランスポートストリームＴＳに含まれるプログラム・マップ・テーブル（ＰＭＴ：Program Map Table）の配下、あるいはイベント・インフォメーション・テーブル（ＥＩＴ：Event Information Table）の配下に挿入される。この識別情報により、受信側では、ビデオストリームに視差情報の挿入があるか否かを容易に識別可能となる。この識別情報の詳細については後述する。
　「送信データ生成部の構成例」
　図８は、放送局１００において、上述したトランスポートストリームＴＳを生成する送信データ生成部１１０の構成例を示している。この送信データ生成部１１０は、画像データ出力部１１１Ｌ，１１１Ｒと、スケーラ１１２Ｌ，１１２Ｒと、ビデオエンコーダ１１３と、マルチプレクサ１１４と、視差データ生成部１１５を有している。また、この送信データ生成部１１０は、サブタイトルデータ出力部１１６と、サブタイトルエンコーダ１１７と、音声データ出力部１１８と、オーディオエンコーダ１１９を有している。
　画像データ出力部１１１Ｌ，１１１Ｒは、それぞれ、立体画像を構成する左眼画像データＶＬ、右眼画像データＶＲを出力する。画像データ出力部１１１Ｌ，１１１Ｒは、例えば、被写体を撮像して画像データを出力するカメラ、あるいは記憶媒体から画像データを読み出して出力する画像データ読み出し部などにより構成される。画像データＶＬ，ＶＲは、例えば、１９２０＊１０８０のフルＨＤのサイズの画像データである。
　スケーラ１１２Ｌ，１１２Ｒは、それぞれ、画像データＶＬ，ＶＲに対して、必要に応じて、水平方向や垂直方向のスケーリング処理を行う。例えば、画像データＶＬ，ＶＲを１つのビデオストリームで伝送するために、サイド・バイ・サイド方式あるいはトップ・アンド・ボトム方式の画像データを構成する場合には、水平方向あるいは垂直方向に１／２にスケールダウンして出力する。また、例えば、画像データＶＬ，ＶＲを、ＭＶＣのベースビューストリーム、ノンベースビューストリームのように、それぞれ、別個のビデオストリームで伝送する場合には、スケーリング処理を行うことなく、画像データＶＬ，ＶＲをそのまま出力する。
　ビデオエンコーダ１１３は、スケーラ１１２Ｌ，１１２Ｒから出力される左眼画像データ、右眼画像データに対して、例えば、ＭＰＥＧ４－ＡＶＣ（ＭＶＣ）、ＭＰＥＧ２ｖｉｄｅｏ、あるいはＨＥＶＣ（High Efficiency Video Coding）などの符号化を施して、符号化ビデオデータを得る。また、このビデオエンコーダ１１３は、後段に備えるストリームフォーマッタ（図示せず）により、この符号化データを含むビデオストリームを生成する。この場合、ビデオエンコーダ１１３は、左眼画像データ、右眼画像データの符号化ビデオデータを含む１つあるいは２つのビデオストリーム（ビデオエレメンタリストリーム）を生成する。
　視差データ生成部１１５は、画像データ出力部１１１Ｌ，１１１Ｒから出力される左眼画像データＶＬ、右眼画像データＶＲに基づいて、ピクチャ（フレーム）毎に、視差情報を生成する。視差データ生成部１１５は、ピクチャ毎に、上述したようにブロック（Block）毎の視差情報を取得する。なお、視差データ生成部１１５は、画像データ出力部１１１Ｌ，１１１Ｒが記憶媒体を有する画像データ読み出し部である場合、ブロック（Block）毎の視差情報を、画像データと共に記憶媒体から読み出して取得する構成も考えられる。また、ビデオエンコーダ１１３の中の右眼画像データと左眼画像データとの間で行われるブロックマッチングの結果を利用して視差情報を検出する方法も考えられる。
　また、視差情報生成部１１５は、ブロック（Block）毎の視差情報に対してダウンサイジング処理を行って、ピクチャ表示画面全体、あるいはピクチャ表示画面を分割して得られる各分割領域（Partition）の第１の視差情報および第２の視差情報を生成する。なお、視差情報生成部１１５には、例えばユーザ操作により、第１の視差情報および第２の視差情報の取得方法の情報が与えられる。すなわち、ピクチャ表示画面全体における視差情報を生成する、あるいはピクチャ表示画面を所定数に分割して得られた各分割領域における視差情報を生成する、などの情報が与えられる。
　ビデオエンコーダ１１３は、視差データ生成部１１５で生成されたピクチャ毎の第１の視差情報および第２の視差情報を、ビデオストリームに挿入する。この場合、例えば、ピクチャ毎の視差情報は、ビデオストリームに、ピクチャ単位、あるいはＧＯＰ単位で挿入される（図７参照）。なお、左眼画像データおよび右眼画像データがそれぞれ別個のビデオデータで伝送されるには、いずれかのビデオストリームにのみ挿入されてもよい。
　サブタイトルデータ出力部１１６は、画像に重畳するサブタイトル（字幕）のデータを出力する。このサブタイトルデータ出力部１１６は、例えば、パーソナルコンピュータなどにより構成される。サブタイトルエンコーダ１１７は、サブタイトルデータ出力部１１６から出力されたサブタイトルデータを含むサブタイトルストリーム（サブタイトルエレメンタリストリーム）を生成する。なお、サブタイトルエンコーダ１１７は、視差データ生成部１１５で生成されるブロック毎の視差情報を参照し、サブタイトルデータに、サブタイトルの表示位置に対応した視差情報を付加する。すなわち、サブタイトルストリームに含まれるサブタイトルデータは、サブタイトルの表示位置に対応した視差情報を持つものとなる。
　音声データ出力部１１８は、画像データに対応した音声データを出力する。この音声データ出力部１１８は、例えば、マイクロホン、あるいは記憶媒体から音声データを読み出して出力する音声データ読み出し部などにより構成される。オーディオエンコーダ１１９は、音声データ出力部１１８から出力される音声データに対して、ＭＰＥＧ－２Ａｕｄｉｏ、ＡＡＣ等の符号化を施し、オーディオストリーム（オーディオエレメンタリストリーム）を生成する。
　マルチプレクサ１１４は、ビデオエンコーダ１１３、サブタイトルエンコーダ１１７およびオーディオエンコーダ１１９で生成された各エレメンタリストリームをＰＥＳパケット化して多重し、トランスポートストリームＴＳを生成する。この場合、それぞれのＰＥＳ(Packetized Elementary Stream)パケットのヘッダには、受信側における同期再生のために、ＰＴＳ（Presentation Time Stamp）が挿入される。
　マルチプレクサ１１４は、トランスポートストリームＴＳのレイヤに、上述した識別情報を挿入する。この識別情報は、ビデオストリームに視差情報（第１の視差情報、第２の視差情報）の挿入があるか否かを識別するための情報である。この識別情報は、例えば、トランスポートストリームＴＳに含まれるプログラム・マップ・テーブル（ＰＭＴ：Program Map Table）の配下、あるいはイベント・インフォメーション・テーブル（ＥＩＴ：Event Information Table）の配下などに挿入される。
　図８に示す送信データ生成部１１０の動作を簡単に説明する。画像データ出力部１１１Ｌ，１１１Ｒから出力される立体画像を構成する左眼画像データＶＬ、右眼画像データＶＲは、それぞれ、スケーラ１１２Ｌ，１１２Ｒに供給される。スケーラ１１２Ｌ，１１２Ｒは、それぞれ、画像データＶＬ，ＶＲに対して、必要に応じて、水平方向や垂直方向のスケーリング処理が行われる。スケーラ１１２Ｌ，１１２Ｒから出力される左眼画像データ、右眼画像データは、ビデオエンコーダ１１３に供給される。
　ビデオエンコーダ１１３では、左眼画像データ、右眼画像データに対して、例えば、ＭＰＥＧ４－ＡＶＣ（ＭＶＣ）、ＭＰＥＧ２ｖｉｄｅｏ、あるいはＨＥＶＣなどの符号化が施されて、符号化ビデオデータが得られる。また、このビデオエンコーダ１１３では、後段に備えるストリームフォーマッタにより、この符号化データを含むビデオストリームが生成される。この場合、左眼画像データ、右眼画像データの符号化ビデオデータを含む１つあるいは２つのビデオストリームが生成される。
　また、画像データ出力部１１１Ｌ，１１１Ｒから出力される立体画像を構成する左眼画像データＶＬ、右眼画像データＶＲは、視差データ生成部１１５に供給される。この視差データ生成部１１５では、ピクチャ毎に、ブロック（Block）毎の視差情報が取得される。そして、この視差データ生成部１１５では、さらに、ブロック（Block）毎の視差情報に対してダウンサイジング処理が行われて、ピクチャ表示画面全体、あるいはピクチャ表示画面を分割して得られた各分割領域における第１の視差情報および第２の視差情報が生成される。
　視差データ生成部１１５で生成されるピクチャ毎の第１の視差情報および第２の視差情報は、ビデオエンコーダ１１３に供給される。ビデオエンコーダ１１３では、ビデオストリームに、ピクチャ毎の第１の視差情報および第２の視差情報が、ピクチャ単位、あるいはＧＯＰ単位で挿入される。
　また、サブタイトルデータ出力部１１６では、画像に重畳するサブタイトル（字幕）のデータが出力される。このサブタイトルデータは、サブタイトルエンコーダ１１７に供給される。サブタイトルエンコーダ１１７では、サブタイトルデータを含むサブタイトルストリームが生成される。この場合、サブタイトルエンコーダ１１７では、視差データ生成部１１５で生成されるブロック毎の視差情報が参照され、サブタイトルデータに、表示位置に対応した視差情報が付加される。
　また、音声データ出力部１１８では、画像データに対応した音声データが出力される。この音声データは、オーディオエンコーダ１１９に供給される。このオーディオエンコーダ１１９では、音声データに対して、ＭＰＥＧ－２Ａｕｄｉｏ、ＡＡＣ等の符号化が施され、オーディオストリームが生成される。
　ビデオエンコーダ１１３で得られるビデオストリーム、サブタイトルエンコーダ１１７で得られるサブタイトルストリームおよびオーディオエンコーダ１１９で得られるオーディオストリームは、それぞれ、マルチプレクサ１１４に供給される。マルチプレクサ１１４では、各エンコーダから供給されるエレメンタリストリームがＰＥＳパケット化されて多重され、トランスポートストリームＴＳが生成される。この場合、それぞれのＰＥＳヘッダには、受信側における同期再生のために、ＰＴＳが挿入される。また、マルチプレクサ１１４では、ＰＭＴの配下、あるいはＥＩＴの配下などに、ビデオストリームに視差情報の挿入があるか否かを識別するための識別情報が挿入される。
　［識別情報、視差情報の構造、ＴＳ構成］
　図９は、トランスポートストリームＴＳの構成例を示している。この構成例では、左眼画像データおよび右眼画像データがそれぞれ別個のビデオストリームで伝送される例を示している。すなわち、左眼画像データが符号化されているビデオストリームのＰＥＳパケット「video PES1」および右眼画像データが符号化されているビデオストリームのＰＥＳパケット「video PES2」が含まれている。また、この構成例では、サブタイトルデータ（視差情報を含む）が符号化されているサブタイトルストリームのＰＥＳパケット「subtitle PES3」および音声データが符号化されているオーディオストリームのＰＥＳパケット「audio PES4」が含まれている。
　ビデオストリームのユーザデータ領域には、ピクチャ毎の第１の視差情報および第２の視差情報を含むデプス・インフォメーション・ＳＥＩ（depth_information_sei()）が挿入されている。例えば、ピクチャ毎の視差情報がピクチャ単位で挿入される場合、このデプス・インフォメーション・ＳＥＩは、ビデオストリームの各ピクチャのユーザデータ領域に挿入される。また、例えば、ピクチャ毎の視差情報がＧＯＰ単位で挿入される場合、このデプス・インフォメーション・ＳＥＩは、ビデオストリームのＧＯＰの先頭あるいはシーケンス・パラメータ情報が挿入される位置に相当するピクチャのユーザデータ領域に挿入される。なお、この構成例では、２つのビデオストリームの双方にデプス・インフォメーション・ＳＥＩが挿入されるように示しているが、一方のビデオストリームのみに挿入されてもよい。
　トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームＴＳに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。また、トランスポートストリームＴＳには、イベント単位の管理を行うＳＩ（Serviced Information）としてのＥＩＴ(Event Information Table)が含まれている。
　ＰＭＴの配下に、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。このエレメンタリ・ループには、ストリーム毎に、パケット識別子（PID）などの情報が配置されると共に、そのエレメンタリストリームに関連する情報を記述するデスクリプタも配置される。
　上述したビデオストリームに視差情報（第１の視差情報、第２の視差情報）が挿入されているか否かを示す識別情報を挿入する場合、例えば、プログラム・マップ・テーブルのビデオエレメンタリ・ループの配下に挿入されるデスクリプタ（descriptor）に記述される。このデスクリプタは、例えば、既存のＡＶＣ・ビデオ・デスクリプタ（AVC video descriptor）あるいはＭＶＣ・エクステンション・デスクリプタ（MVC_extension_descriptor）、または、新規に定義されるデプス・インフォ・デスクリプタ（Depth_info_descriptor）である。なお、デプス・インフォ・デスクリプタに関しては、破線図示するように、ＥＩＴの配下に挿入することも考えられる。
　図１０（ａ）は、識別情報が記述されたＡＶＣ・ビデオ・デスクリプタ（AVC video descriptor）の構造例（Syntax）を示している。このデスクリプタは、ビデオがＭＰＥＧ４－ＡＶＣ Frame compatible フォーマットの場合に適用できる。このデスクリプタ自体は、既にＨ．２６４／ＡＶＣの規格に入っている。ここでは、このデスクリプタに、「depth_info_not_existed_flag[0]」の１ビットのフラグ情報が、新たに、定義される。
　このフラグ情報は、図１０（ｂ）の規定内容（semantics）に示すように、対応するビデオストリームに、ピクチャ毎の視差情報を含むデプス・インフォメーション・ＳＥＩ（depth_information_sei()）が挿入されているか否かを示す。このフラグ情報が“０”であるときは挿入されていることを示す。一方、このフラグ情報が“１”であるときは挿入されていないことを示す。
　図１１（ａ）は、識別情報が記述されたＭＶＣ・エクステンション・デスクリプタ（MVC extension descriptor）の構造例（Syntax）を示している。このデスクリプタは、ビデオがＭＰＥＧ４－ＡＶＣＡｎｎｅｘ Ｈ ＭＶＣ フォーマットの場合に適用できる。このデスクリプタ自体は、既にＨ．２６４／ＡＶＣの規格に入っている。ここでは、このデスクリプタに、「depth_info_not_existed_flag」の１ビットのフラグ情報が、新たに、定義される。
　このフラグ情報は、図１１（ｂ）の規定内容（semantics）に示すように、対応するビデオストリームに、ピクチャ毎の視差情報を含むデプス・インフォメーション・ＳＥＩ（depth_information_sei()）が挿入されているか否かを示す。このフラグ情報が“０”であるときは挿入されていることを示す。一方、このフラグ情報が“１”であるときは挿入されていないことを示す。
　図１２（ａ）は、デプス・インフォ・デスクリプタ（depth_info_descriptor）の構造例（Syntax）を示している。「descriptor_tag」の８ビットフィールドは、このデスクリプタが「depth_info_descriptor」であることを示す。「descriptor_length」の８ビットフィールドは、以降のデータバイト数を示す。そして、このデスクリプタに、「depth_info_not_existed_flag」の１ビットのフラグ情報が記述されている。
　このフラグ情報は、図１２（ｂ）の規定内容（semantics）に示すように、対応するビデオストリームに、ピクチャ毎の視差情報を含むデプス・インフォメーション・ＳＥＩ（depth_information_sei()）が挿入されているか否かを示す。このフラグ情報が“０”であるときは挿入されていることを示す。一方、このフラグ情報が“１”であるときは挿入されていないことを示す。
　次に、ピクチャ毎の視差情報を含むデプス・インフォメーション・ＳＥＩ（depth_information_sei()）を、ビデオストリームのユーザデータ領域に挿入する場合について説明する。
　例えば、符号化方式がＡＶＣである場合、「depth_information_sei()」は、アクセスユニットの“ＳＥＩｓ”の部分に、「depth_information SEI message」として、挿入される。図１３（ａ）は、ＧＯＰ（Group Of Pictures）の先頭のアクセスユニットを示しており、図１３（ｂ）は、ＧＯＰの先頭以外のアクセスユニットを示している。ピクチャ毎の視差情報がＧＯＰ単位で挿入される場合には、ＧＯＰの先頭のアクセスユニットにのみ「depth_information SEI message」が挿入される。
　図１４（ａ）は、「depth_information SEI message」の構造例(Syntax)を示している。「uuid_iso_iec_11578」は、“ISO/IEC 11578:1996AnnexA.”で示されるUUID値をもつ。「user_data_payload_byte」のフィールドに、「depth_information_sei_data()」が挿入される。図１４（ｂ）は、「depth_information_sei_data()」の構造例(Syntax)を示している。この中に、デプス・インフォメーション・ＳＥＩ（depth_information_sei()）が挿入される。「userdata_id」は、符号なし１６ビットで示される「depth_information_sei()」の識別子である。
　図１５、図１６および図１７は、それぞれ、ピクチャ毎の視差情報をピクチャ単位で挿入する場合における「depth_information_sei()」の構造例(Syntax)を示している。図１８には、これらの構造例における主要な情報の内容（Semantics）が示されている。
　図１５は、上述の（１）「ピクチャ表示画面を分割情報で分割して得られた各分割領域における第１の視差情報を取得し、ピクチャ表示画面全体における第２の視差情報を取得する」という取得方法に対応した構造例(Syntax)を示している。
　「partition_type」の３ビットフィールドは、ピクチャ表示画面の分割タイプを示す。“０００”は分割なしを示し、“００１”は水平、垂直を各々２等分することを示し、“０１０”は水平、垂直を各々４等分することを示す。
　「partition_count」の４ビットフィールドは、分割領域（Partition）の総数を示し、上述の「partition_type」に依存した値となる。例えば、「partition_type=000」であるとき、図１９（ａ）に示すように、分割領域（Partition）の総数は「１」である。また、例えば、「partition_type=001」であるとき、図１９（ｂ）に示すように、分割領域（Partition）の総数は「４」である。また、例えば、「partition_type=010」であるとき、図１９（ｃ）に示すように、分割領域（Partition）の総数は「１６」である。
　「max_disparity_in_picture」の８ビットフィールドは、ピクチャ表示画面全体の第２の視差情報、つまりピクチャ全体の最大の視差情報（disparity値）を示す。「min_disparity_in_partition」の８ビットフィールドは、各分割領域（Partition）の第１の視差情報、つまり各分割領域における最小の視差情報（disparity値）を示す。
　図１６は、上述の（２）「ピクチャ表示画面を分割情報で分割して得られた各分割領域における第１の視差情報および第２の視差情報を取得する」という取得方法に対応した構造例(Syntax)を示している。この図１６において、図１５と対応する部分は、適宜、その説明を省略する。
　「partition_type」の３ビットフィールドは、ピクチャ表示画面の分割タイプを示す。「partition_count」の４ビットフィールドは、分割領域（Partition）の総数を示し、上述の「partition_type」に依存した値となる。「max_disparity_in_partition」の８ビットフィールドは、各分割領域（Partition）の第２の視差情報、つまり各分割領域における最大の視差情報（disparity値）を示す。「min_disparity_in_partition」の８ビットフィールドは、各分割領域（Partition）の第１の視差情報、つまり各分割領域における最小の視差情報（disparity値）を示す。
　図１７は、上述の（３）「ピクチャ表示画面を第１の分割情報で分割して得られた各分割領域における第１の視差情報を取得し、ピクチャ表示画面を第２の分割情報で分割して得られた各分割領域における第２の視差情報を取得するという取得方法に対応した構造例(Syntax)を示している。この図１７において、図１５、図１６と対応する部分は、適宜、その説明を省略する。
　「partition_type」の３ビットフィールドは、第１の視差情報の取得に係るピクチャ表示画面の分割タイプを示す。「min_partition_count」の４ビットフィールドは、第１の視差情報が取得される分割領域（Partition）の総数を示し、上述の「partition_type」に依存した値となる。「min_disparity_in_partition」の８ビットフィールドは、各分割領域（Partition）の第１の視差情報、つまり各分割領域における最小の視差情報（disparity値）を示す。
　「max_partition_count」の４ビットフィールドは、第２の視差情報が取得される分割領域（Partition）の総数を示す。「max_disparity_in_partition」の８ビットフィールドは、各分割領域（Partition）の第２の視差情報、つまり各分割領域における最大の視差情報（disparity値）を示す。
　図２０、図２１および図２２は、それぞれ、ピクチャ毎の視差情報をＧＯＰ単位で挿入する場合のように、複数のピクチャをまとめて符号化する場合における、「depth_information_sei()」の構造例(Syntax)を示している。図１８には、これらの構造例における主要な情報の内容（Semantics）が示されている。
　図２０は、上述の（１）「ピクチャ表示画面を分割情報で分割して得られた各分割領域における第１の視差情報を取得し、ピクチャ表示画面全体における第２の視差情報を取得する」という取得方法に対応した構造例(Syntax)を示している。この図２０において、上述の図１５と対応する部分は、適宜、その詳細説明を省略する。
　「picture_count」の６ビットフィールドは、ピクチャ数を示す。この「depth_information_sei()」には、ピクチャ数分の第１の視差情報および第２の視差情報が含まれる。「partition_count」の４ビットフィールドは、分割領域（Partition）の総数を示す。「max_disparity_in_picture」の８ビットフィールドは、ピクチャ表示画面全体の第２の視差情報、つまりピクチャ全体の最大の視差情報（disparity値）を示す。「min_disparity_in_partition」の８ビットフィールドは、各分割領域（Partition）の第１の視差情報、つまり各分割領域における最小の視差情報（disparity値）を示す。詳細説明は省略するが、図２０の構造例のその他は、図１５に示す構造例と同様である。
　図２１は、上述の（２）「ピクチャ表示画面を分割情報で分割して得られた各分割領域における第１の視差情報および第２の視差情報を取得する」という取得方法に対応した構造例(Syntax)を示している。この図２１において、図１６、図２０と対応する部分は、適宜、その説明を省略する。
　「picture_count」の６ビットフィールドは、ピクチャ数を示す。この「depth_information_sei()」には、ピクチャ数分の第１の視差情報および第２の視差情報が含まれる。「partition_count」の４ビットフィールドは、分割領域（Partition）の総数を示す。「max_disparity_in_partition」の８ビットフィールドは、各分割領域（Partition）の第２の視差情報、つまり各分割領域における最大の視差情報（disparity値）を示す。「min_disparity_in_partition」の８ビットフィールドは、各分割領域（Partition）の第１の視差情報、つまり各分割領域における最小の視差情報（disparity値）を示す。詳細説明は省略するが、図２１の構造例のその他は、図１６に示す構造例と同様である。
　図２２は、上述の（３）「ピクチャ表示画面を第１の分割情報で分割して得られた各分割領域における第１の視差情報を取得し、ピクチャ表示画面を第２の分割情報で分割して得られた各分割領域における第２の視差情報を取得するという取得方法に対応した構造例(Syntax)を示している。この図２２において、図１７、図２０、図２１と対応する部分は、適宜、その説明を省略する。
　「picture_count」の６ビットフィールドは、ピクチャ数を示す。この「depth_information_sei()」には、ピクチャ数分の第１の視差情報および第２の視差情報が含まれる。「min_partition_count」の４ビットフィールドは、第１の視差情報が取得される分割領域（Partition）の総数を示し、「max_partition_count」の４ビットフィールドは、第２の視差情報が取得される分割領域（Partition）の総数を示す。
　「min_disparity_in_partition」の８ビットフィールドは、各分割領域（Partition）の第１の視差情報、つまり各分割領域における最小の視差情報（disparity値）を示す。「max_disparity_in_partition」の８ビットフィールドは、各分割領域（Partition）の第２の視差情報、つまり各分割領域における最大の視差情報（disparity値）を示す。詳細説明は省略するが、図２２の構造例のその他は、図１７に示す構造例と同様である。
　なお、上述では符号化方式がＡＶＣである場合について説明した。例えば、符号化方式がＭＰＥＧ２ｖｉｄｅｏである場合、「depth_information_sei()」は、ピクチャヘッダ部のユーザデータ領域に、ユーザデータ「user_data()」として挿入される。図２３（ａ）は、「user_data()」の構造例(Syntax)を示している。「user_data_start_code」の３２ビットフィールドは、ユーザデータ（user_data）の開始コードであり、“0x000001B2”の固定値とされる。
　この開始コードに続く３２ビットフィールドは、ユーザデータの内容を識別する識別子である。ここでは、「depth_information_sei_data_identifier」とされ、ユーザデータが、「depth_information_sei_data」であることを識別可能とする。この識別子の後のデータ本体として、「depth_information_sei_data()」が挿入される。図２３（ｂ）は、「depth_information_sei_data()」の構造例(Syntax)を示している。この中に、「depth_information_sei()」が挿入される（図１５～図１７、図２０～図２２参照）。
　なお、符号化方式がＡＶＣあるいはＭＰＥＧ２ｖｉｄｅｏである場合におけるビデオストリームへの視差情報の挿入例について説明した。詳細説明は省略するが、その他の同様の構造の符号化方式、例えばＨＥＶＣなどにあっても、ビデオストリームへの視差情報の挿入を同様の構造で行うことができる。
　「送信データ生成部の他の構成例」
　上述の図８に示す送信データ生成部１１０においては、視差データ生成部１１５で生成されたピクチャ毎の視差情報（第１の視差情報、第２の視差情報）をそのままの状態でビデオストリームに挿入する例を示した。しかし、このピクチャ毎の視差情報を、圧縮符号化処理を施してデータ量を低減した後に、ビデオストリームに挿入することも考えられる。
　図２４は、その場合における送信データ生成部１１０Ａの構成例を示している。この図２４において、図８と対応する部分には同一符号を付し、その詳細説明は省略する。この送信データ生成部１１０Ａは、圧縮符号化部１２０を有している。この圧縮符号化部１２０は、視差データ生成部１１５で生成されたピクチャ毎の視差情報（第１の視差情報、第２の視差情報）に圧縮符号化処理を施し、データ量の低減を図る。
　この圧縮符号化部１２０は、例えば、圧縮符号化処理として可変長符号を用いた処理を行う。ビデオエンコーダ１１３は、圧縮符号化部１２０で圧縮符号化された後の各ピクチャの視差情報（第１の視差情報、第２の視差情報）をビデオストリームに挿入する。この図２４に示す送信データ生成部１１０Ａのその他は、図８に示す送信データ生成部１１０と同様に構成され、同様に動作する。
　図２５は、圧縮符号化部１２０の概略構成例を示している。この圧縮符号化部１２０は、バッファ１２１と、減算器１２２と、可変長符号化部１２２を有している。バッファ１２１は、入力されるピクチャ毎の視差情報を一時的に記憶する。減算器１２２は、ピクチャ間の差分データを取得する。可変長符号化部１２２は、可変長符号化を行う。この可変長符号化部１２０は、可変長符号として、例えば、図２６に示す「Exp-Golomb 符号 se(v)」を用いるが、その他の可変長符号を用いることも考えられる。
　この圧縮符号化部１２０は、非予測タイプ（Non-Prediction Type）あるいは予測タイプ（Prediction Type）のいずれかで圧縮符号化の処理を行う。最初に非予測タイプの圧縮符号化処理について説明する。この場合、符号化処理部１２０では、入力される各ピクチャの視差情報そのものに対して、可変長符号化が行われる。したがって、この非予測タイプでの圧縮符号化処理では、図２５に示す圧縮符号化部１２０において、入力される各ピクチャの視差情報はそのまま可変長符号化部１２３に供給される。
　図２７は、予測を行わない、非予測タイプ（Non-Prediction Type）のみの場合を示している。図２７（ａ）は、Ｉピクチャ、Ｐピクチャ、Ｂピクチャのビデオスライス（Video Slice）の表示順の一例を示している。各ビデオスライスに対応して各ピクチャの視差情報（「SEI」で図示）が存在する。図２７（ｂ）は、各ピクチャのデコード順（エンコード順）を示している。各ピクチャの視差情報はそのまま、つまりイントラデータ（「Intra」で図示）の状態で可変長符号化される。
　この非予測タイプの場合、ＳＥＩ予測をしないのでアクセスユニット単位のＳＥＩバッファリングが不要となるが、ＳＥＩ予測をしないので、予測を行う場合と比較して符号化効率が劣る。
　次に、予測タイプの圧縮符号化処理について説明する。この場合、符号化処理部１２０では、入力される各ピクチャの視差情報のうち、参照ピクチャでは、被参照ピクチャとの間の差分データが取得され、その差分データに対して可変長符号化が行われる。したがって、この予測タイプでの圧縮符号化処理では、図２５に示す圧縮符号化部１２０において、参照ピクチャでは、減算器１２２において、被参照ピクチャとの間の差分データが取られて可変長符号化部１２３に供給される。
　この予測タイプ（Prediction Type）として、表示順にＳＥＩを予測参照するタイプ（予測タイプ０：Prediction Type 0）が考えられる。図２８は、予測タイプ０（PredictionType 0）の場合を示している。図２８（ａ）は、Ｉピクチャ、Ｐピクチャ、Ｂピクチャのビデオスライス（VideoSlice）の表示順の一例を示している。図中、矢印は予測をおこなう時の予測対象を示す。各ビデオスライスに対応して各ピクチャの視差情報（「SEI」で図示）が存在する。
　図２８（ｂ）は、各ピクチャのデコード順（エンコード順）を示している。各ピクチャの視差情報は、Ｉピクチャの視差情報は、そのまま、つまりイントラデータ（「Intra」で図示）の状態で可変長符号化される。そして、Ｉピクチャに続く、Ｂピクチャ、Ｐピクチャの視差情報に関しては、表示順で直前のピクチャが被参照ピクチャとされて差分データ（「Delta」で図示）がとられ、この差分データが可変長符号化される。この図２８（ｂ）において、各ピクチャからの矢印の先は、そのピクチャが参照する被参照ピクチャを示している。
　この予測タイプ０（Prediction Type 0）の場合、表示順でＳＥＩ予測をするので、差分データの値を小さく抑えることができ、符号化効率が最も高くなる。しかし、ＳＥＩ予測順がビデオエンコード順と一致しないので、ＳＥＩをバッファに溜める必要がある。また、Ｂスキップ（B skip）などの特殊再生に不向きである。
　また、予測タイプ（Prediction Type）として、デコード順にＳＥＩを予測参照するタイプが考えられる。そして、この予測タイプとして、ビデオピクチャタイプと合わせたＳＥＩ予測を行うタイプ（予測タイプ１：Prediction Type 1）が考えられる。図２９は、予測タイプ１（Prediction Type 1）の場合を示している。図２９（ａ）は、Ｉピクチャ、Ｐピクチャ、Ｂピクチャのビデオスライス（VideoSlice）の表示順の一例を示している。各ビデオスライスに対応して各ピクチャの視差情報（「SEI」で図示）が存在する。
　図２９（ｂ）は、各ピクチャのデコード順を示している。Ｉピクチャの視差情報は、そのまま、つまりイントラデータ（「Intra」で図示）の状態で可変長符号化される。そして、Ｉピクチャに続く、Ｂピクチャ、Ｐピクチャの視差情報に関しては、デコード順で、ビデオピクチャタイプと合わせたピクチャが被参照ピクチャとされて差分データ（「Delta」で図示）がとられ、この差分データが可変長符号化される。この図２９（ｂ）において、各ピクチャからの矢印の先は、そのピクチャが参照する被参照ピクチャを示している。
　この予測タイプ１（Prediction Type 1）の場合、ＳＥＩ予測順は、ビデオのピクチャタイプを含め、ビデオ符号化順に一致する。ライブエンコーディング向きであり、Ｂスキップ（B skip）などの特殊再生にも対応可能である。しかし、ＳＥＩ予測が複数フレームを跨ぐので、上述の予測タイプ０（Prediction Type 0）に比べて符号化効率が劣る可能性がある。
　また、予測タイプ（Prediction Type）として、デコード順にＳＥＩを予測参照するタイプで、直前にデコードしたＳＥＩを参照するタイプ（予測タイプ２：Prediction Type 2）が考えられる。図３０は、予測タイプ２（Prediction Type 2）の場合を示している。図３０（ａ）は、Ｉピクチャ、Ｐピクチャ、Ｂピクチャのビデオスライス（VideoSlice）の表示順の一例を示している。各ビデオスライスに対応して各ピクチャの視差情報（「SEI」で図示）が存在する。
　図３０（ｂ）は、各ピクチャのデコード順（エンコード順）を示している。Ｉピクチャの視差情報は、そのまま、つまりイントラデータ（「Intra」で図示）の状態で可変長符号化される。そして、Ｉピクチャに続く、Ｂピクチャ、Ｐピクチャの視差情報に関しては、デコード順で、直前のピクチャが被参照ピクチャとされて差分データ（「Delta」で図示）がとられ、この差分データが可変長符号化される。この図３０（ｂ）において、各ピクチャからの矢印の先は、そのピクチャが参照する被参照ピクチャを示している。
　この予測タイプ２（Prediction Type 2）の場合、ＳＥＩ予測順は、ビデオ符号化順に一致するが。ＳＥＩ予測はビデオのピクチャタイプに依存しない。ライブエンコーディング向きではあるが、ＳＥＩ予測が複数フレームを跨ぐので、上述の予測タイプ０（Prediction Type 0）に比べて符号化効率が劣る可能性がある。
　また、予測タイプ（Prediction Type）として、デコード順にＳＥＩを予測参照するタイプで、ビデオピクチャタイプと合わせたＳＥＩ予測を行うと共に、Ｉピクチャ、Ｐピクチャ等の被参照ピクチャのみで視差情報を伝送するタイプ（予測タイプ３：Prediction Type 3）が考えられる。図３１は、予測タイプ３（Prediction Type 3）の場合を示している。図３１（ａ）は、Ｉピクチャ、Ｐピクチャ、Ｂピクチャのビデオスライス（VideoSlice）の表示順の一例を示している。各ビデオスライスに対応して各ピクチャの視差情報（「SEI」で図示）が存在する。
　図３１（ｂ）は、各ピクチャのデコード順を示している。Ｉピクチャの視差情報は、そのまま、つまりイントラデータ（「Intra」で図示）の状態で可変長符号化される。そして、Ｉピクチャに続く、Ｐピクチャ、さらには図示しない被参照Ｂピクチャの視差情報に関しては、デコード順で、ビデオピクチャタイプと合わせたピクチャが被参照ピクチャとされて差分データ（「Delta」で図示）がとられ、この差分データが可変長符号化される。この図３１（ｂ）において、各ピクチャからの矢印の先は、そのピクチャが参照する被参照ピクチャを示している。ＳＥＩ情報が符号化されないピクチャ（Ｂピクチャ）のＳＥＩ情報は、デコーダにおいて、表示順で前後の被参照ピクチャに符号化される２つのＳＥＩの情報から補間される。
　この予測タイプ３（Prediction Type 3）の場合、ＳＥＩ予測順は、ビデオのピクチャタイプを含め、ビデオ符号化順に一致する。ライブエンコーディング向きであり、Ｂスキップ（B skip）などの特殊再生にも対応可能である。Ｉピクチャ、Ｐピクチャ、被参照Ｂピクチャなどの被参照ピクチャのみで視差情報が符号化されて伝送されるので、符号化効率が向上する。しかし、ＳＥＩ予測が複数フレームを跨ぐので、上述の予測タイプ０（Prediction Type 0）に比べて符号化効率が劣る。また、非符号化ＳＥＩ情報を補間して各ピクチャに割り当てるので、視差情報（disparity）の予測先までの時間的距離としてのピクチャ数を明示する必要がある。
　ＡＶＣのビデオストリーム( Frame Compatible、 あるいはＭＶＣ) をＭＰＥＧ２－ＴＳコンテナで伝送する場合、アクセスユニット（Access Unit）ごとに、その先頭にＡＵＤ（Access Unit Delimiter) が付される。ＡＵＤの情報は、「primary_pic_type」として、I or P の場合、「primary_pic_type = 1 」いう値で示される。これは、該当するアクセスユニット(通常　1 picture) が被参照ピクチャであることを意味する。ビデオのパケット順は、「AUD 」-「SPS」-「PPS」-「SEI」-「Slice 」で構成される。そのため、デコーダは、「Slice」をデコードするよりも早く、ＳＥＩの中身の情報を正しくデコードするために、ＡＵＤの情報を用いる。なお、被参照ピクチャには、ＡＶＣの場合は、上述したように、Ｉピクチャ、Ｐピクチャに、被参照Ｂピクチャも加えられる。
　なお、上述の予測タイプ３（Prediction Type 3）の場合、Ｉピクチャ、Ｐピクチャ、被参照Ｂピクチャなどの被参照ピクチャのみで視差情報が符号化されて伝送される。そのため、デコーダ側（受信側）では、視差情報の送信のないピクチャでは、例えば、前後のピクチャの視差情報から補間で求めるようにされる。例えば、図３１（ｂ）において、“SEI0”と“SEI3”とで伝送される視差情報に基づいて、B1, B2に相当するピクチャに対する視差情報が求められる。補間値が小数になる場合、「subpixel disparity」に対応したデコーダ（受信機）では、グラフィクス表示位置の動的なアップデータをよりスムーズに行うことが可能となる。
　図３２、図３３および図３４は、それぞれ、ピクチャ毎の圧縮符号化された視差情報をピクチャ単位で挿入する場合における「depth_information_sei()」の構造例(Syntax)を示している。図１８には、これらの構造例における主要な情報の内容（Semantics）が示されている。詳細説明は省略するが、これらの構造例は、視差情報が圧縮符号化されたものであることを除き、上述した図１５、図１６および図１７に示す構造例(Syntax)と同様である。
　図３５、図３６および図３７は、それぞれ、ピクチャ毎の圧縮符号化された視差情報をＧＯＰ単位で挿入する場合のように、複数のピクチャをまとめて符号化する場合における、「depth_information_sei()」の構造例(Syntax)を示している。図１８には、これらの構造例における主要な情報の内容（Semantics）が示されている。詳細説明は省略するが、これらの構造例は、視差情報が圧縮符号化されたものであることを除き、上述した図２０、図２１および図２２に示す構造例(Syntax)と同様である。
　図３８は、予測タイプ３（Prediction Type 3）の場合に適用可能な「depth_information_sei()」の構造例(Syntax)を示している。図１８には、これらの構造例における主要な情報の内容（Semantics）が示されている。「picture_count_for_skipping」のフィールドは、視差情報（disparity）の予測先としての以前の被参照ピクチャまでのピクチャ数を示す。なお、このフィールドの情報は、例えば、図３９に示す「Exp-Golomb 符号 ue(v)」等を用いて、ピクチャ数を可変長符号化した後に挿入することも考えられる。
　「partition_enabled_flag」の１ビットのフラグ情報は、画面が分割されているか否かを示す。このフラグ情報が“１”であるときはピクチャ表示画面が分割されていることを示し、このフラグ情報が“０”であるときは画面が分割されていないことを示す。このフラグ情報により、受信側では、送信されてくる視差情報がピクチャ表示画面全体に対応するものであるか複数の分割領域毎のものであるのかを容易に把握可能となる。
　なお、上述の図１５～図１７、図２０～図２２、図３２～図３７に示す各構造例(Syntax)において、「partition_type」の３ビットフィールドを、この「partition_enabled_flag」の１ビットのフラグ情報で置き換えることも可能である。あるいは、「partition_type」の３ビットフィールドを、この「partition_enabled_flag」と同様のフラグ情報として扱うことも可能である。その場合、３ビットのうちのいずれかのビットが“１”であるときはピクチャ表示画面が分割されていることを示し、３ビットの全てが“０”であるときは画面が分割されていないことを示すものとする。
　図３８に戻って、「Intra_disparity_flag」の１ビットのフラグ情報は、視差情報（disparity）の値が非予測値（イントラデータ）であるか否かを示す。このフラグ情報が“１”であるときは非予測値（イントラデータ）であることを示し、このフラグ情報が“０”であるときは予測値（差分データ）であることを示す。なお、上述の図３２～図３７に示す各構造例(Syntax)においても、この「Intra_disparity_flag」の１ビットのフラグ情報をさらに付加するようにしてもよい。この場合、受信側では、挿入されている視差情報がイントラデータであるか差分データであるかを容易に把握可能となる。
　「partition_count」の４ビットフィールドは、分割領域（Partition）の総数を示す。「max_disparity_in_partition」のフィールドは、各分割領域（Partition）の第２の視差情報、つまり各分割領域における最大の視差情報（disparity値）を示す。「min_disparity_in_partition」のフィールドは、各分割領域（Partition）の第１の視差情報、つまり各分割領域における最小の視差情報（disparity値）を示す。
　図３８に示す「depth_information_sei()」の構造例(Syntax)は、図３２に示す「depth_information_sei()」の構造例(Syntax)に対応したものである。図示は省略するが、その他の図３３～図３７に示す「depth_information_sei()」の構造例(Syntax)に対応したものも同様に考えられる。なお、図３８に示す「depth_information_sei()」の構造例(Syntax)の代わりに、図４０に示す「depth_information_sei()」の構造例(Syntax)も考えられる。この場合、「partition_type」の３ビットフィールドは、例えば、「partition_enabled_flag」と同様のフラグ情報として扱われる。
　「セットトップボックスの説明」
　セットトップボックス２００は、放送局１００から放送波に載せて送られてくるトランスポートストリームＴＳを受信する。また、セットトップボックス２００は、このトランスポートストリームＴＳに含まれるビデオストリームをデコードして、立体画像を構成する左眼画像データおよび右眼画像データを生成する。また、セットトップボックス２００は、ビデオストリームに挿入されている、画像データのピクチャ毎の視差情報（第１の視差情報、第２の視差情報）を抽出する。
　セットトップボックス２００は、第１の視差情報および第２の視差情報に基づいて、例えば、最も手前のオブジェクト再生位置に対する視差角（交差方向の視差角）および最も奥のオブジェクト再生位置に対する視差角（同側方向の視差角）が視聴上健康を害さない所定の範囲内にあるか否かをチェックする。そして、セットトップボックス２００は、所定の範囲内に収まっていない場合には、収まるによう左眼画像データおよび右眼画像データを再構成すると共に、第１の視差情報および第２の視差情報を修正する。
　また、セットトップボックス２００は、画像にグラフィクス（ＳＴＢグラフィクス）を重畳表示する際には、画像データおよび視差情報（第１の視差情報）と、グラフィクスデータとを用いて、グラフィクスが重畳された左眼画像および右眼画像のデータを得る。この場合、セットトップボックス２００は、左眼画像および右眼画像に重畳されるグラフィクスに、ピクチャ毎に、このグラフィクスの表示位置に対応した視差を付与し、グラフィクスが重畳された左眼画像のデータおよびグラフィクスが重畳された右眼画像のデータを得る。
　上述のようにグラフィクスに視差を付与することで、立体画像に重畳表示されるグラフィクス（ＳＴＢグラフィクス）を、その表示位置における立体画像のオブジェクトよりも手前に表示させることができる。これにより、ＯＳＤあるいはアプリケーションあるいは番組情報のＥＰＧなどのグラフィクスを画像に重畳表示する場合に、画像内の各オブジェクトに対する遠近感の整合性を維持できる。
　図４１は、視差情報によるグラフィクスの奥行き制御の概念を示している。視差情報がマイナス値である場合、スクリーン上において左眼表示用のグラフィクスが右側に、右眼表示用のグラフィクスが左側にずれるように視差が付与される。この場合、グラフィクスの表示位置はスクリーンよりも手前となる。また、視差情報がプラス値である場合、スクリーン上において左眼表示用のグラフィクスが左側に、右眼表示用のグラフィクスが右側にずれるように視差が付与される。この場合、グラフィクスの表示位置はスクリーンよりも奥となる。
　上述したように、ビデオストリームには、画像データのピクチャ毎に取得された視差情報が挿入されている。そのため、セットトップボックス２００は、視差情報によるグラフィクスの奥行き制御を、グラフィクスの表示タイミングに合った視差情報を用いて精度よく行うことができる。
　また、図４１は、同側方向の視差角（θ0－θ2）と、交差方向の視差角（θ0－θ1）を示している。セットトップボックス２００においては、ビデオストリームに挿入されてくるピクチャ毎の第１の視差情報および第２の視差情報に基づいて、これらの視差角が視聴上健康を害さない所定の範囲内にあるか否かがチェックされる。
　図４２は、ビデオストリームにピクチャ単位で視差情報が挿入されている場合の例であって、セットトップボックス２００では、画像データのピクチャタイミングで順次視差情報が取得される。グラフィクスの表示に当たっては、グラフィクスの表示タイミングに合った視差情報（第１の視差情報）が使用され、グラフィクスに適切な視差が付与される。また、図４３は、例えば、ビデオストリームにＧＯＰ単位で視差情報が挿入されている場合の例であって、セットトップボックス２００では、画像データのＧＯＰの先頭タイミングで、ＧＯＰ内の各ピクチャの視差情報（視差情報セット）がまとめて取得される。グラフィクス（ＳＴＢグラフィクス）の表示に当たっては、グラフィクスの表示タイミングに合った視差情報（第１の視差情報）が使用され、グラフィクスに適切な視差が付与される。
　図４４（ａ）の「Side View」は、画像上における字幕（サブタイトル）およびＯＳＤグラフィクスの表示例を示している。この表示例では、背景、中景オブジェクトおよび近景オブジェクトとからなる画像上に、字幕およびグラフィクスが重畳された例である。図４４（ｂ）の「Top View」は、背景、中景オブジェクト、近景オブジェクト、字幕およびグラフィクスの遠近感を示している。字幕およびグラフィクスは、表示位置に対応するオブジェクトよりも手前にあるように認識されることを示している。なお、図示していないが、字幕とグラフィクスの表示位置が重なる場合には、例えば、グラフィクスが字幕よりも手前に認識されるように、グラフィクスに適切な視差が付与される。
　「セットトップボックスの構成例」
　図４５は、セットトップボックス２００の構成例を示している。セットトップボックス２００は、コンテナバッファ２１１と、デマルチプレクサ２１２と、コーデッドバッファ２１３と、ビデオデコーダ２１４と、デコーデッドバッファ２１５と、スケーラ２１６と、Ｌ／Ｒ再構成部２６３と、重畳部２１７を有している。また、セットトップボックス２００は、圧縮復号化部２６１と、視差情報バッファ２１８と、視差情報制御部２６２と、セットトップボックス（ＳＴＢ）グラフィクス発生部２１９と、奥行き制御部２２０と、グラフィクスバッファ２２１を有している。
　また、セットトップボックス２００は、コーデッドバッファ２３１と、サブタイトルデコーダ２３２と、ピクセルバッファ２３３と、サブタイトル視差情報バッファ２３４と、サブタイトル表示制御部２３５を有している。さらに、セットトップボックス２００は、コーデッドバッファ２４１と、オーディオデコーダ２４２と、オーディオバッファ２４３と、チャネルミキシング部２４４と、ＨＤＭＩ送信部２５１を有している。
　コンテナバッファ２１１は、図示しないデジタルチューナ等で受信されたトランスポートストリームＴＳを一時的に記憶する。このトランスポートストリームＴＳには、ビデオストリーム、サブタイトルストリームおよびオーディオストリームが含まれている。ビデオストリームとして、左眼画像データおよび右眼画像データが符号化されて得られた１つあるいは２つのビデオストリームが含まれている。
　例えば、左眼画像データおよび右眼画像データによりサイド・バイ・サイド方式あるいはトップ・アンド・ボトム方式の画像データが構成されて１つのビデオストリームで送られてくることがある。また、例えば、左眼画像データおよび右眼画像データが、ＭＶＣのベースビューストリーム、ノンベースビューストリームのように、それぞれ、別個のビデオストリームで送られてくることがある。
　デマルチプレクサ２１２は、コンテナバッファ２１１に一時的に記憶されたトランスポートストリームＴＳから、ビデオ、サブタイトルおよびオーディオの各ストリームを抽出する。また、デマルチプレクサ２１２は、このトランスポートストリームＴＳから、ビデオストリームに視差情報が挿入されているか否かを示す識別情報（「graphics_depth_info_not_existed_flag[0]」のフラグ情報）を抽出し、図示しない制御部（ＣＰＵ）に送る。ビデオデコーダ２１４は、制御部（ＣＰＵ）の制御のもと、識別情報が視差情報の挿入を示すとき、後述するように、ビデオストリームから視差情報（第１の視差情報、第２の視差情報）を取得する。
　コーデッドバッファ２１３は、デマルチプレクサ２１２で抽出されるビデオストリームを一時的に記憶する。ビデオデコーダ２１４は、コーデッドバッファ２１３に記憶されているビデオストリームにデコード処理を行って、左眼画像データおよび右眼画像データを取得する。また、ビデオデコーダ２１４は、ビデオストリームに挿入されている画像データのピクチャ毎の視差情報（第１の視差情報、第２の視差情報）を取得する。デコーデッドバッファ２１５は、ビデオデコーダ２１４で取得された左眼画像データおよび右眼画像データを一時的に記憶する。
　圧縮復号化部２６１は、ビデオデコーダ２１４で取得された画像データのピクチャ毎の視差情報（第１の視差情報、第２の視差情報）を入力し、この入力視差情報が圧縮符号化されたものであるとき、復号化処理を行う。入力視差情報が圧縮符号化されていないものであるとき、圧縮復号化部２６１は、その入力視差情報をそのまま出力視差情報とする。
　この圧縮復号化部２６１は、図２４に示す送信データ生成部１１０Ａにおける圧縮符号化部１２０とは逆の処理を行う。図４６は、圧縮復号化部２６１の概略構成例を示している。この圧縮復号化部２６１は、可変長復号化部２６４と、バッファ２６５と、加算部２６６を有している。可変長復号化部２６４は、圧縮符号化された入力視差情報に対して可変長復号化を行う。バッファ２６５は、復号化された出力視差情報を一時的に記憶する。加算部２６６は、参照ピクチャの差分データを被参照ピクチャの視差情報に加算して、参照ピクチャの出力視差情報を得る。
　図４５に戻って、視差情報バッファ２１８は、圧縮復号化された視差情報（第１の視差情報、第２の視差情報）を、一時的に記憶する。視差情報制御部２６２は、視差情報バッファ２１８に記憶されているピクチャ毎の第１の視差情報および第２の視差情報に基づいて、最も手前のオブジェクト再生位置に対する視差角（交差方向の視差角）および最も奥のオブジェクト再生位置に対する視差角（同側方向の視差角）が視聴上健康を害さない所定の範囲内にあるか否かをチェックする。
　また、この視差情報制御部２６２は、視差角が所定の範囲内に収まっていない場合には、視差角が所定の範囲内に収まるように、Ｌ／Ｒ再構成部２６３に左眼画像データおよび右眼画像データの再構成を指示する。また、視差情報制御部２６２は、再構成される左眼画像データおよび右眼画像データに合わせて第１の視差情報および／または第２の視差情報を修正して出力する。なお、視差情報制御部２６２は、視差角が所定の範囲内に収まっている場合には、Ｌ／Ｒ再構成部２６３に左眼画像データおよび右眼画像データの再構成を指示することはなく、また、第１の視差情報および第２の視差情報を修正することなくそのまま出力する。
　図４７の上部は、受信データ（左眼画像データおよび右眼画像データ）における手前（near）側と奥（far）側の視差角の時間推移の一例を示している。範囲ｄは、視聴上健康に害を及ばさない視差角の範囲を示している。この例では、奥（far）側の視差角に範囲ｄに収まらない区間がある。
　図４７の下部は、再構成後のデータ（左眼画像データおよび右眼画像データ）における手前（near）側と奥（far）側の視差角の時間推移の一例を示している。（ａ）は、範囲ｄを越えた際にリミット制御をした場合の例である。（ｂ）は、範囲ｄを越えないように、全体の奥行き量（depth volume）を低減した場合の例である。
　図４８は、視差情報制御部２６２の構成例を示している。この視差情報制御部２６２は、最大値取得部２７１と、最小値取得部２７２と、視差角チェック部２７２と、視差情報補正部２７４を有している。最大値取得部２７１は、受信された第２の視差情報（Max disparity）から最大値のものを選択して、視差角チェック部２７３に供給する。受信された第２の視差情報は、ピクチャ画面全体のものである場合には一個であり、複数の分割領域毎のものであれば複数個となる。最小値取得部２７２は、受信された第１の視差情報（Min disparity）から最小値のものを選択して、視差角チェック部２７３に供給する。受信された第１の視差情報は、ピクチャ画面全体のものである場合には一個であり、複数の分割領域毎のものであれば複数個となる。
　視差角チェック部２７３は、第１の視差情報および第２の視差情報に基づいて、手前側の視差角と奥側の視差角が、視聴上健康に害を及ばさない視差角の範囲ｄ（図４７参照）に収まっているか否かをチェックし、そのチェック結果を視差情報補正部２７４に供給する。視差情報補正部２７４は、視差角が範囲ｄに収まっていないとき、視差角が範囲ｄに収まるように、Ｌ／Ｒ再構成部２６３に、受信された左眼画像データおよび右眼画像データの再構成を指示する。
　また、視差情報補正部２７４には、受信された第１の視差情報（Min disparity）および第２の視差情報（Max disparity）が供給されている。視差情報補正部２７４は、上述の左眼画像データおよび右眼画像データの再構成指示に合わせて第１の視差情報および第２の視差情報に対して修正処理を行って、修正後の第１の視差情報（Corrected Min disparity）および第２の視差情報(Corrected Max disparity）を出力する。なお、視差情報補正部２７４は、視差角が範囲ｄに収まっているときには、Ｌ／Ｒ再構成部２６３に左眼画像データおよび右眼画像データの再構成を指示することはなく、また、第１の視差情報および第２の視差情報を修正することなくそのまま出力する。
　図４５に戻って、スケーラ２１６は、デコーデッドバッファ２１５から出力される左眼画像データおよび右眼画像データに対して、必要に応じて、水平方向や垂直方向のスケーリング処理を行う。例えば、左眼画像データおよび右眼画像データがサイド・バイ・サイド方式あるいはトップ・アンド・ボトム方式の画像データとして１つのビデオストリームで送られてくる場合には、水平方向あるいは垂直方向に２倍にスケールアップして出力する。また、例えば、左眼画像データおよび右眼画像データがＭＶＣのベースビューストリーム、ノンベースビューストリームのように、それぞれ、別個のビデオストリームで送られてくる場合には、スケーリング処理を行うことなく、左眼画像データおよび右眼画像データをそのまま出力する。
　Ｌ／Ｒ再構成部２６３は、左眼画像データおよび右眼画像データを再構成する。すなわち、Ｌ／Ｒ再構成部２６３は、同側方向または交差方向の視差角のいずれかが視聴上健康を害さない所定の範囲内からはみ出るとき、上述の視差情報制御部２６２からの再構成指示に基づいて、所定の範囲内に収まるように左眼画像データおよび右眼画像データを再構成する。
　コーデッドバッファ２３１は、デマルチプレクサ２１４で抽出されるサブタイトルストリームを一時的に記憶する。サブタイトルデコーダ２３２は、上述の送信データ生成部１１０のサブタイトルエンコーダ１１７（図８参照）とは逆の処理を行う。すなわち、サブタイトルデコーダ２３２は、コーデッドバッファ２３１に記憶されているサブタイトルストリームのデコード処理を行って、サブタイトルデータを得る。
　このサブタイトルデータには、サブタイトル（字幕）のビットマップデータと、このサブタイトルの表示位置情報「Subtitle rendering position (x2,y2）」と、サブタイトル（字幕）の視差情報「Subtitle disparity」が含まれている。ピクセルバッファ２３３は、サブタイトルデコーダ２３２で得られるサブタイトル（字幕）のビットマップデータおよびサブタイトル（字幕）の表示位置情報「Subtitle rendering position (x2,y2）」を一時的に記憶する。サブタイトル視差情報バッファ２３４は、サブタイトルデコーダ２３２で得られるサブタイトル（字幕）の視差情報「Subtitle disparity」を一時的に記憶する。
　サブタイトル表示制御部２３５は、サブタイトル（字幕）のビットマップデータと、このサブタイトル（字幕）の表示位置情報および視差情報に基づいて、視差が付与された左眼表示用および右眼表示用のサブタイトルのビットマップデータ「Subtitle data」を生成する。セットトップボックス（ＳＴＢ）グラフィクス発生部２１９は、ＯＳＤあるいはアプリケーション、あるいはＥＰＧなどのグラフィクスデータを発生する。このグラフィクスデータには、グラフィクスビットマップデータ「Graphics data」と、このグラフィクスの表示位置情報「Graphics rendering position (x1,y1）」が含まれている。
　グラフィクスバッファ２２１は、セットトップボックスグラフィクス発生部２１９で発生されたグラフィクスビットマップデータ「Graphics data」を一時的に記憶する。重畳部２１７は、左眼画像データおよび右眼画像データに、それぞれ、サブタイトル表示制御部２３５で生成された左眼表示用および右眼表示用のサブタイトルのビットマップデータ「Subtitle data」を重畳する。
　また、重畳部２１７は、左眼画像データおよび右眼画像データに、それぞれ、グラフィクスバッファ２２１に記憶されているグラフィクスビットマップデータ「Graphics data」を重畳する。この際、左眼画像データおよび右眼画像データのそれぞれに重畳されるグラフィクスビットマップデータ「Graphics data」には、後述する奥行き制御部２２０により、視差が付与される。ここで、グラフィクスビットマップデータ「Graphics data」がサブタイトルのビットマップデータ「Subtitle data」と同一画素を共有する場合、重畳部２１７は、サブタイトルデータの上にグラフィクスデータを上書きする。
　奥行き制御部２２０は、左眼画像データおよび右眼画像データのそれぞれに重畳されるグラフィクスビットマップデータ「Graphics data」に視差を付与する。そのため、奥行き制御部２２０は、画像データのピクチャ毎に、左眼表示用および右眼表示用のグラフィクスの表示位置情報「Rendering position」を生成し、グラフィクスバッファ２２１に記憶されているグラフィクスビットマップデータ「Graphics data」の左眼画像データおよび右眼画像データへの重畳位置のシフト制御を行う。
　奥行き制御部２２０は、図４９に示すように、以下の情報を用いて、表示位置情報「Rendering position」を生成する。すなわち、奥行き制御部２２０は、視差情報制御部２６２から出力されるピクチャ毎の第１の視差情報（Min disparity）を用いる。また、奥行き制御部２２０は、ピクセルバッファ２３３に記憶されているサブタイトル（字幕）の表示位置情報「Subtitle rendering position (x2,y2）」を用いる。
　また、奥行き制御部２２０は、サブタイトル視差情報バッファ２３４に記憶されているサブタイトル（字幕）の視差情報「Subtitle disparity」を用いる。また、奥行き制御部２２０は、セットトップボックスグラフィクス発生部２１９で発生されるグラフィクスの表示位置情報「Graphics rendering position (x1,y1）」を用いる。また、奥行き制御部２２０は、ビデオストリームに視差情報が挿入されているか否かを示す識別情報を用いる。
　また、奥行き制御部２２０は、視差情報制御部２６２から出力されるピクチャ毎の第１の視差情報（Min disparity）を、字幕あるいはグラフィクスの画像への重畳に応じて更新する。この場合、奥行き制御部２２０は、サブタイトル（字幕）の表示位置およびグラフィクスの表示位置に対応した分割領域（Partition）の視差情報（Disparity）の値を、例えば、サブタイトル（字幕）あるいはグラフィクスの視差付与に用いられた視差情報（Disparity）の値に更新する。
　図５０、図５１のフローチャートは、奥行き制御部２２０の制御処理の手順の一例を示している。奥行き制御部２２０は、この制御処理を、グラフィクス表示を行う各ピクチャ（フレーム）で実行する。奥行き制御部２２０は、ステップＳＴ１において、制御処理を開始する。その後に、ステップＳＴ２において、識別情報に基づいて、ビデオストリームにグラフィクス向けの視差情報の挿入があるか否かを判断する。
　ビデオストリームに視差情報の挿入があるとき、奥行き制御部２２０は、ステップＳＴ３の処理に移る。このステップＳＴ３において、グラフィクスを重畳表示（overlay）する座標が含まれる分割領域（partition）を全て検査する。そして、奥行き制御部２２０は、ステップＳＴ４において、対象となる分割領域（partition）の視差情報（disparity）を比較し、最適な値、例えば最小値を選択して、グラフィクス視差情報（disparity）の値（graphics_disparity）とする。
　次に、奥行き制御部２２０は、ステップＳＴ５の処理に移る。上述のステップＳＴ２でビデオストリームに視差情報の挿入がないとき、奥行き制御部２２０は、直ちに、ステップＳＴ５の処理に移る。このステップＳＴ５において、奥行き制御部２２０は、視差情報（disparity）を持ったサブタイトルストリーム（Subtitle stream）があるか否かを判断する。
　視差情報（disparity）を持ったサブタイトルストリーム（Subtitle stream）があるとき、奥行き制御部２２０は、ステップＳＴ６において、サブタイトル用の視差情報（disparity）の値（subtitle_disparity）と、グラフィクス用の視差情報の値（graphics_disparity）とを比較する。なお、グラフィクス用の視差情報の値（graphics_disparity）は、ビデオストリームにグラフィクス用の視差情報（disparity）の挿入がないときは、例えば、「０」とされる。
　次に、奥行き制御部２２０は、ステップＳＴ７において、「subtitle_disparity＞（graphics_disparity）の条件を満足するか否かを判断する。この条件を満足するとき、奥行き制御部２２０は、ステップＳＴ８において、グラフィクスバッファ２２１に記憶されているグラフィクスビットマップデータ「Graphics data」に対して、グラフィクス用の視差情報（disparity）の値（graphics_disparity）と同等の値を用いて、表示位置がシフトされた左眼表示用および右眼表示用のグラフィクスビットマップデータを得て、それぞれ、左眼画像データおよび右眼画像データに重畳する。
　次に、奥行き制御部２２０は、ステップＳＴ９において、サブタイトルあるいはグラフィクスを重畳させた画面位置に相当する分割領域（Partition）の視差情報（disparity）の値を更新する。奥行き制御部２２０は、ステップＳＴ９の処理の後、ステップＳＴ１０において、制御処理を終了する。
　一方、ステップＳＴ７で条件を満足しないとき、奥行き制御部２２０は、ステップＳＴ１０において、グラフィクスバッファ２２１に記憶されているグラフィクスビットマップデータ「Graphics data」に対して、サブタイトル用の視差情報（disparity）よりも小さい値を用いて、表示位置がシフトされた左眼表示用および右眼表示用のグラフィクスビットマップデータを得て、それぞれ、左眼画像データおよび右眼画像データに重畳する。奥行き制御部２２０は、ステップＳＴ１１の処理の後、ステップＳＴ９の処理を経て、ステップＳＴ１０において、制御処理を終了する。
　また、ステップＳＴ５で視差情報（disparity）を持ったサブタイトルストリーム（Subtitle stream）がないとき、奥行き制御部２２０は、ステップＳＴ１２の処理に移る。このステップＳＴ１２において、奥行き制御部２２０は、ステップＳＴ４において得られるグラフィクス用の視差情報の値（graphics_disparity）を用いるか、あるいはセットトップボックス２００で算出される視差情報（disparity）の値を用いて、グラフィクスの奥行き制御を行う。
　すなわち、奥行き制御部２２０は、グラフィクスバッファ２２１に記憶されているグラフィクスビットマップデータ「Graphics data」に対して、グラフィクス用の視差情報の値（graphics_disparity）あるいは算出される視差情報（disparity）の値を用いて、表示位置がシフトされた左眼表示用および右眼表示用のグラフィクスビットマップデータを得て、それぞれ、左眼画像データおよび右眼画像データに重畳する。奥行き制御部２２０は、ステップＳＴ１２の処理の後、ステップＳＴ９の処理を経て、ステップＳＴ１０において、制御処理を終了する。
　図５２は、セットトップボックス２００におけるグラフィクスの奥行き制御例を示している。この例において、グラフィクス（ＳＴＢグラフィクス）は、右側の８つの分割領域（Partition 2,3,6,7,10,11,14,15）の視差情報のうち最小の値の視差情報に基づいて、左眼表示用のグラフィクスおよび右眼表示用のグラフィクスに視差が付与される。その結果、グラフィクスは、これら８つの分割領域の画像（ビデオ）オブジェクトより手前に表示されるようになる。
　図５３も、セットトップボックス２００におけるグラフィクスの奥行き制御例を示している。この例において、グラフィクス（ＳＴＢグラフィクス）は、右側の８つの分割領域（Partition 2,3,6,7,10,11,14,15）の視差情報のうち最小の値の視差情報、さらにはサブタイトル（字幕）の視差情報に基づいて、左眼表示用のグラフィクスおよび右眼表示用のグラフィクスに視差が付与される。
　その結果、グラフィクスは、これら８つの分割領域の画像（ビデオ）オブジェクトより手前で、さらに、サブタイトル（字幕）よりも手前に表示されるようになる。なお、この場合、サブタイトル（字幕）も、サブタイトル（字幕）の視差情報に基づいて、サブタイトルの表示位置に対応した４つの分割領域（Partition 8,9,10,11）の画像（ビデオ）オブジェクトより手前に表示されるようになる。
　なお、この図５３の奥行き制御例の場合の視差情報の更新処理は、例えば、以下のように行われる。すなわち、最初に、サブタイトルの表示位置に対応した４つの分割領域（Partition 8,9,10,11）の視差情報（Disparity）の値が、サブタイトルへの視差付与に使用された視差情報値（subtitle_disparity）で更新される。その後、８つの分割領域（Partition2,3,6,7,10,11,14,15）の視差情報（Disparity）の値が、グラフィクスへの視差付与に使用された視差情報値（graphics_disparity）で更新される。
　図４５に戻って、コーデッドバッファ２４１は、デマルチプレクサ２１２で抽出されるオーディオストリームを一時的に記憶する。オーディオデコーダ２４２は、上述の送信データ生成部１１０のオーディオエンコーダ１１９（図８参照）とは逆の処理を行う。すなわち、オーディオデコーダ２４２は、コーデッドバッファ２４１に記憶されているオーディオストリームの復号化処理を行って、復号化された音声データを得る。オーディオバッファ２４３は、オーディオデコーダ２４２で得られる音声データを一時的に記憶する。チャネルミキシング部２４４は、オーディオバッファ２４３に記憶されている音声データに対して、例えば５．１chサラウンド等を実現するための各チャネルの音声データを生成して出力する。
　なお、デコーデッドバッファ２１５、視差情報バッファ２１８、ピクセルバッファ２３３、サブタイトル視差情報バッファ２３４およびオーディオバッファ２４３からの情報（データ）の読み出しは、ＰＴＳに基づいて行われ、転送同期が取られる。
　ＨＤＭＩ送信部２５１は、ＨＤＭＩに準拠した通信により、重畳部２１７でサブタイトルおよびグラフィクスの重畳処理がされて得られた左眼画像データおよび右眼画像データと、チャネルミキシング部２４４で得られた各チャネルの音声データを、ＨＤＭＩのシンク機器、この実施の形態ではテレビ受信機３００に送信する。ここで、重畳部２１７で得られる左眼画像データは、左眼表示用のサブタイトル（字幕）およびＳＴＢグラフィクスが重畳された左眼画像のデータである。また、重畳部２１７で得られる右眼画像データは、右眼表示用のサブタイトル（字幕）およびＳＴＢグラフィクスが重畳された右眼画像のデータである。
　また、このＨＤＭＩ送信部２５１は、奥行き制御部２２０で更新された各ピクチャの第１の視差情報（Min disparity）、および視差情報制御部２６２から出力される各ピクチャの第２の視差情報（Max disparity）を、ＨＤＭＩインタフェースで、テレビ受信機３００に送信する。この実施の形態において、これら第１の視差情報および第２の視差情報は、画像データのブランキング期間に挿入されて、送信される。このＨＤＭＩ送信部２５１の詳細は後述する。
　図４５に示すセットトップボックス２００の動作を簡単に説明する。デジタルチューナ等で受信されたトランスポートストリームＴＳは、コンテナバッファ２１１に一時的に記憶される。このトランスポートストリームＴＳには、ビデオストリーム、サブタイトルストリームおよびオーディオストリームが含まれている。ビデオストリームとしては、左眼画像データおよび右眼画像データが符号化されて得られた１つあるいは２つのビデオストリームが含まれている。
　デマルチプレクサ２１２では、コンテナバッファ２１１に一時的に記憶されたトランスポートストリームＴＳから、ビデオ、サブタイトルおよびオーディオの各ストリームが抽出される。また、デマルチプレクサ２１２では、このトランスポートストリームＴＳから、ビデオストリームに視差情報が挿入されているか否かを示す識別情報（「graphics_depth_info_not_existed_flag[0]」のフラグ情報）が抽出され、図示しない制御部（ＣＰＵ）に送られる。
　デマルチプレクサ２１２で抽出されるビデオストリームはコーデッドバッファ２１３に供給されて一時的に記憶される。そして、ビデオデコーダ２１４では、コーデッドバッファ２１３に記憶されているビデオストリームのデコード処理が行われて、左眼画像データおよび右眼画像データが取得される。この左眼画像データおよび右眼画像データは、デコーデッドバッファ２１５に一時的に記憶される。
　また、ビデオデコーダ２１４では、ビデオストリームに挿入されている、画像データのピクチャ毎の視差情報（第１の視差情報、第２の視差情報）が取得される。この視差情報は、圧縮復号化部２６１で適宜圧縮復号化が行われた後に、視差情報バッファ２１８に一時的に記憶される。視差情報制御部２６２では、視差情報バッファ２１８に記憶されているピクチャ毎の第１の視差情報および第２の視差情報に基づいて、最も手前のオブジェクト再生位置に対する視差角（交差方向の視差角）および最も奥のオブジェクト再生位置に対する視差角（同側方向の視差角）が視聴上健康を害さない範囲ｄ（図４７参照）に収まっているか否かがチェックされる。
　そして、この視差情報制御部２６２では、視差角が所定の範囲内に収まっていない場合、視差角が範囲ｄに収まるように、Ｌ／Ｒ再構成部２６３に左眼画像データおよび右眼画像データの再構成を指示することが行われる。また、その場合、この視差情報制御部２６２では、再構成される左眼画像データおよび右眼画像データに合わせて、第１の視差情報および／または第２の視差情報を修正して出力することが行われる。なお、視差情報制御部２６２では、視差角が所定の範囲ｄに収まっている場合には、Ｌ／Ｒ再構成部２６３に左眼画像データおよび右眼画像データの再構成を指示することは行われず、また、第１の視差情報および第２の視差情報は修正されずに出力される。
　スケーラ２１６では、デコーデッドバッファ２１５から出力される左眼画像データおよび右眼画像データに対して、必要に応じて、水平方向や垂直方向のスケーリング処理が行われる。このスケーラ２１６からは、例えば、１９２０＊１０８０のフルＨＤのサイズの左眼画像データおよび右眼画像データが得られる。この左眼画像データおよび右眼画像データは、Ｌ／Ｒ再構成部２６３を介して、重畳部２１７に供給される。
　Ｌ／Ｒ再構成部２６３では、必要に応じて、左眼画像データおよび右眼画像データの再構成を行う。すなわち、Ｌ／Ｒ再構成部２６３では、同側方向または交差方向の視差角のいずれかが視聴上健康を害さない範囲ｄ（図４７参照）に収まっていないとき、視差情報制御部２６２からの再構成指示に基づいて、その視差角が所定の範囲内に収まるように左眼画像データおよび右眼画像データを再構成することが行われる。
　また、デマルチプレクサ２１２で抽出されるサブタイトルストリームは、コーデッドバッファ２３１に供給されて一時的に記憶される。サブタイトルデコーダ２３２では、コーデッドバッファ２３１に記憶されているサブタイトルストリームのデコード処理が行われて、サブタイトルデータが得られる。このサブタイトルデータには、サブタイトル（字幕）のビットマップデータと、このサブタイトルの表示位置情報「Subtitle rendering position (x2,y2）」と、サブタイトル（字幕）の視差情報「Subtitle disparity」が含まれている。
　サブタイトルデコーダ２３２で得られるサブタイトル（字幕）のビットマップデータおよびサブタイトル（字幕）の表示位置情報「Subtitle rendering position (x2,y2）」は、ピクセルバッファ２３３に一時的に記憶される。また、サブタイトルデコーダ２３２で得られるサブタイトル（字幕）の視差情報「Subtitle disparity」はサブタイトル視差情報バッファ２３４に一時的に記憶される。
　サブタイトル表示制御部２３５では、サブタイトル（字幕）のビットマップデータと、このサブタイトル（字幕）の表示位置情報および視差情報に基づいて、視差が付与された左眼表示用および右眼表示用のサブタイトルのビットマップデータ「Subtitle data」が生成される。このように生成された左眼表示用および右眼表示用のサブタイトルのビットマップデータ「Subtitle data」は、重畳部２１７に供給され、それぞれ、左眼画像データおよび右眼画像データに重畳される。
　セットトップボックス（ＳＴＢ）グラフィクス発生部２１９では、ＯＳＤあるいはアプリケーション、あるいはＥＰＧなどのグラフィクスデータが発生される。このグラフィクスデータには、グラフィクスのビットマップデータ「Graphics data」と、このグラフィクスの表示位置情報「Graphics rendering position (x1,y1）」が含まれている。グラフィクスバッファ２２１には、セットトップボックス（ＳＴＢ）グラフィクス発生部２１９で発生されたグラフィクスデータが一時的に記憶される。
　重畳部２１７では、左眼画像データおよび右眼画像データにグラフィクスバッファ２２１に記憶されているグラフィクスビットマップデータ「Graphics data」が重畳される。この際、左眼画像データおよび右眼画像データのそれぞれに重畳されるグラフィクスビットマップデータ「Graphics data」には、奥行き制御部２２０により、視差情報制御部２６２から出力される画像データの各ピクチャの分割領域毎の第１の視差情報のうち、グラフィクスの表示位置に対応した視差情報に基づいて視差が付与される。この場合、グラフィクスビットマップデータ「Graphics data」がサブタイトルのビットマップデータ「Subtitle data」と同一画素を共有する場合、重畳部２１７では、サブタイトルデータの上にグラフィクスデータが上書きされる。
　重畳部２１７からは、左眼表示用のサブタイトル（字幕）およびＳＴＢグラフィクスが重畳された左眼画像のデータが得られると共に、右眼表示用のサブタイトル（字幕）およびＳＴＢグラフィクスが重畳された右眼画像のデータが得られる。この左眼画像データおよび右眼画像データは、ＨＤＭＩ送信部２５１に供給される。
　また、デマルチプレクサ２１２で抽出されるオーディオストリームは、コーデッドバッファ２４１に供給されて一時的に記憶される。オーディオデコーダ２４２では、コーデッドバッファ２４１に記憶されているオーディオスストリームのデコード処理が行われて、復号化された音声データが得られる。この音声データはオーディオバッファ２４３を介してチャネルミキシング部２４４に供給される。チャネルミキシング部２４４では、音声データに対して、例えば５．１chサラウンド等を実現するための各チャネルの音声データが生成される。この音声データは、ＨＤＭＩ送信部２５１に供給される。
　また、奥行き制御部２２０では、視差情報制御部２６２から出力される画像データの各ピクチャの分割領域毎の第１の視差情報が、字幕あるいはグラフィクスの画像への重畳に応じて更新される。この場合、サブタイトル（字幕）の表示位置およびグラフィクスの表示位置に対応した分割領域（Partition）の視差情報（Disparity）の値が、例えば、サブタイトル（字幕）あるいはグラフィクスの視差付与に用いられた視差情報（Disparity）の値に更新される。この更新された視差情報は、ＨＤＭＩ送信部２５１に供給される。また、視差情報制御部２６２から出力される画像データの各ピクチャの第２の視差情報も、ＨＤＭＩ送信部２５１に供給される。
　ＨＤＭＩ送信部２５１により、ＨＤＭＩに準拠した通信により、左眼画像データおよび右眼画像データ、音声データ、さらには、画像データの各ピクチャの視差情報（第１の視差情報、第２の視差情報）が、テレビ受信機３００に送信される。ここで、視差情報は、画像データのブランキング期間に配置される情報パケット、この実施の形態においては、ＨＤＭＩ・ベンダー・スペシフィック・インフォフレーム（HDMI Vendor Specific InfoFrame）に挿入されて送信される。
　［テレビ受信機の説明］
　図１に戻って、テレビ受信機３００は、セットトップボックス２００からＨＤＭＩケーブル４００を介して送られてくる左眼画像データおよび右眼画像データ、音声データ、さらには画像データの各ピクチャの視差情報（第１の視差情報、第２の視差情報）を受信する。
　テレビ受信機３００は、例えば、画像にグラフィクス（ＴＶグラフィクス）を重畳表示する際には、画像データおよび第１の視差情報と、グラフィクスデータとを用いて、グラフィクスが重畳された左眼画像および右眼画像のデータを得る。この場合、テレビ受信機３００は、左眼画像および右眼画像に重畳されるグラフィクスに、ピクチャ毎に、このグラフィクスの表示位置に対応した視差を付与し、グラフィクスが重畳された左眼画像のデータおよびグラフィクスが重畳された右眼画像のデータを得る。
　上述のようにグラフィクスに視差を付与することで、立体画像に重畳表示されるグラフィクス（ＴＶグラフィクス）を、その表示位置における立体画像のオブジェクトよりも手前に表示させることができる。これにより、ＯＳＤあるいはアプリケーションあるいは番組情報のＥＰＧなどのグラフィクスを画像に重畳表示する場合に、画像内の各オブジェクトに対する遠近感の整合性を維持できる。
　また、テレビ受信機３００は、第１の視差情報および第２の視差情報に基づいて、最も手前のオブジェクト再生位置に対する視差角（交差方向の視差角）および最も奥のオブジェクト再生位置に対する視差角（同側方向の視差角）が視聴上健康を害さない範囲ｄ（図４７参照）に収まっているか否かをチェックでき、収まっていない場合は、左眼画像データおよび右眼画像データを再構成できる。
　［テレビ受信機の構成例］
　図５４は、テレビ受信機３００のＨＤＭＩ入力系の構成例を示している。なお、視差角のチェック系に関しては省略している。テレビ受信機３００は、ＨＤＭＩ受信部３１１と、スケーラ３１２と、重畳部３１３と、奥行き制御部３１４と、グラフィクスバッファ３１５と、テレビ（ＴＶ）グラフィクス発生部３１６と、オーディオ処理部３１７を有している。
　ＨＤＭＩ受信部３１１は、ＨＤＭＩに準拠した通信により、ＨＤＭＩのソース機器、この実施の形態ではセットトップボックス２００から、立体画像を構成する左眼画像データおよび右眼画像データと、音声データを受信する。また、このＨＤＭＩ受信部３１１は、画像データの各ピクチャの視差情報（第１の視差情報、第２の視差情報）を、ＨＤＭＩインタフェースで、セットトップボックス２００から受信する。このＨＤＭＩ受信部３１１の詳細は後述する。
　スケーラ３１２は、ＨＤＭＩ受信部３１１で受信された左眼画像データおよび右眼画像データを、必要に応じてスケーリング処理を行う。例えば、スケーラ３１２は、左眼画像データおよび右眼画像データのサイズを表示サイズに合致させる。テレビ（ＴＶ）グラフィクス発生部３１６は、ＯＳＤあるいはアプリケーション、あるいはＥＰＧなどのグラフィクスデータを発生する。このグラフィクスデータには、グラフィクスビットマップデータ「Graphics data」と、このグラフィクスの表示位置情報「Graphics rendering position (x1,y1）」が含まれている。
　グラフィクスバッファ３１５は、テレビグラフィクス発生部３１６で発生されたグラフィクスビットマップデータ「Graphics data」を一時的に記憶する。重畳部３１３は、左眼画像データおよび右眼画像データに、それぞれ、グラフィクスバッファ３１５に記憶されているグラフィクスビットマップデータ「Graphics data」を重畳する。この際、左眼画像データおよび右眼画像データのそれぞれに重畳されるグラフィクスビットマップデータ「Graphics data」には、後述する奥行き制御部３１４により、視差が付与される。
　奥行き制御部３１４は、左眼画像データおよび右眼画像データのそれぞれに重畳されるグラフィクスビットマップデータ「Graphics data」に視差を付与する。そのため、奥行き制御部３１４は、画像データのピクチャ毎に、左眼表示用および右眼表示用のグラフィクスの表示位置情報「Rendering position」を生成し、グラフィクスバッファ３１５に記憶されているグラフィクスビットマップデータ「Graphics data」の左眼画像データおよび右眼画像データへの重畳位置のシフト制御を行う。
　奥行き制御部３１４は、図５５に示すように、以下の情報を用いて、表示位置情報「Rendering position」を生成する。すなわち、奥行き制御部３１４は、ＨＤＭＩ受信部３１１で受信された、画像データのピクチャ毎の各分割領域（Partition）の第１の視差情報（Min disparity）を用いる。また、奥行き制御部３１４は、テレビグラフィクス発生部３１６で発生されるグラフィクスの表示位置情報「Graphics rendering position (x1,y1）」を用いる。また、奥行き制御部３１４は、ＨＤＭＩ受信部３１１で視差情報が受信されているか否かを示す受信情報を用いる。
　図５６のフローチャートは、奥行き制御部３１４の制御処理の手順の一例を示している。奥行き制御部３１４は、この制御処理を、グラフィクス表示を行う各ピクチャ（フレーム）で実行する。奥行き制御部３１４は、ステップＳＴ２１において、制御処理を開始する。その後に、ステップＳＴ２２において、受信情報に基づいて、ＨＤＭＩ受信部３１１でグラフィクス向けの視差情報の受信があるか否かを判断する。なお、ＨＤＭＩ受信部３１１は、後述するHDMI Vendor Specific InfoFrame のパケットの「PRTY」の識別情報が、参照すべき情報としての視差情報の存在を示すとき、当該パケットから視差情報を抽出し、使用に備える。この場合、受信情報は、「受信あり」となる。
　視差情報（disparity）の受信があるとき、奥行き制御部３１４は、ステップＳＴ２３の処理に移る。このステップＳＴ２３において、グラフィクスを重畳表示（overlay）する座標が含まれる分割領域（partition）を全て検査する。そして、奥行き制御部３１４は、ステップＳＴ２４において、対象となる分割領域（partition）の第１の視差情報（Min disparity）を比較し、最適な値、例えば最小値を選択して、グラフィクス視差情報（disparity）の値（graphics_disparity）とする。
　次に、奥行き制御部３１４は、ステップＳＴ２５において、グラフィクスバッファ３１５に記憶されているグラフィクスビットマップデータ「Graphics data」に対して、グラフィクス用の視差情報（disparity）の値（graphics_disparity）と同等の値を用いて、表示位置がシフトされた左眼表示用および右眼表示用のグラフィクスビットマップデータを得て、それぞれ、左眼画像データおよび右眼画像データに重畳する。奥行き制御部３１４は、ステップＳＴ２５の処理の後、ステップＳＴ２６において、制御処理を終了する。
　また、ステップＳＴ２２で視差情報（disparity）の受信がないとき、奥行き制御部３１４は、ステップＳＴ２７において、グラフィクスバッファ３１５に記憶されているグラフィクスビットマップデータ「Graphics data」に対して、テレビ受信機３００で算出される視差情報（disparity）の値を用いて、表示位置がシフトされた左眼表示用および右眼表示用のグラフィクスビットマップデータを得て、それぞれ、左眼画像データおよび右眼画像データに重畳する。奥行き制御部３１４は、ステップＳＴ２７の処理の後、ステップＳＴ２６において、制御処理を終了する。
　図５７は、テレビ受信機３００におけるグラフィクスの奥行き制御例を示している。この例において、ＴＶグラフィクスに関しては、右側の４つの分割領域（Partition 10,11,14,15）の第１の視差情報のうち最小の値の視差情報に基づいて、左眼表示用のグラフィクスおよび右眼表示用のグラフィクスに視差が付与される。その結果、ＴＶグラフィクスは、これら４つの分割領域の画像（ビデオ）オブジェクトより手前に表示される。なお、この場合、サブタイトル（字幕）、さらには、ＳＴＢグラフィクスは、セットトップボックス２００において既に画像（ビデオ）に重畳されている。
　図５４に示すテレビ受信機３００の動作を簡単に説明する。ＨＤＭＩ受信部３１１により、ＨＤＭＩに準拠した通信により、左眼画像データおよび右眼画像データ、音声データ、さらには、画像データの各ピクチャの視差情報（第１の視差情報、第２の視差情報）が、セットトップボックス２００から受信される。
　ＨＤＭＩ受信部３１１で受信された左眼画像データおよび右眼画像データは、スケーラ３１２で必要に応じてスケーリング処理が施された後に、重畳部３１３に供給される。テレビＴＶ）グラフィクス発生部３１６では、ＯＳＤあるいはアプリケーション、あるいはＥＰＧなどのグラフィクスデータが発生される。このグラフィクスデータには、グラフィクスのビットマップデータ「Graphics data」と、このグラフィクスの表示位置情報「Graphicsrendering position (x1,y1）」が含まれている。グラフィクスバッファ３１５には、テレビグラフィクス発生部３１５で発生されたグラフィクスデータが一時的に記憶される。
　重畳部３１３では、左眼画像データおよび右眼画像データにグラフィクスバッファ３１５に記憶されているグラフィクスビットマップデータ「Graphics data」が重畳される。この際、左眼画像データおよび右眼画像データのそれぞれに重畳されるグラフィクスビットマップデータ「Graphics data」には、奥行き制御部３１４により、グラフィクスの表示位置に対応した第１の視差情報（Min disparity）に基づいて視差が付与される。
　奥行き制御部３１４では、その制御のために、ＨＤＭＩ受信部３１１で受信された、画像データのピクチャ毎の各分割領域（Partition）の第１の視差情報と、テレビグラフィクス発生部３１６で発生されるグラフィクスの表示位置情報「Graphics rendering position (x1,y1）」とが用いられる。
　重畳部３１３からは、左眼表示用のＴＶグラフィクスが重畳された左眼画像のデータが得られると共に、右眼表示用のＴＶグラフィクスが重畳された右眼画像のデータが得られる。これらの画像データは、立体画像表示のための処理部に送られ、立体画像表示が行われる
　また、ＨＤＭＩ受信部３１１で受信された各チャネルの音声データは、音質や音量の調整を行うオーディオ処理部３１７を介してスピーカに供給され、立体画像表示に合わせた音声出力がなされる。
　［ＨＤＭＩ送信部、ＨＤＭＩ受信部の構成例］
　図５８は、図１の画像送受信システム１０における、セットトップボックス２００のＨＤＭＩ送信部２５１と、テレビ受信機３００のＨＤＭＩ受信部３１１の構成例を示している。
　ＨＤＭＩ送信部２５１は、有効画像区間（以下、適宜、アクティブビデオ区間ともいう）において、非圧縮の１画面分の画像の画素データに対応する差動信号を、複数のチャネルで、ＨＤＭＩ受信部３１１に一方向に送信する。ここで、有効画像区間は、一の垂直同期信号から次の垂直同期信号までの区間から、水平帰線区間及び垂直帰線区間を除いた区間である。また、ＨＤＭＩ送信部２５１は、水平帰線区間または垂直帰線区間において、少なくとも画像に付随する音声データや制御データ、その他の補助データ等に対応する差動信号を、複数のチャネルで、ＨＤＭＩ受信部３１１に一方向に送信する。
　ＨＤＭＩ送信部２５１とＨＤＭＩ受信部３１１とからなるＨＤＭＩシステムの伝送チャネルには、以下の伝送チャネルがある。すなわち、ＨＤＭＩ送信部２５１からＨＤＭＩ受信部３１１に対して、画素データおよび音声データを、ピクセルクロックに同期して、一方向にシリアル伝送するための伝送チャネルとしての、３つのＴＭＤＳチャネル＃０乃至＃２がある。また、ピクセルクロックを伝送する伝送チャネルとしての、ＴＭＤＳクロックチャネルがある。
　ＨＤＭＩ送信部２５１は、ＨＤＭＩトランスミッタ８１を有する。トランスミッタ８１は、例えば、非圧縮の画像の画素データを対応する差動信号に変換し、複数のチャネルである３つのＴＭＤＳチャネル＃０，＃１，＃２で、ＨＤＭＩケーブル４００を介して接続されているＨＤＭＩ受信部３１１に、一方向にシリアル伝送する。
　また、トランスミッタ８１は、非圧縮の画像に付随する音声データ、さらには、必要な制御データその他の補助データ等を、対応する差動信号に変換し、３つのＴＭＤＳチャネル＃０，＃１，＃２でＨＤＭＩ受信部３１１に、一方向にシリアル伝送する。
　さらに、トランスミッタ８１は、３つのＴＭＤＳチャネル＃０，＃１，＃２で送信する画素データに同期したピクセルクロックを、ＴＭＤＳクロックチャネルで、ＨＤＭＩケーブル４００を介して接続されているＨＤＭＩ受信部３１１に送信する。ここで、１つのＴＭＤＳチャネル＃ｉ（ｉ＝０，１，２）では、ピクセルクロックの１クロックの間に、１０ビットの画素データが送信される。
　ＨＤＭＩ受信部３１１は、アクティブビデオ区間において、複数のチャネルで、ＨＤＭＩ送信部２５１から一方向に送信されてくる、画素データに対応する差動信号を受信する。また、このＨＤＭＩ受信部３１１は、水平帰線区間または垂直帰線区間において、複数のチャネルで、ＨＤＭＩ送信部２５１から一方向に送信されてくる、音声データや制御データに対応する差動信号を受信する。
　すなわち、ＨＤＭＩ受信部３１１は、ＨＤＭＩレシーバ８２を有する。このＨＤＭＩレシーバ８２は、ＴＭＤＳチャネル＃０，＃１，＃２で、ＨＤＭＩ送信部２５１から一方向に送信されてくる、画素データに対応する差動信号と、音声データや制御データに対応する差動信号を受信する。この場合、ＨＤＭＩ送信部２５１からＴＭＤＳクロックチャネルで送信されてくるピクセルクロックに同期して受信する。
　ＨＤＭＩシステムの伝送チャネルには、上述のＴＭＤＳチャネル＃０乃至＃２およびＴＭＤＳクロックチャネルの他に、ＤＤＣ（Display Data Channel）８３やＣＥＣライン８４と呼ばれる伝送チャネルがある。ＤＤＣ８３は、ＨＤＭＩケーブル４００に含まれる図示しない２本の信号線からなる。ＤＤＣ８３は、ＨＤＭＩ送信部２５１が、ＨＤＭＩ受信部３１１から、Ｅ－ＥＤＩＤ（Enhanced Extended Display Identification Data）を読み出すために使用される。
　すなわち、ＨＤＭＩ受信部３１１は、ＨＤＭＩレシーバ８１の他に、自身の性能（Configuration/capability）に関する性能情報であるＥ－ＥＤＩＤを記憶している、ＥＤＩＤ　ＲＯＭ(Read Only Memory)８５を有している。ＨＤＭＩ送信部２５１は、例えば、図示しない制御部（ＣＰＵ）からの要求に応じて、ＨＤＭＩケーブル４００を介して接続されているＨＤＭＩ受信部３１１から、Ｅ－ＥＤＩＤを、ＤＤＣ８３を介して読み出す。
　ＨＤＭＩ送信部２５１は、読み出したＥ－ＥＤＩＤを制御部（ＣＰＵ）に送る。制御部（ＣＰＵ）は、このＥ－ＥＤＩＤに基づき、ＨＤＭＩ受信部３１１の性能の設定を認識できる。例えば、制御部（ＣＰＵ）は、ＨＤＭＩ受信部３１１を有するテレビ受信機３００が立体画像データの取り扱いが可能か否か、可能である場合はさらにいかなるＴＭＤＳ伝送データ構造に対応可能であるか等を認識する。
　ＣＥＣライン８４は、ＨＤＭＩケーブル４００に含まれる図示しない１本の信号線からなり、ＨＤＭＩ送信部２５１とＨＤＭＩ受信部３１１との間で、制御用のデータの双方向通信を行うために用いられる。このＣＥＣライン８４は、制御データラインを構成している。
　また、ＨＤＭＩケーブル４００には、ＨＰＤ(Hot Plug Detect)と呼ばれるピンに接続されるライン（ＨＰＤライン）８６が含まれている。ソース機器は、当該ライン８６を利用して、シンク機器の接続を検出することができる。なお、このＨＰＤライン８６は双方向通信路を構成するＨＥＡＣ－ラインとしても使用される。また、ＨＤＭＩケーブル４００には、ソース機器からシンク機器に電源を供給するために用いられるライン（電源ライン）８７が含まれている。さらに、ＨＤＭＩケーブル４００には、ユーティリティライン８８が含まれている。このユーティリティライン８８は双方向通信路を構成するＨＥＡＣ＋ラインとしても使用される。
　図５９は、ＴＭＤＳ伝送データの構造例を示している。この図５９は、ＴＭＤＳチャネル＃０，＃１，＃２において、横×縦が１９２０ピクセル×１０８０ラインの画像データが伝送される場合の、各種の伝送データの区間を示している。
　ＨＤＭＩの３つのＴＭＤＳチャネル＃０，＃１，＃２で伝送データが伝送されるビデオフィールド（Video Field）には、伝送データの種類に応じて、３種類の区間が存在する。この３種類の区間は、ビデオデータ区間（Video Data period）、データアイランド区間（Data Island period）、およびコントロール区間（Control period）である。
　ここで、ビデオフィールド区間は、ある垂直同期信号の立ち上がりエッジ（active edge）から次の垂直同期信号の立ち上がりエッジまでの区間である。このビデオフィールド区間は、水平ブランキング期間（horizontal blanking）、垂直ブランキング期間（vertical blanking）、並びに、アクティブビデオ区間（Active Video）に分けられる。このアクティブビデオ区間は、ビデオフィールド区間から、水平ブランキング期間および垂直ブランキング期間を除いた区間である
　ビデオデータ区間は、アクティブビデオ区間に割り当てられる。このビデオデータ区間では、非圧縮の１画面分の画像データを構成する１９２０ピクセル（画素）×１０８０ライン分の有効画素（Active pixel）のデータが伝送される。
　データアイランド区間およびコントロール区間は、水平ブランキング期間および垂直ブランキング期間に割り当てられる。このデータアイランド区間およびコントロール区間では、補助データ（Auxiliary data）が伝送される。すなわち、データアイランド区間は、水平ブランキング期間と垂直ブランキング期間の一部分に割り当てられている。このデータアイランド区間では、補助データのうち、制御に関係しないデータである、例えば、音声データのパケット等が伝送される。
　コントロール区間は、水平ブランキング期間と垂直ブランキング期間の他の部分に割り当てられている。このコントロール区間では、補助データのうちの、制御に関係するデータである、例えば、垂直同期信号および水平同期信号、制御パケット等が伝送される。
　図６０は、ＨＤＭＩ端子のピン配列の一例を示している。この図６０に示すピン配列はタイプＡ（type-A）と呼ばれている。ＴＭＤＳチャネル＃ｉの差動信号であるＴＭＤＳ　Ｄａｔａ＃ｉ＋とＴＭＤＳ　Ｄａｔａ＃ｉ－は差動線である２本のラインにより伝送される。この２本のラインは、ＴＭＤＳ　Ｄａｔａ＃ｉ＋が割り当てられているピン（ピン番号が１，４，７のピン）と、ＴＭＤＳ　Ｄａｔａ＃ｉ－が割り当てられているピン（ピン番号が３，６，９のピン）に接続される。
　また、制御用のデータであるＣＥＣ信号が伝送されるＣＥＣライン８４は、ピン番号が１３であるピンに接続される。また、Ｅ－ＥＤＩＤ等のＳＤＡ(Serial Data)信号が伝送されるラインは、ピン番号が１６であるピンに接続される。ＳＤＡ信号の送受信時の同期に用いられるクロック信号であるＳＣＬ(Serial Clock)信号が伝送されるラインは、ピン番号が１５であるピンに接続される。上述のＤＤＣ８３は、ＳＤＡ信号が伝送されるラインおよびＳＣＬ信号が伝送されるラインにより構成される。
　また、上述したようにソース機器がシンク機器の接続を検出するためのＨＰＤライン（ＨＥＡＣ－ライン）８６は、ピン番号が１９であるピンに接続される。また、ユーティリティライン（ＨＥＡＣ＋ライン）８８は、ピン番号が１４であるピンに接続される。また、上述したように電源を供給するためのライン８７は、ピン番号が１８であるピンに接続される。
　［ＨＤＭＩでの視差情報の送受信方法］
　画像データのピクチャ毎の各分割領域（Partition）の視差情報（Disparity）を、ＨＤＭＩインタフェースで送受信する方法について説明する。この方法として、画像データのブランキング期間に配置される情報パケット、例えば、ＨＤＭＩ・ベンダー・スペシフィック・インフォフレーム（VS_Info：HDMI Vendor Specific InfoFrame）を利用する方法が考えられる。
　この方法では、VS_Info において、「HDMI_Video_Format＝“０１０”」、かつ「3D_Meta_present＝１」とされて、「Vendor Specific InfoFrame extension」が指定される。その場合、「3D_Metadata_type」は、未使用の、例えば、“００１”と定義され、各分割領域（Partition）の視差情報（Disparity）が指定される。
　図６１は、VS_Infoのパケット構造例を示している。このVS_Info については、CEA-861-Dに定義されているので、詳細説明は省略する。図６２は、図６１に示すパケット構造例における主要な情報の内容を示している。
　第４バイト（ＰＢ４）の第７ビットから第５ビットに、画像データの種類を示す３ビットの情報「HDMI_Video_Format」が配置されている。画像データが３Ｄ画像データである場合、この３ビットの情報は「０１０」とされる。また、画像データが３Ｄ画像データである場合、第５バイト（ＰＢ５）の第７ビットから第４ビットに、ＴＭＤＳ伝送データ構造を示す４ビットの情報「3D_Structure」が配置される。例えば、フレームパッキング方式の場合、この４ビットの情報は、「００００」とされる。
　また、第５バイト（ＰＢ５）の第３ビットに、「3D_Meta_present」が配置され、Vendor Specific InfoFrame extensionを指定する場合、この１ビットは「１」とされる。また、第７バイト（ＰＢ７）の第７ビットから第５ビットに、「3D_Metadata_type」が配置されている。各分割領域（Partition）の視差情報（Disparity）を指定する場合、この３ビットの情報は、未使用の、例えば、“００１”とされる。
　また、第７バイト（ＰＢ７）の第４バイトから第０バイトに、「3D_Metadata_length」が配置されている。この５ビットの情報は、各分割領域（Partition）の視差情報（Disparity）のサイズを示す。この「3D_Metadata_length」の値は、0x00～0x1Fの値をとり、その値に２を加えたものが、このフィールドの後の視差情報（Disparity）の全体サイズを表す。例えば、“０００００”は２（１０進数で）を表し、“１１１１１”は３３（10進数で）を表す。
　また、第６バイト（ＰＢ６）の第０ビットに、「PRTY」の１ビットの識別情報が配置される。この識別情報は、この VS_Info に、ＨＤＭＩシンク側が参照すべき情報、ここでは視差情報（Disparity）が含まれているか否かを示す。“１”は、ＨＤＭＩシンクが参照すべき情報が必ず含まれていることを示す。“０”は、ＨＤＭＩシンクが参照すべき情報が必ず含まれているわけではないことを示す。
　この「PRTY」の１ビットの識別情報が配置されていることで、ＨＤＭＩシンク、この実施の形態においてテレビ受信機３００は、「3D_Metadata_type」以下を検査しなくても、VS_Info の中に、参照すべき情報が含まれているか否かを判定できる。したがって、ＨＤＭＩシンクでは、この識別情報により、 VS_Info から参照すべき情報の抽出処理を無駄なく行うことができ、処理負荷を軽減することが可能となる。
　また、第８バイト（ＰＢ８）の第７ビットから第５ビットに、「partition_type」が配置されている。この３ビットの情報は、対象ピクチャの表示画面の分割タイプを示す。“０００”は分割なしを示し、“００１”は水平、垂直を各々２等分することを示し、“０１０”は水平、垂直を各々４等分することを示す。
　また、第８バイト（ＰＢ８）の第４ビットに、「d_picture」の１ビットの識別情報が配置される。この識別情報は、シングルピクチャかダブルピクチャかを示す。“０”は、シングルピクチャであること、つまり、各分割領域（Partition）の視差情報（Disparity）として、１ピクチャ分を送信するモードであることを示す。“１”は、ダブルピクチャであること、つまり、各分割領域（Partition）の視差情報（Disparity）として、２ピクチャ分を送信するモードであることを示す。
　また、第８バイト（ＰＢ８）の第３ビットから第０ビットに、「partition_count」が配置される。この４ビットの情報は、分割領域（Partition）の総数を示し、上述の「partition_type」に依存した値となる。例えば、“００００”は総数「１」を示し、“１１１１”は総数「１６」を示す。
　そして、第８＋１バイト（ＰＢ８＋１）以降に、１ピクチャ分あるいは２ピクチャ分の、視差情報（第１の視差情報、第２の視差情報）が順次配置される。「max_disparity_in_picture」の８ビット情報は、ピクチャ表示画面全体（ピクチャ全体）の第２の視差情報、つまりピクチャ全体の最大の視差情報（disparity値）を示す。「disparity_in_partition」の８ビット情報は、各分割領域（Partition）の第１の視差情報、つまり各分割領域における最小の視差情報（disparity値）を示す。
　図６３は、「d_picture＝０」であってシングルピクチャのモードであり、「partition_type＝０１０」であって分割領域が「１６」である場合における VS_Info の構造例を示している。この場合、第８＋１バイト（ＰＢ８＋１）以降に、１ピクチャ分の各分割領域の視差情報が配置されている。また、図６４は、「d_picture＝１」であってダブルピクチャのモードであり、「partition_type＝０１０」であって分割領域が「１６」である場合における VS_Info の構造例を示している。この場合、第８＋１バイト（ＰＢ８＋１）以降に、２ピクチャ分の各分割領域の視差情報が配置されている。
　上述したように、セットトップボックス２００は、ビデオストリームにピクチャ単位で視差情報が挿入されている場合、画像データの各ピクチャのタイミングで１ピクチャ分の視差情報を取得する（図４２参照）。また、上述したように、セットトップボックス２００は、ビデオストリームにＧＯＰ単位で視差情報が挿入されている場合、画像データのＧＯＰの先頭タイミングで、ＧＯＰ内の各ピクチャの視差情報（視差情報セット）をまとめて取得する（図４３参照）。
　セットトップボックス２００は、いずれの場合にあっても、例えば、テレビ受信機３００との間のＣＥＣライン８４を使用したネゴシエーション、あるいはＥＤＩＤＲＯＭ ８５での設定などに基づいて、シングルピクチャまたはダブルピクチャのいずれかのモードを任意に選択可能なようにする。この場合、セットトップボックス２００は、ピクチャ毎の視差情報を送信するための伝送帯域、あるいは、セットトップボックス２００やテレビ受信機３００における処理能力などに応じて、モードを選択でき、テレビ受信機３００への視差情報の送信を良好に行うことが可能となる。
　テレビ受信機３００においては、 VS_Info に配置された「d_picture」のモード識別情報と、上述した「PRTY」の参照情報の有無の識別情報に基づいて、いずれのモードの送信にあっても、全てのピクチャの視差情報（Disparity）を、的確に受信できる。
　図６５は、セットトップボックス２００が、画像データの各ピクチャのタイミングで１ピクチャ分の視差情報を取得し、テレビ受信機３００に、シングルピクチャのモードにより、各ピクチャの視差情報を順次送信する場合を、概略的に示している。また、図６６は、セットトップボックス２００が、画像データの各ピクチャのタイミングで１ピクチャ分の視差情報を取得し、テレビ受信機３００に、ダブルピクチャのモードにより、各ピクチャの視差情報を順次送信する場合を、概略的に示している。
　また、図６７は、セットトップボックス２００が、画像データのＧＯＰの先頭タイミングで、ＧＯＰ内の各ピクチャの視差情報をまとめて取得し、テレビ受信機３００に、シングルピクチャのモードにより、各ピクチャの視差情報を順次送信する場合を、概略的に示している。さらに、図６８は、セットトップボックス２００が、画像データのＧＯＰの先頭タイミングで、ＧＯＰ内の各ピクチャの視差情報をまとめて取得し、テレビ受信機３００に、ダブルピクチャのモードにより、各ピクチャの視差情報を順次送信する場合を、概略的に示している。
　なお、上述ではセットトップボックス２００がシングルピクチャあるいはダブルピクチャのモードを任意に選択し得るように説明した。しかし、例えば、画像データのＧＯＰの先頭タイミングでＧＯＰ内の各ピクチャの視差情報をまとめて取得するときには、シングルピクチャのモードで送信する、ようにされてもよい。この場合、ＧＯＰ内の各ピクチャの視差情報は単一のピクチャ分ずつに振り分けられ、各単一ピクチャ分の視差情報がピクチャ単位で順次送信される（図６７参照）。この場合、ピクチャ毎の視差情報を送信するための伝送帯域が小さい場合であっても、各ピクチャの視差情報を、テレビ受信機３００に良好に送信できる。
　一方、セットトップボックス２００が２ビデオフレーム周期に１度の割合でしかVS_InfoFrameを送れない場合、あるいはテレビ受信機３００が２ビデオフレーム周期に１度の割合でしかVS_InfoFrameを受け取れない場合には、図６６のように２ビデオフレーム分の視差情報を続けて一つのVS_InfoFrameで送ることも考えられる。
　なお、上述では、ダブルピクチャモードにあるとき、２ピクチャ（２フレーム）単位で、連続する第１のピクチャおよび第２のピクチャの視差情報をそのまま、つまりイントラデータのまま送信する例を示した。しかし、このダブルピクチャモードにおいて、第１のピクチャまたは第２のピクチャの視差情報を、１つ前のピクチャの視差情報との間の差分データとし、伝送データ量を低減することも考えられる。
　図６９、図７０は、VS_Info（HDMI Vendor Specific InfoFrame）の他のパケット構造例を示している。詳細説明は省略するが、第０バイト（ＰＢ０）～第６バイト（ＰＢ６）に関しては、上述の図６１に示すパケット構造例と同様である。図７１は、図６９、図７０に示すパケット構造例における主要な情報の内容を示している。
　第７バイト（ＰＢ７）の第７ビットから第５ビットに、「3D_Metadata_type」が配置されている。各分割領域（Partition）の視差情報（Disparity）を指定する場合、この３ビットの情報は、未使用の、例えば、“００１”とされる。
　また、第７バイト（ＰＢ７）の第４バイトから第０バイトに、「3D_Metadata_length」が配置されている。この５ビットの情報は、各分割領域（Partition）の視差情報（Disparity）のサイズを示す。この「3D_Metadata_length」の値は、０ｘ００～０ｘ１６の値をとる。例えば、“０００１１”は３（１０進数で）を表し、“１１０１０”は２６（10進数で）を表す。
　第８バイト（ＰＢ８）の第７ビットに、「d_picture」の１ビットの識別情報が配置される。この識別情報は、シングルピクチャかダブルピクチャかを示す。“０”は、シングルピクチャであること、つまり、各分割領域（Partition）の視差情報（Disparity）として、１ピクチャ分を送信するモードであることを示す。“１”は、ダブルピクチャであること、つまり、各分割領域（Partition）の視差情報（Disparity）として、２ピクチャ分を送信するモードであることを示す。
　第８バイト（ＰＢ８）の第５ビットに、「partition_enable」の１ビットの識別情報が配置される。この識別情報は、対象ピクチャが各分割領域（Partition）の視差情報（Disparity）を持つかどうかを示す。“１”は、水平、垂直方向に分割領域が指定されていて、各々が視差情報（Disparity）を持つことを示す。“０”は、画面全体が一つの視差情報（Disparity）を持つことを示す。
　第８バイト（ＰＢ８）の第６ビットに、「Picture_reorder」の１ビットの識別情報が配置される。ダブルピクチャを伝送する場合、２つのピクチャ（Ｎ，Ｎ＋１）の伝送が、時間的にＮが先でＮ＋１が後か、あるいはＮ＋１が先でＮが後かを示す。“１”は、（Ｎ＋１）ピクチャが先で視差情報（Disparity）の値を８ｂｉｔで表し、Ｎピクチャが後で、（Ｎ－１）ピクチャの視差情報（Disparity）からの差分値を４ｂｉｔで表すことを示す。“０”は、Ｎピクチャが先で視差情報（Disparity）の値を８ｂｉｔで表し、（Ｎ＋１）ピクチャが後で、Ｎピクチャの視差情報（Disparity）からの差分値を４ｂｉｔで表すことを示す。
　また、第８バイト（ＰＢ８）の第３ビットから第０ビットに、「partition_count」が配置される。この４ビットの情報は、分割領域（Partition）の総数を示す。例えば、“００００”は総数「１」を示し、“１１１１”は総数「１６」を示す。
　そして、第８＋１バイト（ＰＢ８＋１）以降に、１ピクチャ分あるいは２ピクチャ分の、視差情報（第１の視差情報、第２の視差情報）が順次配置される。「max_disparity_in_picture」の８ビット情報は、ピクチャ表示画面全体（ピクチャ全体）の第２の視差情報、つまりピクチャ全体の最大の視差情報（disparity値）を示す。「Min_disparity_in_partition」の８ビット情報は、各分割領域（Partition）の第１の視差情報、つまり各分割領域における最小の視差情報（disparity値）を示す。
　図６９のVS_Info の構造例は、「d_picture＝１」であってダブルピクチャのモードであり、「picture_reorder＝０」であって時間的にＮピクチャが先でＮ＋１ピクチャが後である場合におけるVS_Info の構造例を示している。なお、この例は、「partition_count＝１１１１」であって、分割領域が「１６」である場合を示している。
　この場合、第８＋１バイト（ＰＢ８＋１）に、Ｎピクチャにおけるピクチャ表示画面全体の第２の視差情報、つまりピクチャ全体の最大の視差情報（disparity値）である「Max_disparity_in_picture」が配置される。そして、第８＋２バイト（ＰＢ８＋２）から第８＋１６バイト（ＰＢ８＋１６）に、Ｎピクチャにおける各分割領域（Partition）の第１の視差情報、つまり各分割領域における最小の視差情報（disparity値）である「Min_disparity_in_partition」が配置される。
　また、この場合、第８＋１７バイト（ＰＢ８＋１７）の第３ビットから第０ビットに、Ｎ＋１ピクチャにおけるピクチャ表示画面全体の第２の視差情報、つまりピクチャ全体の最大の視差情報（disparity値）の差分データである「Differential_max_disparity_in_picture」が配置される。第８＋１８バイト（ＰＢ８＋１８）から第８＋２５バイト（ＰＢ８＋２５）に、Ｎ＋１ピクチャにおける各分割領域（Partition）の第１の視差情報、つまり各分割領域における最小の視差情報（disparity値）の差分値である「Differential_min_disparity_in_partition」が配置される。
　図７０のVS_Info の構造例は、「d_picture＝１」であってダブルピクチャのモードであり、「picture_reorder＝１」であって時間的にＮ＋１ピクチャが先でＮピクチャが後である場合におけるVS_Info の構造例を示している。なお、この例は、「partition_count＝１１１１」であって、分割領域が「１６」である場合を示している。
　この場合、第８＋１バイト（ＰＢ８＋１）に、Ｎ＋１ピクチャにおけるピクチャ表示画面全体の第２の視差情報、つまりピクチャ全体の最大の視差情報（disparity値）である「Max_disparity_in_picture」が配置される。そして、第８＋２バイト（ＰＢ８＋２）から第８＋１６バイト（ＰＢ８＋１６）に、Ｎ＋１ピクチャにおける各分割領域（Partition）の第１の視差情報、つまり各分割領域における最小の視差情報（disparity値）である「Min_disparity_in_partition」が配置される。
　また、この場合、第８＋１７バイト（ＰＢ８＋１７）の第３ビットから第０ビットに、Ｎピクチャにおけるピクチャ表示画面全体の第２の視差情報、つまりピクチャ全体の最大の視差情報（disparity値）の差分データである「Differential_max_disparity_in_picture」が配置される。第８＋１８バイト（ＰＢ８＋１８）から第８＋２５バイト（ＰＢ８＋２５）に、Ｎピクチャにおける各分割領域（Partition）の第１の視差情報、つまり各分割領域における最小の視差情報（disparity値）の差分値である「Differential_min_disparity_in_partition」が配置される。
　［Ｎピクチャと、Ｎ＋１ピクチャの順番決定］
　ここで、ＮピクチャとＮ＋１ピクチャの順番決定、つまり「picture_reorder」を“０”とするか“１”とするかの決定は、例えば、以下のように行われる。ＮピクチャとＮ＋１ピクチャの順番決定は、例えば、図７２に示すような構成で行われる。視差情報は、フレームメモリ２８１に供給され、１フレームだけ遅延される。減算器２８２では、Ｎ＋１ピクチャの視差情報Ｄ（N+1）とＮピクチャの視差情報Ｄ（N）との差分データ「Ｄ（N）－Ｄ（N+1）」が算出され、この差分データが順番決定部２８３に送られる。
　順番決定部２８３では、差分データの絶対値｜Ｄ（N）－Ｄ（N+1）｜と閾値Ｔｈが比較されて、ＮピクチャとＮ＋１ピクチャの順番決定が行われる。｜Ｄ（N）－Ｄ（N+1）｜≦Ｔｈであるとき、順番決定部２８３は、「Ｎピクチャが先、Ｎ＋１ピクチャが後」に決定し、VS_Info の「picture_reorder」を“０”にセットし、このVS_Infoに、ＮピクチャおよびＮ＋１ピクチャの視差情報を、上述の図６９に示すように配置する。この場合、Ｎ＋１ピクチャの視差情報は、Ｎピクチャの視差情報との間の差分データとされる。
　図７３は、｜Ｄ（N）－Ｄ（N+1）｜≦Ｔｈとなる場合の視差情報（Disparity値）の時間推移例を示している。この例では、Ｎ－１ピクチャとＮピクチャとの間で視差情報が大きく変化している。しかし、ＮピクチャとＮ＋１ピクチャとの間で視差情報の変化は小さい。そのため、｜Ｄ（N）－Ｄ（N+1）｜≦Ｔｈを満たすこととなる。この場合、Ｎ＋１ピクチャの視差情報は、Ｎピクチャの視差情報との間の差分データとなるので、その値は比較的小さくなる。
　一方、｜Ｄ（N）－Ｄ（N+1）｜＞Ｔｈであるとき、順番決定部２８３は、「Ｎ＋１ピクチャが先、Ｎピクチャが後」に決定し、VS_Info の「picture_reorder」を“１”にセットし、このVS_Infoに、Ｎ＋１ピクチャおよびＮピクチャの視差情報を、上述の図７０に示すように配置する。この場合、Ｎピクチャの視差情報は、Ｎ－１ピクチャの視差情報との間の差分データとされる。
　図７４は、｜Ｄ（N）－Ｄ（N+1）｜＞Ｔｈとなる場合の視差情報（Disparity値）の時間推移例を示している。この例では、Ｎ－１ピクチャとＮピクチャとの間で視差情報の変化は小さいが、ＮピクチャとＮ＋１ピクチャとの間で視差情報の変化は大きい。そのため、｜Ｄ（N）－Ｄ（N+1）｜＞Ｔｈを満たすこととなる。この場合、Ｎピクチャの視差情報は、Ｎ－１ピクチャの視差情報との間の差分データとなるので、その値は比較的小さくなる。
　ここで、「Min_disparity_in_partition」に関しては、Ｄ（N+1），Ｄ（N）として、それぞれ、以下の数式（２），（３）に示すように、各分割領域（Partition）の「Min_disparity_in_partition」の最小値Min_disparity(N+1),Min_disparity(N)が用いられる。
　Ｄ（N+1）＝Min_disparity (N+1) 
　　　　　 ＝Minimum (Min_disparity_partition (N+1_0, N+1_1, - - , N+1_15) )
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２）
　Ｄ（N）　＝Min_disparity (N) 
　　　　　 ＝Minimum (Min_disparity_partition (N_0, N_1, - - , N_15) )
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（３）
　なお、Ｄ（N）に関しては、上述の数式（３）で求める代わりに、上述の数式（２）でＤ(N+1)として採用された、Min_disparity (N+1)となった「Min_disparity_partition」と同じ分割領域（Partition）のＮピクチャの「Min_disparity_partition」とすることも可能である。
　一方、「Max_disparity_in_picture」に関しては、Ｄ（N+1）として、Ｎ＋１ピクチャの「Max_disparity_in_picture」が用いられ、Ｄ（N）として、Ｎピクチャの「Max_disparity_in_picture」が用いられる。なお、｜Ｄ（N）－Ｄ（N+1）｜とＴｈとの比較判定結果について、「Min_disparity_in_partition」に関する結果と、「Max_disparity_in_picture」に関する結果とが一致しない場合は、「Min_disparity_in_partition」に関する結果を優先させるなどすることが可能である。
　なお、上述の図７０のVS_Info の構造例では、時間的にＮ＋１ピクチャが先でＮピクチャが後に配置されている。このようにすることで、第８＋１バイト（ＰＢ８＋１）から第８＋２５バイト（ＰＢ＋２５）までの構造が、時間的にＮピクチャが先でＮ＋１ピクチャが後に配置されている図６９のVS_Info の構造例と同じくなるので、受信側での読み取りの安定化が図られる。しかし、図７０に示すVS_Info の構造例において、Ｎ＋１ピクチャの視差情報とＮピクチャの視差情報との配置位置を逆にすることも考えられる。
　なお、上述では、セットトップボックス２００がシングルピクチャあるいはダブルピクチャのモードを選択可能な例を示した。しかし、ダブルピクチャのモードの代わりに複数ピクチャのモードとし、ピクチャ数を任意に選択可能とすることも考えられる。また、選択し得るモード数が３つ以上の場合も考えられる。その場合は、与えられた帯域で送信可能なように、ＨＤＭＩソース（HDMI Source）側において、分割領域（partition）の数を適切な数に変更することも可能である。
　以上説明したように、図１に示す画像送受信システム１０において、放送局１００は、画像データの所定のピクチャ毎に取得された第１の視差情報および第２の視差情報を、ビデオストリームに挿入して送信する。ここで、第１の視差情報はピクチャ表示画面の所定領域における最も手前のオブジェクト再生位置に対応した視差情報であり、第２の視差情報はピクチャ表示画面の所定領域における最も奥のオブジェクト再生位置に対応した視差情報である。そのため、受信側のセットトップボックス２００では、例えば、これら第１の視差情報および第２の視差情報に基づいて、視差角が視聴上健康を害さない所定の範囲内にあるか否かをチェックし、必要に応じて左眼画像データおよび右眼画像データを再構成できる。
　また、図１に示す画像送受信システム１０において、放送局１００は、画像データの所定のピクチャ毎に取得された視差情報をビデオストリームに挿入して送信する際に、視差情報に圧縮符号化の処理を行うものであり、データ量の低減を図ることができる。
　＜２．変形例＞
　なお、上述実施の形態においては、画像送受信システム１０が、放送局１００、セットトップボックス２００およびテレビ受信機３００で構成されているものを示した。しかし、図７５に示すように、放送局１００およびテレビ受信機３００Ａで構成される画像送受信システム１０Ａも考えられる。
　図７６は、テレビ受信機３００Ａの構成例を示している。この図７６において、図４５と対応する部分には同一符号を付し、その詳細説明は省略する。テレビ（ＴＶ）グラフィクス発生部２１９Ａは、図４５のセットトップボックス２００のセットトップボックス（ＳＴＢ）グラフィクス発生部２１９と同様のものであり、ＯＳＤあるいはアプリケーション、あるいはＥＰＧなどのグラフィクスデータを発生する。
　重畳部２１７からは、左眼表示用のサブタイトル（字幕）およびグラフィクスが重畳された左眼画像のデータが得られると共に、右眼表示用のサブタイトル（字幕）およびグラフィクスが重畳された右眼画像のデータが得られる。これらの画像データは、立体画像表示のための処理部に送られ、立体画像表示が行われる。また、チャネルミキシング部２４４では、音声データに対して、例えば５．１chサラウンド等を実現するための各チャネルの音声データが生成される。この音声データは例えばスピーカに供給され、立体画像表示に合わせた音声出力がなされる。
　詳細説明は省略るすが、図７６に示すテレビ受信機３００Ａのその他は、図４５のセットトップボックス２００と同様に構成され、同様に動作する。
　また、上述実施の形態においては、セットトップボックス２００と、テレビ受信機３００とが、ＨＤＭＩのデジタルインタフェースで接続されるものを示している。しかし、これらが、ＨＤＭＩのデジタルインタフェースと同様のデジタルインタフェース（有線の他に無線も含む）で接続される場合においても、本技術を同様に適用できることは勿論である。
　また、上述実施の形態においては、セットトップボックス２００からテレビ受信機３００に視差情報を送信する方法として、ＨＤＭＩ Vendor Specific InfoFrame を利用する方法を説明した。その他に、アクティブスペース（Active Space）を利用する方法、さらには、ＨＰＤライン８６（ＨＥＡＣ－ライン）およびユーティリティライン８８（ＨＥＡＣ＋ライン）で構成される双方向通信路を通じて送信することも考えられる。
　また、上述実施の形態においては、セットトップボックス２００からテレビ受信機３００に、視差情報を、ＨＤＭＩインタフェースにより送信する例を示した。しかし、このようにＨＤＭＩインタフェースを通じて視差情報を送信する技術に関しては、その他のソース機器およびシンク機器の組み合わせにも応用できることは勿論である。例えば、ソース機器としてはＢＤやＤＶＤ等のディスクプレーヤ、さらにはゲーム機なども考えられ、シンク機器としてはモニタ装置、プロジェクタ装置なども考えられる。
　また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ－２　ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。
　つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ－２　ＴＳ）、インターネット配信で使用されているＭＰ４などの種々のフォーマットのコンテナが該当する。また、一つのサービス内容を供給する方法が複数に分割されていて、各々が別の伝送形態で行われるような応用、即ち、片方のビュー（view）が電波による伝送で、もう片方のビュー（view）がインターネットによる伝送であるような場合にも該当する。
　また、本技術は、以下のような構成を取ることもできる。
　（１）立体画像を構成する左眼画像データおよび右眼画像データを取得する画像データ取得部と、
　上記取得された画像データの所定のピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報であって、ピクチャ表示画面の所定領域における最も手前のオブジェクト再生位置に対応した第１の視差情報と、ピクチャ表示画面の所定領域における最も奥のオブジェクト再生位置に対応した第２の視差情報を取得する視差情報取得部と、
　上記取得された画像データが符号化されて得られたビデオストリームに、上記取得された視差情報を挿入する視差情報挿入部と、
　上記視差情報が挿入されたビデオストリームを含む所定フォーマットのコンテナを送信する画像データ送信部とを備える
　送信装置。
　（２）上記視差情報挿入部は、
　上記第１の視差情報および上記第２の視差情報を、ピクチャ単位、あるいはＧＯＰ単位で挿入する
　前記（１）に記載の送信装置。
　（３）上記視差情報挿入部は、
　上記取得された視差情報を、圧縮符号化処理を行った後に、上記ビデオストリームに挿入する
　前記（１）または（２）に記載の送信装置。
　（４）上記視差情報挿入部は、上記ビデオストリームの所定のピクチャに上記視差情報を挿入する際に、該視差情報がピクチャ表示画面全体における視差情報であるか、所定数に分割された各分割領域における視差情報であるかを識別する識別情報をさらに挿入する
　前記（１）から（３）のいずれかに記載の送信装置。
　（５）上記視差情報取得部は、
　ピクチャ表示画面を分割情報で分割して得られた各分割領域における上記第１の視差情報を取得すると共に、ピクチャ表示画面全体における上記第２の視差情報を取得する
　前記（１）から（４）のいずれかに記載の送信装置。
　（６）上記視差情報取得部は、
　ピクチャ表示画面を分割情報で分割して得られた各分割領域における上記第１の視差情報および上記第２の視差情報を取得する
　前記（１）から（４）のいずれかに記載の送信装置。
　（７）上記視差情報取得部は、
　ピクチャ表示画面を第１の分割情報で分割して得られた各分割領域における上記第１の視差情報を取得すると共に、ピクチャ表示画面を第２の分割情報で分割して得られた各分割領域における上記第２の視差情報を取得する
　前記（１）から（４）のいずれかに記載の送信装置。
　（８）立体画像を構成する左眼画像データおよび右眼画像データを取得するステップと、
　上記取得された画像データの所定のピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報であって、ピクチャ表示画面の所定領域における最も手前のオブジェクト再生位置に対応した第１の視差情報と、ピクチャ表示画面の所定領域における最も奥のオブジェクト再生位置に対応した第２の視差情報を取得するステップと、
　上記取得された画像データが符号化されて得られたビデオストリームに、上記取得された視差情報を挿入するステップと、
　上記視差情報が挿入されたビデオストリームを含む所定フォーマットのコンテナを送信するステップとを備える
　送信方法。
　（９）ビデオストリームを含む所定フォーマットのコンテナを受信する画像データ受信部を備え、
　上記ビデオストリームは、立体画像を構成する左眼画像データおよび右眼画像データが符号化されて得られたものであり、
　上記ビデオストリームには、上記画像データの所定のピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報であって、ピクチャ表示画面の所定領域における最も手前のオブジェクト再生位置に対応した第１の視差情報と、ピクチャ表示画面の所定領域における最も奥のオブジェクト再生位置に対応した第２の視差情報が挿入されており、
　上記コンテナに含まれるビデオストリームから上記左眼画像データおよび右眼画像データを取得すると共に、上記第１の視差情報および第２の視差情報を取得する情報取得部と、
　上記取得された第１の視差情報および第２の視差情報に基づいて、視差角が所定範囲内に入るように、上記左眼画像データおよび右眼画像データの再構成を指示する制御部とをさらに備える
　受信装置。
　（１０）立体画像を構成する左眼画像データおよび右眼画像データを取得する画像データ取得部と、
　上記取得された画像データの所定のピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報を取得する視差情報取得部と、
　上記取得された視差情報に対して圧縮符号化処理を行う圧縮符号化部と、
　上記取得された画像データが符号化されて得られたビデオストリームに、上記圧縮符号化された視差情報を挿入する視差情報挿入部と、
　上記視差情報が挿入されたビデオストリームを含む所定フォーマットのコンテナを送信する画像データ送信部とを備える
　送信装置。
　（１１）上記圧縮符号化部は、上記圧縮符号化処理として、上記取得された各ピクチャの視差情報に対して可変長符号を用いた処理を行う
　前記（１０）に記載の送信装置。
　（１２）上記圧縮符号化部は、上記圧縮符号化処理として、上記取得された各ピクチャのうち、参照ピクチャでは、被参照ピクチャとの間の差分データを取得し、該差分データに可変長符号化の処理を行う
　前記（１１）に記載の送信装置。
　（１３）上記圧縮符号化部は、表示順で先行するピクチャを被参照ピクチャとして差分データを取得する
　前記（１２）に記載の送信装置。
　（１４）上記圧縮符号化部は、デコード順で先行するピクチャを被参照ピクチャとして差分データを取得する
　前記（１２）に記載の送信装置。
　（１５）上記視差情報挿入部は、上記ビデオストリームの所定のピクチャに上記視差情報を挿入する際に、該挿入される視差情報がイントラデータであるか差分データであるかを識別する識別情報をさらに挿入する
　前記（１２）から（１４）のいずれかに記載の送信装置。
　（１６）上記視差情報挿入部は、
　上記ビデオストリームのＩピクチャ、Ｐピクチャおよび被参照Ｂピクチャに対応して上記視差情報を挿入し、
　上記挿入される視差情報が差分データであるとき、被参照ピクチャまでのピクチャ数の情報をさらに挿入する
　前記（１４）に記載の送信装置。
　（１７）立体画像を構成する左眼画像データおよび右眼画像データを取得するステップと、
　上記取得された画像データの所定のピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報を取得するステップと、
　上記取得された視差情報に対して圧縮符号化処理を行うステップと、
　上記取得された画像データが符号化されて得られたビデオストリームに、上記圧縮符号化された視差情報を挿入するステップと、
　上記視差情報が挿入されたビデオストリームを含む所定フォーマットのコンテナを送信するステップとを備える
　送信方法。
　（１８）ビデオストリームを含む所定フォーマットのコンテナを受信する画像データ受信部を備え、
　上記ビデオストリームは、立体画像を構成する左眼画像データおよび右眼画像データが符号化されて得られたものであり、
　上記ビデオストリームには、上記画像データの所定のピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報が挿入されており、
　上記コンテナに含まれるビデオストリームから上記左眼画像データおよび右眼画像データを取得すると共に、上記視差情報を取得する情報取得部と、
　上記情報取得部で取得される視差情報が存在しないピクチャの視差情報を、上記取得された前後のピクチャの視差情報から補間により生成する視差情報補間部とをさらに備える
　受信装置。
　（１９）ビデオストリームを含む所定フォーマットのコンテナを受信する画像データ受信部を備え、
　上記ビデオストリームは、立体画像を構成する左眼画像データおよび右眼画像データが符号化されて得られたものであり、
　上記ビデオストリームには、上記画像データの所定のピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報であって、ピクチャ表示画面の所定領域における最も手前のオブジェクト再生位置に対応した第１の視差情報と、ピクチャ表示画面の所定領域における最も奥のオブジェクト再生位置に対応した第２の視差情報が挿入されており、
　上記コンテナに含まれるビデオストリームから上記左眼画像データおよび右眼画像データを取得すると共に、上記第１の視差情報および第２の視差情報を取得する情報取得部と、
　上記取得された上記左眼画像データおよび上記右眼画像データと、上記取得された上記第１の視差情報および第２の視差情報とを、対応付けて、外部機器に送信する送信部とをさらに備える
　受信装置。
　（２０）上記取得された第１の視差情報および第２の視差情報に基づいて、視差角が所定範囲内に入るように画像データおよび視差情報の再構成を行う情報再構成部をさらに備え、
　上記送信部は、上記再構成された左眼画像データおよび右眼画像データと、上記再構成された第１の視差情報および第２の視差情報とを、対応付けて、外部機器に送信する
　前記（１９）に記載の受信装置。
　（２１）上記送信部は、２ピクチャ単位で、連続する第１のピクチャおよび第２のピクチャの視差情報を送信し、
　少なくとも、上記第１のピクチャまたは上記第２のピクチャの視差情報は、１つ前のピクチャの視差情報との間の差分データとされる
　前記（１）または（２０）に記載の受信装置。
　（２２）上記第１のピクチャの視差情報と上記第２のピクチャの視差情報との差分データに基づいて、上記第１のピクチャの視差情報を差分データとするか上記第２のピクチャの視差情報を差分データとするかを決定する決定部をさらに備える
　前記（２１）に記載の受信装置。
　（２３）上記送信部が送信する上記視差情報には、上記第１のピクチャの視差情報が差分データであるか上記第２のピクチャの視差情報が差分データであるかを示す識別情報が付加されている
　前記（２２）に記載の受信装置。
　本技術の主な特徴は、ピクチャ毎に取得された視差情報の最大値（第２の視差情報）と最小値（第１の視差情報）をビデオストリームに挿入して送信するようにしたことで、受信側で視差角が視聴上健康を害さない所定の範囲内にあるか否かをチェック可能にしたことである（図８、図１５参照）。また、ピクチャ毎に取得された視差情報をビデオストリームに挿入して送信する際に、視差情報に圧縮符号化の処理を行うようにしたことで、データ量の低減を図ったことである（図２４参照）。また、２ピクチャ単位で連続する２つのピクチャの視差情報をＨＤＭＩにより外部機器に送信する際に、一方のピクチャの視差情報を１つ前のピクチャとの間の差分データとしたことで、伝送データ量の低減を図ったことである（図６９参照）。
　１０，１０Ａ・・・画像送受信システム
　１００・・・放送局
　１１０，１１０Ａ・・・送信データ生成部
　１１１Ｌ，１１１Ｒ・・・画像データ出力部
　１１２Ｌ，１１２・・・スケーラ
　１１３・・・ビデオエンコーダ
　１１４・・・マルチプレクサ
　１１５・・・視差データ生成部
　１１６・・・サブタイトルデータ出力部
　１１７・・・サブタイトルエンコーダ
　１１８・・・音声データ出力部
　１１９・・・オーディオエンコーダ
　１２０・・・圧縮符号化部
　１２１・・・バッファ
　１２２・・・減算器
　１２３・・・可変長符号化部
　２００・・・セットトップボックス
　２１１・・・コンテナバッファ
　２１２・・・デマルチプレクサ
　２１３・・・コーデッドバッファ
　２１４・・・ビデオデコーダ
　２１５・・・デコーデッドバッファ
　２１６・・・スケーラ
　２１７・・・重畳部
　２１８・・・視差情報バッファ
　２１９・・・セットトップボックス（ＳＴＢ）グラフィクスバッファ
　２１９Ａ・・・テレビ（ＴＶ）グラフィクスバッファ
　２２０・・・奥行き制御部
　２２１・・・グラフィクスバッファ
　２３１・・・コーデッドバッファ
　２３２・・・サブタイトルデコーダ
　２３３・・・ピクセルバッファ
　２３４・・・サブタイトル視差情報バッファ
　２３５・・・サブタイトル表示制御部
　２４１・・・コーデッドバッファ
　２４２・・・オーディオデコーダ
　２４３・・・オーディオバッファ
　２４４・・・チャネルミキシング部
　２５１・・・ＨＤＭＩ送信部
　２６１・・・圧縮復号化部
　２６２・・・視差情報制御部
　２６３・・・Ｌ／Ｒ再構成部
　２６４・・・可変長復号化部
　２６５・・・バッファ
　２６６・・・加算器
　２７１・・・最大値取得部
　２７２・・・最小値取得部
　２７３・・・視差角チェック部
　２７４・・・視差情報補正部
　２８１・・・フレームメモリ
　２８２・・・減算器
　２８３・・・順番決定部
　３００，３００Ａ・・・テレビ受信機
　３１１・・・ＨＤＭＩ受信部
　３１２・・・スケーラ
　３１３・・・重畳部
　３１４・・・奥行き制御部
　３１５・・・グラフィクスバッファ
　３１６・・・テレビ（ＴＶ）グラフィクス発生部
　３１７・・・オーディオ処理部
　４００・・・ＨＤＭＩケーブル

Claims (23)

  1. 　立体画像を構成する左眼画像データおよび右眼画像データを取得する画像データ取得部と、
    　上記取得された画像データの所定のピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報であって、ピクチャ表示画面の所定領域における最も手前のオブジェクト再生位置に対応した第１の視差情報と、ピクチャ表示画面の所定領域における最も奥のオブジェクト再生位置に対応した第２の視差情報を取得する視差情報取得部と、
    　上記取得された画像データが符号化されて得られたビデオストリームに、上記取得された視差情報を挿入する視差情報挿入部と、
    　上記視差情報が挿入されたビデオストリームを含む所定フォーマットのコンテナを送信する画像データ送信部とを備える
    　送信装置。
  2. 　上記視差情報挿入部は、
    　上記第１の視差情報および上記第２の視差情報を、ピクチャ単位、あるいはＧＯＰ単位で挿入する
    　請求項１に記載の送信装置。
  3. 　上記視差情報挿入部は、
    　上記取得された視差情報を、圧縮符号化処理を行った後に、上記ビデオストリームに挿入する
    　請求項１に記載の送信装置。
  4. 　上記視差情報挿入部は、上記ビデオストリームの所定のピクチャに上記視差情報を挿入する際に、該視差情報がピクチャ表示画面全体における視差情報であるか、所定数に分割された各分割領域における視差情報であるかを識別する識別情報をさらに挿入する
    　請求項１に記載の送信装置。
  5. 　上記視差情報取得部は、
    　ピクチャ表示画面を分割情報で分割して得られた各分割領域における上記第１の視差情報を取得すると共に、ピクチャ表示画面全体における上記第２の視差情報を取得する
    　請求項１に記載の送信装置。
  6. 　上記視差情報取得部は、
    　ピクチャ表示画面を分割情報で分割して得られた各分割領域における上記第１の視差情報および上記第２の視差情報を取得する
    　請求項１に記載の送信装置。
  7. 　上記視差情報取得部は、
    　ピクチャ表示画面を第１の分割情報で分割して得られた各分割領域における上記第１の視差情報を取得すると共に、ピクチャ表示画面を第２の分割情報で分割して得られた各分割領域における上記第２の視差情報を取得する
    　請求項１に記載の送信装置。
  8. 　立体画像を構成する左眼画像データおよび右眼画像データを取得するステップと、
    　上記取得された画像データの所定のピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報であって、ピクチャ表示画面の所定領域における最も手前のオブジェクト再生位置に対応した第１の視差情報と、ピクチャ表示画面の所定領域における最も奥のオブジェクト再生位置に対応した第２の視差情報を取得するステップと、
    　上記取得された画像データが符号化されて得られたビデオストリームに、上記取得された視差情報を挿入するステップと、
    　上記視差情報が挿入されたビデオストリームを含む所定フォーマットのコンテナを送信するステップとを備える
    　送信方法。
  9. 　ビデオストリームを含む所定フォーマットのコンテナを受信する画像データ受信部を備え、
    　上記ビデオストリームは、立体画像を構成する左眼画像データおよび右眼画像データが符号化されて得られたものであり、
    　上記ビデオストリームには、上記画像データの所定のピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報であって、ピクチャ表示画面の所定領域における最も手前のオブジェクト再生位置に対応した第１の視差情報と、ピクチャ表示画面の所定領域における最も奥のオブジェクト再生位置に対応した第２の視差情報が挿入されており、
    　上記コンテナに含まれるビデオストリームから上記左眼画像データおよび右眼画像データを取得すると共に、上記第１の視差情報および第２の視差情報を取得する情報取得部と、
    　上記取得された第１の視差情報および第２の視差情報に基づいて、視差角が所定範囲内に入るように、上記左眼画像データおよび右眼画像データの再構成を指示する制御部とをさらに備える
    　受信装置。
  10. 　立体画像を構成する左眼画像データおよび右眼画像データを取得する画像データ取得部と、
    　上記取得された画像データの所定のピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報を取得する視差情報取得部と、
    　上記取得された視差情報に対して圧縮符号化処理を行う圧縮符号化部と、
    　上記取得された画像データが符号化されて得られたビデオストリームに、上記圧縮符号化された視差情報を挿入する視差情報挿入部と、
    　上記視差情報が挿入されたビデオストリームを含む所定フォーマットのコンテナを送信する画像データ送信部とを備える
    　送信装置。
  11. 　上記圧縮符号化部は、上記圧縮符号化処理として、上記取得された各ピクチャの視差情報に対して可変長符号を用いた処理を行う
    　請求項１０に記載の送信装置。
  12. 　上記圧縮符号化部は、上記圧縮符号化処理として、上記取得された各ピクチャのうち、参照ピクチャでは、被参照ピクチャとの間の差分データを取得し、該差分データに可変長符号化の処理を行う
    　請求項１１に記載の送信装置。
  13. 　上記圧縮符号化部は、表示順で先行するピクチャを被参照ピクチャとして差分データを取得する
    　請求項１２に記載の送信装置。
  14. 　上記圧縮符号化部は、デコード順で先行するピクチャを被参照ピクチャとして差分データを取得する
    　請求項１２に記載の送信装置。
  15. 　上記視差情報挿入部は、上記ビデオストリームの所定のピクチャに上記視差情報を挿入する際に、該挿入される視差情報がイントラデータであるか差分データであるかを識別する識別情報をさらに挿入する
    　請求項１２に記載の送信装置。
  16. 　上記視差情報挿入部は、
    　上記ビデオストリームのＩピクチャ、Ｐピクチャおよび被参照Ｂピクチャに対応して上記視差情報を挿入し、
    　上記挿入される視差情報が差分データであるとき、被参照ピクチャまでのピクチャ数の情報をさらに挿入する
    　請求項１４に記載の送信装置。
  17. 　立体画像を構成する左眼画像データおよび右眼画像データを取得するステップと、
    　上記取得された画像データの所定のピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報を取得するステップと、
    　上記取得された視差情報に対して圧縮符号化処理を行うステップと、
    　上記取得された画像データが符号化されて得られたビデオストリームに、上記圧縮符号化された視差情報を挿入するステップと、
    　上記視差情報が挿入されたビデオストリームを含む所定フォーマットのコンテナを送信するステップとを備える
    　送信方法。
  18. 　ビデオストリームを含む所定フォーマットのコンテナを受信する画像データ受信部を備え、
    　上記ビデオストリームは、立体画像を構成する左眼画像データおよび右眼画像データが符号化されて得られたものであり、
    　上記ビデオストリームには、上記画像データの所定のピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報が挿入されており、
    　上記コンテナに含まれるビデオストリームから上記左眼画像データおよび右眼画像データを取得すると共に、上記視差情報を取得する情報取得部と、
    　上記情報取得部で取得される視差情報が存在しないピクチャの視差情報を、上記取得された前後のピクチャの視差情報から補間により生成する視差情報補間部とをさらに備える
    　受信装置。
  19. 　ビデオストリームを含む所定フォーマットのコンテナを受信する画像データ受信部を備え、
    　上記ビデオストリームは、立体画像を構成する左眼画像データおよび右眼画像データが符号化されて得られたものであり、
    　上記ビデオストリームには、上記画像データの所定のピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報であって、ピクチャ表示画面の所定領域における最も手前のオブジェクト再生位置に対応した第１の視差情報と、ピクチャ表示画面の所定領域における最も奥のオブジェクト再生位置に対応した第２の視差情報が挿入されており、
    　上記コンテナに含まれるビデオストリームから上記左眼画像データおよび右眼画像データを取得すると共に、上記第１の視差情報および第２の視差情報を取得する情報取得部と、
    　上記取得された上記左眼画像データおよび上記右眼画像データと、上記取得された上記第１の視差情報および第２の視差情報とを、対応付けて、外部機器に送信する送信部とをさらに備える
    　受信装置。
  20. 　上記取得された第１の視差情報および第２の視差情報に基づいて、視差角が所定範囲内に入るように画像データおよび視差情報の再構成を行う情報再構成部をさらに備え、
    　上記送信部は、上記再構成された左眼画像データおよび右眼画像データと、上記再構成された第１の視差情報および第２の視差情報とを、対応付けて、外部機器に送信する
    　請求項１９に記載の受信装置。
  21. 　上記送信部は、２ピクチャ単位で、連続する第１のピクチャおよび第２のピクチャの視差情報を送信し、
    　少なくとも、上記第１のピクチャまたは上記第２のピクチャの視差情報は、１つ前のピクチャの視差情報との間の差分データとされる
    　請求項１９に記載の受信装置。
  22. 　上記第１のピクチャの視差情報と上記第２のピクチャの視差情報との差分データに基づいて、上記第１のピクチャの視差情報を差分データとするか上記第２のピクチャの視差情報を差分データとするかを決定する決定部をさらに備える
    　請求項２１に記載の受信装置。
  23. 　上記送信部が送信する上記視差情報には、上記第１のピクチャの視差情報が差分データであるか上記第２のピクチャの視差情報が差分データであるかを示す識別情報が付加されている
    　請求項２２に記載の受信装置。
PCT/JP2013/050723 2012-02-16 2013-01-17 送信装置、送信方法および受信装置 WO2013121823A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2013542274A JP6090168B2 (ja) 2012-02-16 2013-01-17 送信装置および送信方法
BR112013026086-6A BR112013026086A2 (pt) 2012-02-16 2013-01-17 aparelho de transmissão, método de transmissão e aparelho de recepção
CN201380001556.6A CN103597823B (zh) 2012-02-16 2013-01-17 发送装置、发送方法和接收器装置
KR1020137026511A KR101981813B1 (ko) 2012-02-16 2013-01-17 송신 장치, 송신 방법 및 수신 장치
EP13748981.1A EP2683168B1 (en) 2012-02-16 2013-01-17 Transmission device, transmission method and receiver device
US14/110,512 US9596449B2 (en) 2012-02-16 2013-01-17 Transmitting apparatus, transmitting method, and receiving apparatus
US15/411,260 US9860511B2 (en) 2012-02-16 2017-01-20 Transmitting apparatus, transmitting method, and receiving apparatus

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012032215 2012-02-16
JP2012-032215 2012-02-16
JP2012035684 2012-02-21
JP2012-035684 2012-02-21

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/110,512 A-371-Of-International US9596449B2 (en) 2012-02-16 2013-01-17 Transmitting apparatus, transmitting method, and receiving apparatus
US15/411,260 Continuation US9860511B2 (en) 2012-02-16 2017-01-20 Transmitting apparatus, transmitting method, and receiving apparatus

Publications (1)

Publication Number Publication Date
WO2013121823A1 true WO2013121823A1 (ja) 2013-08-22

Family

ID=48983949

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/050723 WO2013121823A1 (ja) 2012-02-16 2013-01-17 送信装置、送信方法および受信装置

Country Status (7)

Country Link
US (2) US9596449B2 (ja)
EP (1) EP2683168B1 (ja)
JP (2) JP6090168B2 (ja)
KR (1) KR101981813B1 (ja)
CN (1) CN103597823B (ja)
BR (1) BR112013026086A2 (ja)
WO (1) WO2013121823A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10212532B1 (en) 2017-12-13 2019-02-19 At&T Intellectual Property I, L.P. Immersive media with media device

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9860515B2 (en) * 2012-12-11 2018-01-02 Electronics And Telecommunications Research Institute Apparatus and method for 3D content broadcasting with boundary information
US9762889B2 (en) * 2013-05-08 2017-09-12 Sony Corporation Subtitle detection for stereoscopic video contents
EP3139620B1 (en) * 2014-05-01 2022-03-30 Sony Group Corporation Communication apparatus or communication method, and computer program
EP3242487B1 (en) 2014-12-29 2021-10-13 Sony Group Corporation Transmitting device, transmitting method, receiving device and receiving method
KR102337159B1 (ko) * 2015-05-21 2021-12-08 삼성전자주식회사 컨텐츠 출력 장치 및 방법과, 디스플레이 장치
KR102519209B1 (ko) * 2015-06-17 2023-04-07 한국전자통신연구원 스테레오스코픽 비디오 데이터를 처리하기 위한 mmt 장치 및 방법
CN109409251B (zh) * 2015-08-18 2023-05-16 奇跃公司 虚拟和增强现实系统和方法
CN109691113B (zh) * 2016-07-15 2022-02-08 皇家Kpn公司 流式传输虚拟现实视频
CN106325521B (zh) * 2016-08-31 2018-06-29 北京小米移动软件有限公司 测试虚拟现实头显设备软件的方法及装置
WO2018083211A1 (en) 2016-11-04 2018-05-11 Koninklijke Kpn N.V. Streaming virtual reality video
US11523185B2 (en) 2019-06-19 2022-12-06 Koninklijke Kpn N.V. Rendering video stream in sub-area of visible display area

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0715748A (ja) * 1993-06-24 1995-01-17 Canon Inc 画像記録再生装置
JPH10191394A (ja) * 1996-12-24 1998-07-21 Sharp Corp 多視点画像符号化装置
JP2004274732A (ja) * 2003-02-19 2004-09-30 Matsushita Electric Ind Co Ltd 動画像符号化方法、及び、動画像復号化方法
JP2005006114A (ja) 2003-06-12 2005-01-06 Sharp Corp 放送データ送信装置、放送データ送信方法および放送データ受信装置
JP2005094168A (ja) * 2003-09-12 2005-04-07 Sharp Corp ファイル構造及びそれを用いる画像記録装置並びに画像再生装置
JP2011155431A (ja) * 2010-01-27 2011-08-11 Hitachi Consumer Electronics Co Ltd フレームレート変換装置および映像表示装置
JP2011211754A (ja) * 2011-07-15 2011-10-20 Fujifilm Corp 画像処理装置および方法並びにプログラム
WO2011129242A1 (ja) * 2010-04-14 2011-10-20 ソニー株式会社 データ構造、画像処理装置、画像処理方法、およびプログラム
JP2011239169A (ja) * 2010-05-10 2011-11-24 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP2012010032A (ja) * 2010-06-23 2012-01-12 Sony Corp 画像データ送信装置、画像データ送信装置の制御方法、画像データ送信方法および画像データ受信装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6365574U (ja) 1986-10-17 1988-04-30
US5625408A (en) * 1993-06-24 1997-04-29 Canon Kabushiki Kaisha Three-dimensional image recording/reconstructing method and apparatus therefor
JPH08133125A (ja) 1994-11-04 1996-05-28 Nissan Motor Co Ltd 自動車のサブフレーム取付構造
JPH08142908A (ja) 1994-11-18 1996-06-04 Nissan Motor Co Ltd 自動車のサブフレーム取付構造
JP2001088736A (ja) 1999-09-24 2001-04-03 Suzuki Motor Corp サスペンションフレーム構造
JP4697005B2 (ja) 2006-03-29 2011-06-08 三菱自動車工業株式会社 車体構造
JP2008018901A (ja) 2006-07-14 2008-01-31 Toyota Motor Corp 車両前部構造
CN101523924B (zh) 2006-09-28 2011-07-06 皇家飞利浦电子股份有限公司 3d菜单显示
JP4763571B2 (ja) * 2006-10-24 2011-08-31 シャープ株式会社 立体画像生成装置及び立体画像復号装置
JP2008174179A (ja) 2007-01-22 2008-07-31 Nissan Motor Co Ltd 車体前部構造
JP4910882B2 (ja) 2007-05-23 2012-04-04 三菱自動車工業株式会社 サスクロスメンバ取付け構造
JP5228626B2 (ja) * 2007-05-29 2013-07-03 パナソニック株式会社 立体プリント配線板とその製造方法
WO2009051457A2 (en) * 2007-10-19 2009-04-23 Samsung Electronics Co., Ltd. Method of recording three-dimensional image data
JP2010064637A (ja) 2008-09-11 2010-03-25 Daihatsu Motor Co Ltd 車両の下部構造
JP5274359B2 (ja) * 2009-04-27 2013-08-28 三菱電機株式会社 立体映像および音声記録方法、立体映像および音声再生方法、立体映像および音声記録装置、立体映像および音声再生装置、立体映像および音声記録媒体
JP5267334B2 (ja) * 2009-05-28 2013-08-21 株式会社Ｊｖｃケンウッド 立体映像表示装置および立体映像表示方法
JP5446913B2 (ja) 2009-06-29 2014-03-19 ソニー株式会社 立体画像データ送信装置および立体画像データ送信方法
JP2011030179A (ja) * 2009-06-29 2011-02-10 Sony Corp 画像データ送信装置、制御方法およびプログラム
JP5407957B2 (ja) * 2009-06-29 2014-02-05 ソニー株式会社 立体画像データ送信装置および立体画像データ受信装置
JP2011030182A (ja) * 2009-06-29 2011-02-10 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP5402715B2 (ja) * 2009-06-29 2014-01-29 ソニー株式会社 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP5407968B2 (ja) * 2009-06-29 2014-02-05 ソニー株式会社 立体画像データ送信装置および立体画像データ受信装置
CN102474638B (zh) 2009-07-27 2015-07-01 皇家飞利浦电子股份有限公司 组合3d视频与辅助数据
JP2011166757A (ja) 2010-01-15 2011-08-25 Sony Corp 送信装置、送信方法および受信装置
JP5577789B2 (ja) * 2010-03-25 2014-08-27 ソニー株式会社 画像データ送信装置、画像データ送信方法および画像データ受信装置
JP2012010311A (ja) * 2010-05-26 2012-01-12 Sony Corp 送信装置、送信方法、受信装置、受信方法および送受信システム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0715748A (ja) * 1993-06-24 1995-01-17 Canon Inc 画像記録再生装置
JPH10191394A (ja) * 1996-12-24 1998-07-21 Sharp Corp 多視点画像符号化装置
JP2004274732A (ja) * 2003-02-19 2004-09-30 Matsushita Electric Ind Co Ltd 動画像符号化方法、及び、動画像復号化方法
JP2005006114A (ja) 2003-06-12 2005-01-06 Sharp Corp 放送データ送信装置、放送データ送信方法および放送データ受信装置
JP2005094168A (ja) * 2003-09-12 2005-04-07 Sharp Corp ファイル構造及びそれを用いる画像記録装置並びに画像再生装置
JP2011155431A (ja) * 2010-01-27 2011-08-11 Hitachi Consumer Electronics Co Ltd フレームレート変換装置および映像表示装置
WO2011129242A1 (ja) * 2010-04-14 2011-10-20 ソニー株式会社 データ構造、画像処理装置、画像処理方法、およびプログラム
JP2011239169A (ja) * 2010-05-10 2011-11-24 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP2012010032A (ja) * 2010-06-23 2012-01-12 Sony Corp 画像データ送信装置、画像データ送信装置の制御方法、画像データ送信方法および画像データ受信装置
JP2011211754A (ja) * 2011-07-15 2011-10-20 Fujifilm Corp 画像処理装置および方法並びにプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10212532B1 (en) 2017-12-13 2019-02-19 At&T Intellectual Property I, L.P. Immersive media with media device
US10812923B2 (en) 2017-12-13 2020-10-20 At&T Intellectual Property I, L.P. Immersive media with media device
US11212633B2 (en) 2017-12-13 2021-12-28 At&T Intellectual Property I, L.P. Immersive media with media device
US11632642B2 (en) 2017-12-13 2023-04-18 At&T Intellectual Property I, L.P. Immersive media with media device

Also Published As

Publication number Publication date
JP6090168B2 (ja) 2017-03-08
US9596449B2 (en) 2017-03-14
CN103597823B (zh) 2017-11-03
KR101981813B1 (ko) 2019-08-28
US9860511B2 (en) 2018-01-02
EP2683168B1 (en) 2019-05-01
JP2017099000A (ja) 2017-06-01
JP6365697B2 (ja) 2018-08-01
CN103597823A (zh) 2014-02-19
KR20140134212A (ko) 2014-11-21
JPWO2013121823A1 (ja) 2015-05-11
US20170134707A1 (en) 2017-05-11
BR112013026086A2 (pt) 2020-08-11
US20140028798A1 (en) 2014-01-30
EP2683168A4 (en) 2015-07-22
EP2683168A1 (en) 2014-01-08

Similar Documents

Publication Publication Date Title
JP6406327B2 (ja) 受信装置および受信方法
JP6365697B2 (ja) 受信装置および受信方法
WO2013108531A1 (ja) 受信装置、受信方法および電子機器
WO2013105401A1 (ja) 送信装置、送信方法、受信装置および受信方法
EP2451170A1 (en) Stereoscopic image data transmitter and method for transmitting stereoscopic image data
US20110141238A1 (en) Stereo image data transmitting apparatus, stereo image data transmitting method, stereo image data receiving data receiving method
JP5633259B2 (ja) 立体画像データ送信装置、立体画像データ送信方法および立体画像データ受信装置
WO2013073455A1 (ja) 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
US20140327740A1 (en) Transmission apparatus, transmisson method, receiver and receiving method
WO2013054775A1 (ja) 送信装置、送信方法、受信装置および受信方法
WO2012063675A1 (ja) 立体画像データ送信装置、立体画像データ送信方法および立体画像データ受信装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2013542274

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2013748981

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 20137026511

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14110512

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13748981

Country of ref document: EP

Kind code of ref document: A1

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112013026086

Country of ref document: BR

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 112013026086

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20131009