WO2014034464A1 - データ処理装置、データ処理方法、送信装置および受信装置 - Google Patents

データ処理装置、データ処理方法、送信装置および受信装置 Download PDF

Info

Publication number
WO2014034464A1
WO2014034464A1 PCT/JP2013/072090 JP2013072090W WO2014034464A1 WO 2014034464 A1 WO2014034464 A1 WO 2014034464A1 JP 2013072090 W JP2013072090 W JP 2013072090W WO 2014034464 A1 WO2014034464 A1 WO 2014034464A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
data
scaling ratio
size
parallax
Prior art date
Application number
PCT/JP2013/072090
Other languages
English (en)
French (fr)
Inventor
塚越　郁夫
こず恵 佐々木
伸介 小山
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2014034464A1 publication Critical patent/WO2014034464A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus

Definitions

  • the present technology relates to a data processing device, a data processing method, a transmission device, a transmission method, and a reception device, and in particular, corrects the display size of objects such as graphics and subtitles that are superimposed by adding parallax to the left eye image and the right eye image.
  • the present invention relates to a data processing device and the like.
  • Patent Document 1 proposes a transmission method using a television broadcast radio wave of stereoscopic image data.
  • left-eye image data and right-eye image data constituting a stereoscopic image are transmitted, and stereoscopic image display using binocular parallax is performed in the television receiver.
  • FIG. 45 shows the relationship between the display position of the left and right images of an object (object) on the screen and the playback position of the stereoscopic image in stereoscopic image display using binocular parallax.
  • the right and left line of sight intersects in front of the screen surface, so that the stereoscopic image is reproduced.
  • the position is in front of the screen surface.
  • DPa represents a horizontal disparity vector related to the object A.
  • the right and left lines of sight intersect on the screen surface, and the reproduction position of the stereoscopic image is the screen. It becomes on the surface.
  • the left and right line of sight intersects behind the screen surface.
  • the playback position is behind the screen.
  • DPc represents a horizontal disparity vector related to the object C.
  • This depth disturbance can be solved by controlling the depth of the object according to the background image. That is, by giving a parallax corresponding to the parallax at the superimposed position of the left and right images to the object to be superimposed on the left and right images, the depth feeling of the object according to the background image can be controlled, and the depth interference can be solved.
  • the purpose of this technology is to be able to satisfactorily superimpose objects such as graphics and captions on a stereoscopic image.
  • a scaling ratio acquisition unit that acquires a scaling ratio determined based on the parallax offset value of the object on the screen and the binocular distance; And a scaling unit that performs scaling on the display data of the object based on the acquired scaling ratio.
  • the scaling ratio determined based on the parallax offset value of the object (graphics, caption, etc.) and the binocular distance on the screen is acquired by the scaling ratio acquisition unit.
  • the scaling ratio acquisition unit converts the parallax information into a parallax offset value corresponding to the assumed screen size or display screen size, and calculates the scaling ratio based on the converted parallax offset value and the binocular distance.
  • a scaling ratio determining unit for determining.
  • the scaling ratio determining unit has a parallax offset value and binocular distance in which the scaling ratio becomes 1 when the parallax offset value is 0, and the scaling ratio changes linearly or nonlinearly according to the change in the parallax offset value.
  • the scaling ratio may be determined according to a relational expression with the scaling ratio.
  • the parallax information conversion unit adjusts the parallax offset value so as to fall within the predetermined range when the parallax offset value corresponding to the converted display screen size does not fall within the predetermined range. It may be made like. For example, the parallax information conversion unit adjusts the converted parallax offset value based on the ratio between the display screen size and the assumed screen size. In addition, for example, the parallax information conversion unit performs a limiter process on the converted parallax offset value to adjust the converted parallax offset value. Thus, by adjusting the parallax offset value to fall within a predetermined range, the viewer can be prevented from harming viewing health.
  • the scaling ratio acquisition unit may acquire the scaling ratio using a conversion table between the parallax information and the scaling ratio. In this case, a calculation process for obtaining the scaling ratio is not necessary, and the load for obtaining the scaling ratio can be reduced.
  • the object size is corrected according to the parallax offset value of the object on the screen, and thus the perceived position of the object in the depth direction. Therefore, it is possible to avoid a sense of incongruity in the perceived size of the object superimposed on the stereoscopic image.
  • An image data acquisition unit that acquires data of a left eye image and a right eye image that form a stereoscopic image
  • an object data acquisition unit that acquires display data of an object to be superimposed on the image
  • An object size correction unit that corrects the object size for the acquired display data of the object
  • a video superimposing unit that superimposes the display data of the size-corrected object on the data of the left eye image and the right eye image by adding parallax
  • a transmission unit for transmitting a video stream including data of a left eye image and a right eye image on which display data of the object is superimposed,
  • the object size correction unit A scaling ratio acquisition unit that acquires a scaling ratio determined based on the parallax offset value of the object on the screen and the binocular distance; And a scaling unit that performs scaling on the display data of the object based on the acquired scaling ratio.
  • the image data acquisition unit acquires the data of the left eye image and the right eye image constituting the stereoscopic image.
  • the image data in this case is, for example, data obtained by being imaged by a camera or data obtained by being read from a data storage medium.
  • display data of the object to be superimposed on the image is acquired by the object data acquisition unit.
  • the object in this case is, for example, graphics or subtitles.
  • the display data of the object is, for example, data generated by the object data generation unit or data read out from the data storage medium.
  • the object size correction is performed on the acquired object display data by the object size correction unit.
  • a scaling ratio determined based on the parallax offset value of the object on the screen and the binocular distance is acquired, and the display data of the object is scaled based on the scaling ratio.
  • the video superimposing unit superimposes the display data of the size-corrected object on the left-eye image data and the right-eye image data with parallax. Then, the transmission unit transmits a video stream including data of the left eye image and the right eye image on which the display data of the object is superimposed.
  • a container having a predetermined format including a video stream is transmitted.
  • the container may be a transport stream (MPEG-2 TS) adopted in the digital broadcasting standard.
  • the container may be MP4 used for Internet distribution or the like, or a container of other formats.
  • the display data of the object to be superimposed with the parallax added to the data of the left eye image and the right eye image depends on the parallax offset value of the object on the screen, and thus the perceived position of the object in the depth direction.
  • the object size is corrected. Therefore, on the receiving side, it is possible to avoid a sense of incongruity in the perceived size of the object superimposed on the stereoscopic image based on the received left-eye image data and right-eye image data.
  • An image data acquisition unit that acquires data of a left eye image and a right eye image that form a stereoscopic image
  • an object data acquisition unit that acquires data of an object to be superimposed on the image
  • a transmission unit for transmitting a video stream including data of the left eye image and right eye image and an object stream including data of the object
  • An information acquisition unit for acquiring size correction information or scaling ratio information for correcting the size of the object according to the parallax to be given to the object
  • the transmission apparatus includes an information insertion unit that inserts the acquired size correction information or scaling ratio information into the video stream or the object stream.
  • the image data acquisition unit acquires the data of the left eye image and the right eye image constituting the stereoscopic image.
  • the image data in this case is, for example, data obtained by being imaged by a camera or data obtained by being read from a data storage medium.
  • display data of the object to be superimposed on the image is acquired by the object data acquisition unit.
  • the display data of the object in this case is display data such as graphics and subtitles, for example.
  • the display data of the object is, for example, data generated by the object data generation unit or data read out from the data storage medium.
  • the transmission unit transmits a video stream including left eye image data and right eye image data and an object stream including object data.
  • a container having a predetermined format including a video stream and an object stream is transmitted.
  • the container may be a transport stream (MPEG-2 TS) adopted in the digital broadcasting standard.
  • MPEG-2 TS transport stream
  • the container may be MP4 used for Internet distribution or the like, or a container of other formats.
  • the information acquisition unit acquires size correction information or scaling ratio information for correcting the size of the object according to the parallax applied to the object.
  • the size correction information may include information on a relational expression between the parallax offset value and binocular distance of the object on the screen and the scaling ratio, information on the binocular distance, and information on the assumed screen size.
  • the scaling ratio information may be information on a conversion table between parallax information and a scaling ratio. Then, the information insertion unit inserts the acquired size correction information or scaling ratio information into the video stream or the object stream.
  • the size correction information or the scaling ratio information for correcting the size of the object according to the parallax applied to the object is also transmitted. Therefore, on the receiving side, when the display data of the object is superimposed on the left-eye image data and the right-eye image data in accordance with the parallax offset value of the object on the screen, and accordingly the perceived position of the object in the depth direction.
  • the object size can be easily corrected. Therefore, on the receiving side, it is possible to easily avoid a sense of incongruity in the perceived size of the object superimposed on the stereoscopic image based on the received left eye image and right eye image data.
  • An image data acquisition unit that acquires data of a left eye image and a right eye image that form a stereoscopic image
  • a transmission unit that transmits a video stream including the image data
  • An information acquisition unit for acquiring size correction information or scaling ratio information for correcting the size of the object to be superimposed on the image according to the parallax to be given to the object
  • There is a transmission apparatus comprising: an information insertion unit that inserts the acquired size correction information or scaling ratio information into the video stream.
  • the image data acquisition unit acquires the data of the left eye image and the right eye image constituting the stereoscopic image.
  • the image data in this case is, for example, data obtained by being imaged by a camera or data obtained by being read from a data storage medium.
  • the transmission unit transmits a video stream including data of the left eye image and the right eye image.
  • a container having a predetermined format including a video stream is transmitted.
  • the container may be a transport stream (MPEG-2 TS) adopted in the digital broadcasting standard.
  • the container may be MP4 used for Internet distribution or the like, or a container of other formats.
  • the information acquisition unit acquires size correction information or scaling ratio information for correcting the size of the object to be superimposed on the image according to the parallax provided to the object.
  • the size correction information may include information on a relational expression between the parallax offset value and binocular distance of the object on the screen and the scaling ratio, information on the binocular distance, and information on the assumed screen size.
  • the scaling ratio information may be information on a conversion table between parallax information and a scaling ratio. Then, the information insertion unit inserts the acquired size correction information or scaling ratio information into the video stream.
  • the size correction information or the scaling ratio information for correcting the size of the object to be superimposed on the image according to the parallax added to the object is transmitted. Therefore, on the receiving side, when the object display data, for example, OSD display data, is superimposed on the data of the left eye image and the right eye image, for example, the parallax offset value of the object on the screen, and thus the object
  • the object size can be easily corrected according to the perceived position in the depth direction. Therefore, it is possible to easily avoid a sense of incongruity in the perceived size of the object superimposed on the stereoscopic image based on the received left-eye image data and right-eye image data on the receiving side.
  • a receiving unit that receives a video stream including data of a left eye image and a right eye image constituting a stereoscopic image
  • An object data acquisition unit for acquiring display data of an object to be superimposed on the image
  • An information acquisition unit for acquiring size correction information or scaling ratio information for correcting the size of an object to be superimposed on an image
  • An object size correction unit that corrects an object size based on the acquired size correction information or scaling ratio information with respect to the acquired display data of the object
  • the receiving apparatus further includes a video superimposing unit that superimposes the display data of the size-corrected object on the data of the left eye image and the right eye image with parallax.
  • a video stream including left eye image data and right eye image data constituting a stereoscopic image is received by the receiving unit.
  • a container of a predetermined format including a video stream is received.
  • the container may be a transport stream (MPEG-2 TS) adopted in the digital broadcasting standard.
  • the container may be MP4 used for Internet distribution or the like, or a container of other formats.
  • the display data of the object to be superimposed on the image is acquired by the object data acquisition unit.
  • the display data of the object in this case is display data such as graphics and subtitles, for example.
  • the display data of the object is, for example, data generated by the object data generation unit or data read out from the data storage medium.
  • the object size correction unit corrects the object size on the acquired object display data based on the size correction information or the scaling ratio information.
  • the size correction information may include information on a relational expression between the parallax offset value and binocular distance of the object on the screen and the scaling ratio, information on the binocular distance, and information on the assumed screen size.
  • the scaling ratio information may be information on a conversion table between parallax information and a scaling ratio.
  • the size correction information or scaling ratio information is acquired by the information acquisition unit by various methods. For example, these pieces of information are inserted into a video stream and acquired from the video stream. Further, for example, these pieces of information are acquired from paper or a storage medium. Further, for example, these pieces of information are acquired from the server via communication means. Also, for example, these pieces of information are generated and acquired inside the receiving apparatus.
  • the video superimposing unit superimposes the display data of the size-corrected object on the left-eye image data and the right-eye image data with parallax.
  • the parallax is given based on, for example, parallax information corresponding to the parallax between the left eye image and the right eye image at the object superimposition position so as not to cause depth interference.
  • the scaling ratio determined based on the parallax offset value of the object on the screen and the binocular distance is acquired, and the display data of the object is scaled based on the scaling ratio.
  • the size correction information may include information on a relational expression between the parallax offset value and binocular distance of the object on the screen and the scaling ratio, information on the binocular distance, and information on the assumed screen size.
  • the scaling ratio information may be information on a conversion table between parallax information and a scaling ratio.
  • the size correction information or the scaling ratio information for correcting the size of the object to be superimposed on the image according to the parallax added to the object is inserted into the received video stream.
  • the display data of an object for example, OSD display data, for example
  • the parallax offset value of the object on the screen and thus the perception of the depth direction of the object.
  • the object size can be easily corrected according to the position. Therefore, it is possible to easily avoid a sense of incongruity in the perceived size of the object superimposed on the stereoscopic image based on the received left eye image and right eye image data.
  • a receiving unit that receives a video stream including data of a left eye image and a right eye image constituting a stereoscopic image and an object stream including data of an object to be superimposed on the image; Size correction information or scaling ratio information for correcting the size of the object is inserted into the video stream or the object stream.
  • An object size correction unit for correcting the object size based on the inserted size correction information or scaling ratio information for the display data of the object;
  • the receiving apparatus further includes a video superimposing unit that superimposes the display data of the size-corrected object on the data of the left eye image and the right eye image with parallax.
  • the reception unit receives a video stream including data of a left eye image and a right eye image constituting a stereoscopic image and an object stream including data of an object to be superimposed on the image.
  • the object in this case is, for example, graphics or subtitles.
  • a container having a predetermined format including a video stream and an object stream is received.
  • the container may be a transport stream (MPEG-2 TS) adopted in the digital broadcasting standard.
  • the container may be MP4 used for Internet distribution or the like, or a container of other formats.
  • size correction information or scaling ratio information for correcting the object size is inserted.
  • the size correction information may include information on a relational expression between the parallax offset value and binocular distance of the object on the screen and the scaling ratio, information on the binocular distance, and information on the assumed screen size.
  • the scaling ratio information may be information on a conversion table between parallax information and a scaling ratio.
  • the object size correction unit corrects the object size on the display data of the object based on the size correction information or the scaling ratio information.
  • a scaling ratio determined based on the parallax offset value of the object on the screen and the binocular distance is acquired, and the display data of the object is scaled based on the scaling ratio.
  • the video superimposing unit superimposes the display data of the size-corrected object on the left-eye image data and the right-eye image data with parallax.
  • the parallax is given based on, for example, parallax information corresponding to the parallax between the left eye image and the right eye image at the object superimposition position so as not to cause depth interference.
  • the size correction information or the scaling ratio information for correcting the size of the object to be superimposed on the image according to the parallax to be given to the object is received as a received video stream or object stream (for example, a subtitle). Stream). Therefore, when the received object display data is superimposed on the left-eye image data and the right-eye image data in accordance with the parallax offset value of the object on the screen, and accordingly the perceived position of the object in the depth direction.
  • the object size can be easily corrected. Therefore, it is possible to easily avoid a sense of incongruity in the perceived size of the object superimposed on the stereoscopic image based on the received left eye image and right eye image data.
  • FIG. 11 is a diagram illustrating a structure example (Syntax) of “Depth perspective scaling SEIcalmessage”. It is a figure which shows the structural example (Syntax) of "depth
  • FIG. 1 shows a configuration example of an image transmission / reception system 10 as an embodiment.
  • the image transmission / reception system 10 includes a transmission device 100 and a reception device 200.
  • the transmission device 100 transmits a transport stream TS as a container on a broadcast wave.
  • the transport stream TS includes a video stream obtained by encoding data of a left eye image and a right eye image constituting a stereoscopic image.
  • the transport stream TS includes a subtitle stream obtained by encoding subtitle (caption) data.
  • the transport stream TS includes an audio stream obtained by encoding audio data.
  • the display data of the production-side graphics is superimposed on the data of the left eye image and the right eye image.
  • parallax corresponding to the parallax of the left and right images at the superimposed position is added to the display data of the production-side graphics superimposed on the data of the left eye image and the right eye image.
  • the display data is based on the production-side graphics information H0. Is scaled for size correction.
  • This information H0 includes parallax information of the left and right images at the superimposed position of the production-side graphics and size correction information or scaling ratio information.
  • the disparity information in this case is based on the disparity information Pi's (P0 to Pn) of each divided area in the entire screen, as shown in FIG.
  • a representative value, for example, a minimum value, of the disparity information of each divided region corresponding to the superimposed position of “Author's (graphics)” is included.
  • the size correction information includes information on the relationship between the parallax offset value Px and the binocular distance E of the object on the screen and the scaling ratio MSR (perspective_type), binocular distance information (target eye baseline_distance), Contains information on the assumed screen size (primary viewing size).
  • the scaling ratio information is information of a conversion table between parallax information and scaling ratio.
  • the scaling ratio is acquired, and the graphics display data is scaled based on the scaling ratio.
  • the scaling ratio is determined based on the parallax offset value of the object on the screen and the binocular distance. This scaling ratio is obtained using size correction information or scaling ratio information.
  • the parallax offset value of the object on the screen is obtained based on the parallax information and the information on the assumed screen size (primary viewing size).
  • the scaling ratio is obtained by substituting the parallax offset value and the binocular distance information (target ⁇ ⁇ eye ⁇ baseline_distance) into the relational expression specified by the relational expression information (perspective_type). The relational expression will be described later.
  • the scaling ratio is obtained by reading the scaling ratio corresponding to the parallax information from the conversion table of the parallax information and the scaling ratio.
  • subtitle information H1 is inserted into the subtitle stream.
  • This information H1 includes disparity information of the left and right images at the superimposed position of the subtitle (caption), size correction information, or scaling ratio information, similarly to the above-described production-side graphics information H0.
  • the disparity information is used on the receiving side to give disparity corresponding to the disparity of the left and right images at the superimposed position to the display data of the subtitle (caption) superimposed on the data of the left eye image and the right eye image.
  • the disparity information in this case is based on the disparity information Pi's (P0 to Pn) of each divided area in the entire screen, as shown in FIG.
  • the representative value, for example, the minimum value, of the disparity information of each divided region corresponding to the subtitle region (Subtitle region) that is the superimposition position is included.
  • the parallax information, the size correction information, or the scaling ratio information avoids an uncomfortable feeling in the perceived size of the subtitle (caption) superimposed on the stereoscopic image based on the left-eye image data and the right-eye image data on the receiving side. Therefore, it is used to correct the size of the display data of the subtitle (caption).
  • a scaling ratio is acquired, and then scaling is performed based on the scaling ratio.
  • information H2 for receiver graphics (OSD) is inserted into the video stream.
  • This information H2 includes parallax information of right and left images and size correction information or scaling ratio information in a predetermined number of divided areas of the screen, as in the above-described production-side graphics information H0 or subtitle information H1. It is.
  • the disparity information is used on the receiving side to give disparity corresponding to the disparity of the left and right images at the superimposed position to display data of receiver graphics (OSD) superimposed on the data of the left eye image and the right eye image. Is done.
  • the disparity information in this case includes, for example, a screen as shown in FIG. 3D based on the disparity information Pi's (P0 to Pn) of each divided area in the entire screen as shown in FIG.
  • a representative value, for example, a minimum value of the parallax information of each divided area divided into four is included. Note that four divisions are an example, and other division numbers may be used.
  • the parallax information, the size correction information, or the scaling ratio information is used to avoid a sense of incongruity in the perceived size of the receiver graphics (OSD) in the stereoscopic image based on the data of the left eye image and the right eye image on the receiving side.
  • OSD receiver graphics
  • it is used to perform size correction on display data of receiver graphics (OSD).
  • OSD display data of receiver graphics
  • the receiving device 200 receives a transport stream TS as a container sent from the transmitting device 100 on a broadcast wave.
  • This transport stream TS includes a video stream including data of a left eye image and a right eye image constituting a stereoscopic image.
  • the transport stream TS includes a subtitle stream including subtitle (caption) data.
  • the transport stream TS includes an audio stream including audio data.
  • the video stream is decoded, and the data of the left eye image and the right eye image are obtained.
  • the left-eye image data and the right-eye image data are superimposed with display data of production-side graphics with parallax.
  • the information H2 for receiver graphics described above is extracted from this video stream.
  • the receiving apparatus 200 decodes the subtitle stream and obtains subtitle (caption) display data.
  • the information H1 for the subtitle (caption) described above is extracted from the subtitle stream.
  • the receiving apparatus 200 superimposes the display data of the subtitle (caption) on the data of the left eye image and the right eye image.
  • the disparity information included in the subtitle (caption) information H1 is used for the display data of the subtitle (caption) to be superimposed on the data of the left eye image and the right eye image so that depth interference does not occur.
  • a parallax corresponding to the parallax of the left and right images at the superimposed position is given.
  • the display data is processed based on the information H1. Scaling for size correction is performed.
  • the receiving apparatus 200 display data of receiver graphics (OSD) is superimposed on the data of the left eye image and the right eye image.
  • the receiver graphics (OSD) information H2 is included in the receiver graphics (OSD) display data superimposed on the data of the left eye image and the right eye image so that the depth interference does not occur.
  • the parallax information is used to give parallax corresponding to the parallax of the left and right images at the superimposed position.
  • the display data is displayed based on the information H2. On the other hand, scaling for size correction is performed.
  • FIG. 4A shows a case where a subtitle (caption) is pasted on a monitor position (Monitor Position) on the screen. In this case, there is no parallax shift, and the appearance is the same as in the case of two-dimensional (2D) display.
  • FIG. 4B shows a case where a subtitle (caption) is pasted to a far position (far position) behind the screen. In this case, when the subtitle (caption) due to the parallax shift is viewed in stereoscopic (3D) display, it appears larger than the subtitle (caption) at the monitor position.
  • FIG. 4C shows a case where the subtitle (caption) is pasted to the near position on the near side of the screen. In this case, when the subtitle (caption) due to the parallax shift is viewed in stereoscopic (3D) display, it appears smaller than the subtitle (caption) at the monitor position.
  • FIG. 7 shows a visual relationship (general) between parallax information and an object (superimposed object).
  • parallax information is a negative value
  • parallax is given so that the left-eye display data is shifted to the right side and the right-eye display data is shifted to the left side on the screen.
  • the display position of the object is in front of the screen, but the visual size is desired to be larger than on the screen.
  • the parallax information is a positive value
  • the parallax is given so that the left-eye display data is shifted to the left side and the right-eye display data is shifted to the right side on the screen.
  • the display position of the object is behind the screen, but the visual size is desired to be smaller than on the screen.
  • FIG. 8 shows a virtual distance in the depth direction due to binocular parallax.
  • the convergence angle formed by both eyes (binocular distance E) when the object N (size Hd) on the screen surface is viewed at the screen distance (viewing distance) Ds is defined as ⁇ 0. .
  • ⁇ 0 2 * arctan (E / (2 * Ds)).
  • the virtual distance in the depth direction when the object N is displayed on the screen surface with the parallax PA is Z_n, and the convergence angle at that time is ⁇ a.
  • Z_n PA / (E + PA) * Ds.
  • the virtual distance in the depth direction when the object N is displayed on the screen surface with the parallax PB is Z_f, and the convergence angle at that time is ⁇ b.
  • Z_f PB / (E ⁇ PB) * Ds.
  • the value of the disparity information represents the positional deviation between the left and right images on the screen
  • PA and PB are physical quantities depending on the display screen size.
  • FIG. 9 shows the size of the object by perspective.
  • the size of a human retinal image for an object is inversely proportional to the distance to the target object (universality of size and distance).
  • An object having the same size of the retina image is small if it is close, and large if it is far away.
  • Jd is an enlarged display of the object (size Nd) at a ratio as shown in the following formula (1).
  • Jd (1 + Z_n / (Ds ⁇ Z_n)) * Hd (1)
  • Kd is a reduced display of the object N (size Nd) at a ratio as shown in the following equation (3).
  • Kd (1 ⁇ Z_f / (Ds + Z_f)) * Hd (3)
  • the disparity information PA and PB is a signed value (PA: negative in the depth direction, PB: positive in the depth direction), which is Px
  • Px the ratio (scaling ratio) LSR of the enlargement / reduction on the screen surface with respect to the object with zero parallax for obtaining a natural perception at an arbitrary depth position
  • FIG. 10 shows an example in which scaling (enlargement / reduction) of an object (superimposed object) using the scaling ratio LSR obtained by the above equation (5) is applied to graphics display. Note that FIG. 10 shows an image at the time of stereoscopic (3D) viewing, and shows a comparison between before and after scaling.
  • FIG. 10A shows a case where graphics are pasted on a monitor position (Monitor Position) on the screen before scaling. In this case, there is no parallax shift, and the appearance is the same as in the case of two-dimensional (2D) display.
  • FIG. 10A ′ shows a case where graphics is pasted on a monitor position on the screen after scaling. In this case, since there is no parallax shift and the scaling ratio is 1, the appearance is the same as before scaling.
  • FIG. 10B shows a case where the graphics are pasted to the far position (far position) behind the screen before scaling.
  • the graphics due to the parallax shift are viewed in a three-dimensional (3D) display
  • the graphics appear larger than the graphics at the monitor position, and the size of the graphics has a perceived discomfort.
  • FIG. 10B ' shows a case where graphics is pasted to the far position on the back side of the screen after scaling.
  • the scaling ratio is smaller than 1 and the reduction scaling is performed
  • the graphics due to the parallax shift are viewed in the stereoscopic (3D) display, the graphics appear smaller than the graphics at the monitor position, and the sense of discomfort is generated in the size of the graphics. Disappear.
  • FIG. 10C shows a case where the graphics is pasted to the near position on the near side of the screen before scaling.
  • the graphics due to the parallax shift are viewed in a three-dimensional (3D) display
  • the graphics appear smaller than the graphics at the monitor position, and the size of the graphics has a perceived discomfort.
  • FIG. 10C ' shows a case where graphics is pasted to the near position on the near side of the screen after scaling.
  • the scaling ratio is larger than 1 and enlargement scaling is performed
  • the graphics due to the parallax shift are viewed in stereoscopic (3D) display, the graphics appear larger than the graphics at the monitor position, and the size of the graphics has a perceived discomfort. Disappear.
  • FIG. 11 shows an example of applying scaling (enlargement / reduction) of an object (superimposed object) to the subtitle (caption) using the scaling ratio LSR obtained by the above equation (5).
  • this FIG. 11 has shown the image at the time of three-dimensional (3D) viewing, and has shown, contrasting before and after scaling, respectively.
  • FIG. 11 (a) shows a case where a subtitle (caption) is pasted on a monitor position (Monitor Position) on the screen before scaling.
  • a monitor position Monitoring Position
  • FIG. 10A shows a case where a subtitle (caption) is pasted on a monitor position on the screen after scaling.
  • the appearance is the same as before scaling.
  • FIG. 11 (b) shows a case where the subtitle (caption) is pasted to the far position (far position) from the screen before scaling.
  • the subtitle (caption) due to the parallax shift is viewed in stereoscopic (3D) display, it looks larger than the subtitle (caption) at the monitor position, and the size of the subtitle (caption) is perceptually strange.
  • FIG. 11B ′ shows a case where the subtitle (caption) is pasted to the far position behind the screen after scaling.
  • the scaling ratio is smaller than 1 and the reduction scaling is performed, when the subtitle (caption) due to the parallax shift is viewed in the stereoscopic (3D) display, it looks smaller than the subtitle (caption) of the monitor position, and the subtitle (caption) There is no perceptual discomfort in the size.
  • FIG. 11 (c) shows a case where the subtitle (caption) is pasted to the near position on the near side of the screen before scaling.
  • the subtitle (caption) due to the parallax shift is viewed in a stereoscopic (3D) display, it looks smaller than the subtitle (caption) of the monitor position, and the size of the subtitle (caption) is perceptually strange.
  • FIG. 11C ′ shows a case where the subtitle (caption) is pasted to the near position on the near side of the screen after scaling.
  • the scaling ratio is larger than 1 and enlargement scaling is performed, when the subtitle (caption) due to the parallax shift is viewed in stereoscopic (3D) display, it looks larger than the subtitle (caption) of the monitor position, and the subtitle (caption) There is no perceptual discomfort in the size.
  • FIG. 12 shows control of the size of the object by perspective deformation.
  • the relationship between the distance and the size of the object does not cause unnaturalness, the change in size is continuous, and the size of the object in the linear perspective is not abruptly separated from the object size at the screen position.
  • control is performed so that the change in size with respect to depth becomes smooth.
  • Ld be the size at which a straight line passing through La from the retina forms an image on the screen surface.
  • Ld is an enlarged display of the object N (size Nd) at a ratio as shown in the following formula (7).
  • Md the size at which a straight line passing through Mb from the retina forms an image on the screen surface.
  • Md is a reduced display of the object N (size Nd) at a ratio as shown in the following formula (8).
  • the disparity information PA and PB are set as signed values (PA: negative in the depth direction, PB: positive in the depth direction), and Px
  • the ratio (scaling ratio) MSR on the screen surface with respect to an object with zero parallax for obtaining a natural perception at an arbitrary depth position is expressed by the following formula (9).
  • This ⁇ is the slope control factor (Slope ⁇ control factor) because it corrects the slope of the linear perspective line. If necessary, the slope control coefficient for the far position (slope control factor ⁇ positive) so that different values can be taken depending on whether the depth position is closer or farther than the screen. And a slope control coefficient “slope control factor negative” for the near position is incorporated into the size correction information.
  • FIG. 14 shows an example in which scaling (enlargement / reduction) of an object (superimposed object) is applied to a subtitle (caption). Note that FIG. 14 shows an image at the time of stereoscopic (3D) viewing.
  • the scaling ratio LSR by the linear perspective method is applied (see the formula (5))
  • the scaling ratio MSR by the nonlinear perspective method are applied in comparison with each other.
  • FIG. 14A shows a case where a subtitle (caption) is pasted on a monitor position (Monitor Position) on the screen after scaling by linear perspective.
  • a subtitle (caption) is pasted on a monitor position (Monitor Position) on the screen after scaling by linear perspective.
  • 2D two-dimensional
  • FIG. 14A ' shows a case where a subtitle (caption) is pasted on a monitor position on the screen after scaling by nonlinear perspective.
  • the appearance is the same as after scaling by the linear perspective method.
  • FIG. 14B shows a case where the subtitle (caption) is pasted to the far position from the screen after scaling by the linear perspective method.
  • the scaling ratio is smaller than 1 and the reduction scaling is performed, when the subtitle (caption) due to the parallax shift is viewed in the stereoscopic (3D) display, the monitor position is greatly separated from the monitor position. Looks much smaller than the position subtitle.
  • FIG. 14 (b ′) shows a case where the subtitle (caption) is pasted to the far position behind the screen after scaling by nonlinear perspective.
  • the scaling ratio is smaller than 1, but it is suppressed from becoming smaller than after scaling by the linear perspective method. Therefore, when the subtitle (caption) due to the parallax shift is viewed in stereoscopic (3D) display, it appears smaller than the subtitle (caption) of the monitor position, but is displayed larger than after scaling by the linear perspective method.
  • FIG. 14 (c) shows a case where the subtitle (caption) is pasted to the near position on the near side of the screen after scaling by the linear perspective method.
  • the scaling ratio is larger than 1 and enlargement scaling is performed, when the subtitle (caption) due to the parallax shift is viewed in stereoscopic (3D) display, if the pasting position is far from the monitor position, the monitor It looks much larger than the subtitle of the position.
  • FIG. 14 (c ′) shows a case where a subtitle (caption) is pasted to the near position on the near side of the screen after scaling by nonlinear perspective.
  • the scaling ratio is larger than 1, but it is suppressed from becoming larger than after scaling by the linear perspective method. Therefore, when a subtitle (caption) due to parallax shift is viewed in stereoscopic (3D) display, it appears larger than the subtitle (caption) at the monitor position, but is displayed smaller than after scaling by linear perspective.
  • FIG. 15 illustrates a configuration example of the transmission data generation unit 110 in the transmission device 100.
  • This transmission data generation unit 110 transmits a subtitle parallax information and size correction information or scaling ratio information with a data structure that can be easily linked to a DVB (Digital Video Broadcasting) system, which is one of existing broadcasting standards. To do.
  • DVB Digital Video Broadcasting
  • the transmission data generation unit 110 includes a data extraction unit 111, a parallax information generation unit 112, a parallax information region mapping unit 113, a size correction unit 114, a graphics buffer 115, a depth control unit 116, and a video superimposition unit 117. And a video encoder 118.
  • the transmission data generation unit 110 includes a subtitle processing unit 119, a subtitle encoder 120, an audio encoder 121, and a multiplexer 122.
  • the data extraction unit 111 includes an image pickup medium 111a, a production-side graphics / subtitle data generation unit 111b, an audio input medium 111c, and a data recording medium 111d.
  • the image capturing medium 111a is a camera that captures a subject and outputs data of a left eye image and a right eye image that form a stereoscopic image.
  • the production-side graphics / subtitle data generation unit 111b outputs production-side graphics display data (map data) and subtitle data.
  • the sound input medium 111c is a microphone that outputs sound data.
  • the data recording medium 111 records and reproduces each data described above.
  • the disparity information generating unit 112 generates disparity information Pi ′s (P0 to Pn) of each divided region in the entire screen based on the data of the left eye image and the right eye image extracted from the data extracting unit 111 (FIG. 16 (b)). ), See FIG. In this case, the disparity information generation unit 112 detects disparity information (horizontal disparity vector) for each pixel (pixel) and performs downsizing processing, thereby obtaining disparity information Pi's (P0 to Pn) of each divided region. Generate.
  • FIG. 16A shows an example of detecting a disparity vector for each pixel.
  • the left eye image is used as a detection image
  • the right eye image is used as a reference image
  • a disparity vector at positions (xi, yi) and (xj, yj) is detected.
  • the pixel at the position (xi, yi) is set to the upper left in the left eye image, for example, 4 ⁇ 4, 8 ⁇ 8, or 16 ⁇ 16 pixels.
  • a block (parallax detection block) Bi is set. Then, a pixel block matching the pixel block Bi is searched in the right eye image.
  • a search range centered on the position of (xi, yi) is set in the right eye image, and each pixel in the search range is sequentially set as a pixel of interest, for example, 4 ⁇ 4 similar to the above-described pixel block Bi. 8 ⁇ 8 or 16 ⁇ 16 comparison blocks are sequentially set. Between the pixel block Bi and the sequentially set comparison blocks, the sum of absolute difference values for each corresponding pixel is obtained. When n pixels are included in the search range set in the right-eye image, n total sums S1 to Sn are finally obtained, and the minimum sum Smin is selected among them.
  • the pixel position (xi ′, yi ′) at the upper left is obtained from the comparison block from which the sum Smin is obtained.
  • the disparity vector at the position (xi, yi) is detected as (xi′ ⁇ xi, yi′ ⁇ yi).
  • the disparity vector at the position (xj, yj) is also detected in the left eye image in the same process.
  • the disparity information region mapping unit 113 determines the production-side graphics information H0, the subtitle information H1, and the receiver from the disparity information Pi's (P0 to Pn) of each divided region in the entire screen generated by the disparity information generation unit 112.
  • the disparity information included in each of the graphics information H2 is obtained.
  • the production-side graphics information H0 is information used for giving disparity to the production-side graphics and correcting the size.
  • the disparity information included in the information H0 for example, each piece corresponding to the superimposed position of the production-side graphics.
  • a representative value for example, a minimum value of the parallax information of the divided area is obtained (see FIG. 3B).
  • the subtitle information H1 is information used for parallax addition and size correction to the subtitle (caption).
  • the disparity information included in the information H1 for example, a subtitle region that is a superposition position of the subtitle (caption)
  • a representative value of the disparity information of each divided region corresponding to (Subtitle ⁇ region), for example, the minimum value Min () is obtained (see FIG. 3C).
  • the receiver graphics information H2 is information used for giving parallax to the receiver graphics (OSD) and correcting the size.
  • the parallax information included in the information H2 for example, a predetermined number of screens such as four divisions.
  • a representative value, for example, a minimum value of the disparity information of each divided area is obtained (see FIG. 3D).
  • the size correcting unit 114 avoids a sense of incongruity in the perceived size of the production-side graphics superimposed on the stereoscopic image based on the left-eye image data and the right-eye image data.
  • the display data (bitmap data) is scaled for size correction.
  • the size correction unit 114 acquires a scaling ratio when performing size correction, and performs scaling on the display data of graphics based on the scaling ratio.
  • the scaling ratio is determined based on the parallax offset value of the graphics on the screen and the binocular distance.
  • the size correction unit 114 acquires this scaling ratio for each frame. At this time, the size correction unit 114 acquires the scaling ratio using the disparity information and the size correction information included in the production-side graphics information H0, or the disparity information and the scaling ratio information included in the information H0. Use to get the scaling ratio.
  • the size correction unit 114 When using the size correction information, the size correction unit 114 first obtains the parallax offset value of the graphics on the screen based on the parallax information and the information of the assumed screen size (primary viewing size). Then, the size correction unit 114 substitutes the parallax offset value Px and binocular distance E information (target eye baseline_distance) into the relational expression specified by the relational expression information (perspective_type), and sets the scaling ratio. obtain. On the other hand, when the scaling ratio information is used, the size correction unit 114 reads the scaling ratio corresponding to the parallax information from the conversion table between the parallax information and the scaling ratio, and obtains the scaling ratio.
  • FIG. 17A shows a configuration example of the size correction unit 114 when the size correction information is used.
  • the size correction unit 114 includes a parallax information conversion unit 114a, a scaling ratio determination unit 114b, and a scaler 114c.
  • the disparity information conversion unit 114a obtains the disparity offset value Px of the production-side graphics on the screen based on the disparity information and information on the assumed screen size (primary viewing size).
  • the scaling ratio determination unit 114b obtains the scaling ratio MSR by using the relational expression specified by the relational expression information (perspective_type) based on the information of the parallax offset value Px and the binocular distance E (target baseline_distance). For example, the above formula (9) or formula (10) is specified by the relational expression information (perspective_type).
  • the scaler 114c performs scaling processing for enlargement or reduction on the production-side graphics display data (bitmap data) based on the scaling ratio MSR to obtain display data after scaling.
  • FIG. 18 shows an example of scaling processing in the scaler 114c.
  • the scaling ratio MSR is 1.4
  • the decimal part represents the positional relationship of the interpolation pixels in the source side coordinates.
  • the interpolation pixel is arranged between the pixels of the source image, and the pixel value of the interpolation pixel is obtained by filtering. Then, the interpolation pixel at the source image coordinates is selected and projected to the output element position. As a result, in this example, 7 pixels of the output image are generated for 5 pixels of the source image, and enlargement of 1.4 times is performed.
  • selecting an interpolation pixel at the source image coordinates and projecting it to the output element position is equivalent to realizing disparity information (disparity) with sub-pixel accuracy.
  • FIG. 17B shows a configuration example of the size correction unit 114 when the scaling ratio information is used.
  • the graphics buffer 115 temporarily stores the production-side graphics display data (bitmap data) whose size has been corrected by the size correction unit 114.
  • the video superimposing unit 117 superimposes the display data of the production-side graphics corrected in size on the left eye image data and the right eye image data extracted from the data extracting unit 111.
  • the depth control unit 116 shifts the display data of the production-side graphics to be superimposed on the left-eye image data and the right-eye image data based on the disparity information so as to prevent depth interference, and gives disparity.
  • the video encoder 118 applies, for example, MPEG4-AVC (MVC), MPEG2 video, HEVC, or the like to the left-eye image data and the right-eye image data on which the production-side graphics display data output from the video superimposing unit 117 is superimposed. Are encoded to obtain encoded video data. Further, the video encoder 118 generates a video stream (video elementary stream) including the encoded video data by a stream formatter (not shown) provided in the subsequent stage.
  • MVC MPEG4-AVC
  • MPEG2 video MPEG2 video
  • HEVC High Efficiency Video Coding unit
  • the video encoder 118 inserts the above-described receiver graphics (OSD) information H2 into the video stream.
  • OSD receiver graphics
  • this information H2 is stored in the access unit (AU).
  • AU access unit
  • the subtitle processing unit 119 adds the following segments to the subtitle data for two-dimensional (2D) images extracted from the data extraction unit 111 to obtain subtitle data for stereoscopic (3D) images.
  • subtitle data for two-dimensional images has segments of DDS, PCS, RCS, CDS, ODS, and EDS.
  • DDS display definition segment
  • PCS page composition segment
  • RCS region composition segment
  • CDS CLUT definition segment
  • ODS object data segment
  • bitmap data bitmap data
  • the subtitle processing unit 119 adds a DSS (disparity signaling ⁇ ⁇ segment) segment including the disparity information constituting the subtitle data information H1 described above, and further, newly defined DPS (depth perspective segment) and SDS (Scaling Look Up) Add a segment of Table (definition segment)
  • the DPS segment is a segment including size correction information constituting the information H1.
  • the SDS segment is a segment including scaling ratio information constituting the information H1. Note that only one of the DPS segment and the SDS segment is selectively added. Details of the DPS segment and the SDS segment will be described later.
  • the subtitle encoder 120 generates a subtitle stream (subtitle elementary stream) including stereoscopic image subtitle data obtained by the subtitle processing unit 119.
  • the audio encoder 121 performs encoding such as MPEG-2 Audio or AAC on the audio data extracted from the data extraction unit 111 to generate an audio stream (audio elementary stream).
  • the multiplexer 122 multiplexes the streams from the video encoder 118, the subtitle encoder 120, and the audio encoder 121 to obtain a transport stream TS.
  • PTS Presentation Time Time Stamp
  • PES Packetized Elementary Stream
  • the operation of the transmission data generation unit 110 shown in FIG. The left eye image data and right eye image data extracted from the data extracting unit 111 are supplied to the video superimposing unit 117 and the parallax information generating unit 112.
  • the disparity information generating unit 112 generates disparity information Pi ′s (P0 to Pn) of each divided region in the entire screen based on the data of the left eye image and the right eye image (FIG. 16B, FIG. 3). a)).
  • the disparity information Pi ′s (P0 to Pn) is supplied to the disparity information area mapping unit 113.
  • the disparity information area mapping unit 113 obtains disparity information included in the production-side graphics information H0, the subtitle information H1, and the receiver graphics information H2 from the disparity information Pi's (P0 to Pn).
  • the disparity information constituting the production-side graphics information H0 obtained by the disparity information area mapping unit 113 is supplied to the size correction unit 114 and the depth control unit 116.
  • the production-side graphics display data (bitmap data) extracted from the data extraction unit 111 is supplied to the size correction unit 114.
  • the size correction unit 114 performs size correction on the display data (bitmap data) of the production-side graphics based on the disparity information configuring the information H0 and the size correction information or scaling ratio information configuring the information H0. Is scaled. This size correction is performed in order to avoid a sense of incongruity in the perceived size of the production-side graphics superimposed on the stereoscopic image based on the left-eye image data and the right-eye image data.
  • the video superimposing unit 117 superimposes the production-side graphics display data stored in the graphics buffer 115 on the left-eye image data and the right-eye image data, respectively.
  • the depth control unit 116 shifts the production-side graphics display data to be superimposed on the left-eye image data and the right-eye image data based on the disparity information so that depth interference does not occur, thereby providing disparity. Is done. Due to this shift control, the production-side graphics are always perceived in front of the stereoscopic image.
  • the left-eye image data and the right-eye image data on which the production-side graphics display data output from the video superimposing unit 117 are superimposed are supplied to the video encoder 118.
  • this video decoder 118 for example, MPEG4-AVC (MVC), MPEG2 video, HEVC, or the like is applied to the data of the left eye image and the right eye image to obtain encoded video data.
  • a video stream (video elementary stream) including the encoded video data is generated. This video stream is supplied to the multiplexer 122.
  • information H2 for receiver graphics (OSD) is inserted into the video stream.
  • the information H2 is stored in the access unit (AU). Is inserted as an SEI message in the “SEIs” portion of the message. This makes it possible to transmit receiver graphics (OSD) information H2 to the receiving side.
  • the subtitle data for the two-dimensional (2D) image extracted from the data extraction unit 111 is supplied to the subtitle processing unit 119.
  • the subtitle processing unit 119 in addition to the DSS segment, a newly defined DPS and SDS segment is added to obtain subtitle data for a stereoscopic (3D) image. By adding such a segment, the subtitle data H1 is inserted into the subtitle data.
  • the stereoscopic image subtitle data obtained by the subtitle processing unit 119 is supplied to the subtitle encoder 120.
  • the subtitle encoder 120 generates a subtitle stream (subtitle elementary stream) including subtitle data for stereoscopic images. This subtitle stream is supplied to the multiplexer 122.
  • the audio data extracted from the data extraction unit 111 is supplied to the audio encoder 121.
  • the audio encoder 121 performs encoding such as MPEG-2MPEGAudio or AAC on the audio data to generate an audio stream (audio elementary stream). This audio stream is supplied to the multiplexer 122.
  • the streams from the video encoder 118, the subtitle encoder 120, and the audio encoder 121 are multiplexed, and a transport stream TS is obtained.
  • PTS Presentation Time Time Stamp
  • PES Packetized Elementary Stream
  • the flowchart of FIG. 19 shows an example of a processing procedure related to the size correction of the production-side graphics in the transmission data generation unit 110.
  • the transmission data generation unit 110 starts processing in step ST1.
  • the transmission data generation unit 110 sets the number of processed frames N to 0 in step ST2, and then increases the number of processed frames N by 1 in step ST3.
  • step ST4 the transmission data generation unit 110 sets the number of processed graphics M to 0, and then increases the number of processed graphics M by 1 in step ST5. Then, in step ST6, the transmission data generation unit 110 obtains a parallax offset value (Px) that matches the assumed screen size (PrimaryPrimviewing size) based on the parallax information with the Mth graphics as a processing target.
  • Px parallax offset value
  • the transmission data generation unit 110 performs scaling by the scaling ratio MSR on the display data of the Mth graphics in step ST10 after the process of step ST8 or step ST9 described above (see FIG. 18).
  • step ST11 the transmission data generation unit 110 determines whether or not the total number of graphics in the frame is greater than the number of processed graphics M. If it is larger, the processing for all the graphics has not been completed, so the transmission data generating unit 110 returns to step ST5, increases the number of processed graphics M by 1, and shifts to the processing for the next graphics.
  • step ST12 the transmission data generation unit 110 determines whether or not the total number of frames is larger than the number of processed frames N. If it is larger, the processing for all the frames has not been completed, so the transmission data generating unit 110 returns to step ST3, increases the number of processed frames N by 1, and shifts to the processing for the next frame. And when not large at step ST12, since the process with respect to all the frames was complete
  • processing procedure shown in the flowchart of FIG. 19 is an example when size correction information is used.
  • scaling ratio information conversion table information
  • the processing from step ST6 to step ST9 is performed as disparity information.
  • the scaling ratio MSR from the conversion table of the scaling ratio.
  • FIG. 20 illustrates a configuration example of the transport stream TS.
  • This transport stream TS includes PES packets obtained by packetizing each elementary stream.
  • the PES packet “Video PES” of the video stream, the PES packet “Audio PES” of the audio elementary stream, and the PES packet “Subtitle PES” of the subtitle elementary stream are included.
  • the subtitle stream includes subtitle data for stereoscopic (3D) images.
  • This subtitle stream includes a newly defined DPS (Depth Perspective Segment) or SDS (Scaling / Look / Up / Table / Definition / Segment) together with conventionally known segments such as DDS, PCS, RCS, DSS, ODS, CDS, and EDS.
  • DPS Depth Perspective Segment
  • SDS Scaling / Look / Up / Table / Definition / Segment
  • FIG. 21 shows the segment type (DVB (subtitle segment_type) of the DVB subtitle.
  • the DDS segment type is “0x14”
  • the PCS segment type is “0x10”
  • the RCS segment type is “0x11”
  • the DSS segment type is “0x15”.
  • the ODS segment type is “0x13”
  • the CDS segment type is “0x12”
  • the EDS segment type is “0x80”.
  • the newly defined DPS segment type is “0x16”
  • the newly defined SDS segment type is “0x17”.
  • FIG. 22 shows a structural example (Syntax) of DPS (Depth Perspective Segment).
  • 23 and 24 show the contents (Semantics) of main information in the structural example.
  • the 3-bit field of “perspective_type” designates a relational expression between the parallax offset value Px and the binocular distance E and the scaling ratio MSR used for obtaining the scaling ratio.
  • “001” indicates that the relational expression used for obtaining the scaling ratio is the above-described expression (10) for obtaining the scaling ratio by the linear perspective method.
  • “010” indicates that the relational expression used for obtaining the scaling ratio is the above-described mathematical expression (9) for obtaining the scaling ratio by the nonlinear perspective method.
  • the 2-bit field of “target eye baseline_distance” indicates the binocular distance E. For example, “00” indicates 50 mm, “01” indicates 55 mm, “10” indicates 60 mm, and “11” indicates 65 mm.
  • a 3-bit field of “primary viewing size” indicates an assumed screen size. For example, “001” indicates 40 inches, “010” indicates 50 inches, “011” indicates 60 inches, “100” indicates 70 inches, “101” indicates 80 inches, and “110”. Indicates 90 inches, and "111" indicates 100 inches.
  • the 8-bit field of“ slope control factor positive ” indicates the value of the slope control coefficient ⁇ for the far position (far position) and takes a value in the range of 0 to 1.99.
  • the 8-bit field of “slope control factor negative” indicates the value of the slope control coefficient ⁇ for near position and takes a value in the range of 0 to 1.99.
  • FIG. 25 shows scaling ratio information.
  • This scaling ratio information is information of a conversion table between disparity information (Disparity offset value) and scaling ratio MSR.
  • FIG. 26 shows a structural example (Syntax) of SDS (Scaling / Look / Up / Table / Definition / Segment).
  • FIG. 27 shows the contents (Semantics) of main information in the structural example.
  • the 3-bit field of “scaling_type” indicates a relational expression between the parallax offset value Px and the binocular distance E for which the scaling ratio is obtained and the scaling ratio MSR.
  • “001” indicates that the relational expression used for obtaining the scaling ratio is the above-described equation (10) for obtaining the scaling ratio by the linear perspective method.
  • “010” indicates that the relational expression used for obtaining the scaling ratio is the above-described mathematical expression (9) for obtaining the scaling ratio by the nonlinear perspective method.
  • An 8-bit field of “Disparity_value_entry” indicates a value of disparity information
  • an 8-bit field of “Scaling_ratio” indicates a scaling ratio corresponding to the value.
  • receiver graphics (OSD) information H2 is inserted into the video stream.
  • the disparity information is inserted as an SEI message (Depth_information_for_graphics SEI message).
  • the size correction information is inserted as an SEI message (Depth perspective scaling SEI message).
  • the scaling ratio information is inserted as an SEI message (3D_scaling_coefficientcoSEI message).
  • FIG. 28A shows the top access unit of a GOP (Group Of Pictures), and FIG. 28B shows an access unit other than the top of the GOP.
  • “Depth_information_for_graphics SEI message” and “Depth perspective scaling SEI message” are inserted only in the head access unit of the GOP.
  • size correction information is inserted.
  • “3D_scaling_coefficient SEI message” is inserted instead of “Depth perspective scaling SEI message”.
  • FIG. 29A shows a structure example (Syntax) of “depth_information_for_graphics SEI message”. “Uuid_iso_iec_11578” has a UUID value indicated by “ISO / IEC 11578: 1996 Annex A.”. “Depth_information_for_graphics_data ()” is inserted in the field of “user_data_payload_byte”.
  • FIG. 29B shows a structural example (Syntax) of “depth_information_for_graphics_data ()”. In this, depth information for graphics (depth_information_for_graphics ()) is inserted. “Userdata_id” is an identifier of “depth_information_for_graphics ()” indicated by unsigned 16 bits.
  • FIG. 30 shows a structure example (Syntax) of “depth_information_for_graphics ()” when disparity information for each picture is inserted in units of pictures.
  • FIG. 31 shows the contents (Semantics) of main information in the structural example shown in FIG.
  • “3-bit field of“ partition_type ” indicates the partition type of the picture display screen. “000” indicates no division, “001” indicates that the horizontal and vertical are divided into two equal parts, and “010” indicates that the horizontal and vertical are divided into four equal parts.
  • the 8-bit field of “disparity_in_partition” indicates representative disparity information (representative disparity value) of each partition area (Partition). In many cases, this is the minimum value of the disparity information of the corresponding area.
  • FIG. 33A shows a structural example (Syntax) of “Depthepperspective scaling SEI message”. “Uuid_iso_iec — 11578” has a UUID value indicated by “ISO / IEC 11578: 1996 Annex A.”. “Userdata_for_depth perspective scaling ()” is inserted in the field of “user_data_payload_byte”.
  • FIG. 33B shows a structural example (Syntax) of “userdata_for_depth perspective scaling ()”. Depth / perspective scaling data (depth perspective scaling_data ()) is inserted therein. “Userdata_id” is an identifier of depth / perspective scaling data indicated by 16 unsigned bits.
  • FIG. 34 shows a structural example (Syntax) of depth-perspective scaling data (depth perspective scaling_data ()).
  • the contents of each field of “perspective_type”, “target eye baseline_distance”, “slope control factor positive” and “slope control factor negative” are the same as those in the DPS segment described above (see FIGS. 23 and 24).
  • FIG. 35A shows a structural example (Syntax) of “3D_scaling_coefficient SEI message”. “Uuid_iso_iec — 11578” has a UUID value indicated by “ISO / IEC 11578: 1996 Annex A.”. “3D_scaling_coefficient ()” is inserted into the “user_data_payload_byte” field.
  • FIG. 35B shows a structural example (Syntax) of “3D_scaling_coefficient ()”. In this, 3D scaling coefficient data (3D_scaling_coefficient_data ()) is inserted. “Userdata_id” is an identifier of 3D scaling coefficant data represented by 16 bits without a sign.
  • FIG. 36 shows a structural example (Syntax) of 3D scaling scaling coefficient data (3D_scaling_coefficient_data ()).
  • the contents of each field of “scaling_type”, “Disparity_value_entry”, and “Scaling_ratio” are the same as the contents in the above-described SDS segment (see FIG. 27).
  • the transport stream includes PMT (Program Map Table) as PSI (Program Specific Information).
  • PSI Program Specific Information
  • This PSI is information describing to which program each elementary stream included in the transport stream belongs.
  • the transport stream includes an EIT (Event Information Table) as SI (Serviced Information) for managing each event.
  • SI Serviced Information
  • the PMT includes a program descriptor (Program Descriptor) that describes information related to the entire program.
  • the PMT includes an elementary loop having information related to each elementary stream. In this configuration example, there are a video elementary loop, an audio elementary loop, and a subtitle elementary loop.
  • information such as a packet identifier (PID) is arranged for each stream, and a descriptor (descriptor) describing information related to the elementary stream is also arranged, although not shown.
  • PID packet identifier
  • descriptor descriptor
  • the subtitle descriptor (Subtitling_descriptor) indicating the content of the subtitle is inserted under the PMT.
  • a component descriptor (Component_descriptor) indicating distribution contents is inserted for each stream under the EIT.
  • stream_content” of the component descriptor indicates a subtitle
  • component_type indicates a subtitle
  • 3D subtitle indicates a 3D subtitle
  • any other value Indicates a 2D subtitle.
  • subtitle elementary loop (Subtitle ES loop) having information related to the subtitle elementary stream.
  • information such as a packet identifier (PID) is arranged for each stream, and a descriptor (descriptor) describing information related to the elementary stream is also arranged.
  • PID packet identifier
  • descriptor descriptor
  • FIG. 38 shows a structural example (syntax) of a component descriptor (Component_descriptor).
  • the 8-bit field of “descriptor_tag” indicates that this descriptor is a component descriptor.
  • the 8-bit field of “descriptor_length” indicates the entire byte size after this field.
  • the 4-bit field of “stream_content” indicates the stream type of the main stream such as video, audio, and subtitle.
  • a 4-bit field of “component_type” indicates a component type of the main stream such as video, audio, and subtitle.
  • stream_content is a subtitle “subtitle”
  • component_type is “2D” for 2D.
  • stream_content is a subtitle “subtitle”
  • component_type is “3D” for 3D.
  • the 8-bit field of “component_tag” has the same value as “component_tag” in the stream identifier descriptor (stream_identifier descriptor) corresponding to the main stream. As a result, the stream identifier descriptor and the component descriptor are associated with each other by “component_tag”.
  • a 24-bit field of “ISO — 639_language_code” indicates an ISO language code.
  • FIG. 39 shows a structural example (syntax) of a subtitle descriptor (Subtitling_descriptor).
  • the 8-bit field of “descriptor_tag” indicates that this descriptor is a subtitle descriptor.
  • the 8-bit field of “descriptor_length” indicates the entire byte size after this field.
  • the 24-bit field of “ISO_639_language_code” indicates the ISO language code.
  • An 8-bit field of “subtitling_type” indicates subtitle type information.
  • “subtitling_type” is set to “2D”.
  • “subtitling_type” is set to “3D”.
  • the 16-bit field of “composition_page_id” indicates the composition page ID, and has the same value as the page ID “page_id” of the segment included in the main stream.
  • FIG. 40 illustrates a configuration example of the stream processing unit 210 in the reception device 200.
  • the bit stream processing unit 210 has a configuration corresponding to the transmission data generation unit 110 shown in FIG.
  • the stream processing unit 210 includes a demultiplexer 211, a video decoder 212, and a video superimposing unit 213.
  • the stream processing unit 210 includes a subtitle decoder 221, a size correction unit 222, a subtitle buffer 223, and a depth control unit 224. Further, the stream processing unit 210 includes a receiver graphics data generation unit 231, a size correction unit 232, a graphics buffer 233, a depth control unit 234, and an audio decoder 241.
  • the demultiplexer 211 extracts video, audio, and subtitle packets from the received transport stream TS and sends them to each decoder.
  • the video decoder 212 performs processing reverse to that of the video encoder 118 in the transmission data generation unit 110 described above. That is, the video decoder 212 reconstructs a video stream (video elementary stream) from the video packets extracted by the demultiplexer 211, performs decoding processing, and obtains left-eye image data and right-eye image data.
  • the video decoder 212 also receives information H2 for receiver graphics (OSD) based on the SEI messages “Depth_information_for_graphics SEI message”, “Depth perspective scaling SEI message”, and “3D_scaling_coefficient SEI message” inserted in the video stream.
  • OSD receiver graphics
  • the subtitle decoder 221 performs processing opposite to that of the subtitle encoder 120 of the transmission data generation unit 110 described above. That is, the subtitle decoder 221 reconstructs a subtitle stream (subtitle elementary stream) from the subtitle packet extracted by the demultiplexer 211, performs decoding processing, and obtains subtitle data for stereoscopic images.
  • the subtitle decoder 221 generates display data (bitmap data) of the subtitle (caption) to be superimposed on the left eye image data and the right eye image data based on the stereoscopic image subtitle data. Further, the subtitle decoder 221 receives the disparity information, the size correction information, or the scaling ratio information constituting the subtitle information H1 based on the DSS and DPS, or the DSS and SDS segments included in the stereoscopic image subtitle data. get.
  • Display data (bitmap data) is scaled for size correction.
  • the size correction unit 222 acquires a scaling ratio when correcting the size, and performs scaling on the display data of the subtitle based on the scaling ratio.
  • the scaling ratio is determined based on the parallax offset value of the subtitle on the screen and the binocular distance.
  • the size correction unit 222 acquires this scaling ratio for each frame. At this time, the size correction unit 222 acquires the scaling ratio using the disparity information and the size correction information included in the subtitle information H1, or uses the disparity information and the scaling ratio information included in the information H1. To get the scaling ratio.
  • the disparity information sent in the DSS segment is not, for example, disparity information for each frame, but is sequentially updated at predetermined update frame intervals in the subtitle (caption) display period.
  • FIG. 41 illustrates an example of updating parallax information.
  • the interval period (Interval period) is a short period, and each update period is represented by the number of interval periods. “A” indicates the start frame (start point) of the subtitle (caption) display period, and “B” to “F” indicate subsequent update frames (update point).
  • M, N, P, Q, and R indicate the number of interval periods in each update period.
  • FIG. 41 also shows a change example in the time direction of the scaling ratio MSR obtained corresponding to the parallax information changing in the time direction in this way.
  • the size correction unit 222 when using the size correction information, the size correction unit 222 first obtains the parallax offset value of the graphics on the screen based on the information of the parallax information and the actual screen size (the size of the display device). .
  • the parallax offset value exceeds a predetermined range in consideration of safety and the like.
  • the size correction unit 222 adjusts the parallax offset value so as to fall within a predetermined range. In this case, for example, it is conceivable to adjust the parallax offset value based on the ratio between the display screen size and the assumed screen size, or to perform a limiter process on the parallax offset value.
  • the size correction unit 222 obtains a scaling ratio by substituting the parallax offset value Px and the binocular distance E information (target eye baseline_distance) into the relational expression specified by the relational expression information (perspective_type).
  • the size correction unit 222 reads the scaling ratio corresponding to the parallax information from the conversion table between the parallax information and the scaling ratio, and obtains the scaling ratio.
  • FIG. 42A shows a configuration example of the size correction unit 222 when the size correction information is used.
  • the size correction unit 222 includes a parallax information conversion / inspection unit 222a, a scaling ratio determination unit 222b, and a scaler 222c.
  • the parallax information conversion / inspection unit 222a obtains the parallax offset value Px of the object on the screen based on the parallax information and the size information of the display device. At this time, the parallax information conversion / inspection unit 222a checks whether the obtained parallax offset value Px exceeds a predetermined range in consideration of safety or the like, and adjusts the parallax information conversion / inspection unit 222a to be within the predetermined range.
  • the scaling ratio determining unit 222b obtains the scaling ratio MSR using the relational expression specified by the relational expression information (perspective_type) based on the information of the parallax offset value Px and the binocular distance E (target eyelinebaseline_distance). For example, the above formula (9) or formula (10) is specified by the relational expression information (perspective_type).
  • the scaler 222c performs scaling processing for enlargement or reduction on the display data (bitmap data) of the subtitle (caption) based on the scaling ratio MSR to obtain display data after scaling.
  • FIG. 42B shows a configuration example of the size correction unit 222 when the scaling ratio information is used.
  • the subtitle buffer 223 temporarily stores the display data of the subtitle whose size has been corrected by the size correction unit 222.
  • the video superimposing unit 213 superimposes the display data of the subtitle (caption) whose size has been corrected in this way on the data of the left eye image and the right eye image obtained by the video decoder 212 to obtain image data Vout.
  • the depth controller 224 shifts the display data of the subtitle superimposed on the data of the left eye image and the right eye image based on the parallax information so as to prevent depth interference, and gives the parallax. Note that when the parallax offset value Px is adjusted as described above, the parallax information used in the parallax providing process is also adjusted correspondingly so that the actual parallax offset value falls within a predetermined range. To be.
  • the receiver graphics data generator 231 generates receiver graphics, for example, OSD display data.
  • the size correction unit 232 is generated by the receiver graphics data generation unit 231 in order to avoid a sense of incongruity in the perceived size of the subtitle (caption) superimposed on the stereoscopic image based on the left-eye image data and the right-eye image data. Scaling for size correction is performed on display data (bitmap data) of receiver graphics (OSD).
  • the size correction unit 232 acquires a scaling ratio when correcting the size, and performs scaling on display data of the receiver graphics (OSD) based on the scaling ratio.
  • the scaling ratio is determined based on the parallax offset value of the receiver graphics (OSD) on the screen and the binocular distance.
  • the size correction unit 232 uses the disparity information included in the receiver graphics (OSD) information H2 acquired by the video decoder 212 and the size correction information or the scaling ratio information as described above. And it acquires for every frame.
  • the size correction unit 232 When using the size correction information, the size correction unit 232 first obtains the parallax offset value of the graphics on the screen based on the parallax information and information on the actual screen size (display device size). Next, the size correction unit 232 substitutes the parallax offset value Px and the binocular distance E information (target eyelinebaseline_distance) into the relational expression specified by the relational expression information (perspective_type), and sets the scaling ratio. obtain. On the other hand, when using the scaling ratio information, the size correction unit 232 reads the scaling ratio corresponding to the parallax information from the conversion table between the parallax information and the scaling ratio, and obtains the scaling ratio. Although detailed description is omitted, the size correction unit 232 is also configured in the same manner as the size correction unit 222 described above (see FIG. 42).
  • the graphics buffer 233 temporarily stores display data of the receiver graphics (OSD) whose size has been corrected by the size correction unit 232.
  • the video superimposing unit 213 superimposes the display data of the receiver graphics (OSD) whose size is corrected in this way on the data of the left eye image and the right eye image obtained by the video decoder 212 to obtain image data Vout. .
  • the depth control unit 234 shifts the display data of the receiver graphics (OSD) superimposed on the data of the left eye image and the right eye image based on the disparity information so as to prevent depth interference, and gives disparity. .
  • OSD receiver graphics
  • the parallax information used in the parallax providing process is also adjusted accordingly, so that the actual parallax offset value falls within a predetermined range. To be.
  • the audio decoder 241 performs processing reverse to that of the audio encoder 121 of the transmission data generation unit 110 described above. That is, the audio decoder 241 reconstructs an audio elementary stream from the audio packet extracted by the demultiplexer 211, performs decoding processing, and obtains audio data Aout.
  • the received transport stream TS is supplied to the demultiplexer 211.
  • video, audio, and subtitle packets are extracted from the transport stream TS and sent to each decoder.
  • a video stream (video elementary stream) is reconstructed from the video packet extracted by the demultiplexer 211 and subjected to a decoding process to obtain left eye image data and right eye image data.
  • the left eye image data and right eye image data are supplied to the video superimposing unit 213.
  • the video decoder 212 obtains disparity information and size correction information or scaling ratio information constituting information H2 for receiver graphics (OSD) based on the SEI message.
  • the subtitle decoder 221 reconstructs a subtitle stream (subtitle elementary stream) from the subtitle packet extracted by the demultiplexer 211, performs decoding processing, and obtains subtitle data for a stereoscopic (3D) image.
  • the subtitle decoder 221 generates display data (bitmap data) of the subtitle (caption) to be superimposed on the left eye image data and the right eye image data based on the subtitle data.
  • the subtitle decoder 221 acquires disparity information, size correction information, or scaling ratio information constituting the subtitle information H1 based on the DSS, DPS, and SDS segments.
  • the display data of the subtitle generated by the subtitle decoder 221 is supplied to the size correction unit 222.
  • the size correction unit 222 performs scaling for size correction on display data (bitmap data) of subtitles based on disparity information constituting the information H1 and size correction information or scaling ratio information constituting the information H1. Is done. This size correction is performed in order to avoid an uncomfortable feeling in the perceived size of the subtitle superimposed on the stereoscopic image based on the data of the left eye image and the right eye image.
  • the receiver graphics data generation unit 231 generates receiver graphics, for example, OSD display data.
  • This display data is supplied to the size correction unit 232.
  • the size correction unit 232 the size of the display data (bitmap data) of the receiver graphics (OSD) based on the disparity information constituting the information H2 and the size correction information or scaling ratio information constituting the information H2. Scaling for correction is performed. This size correction is performed in order to avoid a sense of incongruity in the perceived size of the receiver graphics (OSD) superimposed on the stereoscopic image based on the data of the left eye image and the right eye image.
  • the display data of the subtitle (caption) stored in the subtitle buffer 223 and the display data of the receiver graphics (OSD) stored in the graphics buffer 233 are the left eye image and the right eye image.
  • the output data Vout of the left eye image and the right eye image is obtained.
  • the depth control unit 224 performs shift control on the display data of the subtitle (caption) to be superimposed on the data of the left eye image and the right eye image so that the depth interference does not occur, so that the parallax is reduced. Is granted.
  • the subtitle (caption) is always perceived before the stereoscopic image.
  • display data of receiver graphics (OSD) superimposed on the data of the left eye image and the right eye image is shift-controlled by the depth control unit 234 based on the disparity information, and the disparity is given.
  • this shift control receiver graphics (OSD) is always perceived before the stereoscopic image.
  • the audio decoder 241 reconstructs an audio elementary stream from the audio packet extracted by the demultiplexer 211, performs a decoding process, and obtains audio data Aout.
  • step ST21 the stream processing unit 210 starts processing.
  • step ST22 the stream processing unit 210 sets the number of processed frames N to 0 in step ST22, and then increases the number of processed frames N by 1 in step ST23.
  • the stream processing unit 210 sets the processed region (graphics) number M to 0 in step ST24, and then increases the processed region (graphics) number M by 1 in step ST25. Then, in step ST26, the stream processing unit 210 determines whether there is scaling ratio information in the information H1 (H2). When there is scaling ratio information, the stream processing unit 210 obtains the scaling ratio MSR from the conversion table of parallax information and scaling ratio in step ST27.
  • the stream processing unit 210 determines in step ST28 whether the information H1 (H2) includes size correction information. When there is size correction information, the stream processing unit 210 immediately moves to the process of step ST29. When there is no size correction information, the stream processing unit 210 obtains size correction information (perspective_type, target eyetypebaseline_distance, primary viewing size) in step ST30. In this case, the stream processing unit 210 can obtain the size correction information from the display function of the receiving apparatus 200, the type of the superimposed object (object), and the like.
  • the stream processing unit 210 proceeds to the process of step ST29 after the process of step ST30.
  • the stream processing unit 210 obtains a parallax offset value (Px) that matches the actual screen size based on the parallax information and the size of the display device.
  • the stream processing unit 210 determines whether the obtained parallax offset value (Px) is appropriate. The stream processing unit 210 determines that it is appropriate when it is within a predetermined range considering safety and the like.
  • the stream processing unit 210 immediately moves to the process of step ST32.
  • the stream processing unit 210 adjusts the parallax offset value (Px) so as to fall within a predetermined range in step ST33.
  • the parallax offset value is adjusted based on the ratio between the display screen size and the assumed screen size, or a limiter process is performed on the parallax offset value.
  • the stream processing unit 210 proceeds to the process of step ST32 after the process of step ST33.
  • the stream processing unit 210 determines in step ST34 that the parallax offset value Px and the binocular distance according to the relational expression “1- (Px / E) * ⁇ ” expressed by the above equation (10). Substituting E, the scaling ratio MSR is obtained.
  • the stream processing unit 210 determines that the parallax offset value Px and the binocular distance in step ST35 according to the relational expression “ ⁇ (1 ⁇ Px / E)” expressed by the above equation (9). Substituting E, the scaling ratio MSR is obtained.
  • step ST36 the stream processing unit 210 performs scaling by the scaling ratio MSR on the display data of the Mth graphics after the above-described processing of step ST27, step ST34, or step ST35 (see FIG. 18).
  • step ST37 the stream processing unit 210 determines whether the number of all regions (graphics) in the frame is larger than the number M of processed regions (graphics). If it is larger, the processing for all the regions (graphics) has not been completed, so the stream processing unit 210 returns to step ST25 and increases the number M of processed regions (graphics) by 1, and the next region (graphics) ).
  • step ST38 the stream processing unit 210 determines whether or not the total number of frames is larger than the number of processed frames N. If it is larger, the processing for all the frames has not been completed, so the stream processing unit 210 returns to step ST23, increases the number of processed frames N by 1, and shifts to the processing for the next frame. And when it is not large in step ST38, since the process with respect to all the frames was complete
  • display data of objects such as production-side graphics, subtitles (subtitles), and receiver graphics (OSD) are added to the data of the left eye image and the right eye image.
  • objects such as production-side graphics, subtitles (subtitles), and receiver graphics (OSD)
  • OSD receiver graphics
  • size correction is performed in accordance with the parallax offset value of the object on the screen, and thus the perceived position of the object in the depth direction. It is possible to avoid a sense of incongruity in the perceived size of the object superimposed on the stereoscopic image based on the left eye image and right eye image data.
  • the container is a transport stream (MPEG-2 TS)
  • MPEG-2 TS transport stream
  • the present technology can be similarly applied to a system configured to be distributed to receiving terminals using a network such as the Internet.
  • the Internet distribution it is often distributed in a container of MP4 or other formats.
  • containers of various formats such as transport stream (MPEG-2 TS) adopted in the digital broadcasting standard and MP4 used in Internet distribution correspond to the container.
  • the receiving apparatus 200 has shown an example in which size correction information or scaling ratio information is acquired from the received video stream or object stream.
  • the receiving apparatus 200 may acquire size correction information or scaling ratio information by another method.
  • the information is acquired from a paper on which the information is described or a removable storage medium (memory) on which the information is recorded.
  • the user of the receiving device 200 inputs or sets information described on the paper to the receiving device 200.
  • the user of the receiving apparatus 200 attaches a removable recording medium to the receiving apparatus 200 and inputs or sets stored information to the receiving apparatus 200.
  • these pieces of information are obtained by communication means such as a smartphone or a personal computer and obtained from the communication means.
  • communication means such as a smartphone or a personal computer
  • information is input or set in the receiving apparatus 200 via a wired or wireless interface with the communication unit.
  • Such a communication unit is provided in the receiving apparatus 200 itself, and the acquisition of the size correction information or the scaling ratio information is acquired from a server of a broadcasting station or the like automatically or based on a user operation. Conceivable. In this case, access information to the server is inserted into the video stream or the transport stream TS, and it is conceivable that the access information to the server is acquired and used from these.
  • the receiving device 200 acquires size correction information or scaling ratio information from the transmitting device 100, a server, or the like, or acquires such information from paper, a recording medium, or the like. It is also conceivable to generate and acquire scaling ratio information (scaling ratio itself) based on this.
  • this technique can also take the following structures.
  • a scaling ratio acquisition unit that acquires a scaling ratio determined based on the parallax offset value of the object on the screen and the binocular distance;
  • a data processing apparatus comprising: a scaling unit that performs scaling on display data of the object based on the acquired scaling ratio.
  • the scaling ratio acquisition unit A parallax information conversion unit that converts the parallax information into a parallax offset value corresponding to the assumed screen size or the display screen size;
  • the data processing apparatus according to (1) further including a scaling ratio determination unit that determines the scaling ratio based on the converted parallax offset value and the binocular distance.
  • the scaling ratio determination unit When the parallax offset value is 0, the scaling ratio is 1, and the scaling ratio changes linearly or nonlinearly according to the change in the parallax offset value. According to the relational expression between the parallax offset value and the binocular distance and the scaling ratio The scaling ratio is determined.
  • the data processing apparatus according to (2).
  • the parallax information conversion unit The parallax offset value is adjusted so that the parallax offset value falls within a predetermined range when the parallax offset value according to the converted display screen size does not fall within the predetermined range. (2) or (3) Data processing equipment.
  • the parallax information conversion unit The data processing apparatus according to (4), wherein the converted parallax offset value is adjusted based on a ratio between the display screen size and an assumed screen size.
  • the parallax information conversion unit The data processing apparatus according to (4), wherein a limiter process is performed on the converted parallax offset value to adjust the converted parallax offset value.
  • the scaling ratio acquisition unit The data processing apparatus according to (1), wherein the scaling ratio is acquired using a conversion table between parallax information and a scaling ratio.
  • an image data acquisition unit that acquires data of a left eye image and a right eye image constituting a stereoscopic image
  • An object data acquisition unit for acquiring display data of an object to be superimposed on the image
  • An object size correction unit that corrects the object size for the acquired display data of the object
  • a video superimposing unit that superimposes the display data of the size-corrected object on the data of the left eye image and the right eye image by adding parallax
  • a transmission unit for transmitting a video stream including data of a left eye image and a right eye image on which display data of the object is superimposed,
  • the object size correction unit A scaling ratio acquisition unit that acquires a scaling ratio determined based on the parallax offset value of the object on the screen and the binocular distance; And a scaling unit that performs scaling on the display data of the object based on the acquired scaling ratio.
  • an image data acquisition unit that acquires data of a left eye image and a right eye image constituting a stereoscopic image
  • An object data acquisition unit for acquiring data of an object to be superimposed on the image
  • a video stream including data of the left eye image and right eye image, and a transmission unit for transmitting an object stream including the data of the object
  • An information acquisition unit for acquiring size correction information or scaling ratio information for correcting the size of the object according to the parallax to be given to the object
  • An information insertion unit that inserts the acquired size correction information or scaling ratio information into the video stream or the object stream.
  • the size correction information is The transmission apparatus according to (10), including information on a relational expression between a parallax offset value and binocular distance of an object on a screen and a scaling ratio, information on binocular distance, and information on an assumed screen size.
  • a transmission apparatus comprising: an information insertion unit that inserts the acquired size correction information or scaling ratio information into the video stream.
  • the size correction information is The transmission device according to (12), including information on a relational expression between a parallax offset value and binocular distance of an object on a screen and a scaling ratio, information on binocular distance, and information on an assumed screen size.
  • a receiving unit that receives a video stream including data of a left eye image and a right eye image constituting a stereoscopic image;
  • An object data acquisition unit for acquiring display data of an object to be superimposed on the image;
  • An information acquisition unit for acquiring size correction information or scaling ratio information for correcting the size of an object to be superimposed on an image;
  • An object size correction unit that corrects an object size based on the acquired size correction information or scaling ratio information with respect to the acquired display data of the object;
  • a receiving device further comprising: a video superimposing unit that superimposes the display data of the size-corrected object on the data of the left eye image and the right eye image with parallax.
  • the size correction information or scaling ratio information is inserted, The receiving device according to (14), wherein the information acquisition unit acquires the size correction information or scaling ratio information from the video stream.
  • the object size correction unit A scaling ratio acquisition unit that acquires a scaling ratio determined based on the parallax offset value of the object on the screen and the binocular distance; The receiving device according to (14), further including a scaling unit that performs scaling on display data of the object based on the acquired scaling ratio.
  • a receiving unit that receives a video stream including data of a left eye image and a right eye image constituting a stereoscopic image and an object stream including data of an object to be superimposed on the image is provided.
  • Size correction information or scaling ratio information for correcting the size of the object is inserted into the video stream or the object stream.
  • a receiving device further comprising: a video superimposing unit that superimposes the display data of the size-corrected object on the data of the left eye image and the right eye image with parallax.
  • the object size correction unit A scaling ratio acquisition unit that acquires a scaling ratio determined based on the parallax offset value of the object on the screen and the binocular distance;
  • the main feature of the present technology is that display data of objects such as production-side graphics, subtitles (subtitles), receiver graphics (OSD), and the like is not generated in the left-eye image data and right-eye image data.
  • the size correction is performed according to the parallax offset value of the object on the screen, and thus the perceived position of the object in the depth direction, so that the object superimposed on the stereoscopic image This makes it possible to avoid a sense of incongruity in the perceived size (see FIG. 10).
  • SYMBOLS 10 Image transmission / reception system 110 ... Transmission data generation part 111 ... Data extraction part 111a ... Image pick-up medium 111b ... Production side graphics subtitle data generation part 111c ... Audio
  • voice input medium 111d ⁇ Data recording medium 112 ⁇ Parallax information generation unit 113 ⁇ Parallax information region mapping unit 114 ⁇ Size correction unit 114a ⁇ ⁇ Parallax information conversion unit 114b ⁇ Scaling ratio determination unit 114c ⁇ ⁇ ⁇ Scaler DESCRIPTION OF SYMBOLS 115 ... Graphics buffer 116 ... Depth control part 117 ... Video superimposition part 118 ... Video encoder 119 ... Subtitle processing part 120 ...
  • Subtitle encoder 121 ... Audio encoder 122 ... Multiplexer 200 Receiver 210 ... Stream processing unit 211 ... Demultiplexer 212 ... Video decoder 213 ... Video superimposition unit 221 ... Subtitle decoder 222 ... Size correction unit 222a ... Parallax information conversion / inspection unit 222b ... Scaling ratio determination unit 222c ... scaler 223 ... subtitle buffer 224 ... depth control unit 231 ... receiver graphics data generation unit 232 ... size correction unit 233 ... graphics buffer 234 ... depth Control unit 241 ... Audio decoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

　立体画像へのグラフィクスや字幕などのオブジェクトの重畳表示を良好に行い得るようにする。　左眼画像および右眼画像のデータに、制作側グラフィクス、サブタイトル（字幕）、受信機グラフィクス（ＯＳＤ）などのオブジェクトの表示データを、デプス（depth）妨害が生じないように視差を付与して重畳する。その際に、スクリーン上におけるオブジェクトの視差オフセット値、従ってオブジェクトの奥行き方向の知覚位置に応じてサイズ補正（スケーリング）を行う。立体画像に重畳されるオフジェクトの知覚サイズに違和感が生じることを回避できる。

Description

データ処理装置、データ処理方法、送信装置および受信装置
　本技術は、データ処理装置、データ処理方法、送信装置、送信方法および受信装置に関し、特に、左眼画像および右眼画像に視差を付与して重畳するグラフィクス、字幕などのオブジェクトの表示サイズを補正するデータ処理装置などに関する。
　例えば、特許文献１には、立体画像データのテレビ放送電波を用いた伝送方式について提案されている。この場合、立体画像を構成する左眼画像データおよび右眼画像データが送信され、テレビ受信機において、両眼視差を利用した立体画像表示が行われる。
　図４５は、両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクト（物体）の左右像の表示位置と、その立体画像の再生位置との関係を示している。例えば、スクリーン上に図示のように左像Ｌａが右側に右像Ｒａが左側にずれて表示されているオブジェクトＡに関しては、左右の視線がスクリーン面より手前で交差するため、その立体画像の再生位置はスクリーン面より手前となる。ＤＰａは、オブジェクトＡに関する水平方向の視差ベクトルを表している。
　また、例えば、スクリーン上に図示のように左像Ｌｂおよび右像Ｒｂが同一位置に表示されているオブジェクトＢに関しては、左右の視線がスクリーン面で交差するため、その立体画像の再生位置はスクリーン面上となる。さらに、例えば、スクリーン上に図示のように左像Ｌｃが左側に右像Ｒｃが右側にずれて表示されているオブジェクトＣに関しては、左右の視線がスクリーン面より奥で交差するため、その立体画像の再生位置はスクリーン面より奥となる。ＤＰｃは、オブジェクトＣに関する水平方向の視差ベクトルを表している。
特開２００５－６１１４号公報
　立体画像にグラフィクスや字幕などのオブジェクトを重畳させる場合、オブジェクトの重畳位置に相当する立体画像の視差量を考慮して重畳させる必要がある。視差を考慮せずにオブジェクトを立体画像に重畳すると、立体画像の上に重畳させるオブジェクトは立体画像よりも視聴位置に近い側に知覚されるべきであるところ、逆に、立体画像の向こう側に知覚されることがあり、デプス（Depth）妨害が生じる。
　このデプス妨害に関しては、背景画像に応じたオブジェクトの奥行き感制御により解決できる。すなわち、左右の画像に重畳するオブジェクトに、その左右の画像の重畳位置における視差に対応した視差を付与することで、背景画像に応じたオブジェクトの奥行き感を制御でき、デプス妨害を解決できる。
　しかし、単に左右の画像に重畳するオブジェクトに視差を付与するだけでは、奥行き感に連動したオブジェクトのサイズに知覚上の違和感が生じる。これは人間の脳が感ずる眼の網膜への投影に関する遠近感に起因するものと考えられる。すなわち、近いものは遠いものよりも大きく見えることが前提になっているが、オブジェクトの大きさを変えないで上述したように視差を付与して遠近感を付けた場合、遠くのものと近くのものとの大きさが変わらないことになり、人間が自然界で知覚する遠近感とは異なることになる。
　つまり、近いと感ずるものが想定した大きさよりも大きくないので、逆に小さいように感ずる。同様に、遠くにあると感ずるものが想定した大きさよりも小さくないので、逆に大きいように感ずる。あるいは、単眼が知覚する大きさによる遠近感と、両眼視差によって知覚する距離の感じ方とに差があって、平面上に合成したオブジェクトのステレオ視とが現実の３次元物体の知覚と一致しない。このように、人間が従来知覚する自然な遠近感とは異なる現象を覚えるという問題が生ずる。視差情報から割り出される立体視聴の際の仮想的な距離感と、立体画像に重畳させるオブジェクトの知覚サイズに違和感が生じないよう表示させることが必要である。
　本技術の目的は、立体画像へのグラフィクスや字幕などのオブジェクトの重畳表示を良好に行い得るようにすることにある。
　本技術の概念は、
　スクリーン上におけるオブジェクトの視差オフセット値と両眼距離に基づいて決定されたスケーリング比を取得するスケーリング比取得部と、
　上記取得されたスケーリング比に基づいて、上記オブジェクトの表示データにスケーリングを行うスケーリング部とを備える
　データ処理装置にある。
　本技術において、スケーリング比取得部により、スクリーン上における、オブジェクト（グラフィクスや字幕など）の視差オフセット値と両眼距離に基づいて決定されたスケーリング比が取得される。例えば、スケーリング比取得部は、視差情報を想定スクリーンサイズまたは表示スクリーンサイズに応じた視差オフセット値に変換する視差情報変換部と、変換された視差オフセット値と両眼距離に基づいて、スケーリング比を決定するスケーリング比決定部とを有する、ようにされてもよい。
　この場合、スケーリング比決定部は、視差オフセット値が０であるときスケーリング比が１となり、該視差オフセット値の変化に応じてスケーリング比が線形または非線形に変化する、視差オフセット値および両眼距離と、スケーリング比との関係式により、スケーリング比を決定する、ようにされてもよい。
　また、この場合、視差情報変換部は、変換された表示スクリーンサイズに応じた視差オフセット値が所定の範囲内に入っていないとき、この視差オフセット値が所定の範囲内に入るように調整する、ようにされてもよい。例えば、視差情報変換部は、表示スクリーンサイズと想定スクリーンサイズの比に基づいて、変換された視差オフセット値を調整する、ようにされる。また、例えば、視差情報変換部は、変換された視差オフセット値に対してリミッタ処理を施して、変換された視差オフセット値を調整する、ようにされる。このように視差オフセット値が所定の範囲内に入るように調整されることで、視聴者が視聴上健康を害さないようにできる。
　また、例えば、スケーリング比取得部は、視差情報とスケーリング比との変換テーブルを用いて、スケーリング比を取得する、ようにされてもよい。この場合には、スケーリング比を求めるための演算処理などが不要となることから、スケーリング比を得るための負荷を軽減できる。
　このように本技術においては、スクリーン上におけるオブジェクトの視差オフセット値、従ってオブジェクトの奥行き方向の知覚位置に応じてオブジェクトサイズが補正されるものである。そのため、立体画像に重畳されるオフジェクトの知覚サイズに違和感が生じることを回避できる。
　また、本技術の他の概念は、
　立体画像を構成する左眼画像および右眼画像のデータを取得する画像データ取得部と、　画像に重畳するオブジェクトの表示データを取得するオブジェクトデータ取得部と、
　上記取得されたオブジェクトの表示データに対してオブジェクトサイズの補正を行うオブジェクトサイズ補正部と、
　上記サイズ補正されたオブジェクトの表示データを、上記左眼画像および右眼画像のデータに、視差を付与して重畳するビデオ重畳部と、
　上記オブジェクトの表示データが重畳された左眼画像および右眼画像のデータを含むビデオストリームを送信する送信部とを備え、
　上記オブジェクトサイズ補正部は、
　スクリーン上におけるオブジェクトの視差オフセット値と両眼距離に基づいて決定されたスケーリング比を取得するスケーリング比取得部と、
　上記取得されたスケーリング比に基づいて、上記オブジェクトの表示データにスケーリングを行うスケーリング部とを有する
　送信装置にある。
　本技術において、画像データ取得部により、立体画像を構成する左眼画像および右眼画像のデータが取得される。この場合の画像データは、例えば、カメラで撮像されて得られたもの、あるいはデータ記憶媒体から読み出されて得られたものなどである。また、オブジェクトデータ取得部により、画像に重畳するオブジェクトの表示データが取得される。この場合のオブジェクトは、例えば、グラフィクスや字幕などである。このオブジェクトの表示データは、例えば、オブジェクトデータ発生部で発生されたもの、あるいはデータ記憶媒体から読み出されて得られたものなどである。
　オブジェクトサイズ補正部により、取得されたオブジェクトの表示データに対してオブジェクトサイズの補正が行われる。この場合、例えば、スクリーン上におけるオブジェクトの視差オフセット値と両眼距離に基づいて決定されたスケーリング比が取得され、このスケーリング比に基づいてオブジェクトの表示データにスケーリングが施される。
　ビデオ重畳部により、サイズ補正されたオブジェクトの表示データが、左眼画像および右眼画像のデータに、視差付与されて重畳される。そして、送信部により、オブジェクトの表示データが重畳された左眼画像および右眼画像のデータを含むビデオストリームが送信される。例えば、ビデオストリームを含む所定フォーマットのコンテナが送信される。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ－２　ＴＳ）であってもよい。また、例えば、コンテナは、インターネットの配信などで用いられるＭＰ４、あるいはそれ以外のフォーマットのコンテナであってもよい。
　このように本技術において、左眼画像および右眼画像のデータに視差付与されて重畳されるオブジェクトの表示データは、スクリーン上におけるオブジェクトの視差オフセット値、従ってオブジェクトの奥行き方向の知覚位置に応じてオブジェクトサイズが補正されるものである。そのため、受信側において、受信された左眼画像および右眼画像のデータによる立体画像に重畳されるオフジェクトの知覚サイズに違和感が生じることを回避できる。
　また、本技術の他の概念は、
　立体画像を構成する左眼画像および右眼画像のデータを取得する画像データ取得部と、　画像に重畳するオブジェクトのデータを取得するオブジェクトデータ取得部と、
　上記左眼画像および右眼画像のデータを含むビデオストリームと、上記オブジェクトのデータを含むオブジェクトストリームとを送信する送信部と、
　上記オブジェクトのサイズを、該オブジェクトに付与する視差に応じて補正するためのサイズ補正情報またはスケーリング比情報を取得する情報取得部と、
　上記取得されたサイズ補正情報またはスケーリング比情報を、上記ビデオストリームまたは上記オブジェクトストリームに挿入する情報挿入部とを備える
　送信装置にある。
　本技術において、画像データ取得部により、立体画像を構成する左眼画像および右眼画像のデータが取得される。この場合の画像データは、例えば、カメラで撮像されて得られたもの、あるいはデータ記憶媒体から読み出されて得られたものなどである。また、オブジェクトデータ取得部により、画像に重畳するオブジェクトの表示データが取得される。この場合のオブジェクトの表示データは、例えば、グラフィクスや字幕などの表示データである。このオブジェクトの表示データは、例えば、オブジェクトデータ発生部で発生されたもの、あるいはデータ記憶媒体から読み出されて得られたものなどである。
　送信部により、左眼画像および右眼画像のデータを含むビデオストリームと、オブジェクトのデータを含むオブジェクトストリームとが送信される。例えば、ビデオストリームおよびオブジェクトストリームを含む所定フォーマットのコンテナが送信される。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ－２　ＴＳ）であってもよい。また、例えば、コンテナは、インターネットの配信などで用いられるＭＰ４、あるいはそれ以外のフォーマットのコンテナであってもよい。
　情報取得部により、オブジェクトのサイズを、このオブジェクトに付与する視差に応じて補正するためのサイズ補正情報またはスケーリング比情報が取得される。例えば、サイズ補正情報は、スクリーン上におけるオブジェクトの視差オフセット値および両眼距離と、スケーリング比との関係式の情報、両眼距離の情報および想定スクリーンサイズの情報を含む、ようにされてもよい。また、例えば、スケーリング比情報は、視差情報とスケーリング比との変換テーブルの情報であってもよい。そして、情報挿入部により、取得されたサイズ補正情報またはスケーリング比情報が、ビデオストリームまたは上記オブジェクトストリームに挿入される。
　このように本技術においては、オブジェクトの表示データと共に、オブジェクトのサイズを、このオブジェクトに付与する視差に応じて補正するためのサイズ補正情報またはスケーリング比情報も送信される。そのため、受信側において、左眼画像および右眼画像のデータにオブジェクトの表示データを視差付与して重畳する際に、スクリーン上におけるオブジェクトの視差オフセット値、従ってオブジェクトの奥行き方向の知覚位置に応じてオブジェクトサイズを容易に補正できる。そのため、受信側において、受信された左眼画像および右眼画像のデータによる立体画像に重畳されるオフジェクトの知覚サイズに違和感が生じることを容易に回避できる。
　また、本技術の他の概念は、
　立体画像を構成する左眼画像および右眼画像のデータを取得する画像データ取得部と、　上記画像データを含むビデオストリームを送信する送信部と、
　上記画像に重畳するオブジェクトのサイズを、該オブジェクトに付与する視差に応じて補正するためのサイズ補正情報またはスケーリング比情報を取得する情報取得部と、
　上記取得されたサイズ補正情報またはスケーリング比情報を、上記ビデオストリームに挿入する情報挿入部とを備える
　送信装置ある。
　本技術において、画像データ取得部により、立体画像を構成する左眼画像および右眼画像のデータが取得される。この場合の画像データは、例えば、カメラで撮像されて得られたもの、あるいはデータ記憶媒体から読み出されて得られたものなどである。送信部により、左眼画像および右眼画像のデータを含むビデオストリームが送信される。例えば、ビデオストリームを含む所定フォーマットのコンテナが送信される。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ－２　ＴＳ）であってもよい。また、例えば、コンテナは、インターネットの配信などで用いられるＭＰ４、あるいはそれ以外のフォーマットのコンテナであってもよい。
　情報取得部により、画像に重畳するオブジェクトのサイズを、このオブジェクトに付与する視差に応じて補正するためのサイズ補正情報またはスケーリング比情報が取得される。例えば、サイズ補正情報は、スクリーン上におけるオブジェクトの視差オフセット値および両眼距離と、スケーリング比との関係式の情報、両眼距離の情報および想定スクリーンサイズの情報を含む、ようにされてもよい。また、例えば、スケーリング比情報は、視差情報とスケーリング比との変換テーブルの情報であってもよい。そして、情報挿入部により、取得されたサイズ補正情報またはスケーリング比情報が、ビデオストリームに挿入される。
　このように本技術においては、画像に重畳するオブジェクトのサイズをこのオブジェクトに付与する視差に応じて補正するためのサイズ補正情報またはスケーリング比情報が送信される。そのため、受信側において、左眼画像および右眼画像のデータに、例えばオブジェクトの表示データ、例えばＯＳＤ表示データ等を視差付与して重畳する際に、スクリーン上におけるオブジェクトの視差オフセット値、従ってオブジェクトの奥行き方向の知覚位置に応じてオブジェクトサイズを容易に補正できる。従って、受信側において、受信された左眼画像および右眼画像のデータによる立体画像に重畳されるオフジェクトの知覚サイズに違和感が生じることを容易に回避できる。
　また、本技術の他の概念は、
　立体画像を構成する左眼画像および右眼画像のデータを含むビデオストリームを受信する受信部と、
　画像に重畳するオブジェクトの表示データを取得するオブジェクトデータ取得部と、
　画像に重畳するオブジェクトのサイズを補正するためのサイズ補正情報またはスケーリング比情報を取得する情報取得部と、
　上記取得されたオブジェクトの表示データに対して、上記取得されたサイズ補正情報またはスケーリング比情報に基づいて、オブジェクトサイズの補正を行うオブジェクトサイズ補正部と、
　上記サイズ補正されたオブジェクトの表示データを上記左眼画像および右眼画像のデータに視差を付与して重畳するビデオ重畳部とをさらに備える
　受信装置にある。
　本技術において、受信部により、立体画像を構成する左眼画像および右眼画像のデータを含むビデオストリームが受信される。例えば、ビデオストリームを含む所定フォーマットのコンテナが受信される。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ－２ ＴＳ）であってもよい。また、例えば、コンテナは、インターネットの配信などで用いられるＭＰ４、あるいはそれ以外のフォーマットのコンテナであってもよい。
　オブジェクトデータ取得部により、画像に重畳するオブジェクトの表示データが取得される。この場合のオブジェクトの表示データは、例えば、グラフィクスや字幕などの表示データである。このオブジェクトの表示データは、例えば、オブジェクトデータ発生部で発生されたもの、あるいはデータ記憶媒体から読み出されて得られたものなどである。
　オブジェクトサイズ補正部により、取得されたオブジェクトの表示データに対して、サイズ補正情報またはスケーリング比情報に基づいて、オブジェクトサイズの補正が行われる。例えば、サイズ補正情報は、スクリーン上におけるオブジェクトの視差オフセット値および両眼距離と、スケーリング比との関係式の情報、両眼距離の情報および想定スクリーンサイズの情報を含む、ようにされてもよい。また、例えば、スケーリング比情報は、視差情報とスケーリング比との変換テーブルの情報であってもよい。
　サイズ補正情報またはスケーリング比情報は、情報取得部により、種々の方法で取得される。例えば、これら情報は、ビデオストリームに挿入されており、このビデオストリームから取得される。また、例えば、これらの情報は、紙あるいは記憶媒体から取得される。また、例えば、これらの情報は、サーバから通信手段を介して取得される。また、例えば、これらの情報は、受信装置内部で生成取得される。
　ビデオ重畳部により、サイズ補正されたオブジェクトの表示データが、左眼画像および右眼画像のデータに、視差付与されて重畳される。視差付与は、デプス（Depth）妨害が生じないように、例えば、オブジェクト重畳位置における左眼画像および右眼画像の視差に対応した視差情報に基づいて行われる。
　この場合、例えば、スクリーン上におけるオブジェクトの視差オフセット値と両眼距離に基づいて決定されたスケーリング比が取得され、このスケーリング比に基づいてオブジェクトの表示データにスケーリングが施される。例えば、サイズ補正情報は、スクリーン上におけるオブジェクトの視差オフセット値および両眼距離と、スケーリング比との関係式の情報、両眼距離の情報および想定スクリーンサイズの情報を含む、ようにされてもよい。また、例えば、スケーリング比情報は、視差情報とスケーリング比との変換テーブルの情報であってもよい。
　このように本技術においては、画像に重畳するオブジェクトのサイズをこのオブジェクトに付与する視差に応じて補正するためのサイズ補正情報またはスケーリング比情報が、受信されるビデオストリームに挿入されている。そのため、左眼画像および右眼画像のデータに、例えばオブジェクトの表示データ、例えばＯＳＤ表示データ等を視差付与して重畳する際に、スクリーン上におけるオブジェクトの視差オフセット値、従ってオブジェクトの奥行き方向の知覚位置に応じてオブジェクトサイズを容易に補正できる。従って、受信された左眼画像および右眼画像のデータによる立体画像に重畳されるオフジェクトの知覚サイズに違和感が生じることを容易に回避できる。
　また、本技術の他の概念は、
　立体画像を構成する左眼画像および右眼画像のデータを含むビデオストリームと、画像に重畳するオブジェクトのデータを含むオブジェクトストリームを受信する受信部を備え、
　上記ビデオストリームまたは上記オブジェクトストリームには、上記オブジェクトのサイズを補正するためのサイズ補正情報またはスケーリング比情報が挿入されており、
　上記オブジェクトの表示データに対して、上記挿入されているサイズ補正情報またはスケーリング比情報に基づいて、オブジェクトサイズの補正を行うオブジェクトサイズ補正部と、
　上記サイズ補正されたオブジェクトの表示データを上記左眼画像および右眼画像のデータに視差を付与して重畳するビデオ重畳部とをさらに備える
　受信装置にある。
　本技術において、受信部により、立体画像を構成する左眼画像および右眼画像のデータを含むビデオストリームと、画像に重畳するオブジェクトのデータを含むオブジェクトストリームが受信される。この場合のオブジェクトは、例えば、グラフィクスや字幕などである。例えば、ビデオストリームおよびオブジェクトストリームを含む所定フォーマットのコンテナが受信される。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ－２　ＴＳ）であってもよい。また、例えば、コンテナは、インターネットの配信などで用いられるＭＰ４、あるいはそれ以外のフォーマットのコンテナであってもよい。
　このビデオストリームまたはオブジェクトストリームには、オブジェクトのサイズを補正するためのサイズ補正情報またはスケーリング比情報が挿入されている。例えば、サイズ補正情報は、スクリーン上におけるオブジェクトの視差オフセット値および両眼距離と、スケーリング比との関係式の情報、両眼距離の情報および想定スクリーンサイズの情報を含む、ようにされてもよい。また、例えば、スケーリング比情報は、視差情報とスケーリング比との変換テーブルの情報であってもよい。
　オブジェクトサイズ補正部により、オブジェクトの表示データに対して、サイズ補正情報またはスケーリング比情報に基づいて、オブジェクトサイズの補正が行われる。この場合、例えば、スクリーン上におけるオブジェクトの視差オフセット値と両眼距離に基づいて決定されたスケーリング比が取得され、このスケーリング比に基づいてオブジェクトの表示データにスケーリングが施される。
　ビデオ重畳部により、サイズ補正されたオブジェクトの表示データが、左眼画像および右眼画像のデータに、視差付与されて重畳される。視差付与は、デプス（Depth）妨害が生じないように、例えば、オブジェクト重畳位置における左眼画像および右眼画像の視差に対応した視差情報に基づいて行われる。
　このように本技術においては、画像に重畳するオブジェクトのサイズをこのオブジェクトに付与する視差に応じて補正するためのサイズ補正情報またはスケーリング比情報が、受信されるビデオストリームまたはオブジェクトストリーム（例えば、サブタイトルストリーム）に挿入されている。そのため、左眼画像および右眼画像のデータに、受信されたオブジェクトの表示データを視差付与して重畳する際に、スクリーン上におけるオブジェクトの視差オフセット値、従ってオブジェクトの奥行き方向の知覚位置に応じてオブジェクトサイズを容易に補正できる。従って、受信された左眼画像および右眼画像のデータによる立体画像に重畳されるオフジェクトの知覚サイズに違和感が生じることを容易に回避できる。
　本技術によれば、立体画像へのグラフィクスや字幕などのオブジェクトの重畳表示を良好に行うことができる。
実施の形態としての画像送受信システムの構成例を示すブロック図である。 全システム処理フローの概念図である。 視差情報領域マッピング処理例を示す図である。 奥行き感に連動したオブジェクトのサイズに知覚上の違和感が生じることを説明するための図である。 奥行き感に連動したオブジェクトのサイズに知覚上の違和感が生じることを説明するための図である。 奥行き感に連動したオブジェクトのサイズに知覚上の違和感が生じることを説明するための図である。 視差情報とオブジェクト（重畳物体）の視覚的関係（一般）を示す図である 両眼視差による仮想距離を説明するための図である。 遠近法による物体の大きさを説明するための図である。 線形遠近法によるスケーリング比ＬＳＲを用いてオブジェクト（重畳物体）のスケーリング（拡大縮小）を行うことを、グラフィクス表示に応用した場合の一例を示す図である。 線形遠近法によるスケーリング比ＬＳＲを用いてオブジェクト（重畳物体）のスケーリング（拡大縮小）を行うことを、サブタイトル（字幕）表示に応用した場合の一例を示す図である。 遠近法の変形による物体の大きさの制御を説明するための図である。 線形遠近法の関係式に修正を加えることで非線形遠近法の関係式に近似できることを説明するための図である。 オブジェクト（重畳物体）のスケーリング（拡大縮小）を行うことを、サブタイトル（字幕）に応用した場合の一例を示す図である。 送信装置における送信データ生成部の構成例を示すブロック図である。 画面全体における各分割領域の視差情報Pi’s(P0～Pn)の生成方法を説明するための図である。 サイズ補正部の構成例を示すブロック図である。 サイズ補正部を構成するスケーラにおけるスケーリング処理の一例を示す図である。 送信データ生成部における制作側グラフィクスのサイズ補正に係る処理手順の一例を示すフローチャートである。 トランスポートストリームＴＳの構成例を示す図である。 ＤＶＢサブタイトルのセグメントタイプを示す図である。 ＤＰＳの構造（Syntax）を示す図である。 ＤＰＳの構造例における主要な情報の内容（Semantics）を示す図である。 ＤＰＳの構造例における主要な情報の内容（Semantics）を示す図である。 視差情報（Disparity offset value）とスケーリング比ＭＳＲとの変換テーブルの情報であるスケーリング比情報を示す図である。 ＳＤＳの構造例（Syntax）を示す図である。 ＳＤＳの構造例における主要な情報の内容（Semantics）を示す図である。 ＧＯＰの先頭のアクセスユニットおよびＧＯＰの先頭以外のアクセスユニットを示す図である。 「depth_information_for_graphics SEI message」の構造例(Syntax)を示す図である。 ピクチャ毎の視差情報をピクチャ単位で挿入する場合における「depth_information_for_graphics()」の構造例(Syntax)を示す図である。 「depth_information_for_graphics()」の構造例における主要な情報の内容（Semantics）を示す図である。 表示画面の分割例を示す図である。 「Depth perspective scaling SEI message」の構造例(Syntax)を示す図である。 「depth perspective scaling_data()」の構造例（Syntax）を示す図である。 「3D_scaling_coefficient SEI message」の構造例(Syntax)を示す図である。 「3D_scaling_coefficient_data()」の構造例（Syntax）を示す図である。 ３Ｄ用サブタイトルのフォーマットを示す情報（Component_type=0x15，0x25）を説明するための図である。 コンポーネント・デスクリプタ（Component_descriptor）の構造例（syntax）を示す図である。 サブタイトル・デスクリプタ（Subtitling_descriptor）の構造例（syntax）を示す図である。 受信装置におけるストリーム処理部の構成例を示すブロック図である。 サブタイトル（字幕）表示期間において所定の更新フレーム間隔で順次更新される視差情報の更新例、そしてスケーリング比の更新例を示す図である。 サイズ補正部の構成例を示すブロック図である。 ストリーム処理部におけるサブタイトル（字幕）や受信機グラフィクス（ＯＳＤ）のサイズ補正に係る処理手順の一例を示すフローチャートである。 ストリーム処理部におけるサブタイトル（字幕）や受信機グラフィクス（ＯＳＤ）のサイズ補正に係る処理手順の一例を示すフローチャートである。 両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクトの左右像の表示位置と、その立体像の再生位置との関係を説明するための図である。
　以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
　１．実施の形態
　２．変形例
　＜１．実施の形態＞
　［画像送受信システム］
　図１は、実施の形態としての画像送受信システム１０の構成例を示している。この画像送受信システム１０は、送信装置１００と、受信装置２００を有している。
　送信装置１００は、コンテナとしてのトランスポートストリームＴＳを放送波に載せて送信する。このトランスポートストリームＴＳには、立体画像を構成する左眼画像および右眼画像のデータがエンコードされて得られたビデオストリームが含まれる。また、このトランスポートストリームＴＳには、サブタイトル（字幕）データがエンコードされて得られたサブタイトルストリームが含まれる。また、このトランスポートストリームＴＳには、音声データがエンコードされて得られたオーディオストリームが含まれる。
　送信装置１００において、図２に示すように、左眼画像および右眼画像のデータに、制作側グラフィクスの表示データを重畳することが行われる。この場合、デプス（depth）妨害が生じないように、左眼画像および右眼画像のデータに重畳される制作側グラフィクスの表示データに、その重畳位置における左右画像の視差に対応した視差が付与される。
　また、この場合、左眼画像および右眼画像のデータによる立体画像に重畳される制作側グラフィクスの知覚サイズに違和感が生じることを回避するために、制作側グラフィクス用の情報Ｈ０に基づき、表示データに対してサイズ補正のためのスケーリングが行われる。この情報Ｈ０には、制作側グラフィクスの重畳位置における左右画像の視差情報と、サイズ補正情報あるいはスケーリング比情報が含まれる。
　この場合の視差情報には、図３（ａ）に示すように、画面全体における各分割領域の視差情報Pi’s(P0～Pn)に基づき、図３（ｂ）に示すように、制作側グラフィクス（Author’s graphics）の重畳位置に対応した各分割領域の視差情報の代表値、例えば最小値が含まれる。
　例えば、サイズ補正情報には、スクリーン上におけるオブジェクトの視差オフセット値Ｐｘおよび両眼距離Ｅと、スケーリング比ＭＳＲとの関係式の情報（perspective_type）と、両眼距離の情報（target eye baseline_distance）と、想定スクリーンサイズの情報（primary viewing size）が含まれる。また、例えば、スケーリング比情報は、視差情報とスケーリング比との変換テーブルの情報である。
　オブジェクトサイズの補正を行う際には、スケーリング比が取得され、このスケーリング比に基づいてグラフィクスの表示データに対してスケーリングが行われる。ここで、スケーリング比は、スクリーン上におけるオブジェクトの視差オフセット値と両眼距離に基づいて決定されたものである。このスケーリング比は、サイズ補正情報またはスケーリング比情報が使用されて取得される。
　サイズ補正情報を使用する場合について説明する。この場合、まず、視差情報と想定スクリーンサイズの情報（primary viewing size）に基づいてスクリーン上におけるオブジェクトの視差オフセット値が求められる。次に、視差オフセット値および両眼距離の情報（target eye baseline_distance）が、関係式の情報（perspective_type）で特定される関係式に代入されることで、スケーリング比が得られる。関係式については、後述する。
　スケーリング比情報を使用する場合について説明する。この場合、視差情報とスケーリング比との変換テーブルから、視差情報に対応するスケーリング比が読み出されることで、スケーリング比が得られる。
　また、送信装置１００において、サブタイトルストリームに、サブタイトル用の情報Ｈ１が挿入される。この情報Ｈ１には、上述の制作側グラフィクス用の情報Ｈ０と同様に、サブタイトル（字幕）の重畳位置における左右画像の視差情報と、サイズ補正情報あるいはスケーリング比情報が含まれる。
　視差情報は、受信側において、左眼画像および右眼画像のデータに重畳されるサブタイトル（字幕）の表示データに、その重畳位置における左右画像の視差に対応した視差を付与するために使用される。この場合の視差情報には、図３（ａ）に示すように、画面全体における各分割領域の視差情報Pi’s(P0～Pn)に基づき、図３（ｃ）に示すように、サブタイトル（字幕）の重畳位置であるサブタイトル・リージョン（Subtitle region）に対応した各分割領域の視差情報の代表値、例えば最小値が含まれる。
　また、視差情報と、サイズ補正情報あるいはスケーリング比情報は、受信側において、左眼画像および右眼画像のデータによる立体画像に重畳されるサブタイトル（字幕）の知覚サイズに違和感が生じることを回避するために、サブタイトル（字幕）の表示データに対してサイズ補正を行うために使用される。この際、上述した制作側グラフィクスの表示データに対するサイズ補正と同様に、まず、スケーリング比が取得され、その後に、このスケーリング比に基づいてスケーリングが行われる。
　また、送信装置１００において、ビデオストリームに、受信機グラフィクス（ＯＳＤ）用の情報Ｈ２が挿入される。この情報Ｈ２には、上述の制作側グラフィクス用の情報Ｈ０あるいはサブタイトル用の情報Ｈ１と同様に、画面の所定数の各分割領域における左右画像の視差情報と、サイズ補正情報あるいはスケーリング比情報が含まれる。
　視差情報は、受信側において、左眼画像および右眼画像のデータに重畳される受信機グラフィクス（ＯＳＤ）の表示データに、その重畳位置における左右画像の視差に対応した視差を付与するために使用される。この場合の視差情報には、図３（ａ）に示すように、画面全体における各分割領域の視差情報Pi’s(P0～Pn)に基づき、図３（ｄ）に示すように、例えば、画面を４分割した各分割領域の視差情報の代表値、例えば最小値が含まれる。なお、４分割は一例であって、その他の分割数であってもよい。
　また、視差情報と、サイズ補正情報あるいはスケーリング比情報は、受信側において、左眼画像および右眼画像のデータによる立体画像に受信機グラフィクス（ＯＳＤ）の知覚サイズに違和感が生じることを回避するために、受信機グラフィクス（ＯＳＤ）の表示データに対してサイズ補正を行うために使用される。この際、上述した制作側グラフィクスあるいはサブタイトル（字幕）の表示データに対するサイズ補正と同様に、まず、スケーリング比が取得され、その後に、このスケーリング比に基づいてスケーリングが行われる。
　受信装置２００は、送信装置１００から放送波に載せて送られてくるコンテナとしてのトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳには、立体画像を構成する左眼画像および右眼画像のデータを含むビデオストリームが含まれる。また、このトランスポートストリームＴＳには、サブタイトル（字幕）データを含むサブタイトルストリームが含まれる。また、このトランスポートストリームＴＳには、音声データを含むオーディオストリームが含まれる。
　受信装置２００において、ビデオストリームがデコードされて、左眼画像および右眼画像のデータが得られる。この左眼画像および右眼画像のデータには、制作側グラフィクスの表示データが、視差が付与されて、重畳されている。なお、このビデオストリームからは、上述した受信機グラフィクス用の情報Ｈ２が取り出される。また、受信装置２００において、サブタイトルストリームがデコードされて、サブタイトル（字幕）の表示データが得られる。なお、このサブタイトルストリームからは、上述のサブタイトル（字幕）用の情報Ｈ１が取り出される。
　また、受信装置２００において、図２に示すように、左眼画像および右眼画像のデータに、サブタイトル（字幕）の表示データを重畳することが行われる。この場合、デプス妨害が生じないように、左眼画像および右眼画像のデータに重畳されるサブタイトル（字幕）の表示データに、サブタイトル（字幕）用の情報Ｈ１に含まれている視差情報が使用されて、その重畳位置における左右画像の視差に対応した視差が付与される。また、この場合、左眼画像および右眼画像のデータによる立体画像に重畳されるサブタイトル（字幕）の知覚サイズに違和感が生じることを回避するために、情報Ｈ１に基づき、その表示データに対してサイズ補正のためのスケーリングが行われる。
　また、受信装置２００において、図２に示すように、左眼画像および右眼画像のデータに、受信機グラフィクス（ＯＳＤ）の表示データを重畳することが行われる。この場合、デプス妨害が生じないように、左眼画像および右眼画像のデータに重畳される受信機グラフィクス（ＯＳＤ）の表示データに、受信機グラフィクス（ＯＳＤ）用の情報Ｈ２に含まれている視差情報が使用されて、その重畳位置における左右画像の視差に対応した視差が付与される。また、この場合、左眼画像および右眼画像のデータによる立体画像に重畳される受信機グラフィクス（ＯＳＤ）の知覚サイズに違和感が生じることを回避するために、情報Ｈ２に基づき、その表示データに対してサイズ補正のためのスケーリングが行われる。
　［線形遠近法によるスケーリング比：ＬＳＲ（Linear Scaling Ratio）］
　上述したように、単に左右の画像に重畳するオブジェクトに視差を付与するだけでは、奥行き感に連動したオブジェクトのサイズに知覚上の違和感が生じる。これは人間の脳が感ずる眼の網膜への投影に関する遠近感に起因するものと考えられる。
　すなわち、近いものは遠いものよりも大きく見えることが前提になっているが、オブジェクトの大きさを変えないで上述したように視差を付与して遠近感を付けた場合、遠くのものと近くのものとの大きさが変わらないことになり、人間が自然界で知覚する遠近感とは異なることになる。つまり、近いと感ずるものが想定した大きさよりも大きくないので、逆に小さいように感ずる。同様に、遠くにあると感ずるものが想定した大きさよりも小さくないので、逆に大きいように感ずる。
　図４（ａ）は、サブタイトル（字幕）をスクリーン上であるモニタポジション（Monitor Position）に貼る場合を示している。この場合、視差シフトはなく、二次元（２Ｄ）表示の場合と見え方は同じである。図４（ｂ）は、サブタイトル（字幕）をスクリーンより奥側のファーポジション（far position）に貼る場合を示している。この場合、視差シフトによるサブタイトル（字幕）を立体（３Ｄ）表示で見ると、モニタポジションのサブタイトル（字幕）より大きく見える。図４（ｃ）は、サブタイトル（字幕）をスクリーンより手前側のニヤーポジション（near position）に貼る場合を示している。この場合、視差シフトによるサブタイトル（字幕）を立体（３Ｄ）表示で見ると、モニタポジションのサブタイトル（字幕）より小さく見える。
　このように、単に左右の画像に重畳するオブジェクトに視差を付与するだけでは、図５（ａ）に示すように、遠くにあるのに大きく見える。これを、図５（ｂ）に示すように、遠くにあるので小さく見えるようにしたい。また、単に左右の画像に重畳するオブジェクトに視差を付与するだけでは、図６（ａ）に示すように、近くにあるのに小さく見える。これを、図６（ｂ）に示すように、近くにあるので大きく見えるようにしたい。
　図７は、視差情報とオブジェクト（重畳物体）の視覚的関係（一般）を示している。視差情報がマイナス値である場合、スクリーン上において左眼表示用データが右側に、右眼表示用データが左側にずれるように視差が付与される。この場合、オブジェクトの表示位置はスクリーンよりも手前となるが、その視覚的サイズはスクリーン上より大きくなることが望まれる。また、視差情報がプラス値である場合、スクリーン上において左眼表示用データが左側に、右眼表示用データが右側にずれるように視差が付与される。この場合、オブジェクトの表示位置はスクリーンよりも奥となるが、その視覚的サイズはスクリーン上より小さくなることが望まれる。
　図８は、両眼視差によるデプス（depth）方向の仮想距離を示している。図８（ａ）に示すように、スクリーン面の物体Ｎ（大きさがＨｄ）を、スクリーン距離（視距離）Ｄｓで観る際の両眼（両眼距離Ｅ）がなす輻輳角をθ０とする。ここで、θ０＝２＊ａｒｃｔａｎ（Ｅ／（２＊Ｄｓ））である。
　図８（ｂ）に示すように、視差ＰＡで物体Ｎをスクリーン面に表示する際のデプス（depth）方向の仮想距離はＺ＿ｎとなり、その際の輻輳角はθａとなる。ここで、Ｚ＿ｎ＝ＰＡ／（Ｅ＋ＰＡ）＊Ｄｓである。また、図８（ｃ）に示すように、視差ＰＢで物体Ｎをスクリーン面に表示する際のデプス（depth）方向の仮想距離はＺ＿ｆとなり、その際の輻輳角はθｂとなる。ここで、Ｚ＿f＝ＰＢ／（Ｅ－ＰＢ）＊Ｄｓである。なお、視差情報（disparity）の値はスクリーン上の左右像の位置ずれを表すもので、ＰＡ，ＰＢは表示スクリーンサイズに依存した物理量である。
　図９は、遠近法による物体の大きさを示している。ある物体に対する人の網膜像の大きさは、その対象物体までの距離に反比例する（大きさと距離の普遍性）。また、網膜像が同じ大きさになる物体は、近くにあれば小さく、遠くにあれば大きい。
　「スクリーン位置よりも仮想位置が近い場合」
　スクリーン面（スクリーン位置）にＨｄの大きさで表示される物体は、眼球の網膜にＹｈの大きさで投影される。視差情報により表示オフセット（視差オフセット）を付してこの物体を立体（３Ｄ）表示すると、人間とスクリーン面との距離Ｄｓから視差情報Ｐａによる分だけ、手前にＺ＿ｎだけ近くなった位置Ａに物体があるように知覚される（図８（ｂ）参照）。
　その際、スクリーン面にＨｄの大きさで表示されるものは、位置ＡではＨａの大きさに見える。その結果、スクリーン位置よりも近い位置にある物体がスクリーン位置のものよりも小さく見えてしまうという遠近法的に不自然な現象になる。スクリーン位置での物体の大きさを位置Ａにおいても同等と知覚するためには、位置ＡでＨｄと同等な大きさ、すなわち、Ｊａとすることが必要である。
　そのためには、網膜上Ｙｊとなる延長線がスクリーン位置に結像する大きさＪｄで表示させることが必要となる。Ｊｄは、以下の数式（１）に示すような比率で、物体（大きさＮｄ）を拡大表示させたものとなる。
　Ｊｄ＝（１＋Ｚ＿ｎ／（Ｄｓ－Ｚ＿ｎ））＊Ｈｄ　　　・・・（１）
　なお、図８より、Ｚ＿ｎ／（Ｄｓ－Ｚ＿ｎ）はＰＡ／Ｅになるので、上述の数式（１）は、以下の数式（２）に示すように表される。
　Ｊｄ＝（１＋ＰＡ／Ｅ）＊Ｈｄ　　　・・・（２）
　「スクリーン位置よりも仮想位置が遠い場合」
　スクリーン面（スクリーン位置）にＨｄの大きさで表示される物体は、眼球の網膜にＹｈの大きさで投影される。視差情報により表示オフセット（視差オフセット）を付してこの物体を立体（３Ｄ）表示すると、人間とスクリーン面との距離Ｄｓから視差情報Ｐｂの分だけ、スクリーンよりも遠くにＺ＿ｆだけ遠い位置Ｂに物体があるように知覚される（図８（ｃ）参照）。
　その際、スクリーン面にＨｄの大きさで表示されるものは、位置ＢではＨｂの大きさに見える。その結果、スクリーン位置よりも遠い位置にある物体がスクリーン位置のものよりも大きく見えてしまうという遠近法的に不自然な現象になる。スクリーン位置での物体の大きさを位置Ｂにおいても同等と知覚するためには、位置ＢでＨｄと同等な大きさ、すなわち、Ｋｂとすることが必要である。
　そのためには、網膜上Ｙｋとなる延長線がスクリーン位置に結像する大きさＫｄで表示させることが必要となる。Ｋｄは、以下の数式（３）に示すような比率で、物体Ｎ（大きさＮｄ）を縮小表示させたものとなる。
　Ｋｄ＝（１－Ｚ＿ｆ／（Ｄｓ＋Ｚ＿ｆ））＊Ｈｄ　　　・・・（３）
　なお、図８より、Ｚ＿ｆ／（Ｄｓ＋Ｚ＿ｆ）はＰＢ／Ｅになるので、上述の数式（３）は、以下の数式（４）に示すように表される。
　Ｋｄ＝（１－ＰＢ／Ｅ）＊Ｈｄ　　　・・・（４）
　上述の数式（２）、数式（４）より、視差情報ＰＡ，ＰＢが符号付きの値（ＰＡ：デプス（depth）方向に負、ＰＢ：デプス（depth）方向に正）として、それをＰｘで表すと、任意のデプス（depth）位置で自然な知覚を得るための視差ゼロのオブジェクトに対するスクリーン面での拡大縮小の比（スケーリング比）ＬＳＲは、以下の数式（５）で表される。
　ＬＳＲ（Linear Scaling Ratio）＝１－Ｐｘ／Ｅ　　　・・・（５）
　図１０は、上述の数式（５）で求められるスケーリング比ＬＳＲを用いてオブジェクト（重畳物体）のスケーリング（拡大縮小）を行うことを、グラフィクス表示に応用した場合の一例を示している。なお、この図１０は、立体（３Ｄ）視聴時のイメージを示しており、スケーリング前とスケーリング後をそれぞれ対比させて示している。
　図１０（ａ）は、スケーリング前で、グラフィクスをスクリーン上であるモニタポジション（Monitor Position）に貼る場合を示している。この場合、視差シフトはなく、二次元（２Ｄ）表示の場合と見え方は同じである。これに対して、図１０（ａ′）は、スケーリング後で、グラフィクスをスクリーン上であるモニタポジションに貼る場合を示している。この場合、視差シフトはなく、スケーリング比は１となるので、スケーリング前と見え方は同じである。
　図１０（ｂ）は、スケーリング前で、グラフィクスをスクリーンより奥側のファーポジション（far position）に貼る場合を示している。この場合、視差シフトによるグラフィクスを立体（３Ｄ）表示で見ると、モニタポジションのグラフィクスより大きく見え、グラフィクスのサイズに知覚上の違和感が生じる。これに対して、図１０（ｂ′）は、スケーリング後で、グラフィクスをスクリーンより奥側のファーポジションに貼る場合を示している。この場合、スケーリング比は１より小さくなって縮小スケーリングが行われるので、視差シフトによるグラフィクスを立体（３Ｄ）表示で見ると、モニタポジションのグラフィクスより小さく見え、グラフィクスのサイズに知覚上の違和感は生じなくなる。
　図１０（ｃ）は、スケーリング前で、グラフィクスをスクリーンより手前側のニヤーポジション（near position）に貼る場合を示している。この場合、視差シフトによるグラフィクスを立体（３Ｄ）表示で見ると、モニタポジションのグラフィクスより小さく見え、グラフィクスのサイズに知覚上の違和感が生じる。これに対して、図１０（ｃ′）は、スケーリング後で、グラフィクスをスクリーンより手前側のニヤーポジションに貼る場合を示している。この場合、スケーリング比は１より大きくなって拡大スケーリングが行われるので、視差シフトによるグラフィクスを立体（３Ｄ）表示で見ると、モニタポジションのグラフィクスより大きく見え、グラフィクスのサイズに知覚上の違和感は生じなくなる。
　図１１は、上述の数式（５）で求められるスケーリング比ＬＳＲを用いてオブジェクト（重畳物体）のスケーリング（拡大縮小）を行うことを、サブタイトル（字幕）に応用した場合の一例を示している。なお、この図１１は、立体（３Ｄ）視聴時のイメージを示しており、スケーリング前とスケーリング後をそれぞれ対比させて示している。
　図１１（ａ）は、スケーリング前で、サブタイトル（字幕）をスクリーン上であるモニタポジション（Monitor Position）に貼る場合を示している。この場合、視差シフトはなく、二次元（２Ｄ）表示の場合と見え方は同じである。これに対して、図１０（ａ′）は、スケーリング後で、サブタイトル（字幕）をスクリーン上であるモニタポジションに貼る場合を示している。この場合、視差シフトはなく、スケーリング比は１となるので、スケーリング前と見え方は同じである。
　図１１（ｂ）は、スケーリング前で、サブタイトル（字幕）をスクリーンより奥側のファーポジション（far position）に貼る場合を示している。この場合、視差シフトによるサブタイトル（字幕）を立体（３Ｄ）表示で見ると、モニタポジションのサブタイトル（字幕）より大きく見え、サブタイトル（字幕）のサイズに知覚上の違和感が生じる。これに対して、図１１（ｂ′）は、スケーリング後で、サブタイトル（字幕）をスクリーンより奥側のファーポジションに貼る場合を示している。この場合、スケーリング比は１より小さくなって縮小スケーリングが行われるので、視差シフトによるサブタイトル（字幕）を立体（３Ｄ）表示で見ると、モニタポジションのサブタイトル（字幕）より小さく見え、サブタイトル（字幕）のサイズに知覚上の違和感は生じなくなる。
　図１１（ｃ）は、スケーリング前で、サブタイトル（字幕）をスクリーンより手前側のニヤーポジション（near position）に貼る場合を示している。この場合、視差シフトによるサブタイトル（字幕）を立体（３Ｄ）表示で見ると、モニタポジションのサブタイトル（字幕）より小さく見え、サブタイトル（字幕）のサイズに知覚上の違和感が生じる。これに対して、図１１（ｃ′）は、スケーリング後で、サブタイトル（字幕）をスクリーンより手前側のニヤーポジションに貼る場合を示している。この場合、スケーリング比は１より大きくなって拡大スケーリングが行われるので、視差シフトによるサブタイトル（字幕）を立体（３Ｄ）表示で見ると、モニタポジションのサブタイトル（字幕）より大きく見え、サブタイトル（字幕）のサイズに知覚上の違和感は生じなくなる。
　［非線形遠近法によるスケーリング比：ＭＳＲ（Modified Scaling Ratio (MSR)］
　一般のグラフィクスは、左右の視差情報から割り出される仮想距離に応じ拡大・縮小を施して遠近感を再現することで、自然な奥行き具合を演出することができる。しかし、字幕を立体（３Ｄ）画像に重畳させる場合、一般のグラフィクスと同様の遠近感をもった拡大縮小を行うと、仮想距離が近い場合の字幕は大きくなり過ぎ、一方、仮想距離が遠い場合の字幕は小さくなり過ぎ、文字を読むという目的に対していずれも安定した字幕としては読みづらいことにつながる（図１１（ｂ′）、（ｃ′）参照）。
　図１２は、遠近法の変形による物体の大きさの制御を示している。距離と物体の大きさの関係に不自然さを生じさせず、大きさの変化は連続で、しかも、線形遠近法の物体のサイズに対して、スクリーン位置の物体サイズから急激に離れないように、しかも奥行きに対してのサイズの変化が滑らかになるように制御する。
　位置Ａでは、Ｈａ＜Ｌａ＜Ｊａの関係となるＬａの大きさで知覚するために、スクリーンにはＬｄの大きさで表示する。また、位置Ｂでは、Ｋｂ＜Ｍｂ＜Ｈｂの関係となるＭｂの大きさで知覚するために、スクリーンにはＭｄの大きさで表示する。これらを任意の位置で満足し、かつ、滑らかな変化をするものは、非線形な曲線として考えられる。
　スクリーン面での元の物体を基準にし、基準位置からの距離の変動に対して物体の大きさの変動加減が低減されるようにする。それを満足する関数として、上述の数式（１）における、（１＋Ｚ＿ｎ／（Ｄｓ－Ｚ＿ｎ））の部分を、その平方根にとり、以下の数式（６）を得る。
　Scaling Ratio ＝√（１＋Ｚ＿ｎ／（Ｄｓ－Ｚ＿ｎ））
　　　　　　　　＝√（１＋ＰＡ／Ｅ）　　　・・・（６）
　網膜からＬａを通る直線がスクリーン面に結像する大きさをＬｄとする。Ｌｄは、以下の数式（７）に示すような比率で、物体Ｎ（大きさＮｄ）を拡大表示させたものとなる。
　Ｌｄ＝√（Ｊｄ）＝√｛（１＋ＰＡ／Ｅ）＊Ｈｄ｝　　　・・・（７）
　同様にして、網膜からＭｂを通る直線がスクリーン面に結像する大きさをＭｄとする。Ｍｄは、以下の数式（８）に示すような比率で、物体Ｎ（大きさＮｄ）を縮小表示させたものとなる。
　Ｍｄ＝√（Ｋｄ）＝√｛（１－ＰＢ／Ｅ）＊Ｈｄ｝　　　・・・（８）
　上述の数式（７）、数式（８）式より、視差情報ＰＡ，ＰＢが符号付きの値（ＰＡ：デプス（depth）方向に負、ＰＢ：デプス（depth）方向に正）として、それをＰｘで表すと、任意のデプス（depth）位置で自然な知覚を得るための視差ゼロのオブジェクトに対するスクリーン面での拡大縮小の比（スケーリング比）ＭＳＲは、以下の数式（９）で表される。
　ＭＳＲ（Modified Scaling Ratio）＝√ＬＳＲ
　　　　　　　　　　　　　　　　　＝√（１－Ｐｘ／Ｅ）　　　・・・（９）
　なお、線形遠近法の関係式である上述の数式（５）に修正を加えることで、非線形遠近法の関係式である上述の数式（９）を近似できる。非線形のサイズ補正をかける際にスクリーン位置に投影するサイズ［Ｌｄ～Ｍｄ］の大きさの範囲Ｒ（図１３参照）に収まるように、（Ｐｘ／Ｅ）に係数αを乗じて、以下の数式（１０）のように変形する。
　ＭＳＲ＝１－（Ｐｘ／Ｅ）＊α　　　・・・（１０）
　このαは、線形遠近法の直線の傾きを修整する働きから、傾斜制御係数（Slope control factor）とする。必要に応じ、スクリーンよりもデプス（depth）位置が近い場合と遠い場合とで、別の値をとることも可能なように、ファーポジション（far position）用の傾斜制御係数「slope control factor positive」と、ニヤーポジション（near position）用の傾斜制御係数「slope control factor negative」をサイズ補正情報に組み入れる。
　図１４は、オブジェクト（重畳物体）のスケーリング（拡大縮小）を行うことを、サブタイトル（字幕）に応用した場合の一例を示している。なお、この図１４は、立体（３Ｄ）視聴時のイメージを示しており、線形遠近法によるスケーリング比ＬＳＲ（数式（５）参照）を適応した場合と、非線形遠近法によるスケーリング比ＭＳＲ（数式（９）、（１０）参照）を適用した場合とをそれぞれ対比させて示している。
　図１４（ａ）は、線形遠近法によるスケーリング後で、サブタイトル（字幕）をスクリーン上であるモニタポジション（Monitor Position）に貼る場合を示している。この場合、視差シフトはなく、スケーリング比は１となるので、二次元（２Ｄ）表示の場合と見え方は同じである。これに対して、図１４（ａ′）は、非線形遠近法によるスケーリング後で、サブタイトル（字幕）をスクリーン上であるモニタポジションに貼る場合を示している。この場合、視差シフトはなく、スケーリング比は１となるので、線形遠近法によるスケーリング後と見え方は同じである。
　図１４（ｂ）は、線形遠近法によるスケーリング後で、サブタイトル（字幕）をスクリーンより奥側のファーポジション（far position）に貼る場合を示している。この場合、スケーリング比は１より小さくなって縮小スケーリングが行われるので、視差シフトによるサブタイトル（字幕）を立体（３Ｄ）表示で見ると、その貼り付け位置がモニタポジションから大きく離れる場合には、モニタポジションのサブタイトル（字幕）より非常に小さく見える。
　これに対して、図１４（ｂ′）は、非線形遠近法によるスケーリング後で、サブタイトル（字幕）をスクリーンより奥側のファーポジションに貼る場合を示している。この場合、スケーリング比は１より小さくなるが、線形遠近法によるスケーリング後に比べて小さくなり方が抑制される。そのため、視差シフトによるサブタイトル（字幕）を立体（３Ｄ）表示で見ると、モニタポジションのサブタイトル（字幕）より小さく見えるが、線形遠近法によるスケーリング後に比べると大きく表示される。
　図１４（ｃ）は、線形遠近法によるスケーリング後で、サブタイトル（字幕）をスクリーンより手前側のニヤーポジション（near position）に貼る場合を示している。この場合、スケーリング比は１より大きくなって拡大スケーリングが行われるので、視差シフトによるサブタイトル（字幕）を立体（３Ｄ）表示で見ると、その貼り付け位置がモニタポジションから大きく離れる場合には、モニタポジションのサブタイトル（字幕）より非常に大きく見える。
　これに対して、図１４（ｃ′）は、非線形遠近法によるスケーリング後で、サブタイトル（字幕）をスクリーンより手前側のニヤーポジションに貼る場合を示している。この場合、スケーリング比は１より大きくなるが、線形遠近法によるスケーリング後に比べて大きくなり方が抑制される。そのため、視差シフトによるサブタイトル（字幕）を立体（３Ｄ）表示で見ると、モニタポジションのサブタイトル（字幕）より大きく見えるが、線形遠近法によるスケーリング後に比べると小さく表示される。
　「送信装置における送信データ生成部の構成例」
　図１５は、送信装置１００における送信データ生成部１１０の構成例を示している。この送信データ生成部１１０は、既存の放送規格の一つであるＤＶＢ（Digital Video Broadcasting）方式に容易に連携できるデータ構造で、サブタイトル用の視差情報と、サイズ補正情報あるいはスケーリング比情報を、送信する。
　この送信データ生成部１１０は、データ取り出し部１１１と、視差情報生成部１１２と、視差情報領域マッピング部１１３と、サイズ補正部１１４と、グラフィクスバッファ１１５と、奥行き制御部１１６と、ビデオ重畳部１１７と、ビデオエンコーダ１１８を有している。また、この送信データ生成部１１０は、サブタイトル処理部１１９と、サブタイトルエンコーダ１２０と、オーディオエンコーダ１２１と、マルチプレクサ１２２を有している。
　データ取り出し部１１１は、画像撮像媒体１１１ａ、制作側グラフィクス・サブタイトルデータ発生部１１１ｂと、音声入力媒体１１１ｃと、データ記録媒体１１１ｄを有している。画像撮像媒体１１１ａは、被写体を撮像して立体画像を構成する左眼画像および右眼画像のデータを出力するカメラなどである。制作側グラフィクス・サブタイトルデータ発生部１１１ｂは、制作側グラフィクスの表示データ（マップデータ）と、サブタイトルデータとを出力する。音声入力媒体１１１ｃは、音声データを出力するマイクロホンなどである。また、データ記録媒体１１１は、上述した各データを記録し再生する。
　視差情報生成部１１２は、データ取り出し部１１１から取り出される左眼画像および右眼画像のデータに基づいて、画面全体における各分割領域の視差情報Pi’s(P0～Pn)を生成する（図１６（ｂ）、図３（ａ）参照）。この場合、視差情報生成部１１２は、ピクセル（画素）毎の視差情報（水平方向の視差ベクトル）を検出し、ダウンサイジング処理を施すことで、各分割領域の視差情報Pi’s(P0～Pn)を生成する。
　図１６（ａ）は、ピクセル（画素）毎の視差ベクトルの検出例を示している。この検出例においては、左眼画像を検出画像とし、右眼画像を参照画像とし、（xi,yi）および（xj,yj）の位置における視差ベクトルを検出する例を示している。例えば、（xi,yi）の位置における視差ベクトルを検出する場合、左眼画像に、（xi,yi）の位置の画素を左上とする、例えば４×４、８×８あるいは１６×１６の画素ブロック（視差検出ブロック）Ｂｉが設定される。そして、右眼画像において、画素ブロックＢｉとマッチングする画素ブロックが探索される。
　この場合、右眼画像に、（xi,yi）の位置を中心とする探索範囲が設定され、その探索範囲内の各画素を順次注目画素として、上述の画素ブロックＢｉと同様の例えば４×４、８×８あるいは１６×１６の比較ブロックが順次設定されていく。画素ブロックＢｉと順次設定される比較ブロックとの間で、対応する画素毎の差分絶対値の総和が求められる。右眼画像に設定される探索範囲にｎ個の画素が含まれているとき、最終的にｎ個の総和Ｓ１～Ｓｎが求められ、その中で最小の総和Ｓminが選択される。
　そして、この総和Ｓminが得られた比較ブロックから左上の画素の位置（xi′,yi′）が得られる。これにより、（xi,yi）の位置における視差ベクトルは、（xi′－xi，yi′－yi）のように検出される。詳細説明は省略するが、（xj,yj）の位置における視差ベクトルについても、左眼画像に、同様の処理過程で検出される。
　視差情報領域マッピング部１１３は、視差情報生成部１１２で生成された画面全体における各分割領域の視差情報Pi’s(P0～Pn)から、制作側グラフィクス用の情報Ｈ０、サブタイトル用の情報Ｈ１および受信機グラフィクス用の情報Ｈ２にそれぞれ含める視差情報を求める。ここで、制作側グラフィクス用の情報Ｈ０は、制作側グラフィクスへの視差付与およびサイズ補正に用いられる情報であり、この情報Ｈ０に含める視差情報として、例えば、制作側グラフィクスの重畳位置に対応した各分割領域の視差情報の代表値、例えば最小値が求められる（図３（ｂ）参照）。
　また、サブタイトル用の情報Ｈ１は、サブタイトル（字幕）への視差付与およびサイズ補正に用いられる情報であり、この情報Ｈ１に含める視差情報として、例えば、サブタイトル（字幕）の重畳位置であるサブタイトル・リージョン（Subtitle region）に対応した各分割領域の視差情報の代表値、例えば最小値Min()が求められる（図３（ｃ）参照）。また、受信機グラフィクス用の情報Ｈ２は、受信機グラフィクス（ＯＳＤ）への視差付与およびサイズ補正に用いられる情報であり、この情報Ｈ２に含める視差情報として、例えば、画面を４分割などの所定数分割した各分割領域の視差情報の代表値、例えば最小値が求められる（図３（ｄ）参照）。
　サイズ補正部１１４は、左眼画像および右眼画像のデータによる立体画像に重畳される制作側グラフィクスの知覚サイズに違和感が生じることを回避するために、データ取り出し部１１１から取り出される制作側グラフィクスの表示データ（ビットマップデータ）に対してサイズ補正のためのスケーリングを行う。
　サイズ補正部１１４は、サイズ補正を行う際に、スケーリング比を取得し、このスケーリング比に基づいてグラフィクスの表示データに対してスケーリングを行う。ここで、スケーリング比は、スクリーン上におけるグラフィクスの視差オフセット値と両眼距離に基づいて決定されたものである。サイズ補正部１１４は、このスケーリング比を、フレーム毎に、取得する。この際、サイズ補正部１１４は、制作側グラフィクス用の情報Ｈ０に含まれる視差情報およびサイズ補正情報を使用してスケーリング比を取得するか、あるいはこの情報Ｈ０に含まれる視差情報およびスケーリング比情報を使用してスケーリング比を取得する。
　サイズ補正情報を使用する場合、サイズ補正部１１４は、まず、視差情報と想定スクリーンサイズの情報（primary viewing size）に基づいてスクリーン上におけるグラフィクスの視差オフセット値を求める。そして、サイズ補正部１１４は、次に、視差オフセット値Ｐｘおよび両眼距離Ｅの情報（target eye baseline_distance）を、関係式の情報（perspective_type）で特定される関係式に代入して、スケーリング比を得る。一方、スケーリング比情報を使用する場合、サイズ補正部１１４は、視差情報とスケーリング比との変換テーブルから、視差情報に対応するスケーリング比を読み出して、スケーリング比を得る。
　図１７（ａ）は、サイズ補正情報を使用する場合におけるサイズ補正部１１４の構成例を示している。このサイズ補正部１１４は、視差情報変換部１１４ａと、スケーリング比決定部１１４ｂと、スケーラ１１４ｃを有している。視差情報変換部１１４ａは、視差情報と想定スクリーンサイズの情報（primary viewing size）に基づいてスクリーン上における制作側グラフィクスの視差オフセット値Ｐｘを求める。
　スケーリング比決定部１１４ｂは、視差オフセット値Ｐｘおよび両眼距離Ｅの情報（target eye baseline_distance）に基づき、関係式の情報（perspective_type）で特定される関係式を用いて、スケーリング比ＭＳＲを得る。例えば、関係式の情報（perspective_type）により、上述の数式（９）または数式（１０）が特定される。
　スケーラ１１４ｃは、スケーリング比ＭＳＲに基づいて、制作側グラフィクスの表示データ（ビットマップデータ）に対して、拡大あるいは縮小のスケーリング処理を行って、スケーリング後の表示データを得る。図１８は、スケーラ１１４ｃにおけるスケーリング処理の一例を示している。この例においては、スケーリング比ＭＳＲが１．４であって、基準点からの補間画素のサンプル間距離が１／ＭＳＲ＝β（整数部＋小数部）である。ここで、小数部は、ソース側座標での補間画素の位置関係を表す。
　この場合、ソース画の画素の間に補間画素が配置されてフィルタリングによって補間画素の画素値が求められる。そして、ソース画座標での補間画素が選択されて出力素位置に投影される。これにより、この例では、ソース画の５画素に対して出力画の７画素が生成され、１．４倍の拡大が行われる。ここで、ソース画座標での補間画素を選択して出力素位置に投影することは、サブピクセル精度の視差情報（disparity）を実現することに等しい。なお、詳細説明は省略するが、図１７（ｂ）は、スケーリング比情報を使用する場合におけるサイズ補正部１１４の構成例を示している。
　図１５に戻って、グラフィクスバッファ１１５は、サイズ補正部１１４でサイズ補正された制作側グラフィクスの表示データ（ビットマップデータ）を、一時的に蓄積する。ビデオ重畳部１１７は、このようにサイズ補正された制作側グラフィクスの表示データを、データ取り出し部１１１から取り出される左眼画像および右眼画像のデータに重畳する。奥行き制御部１１６は、デプス妨害が生じないように、左眼画像および右眼画像のデータに重畳される制作側グラフィクスの表示データを視差情報に基づいてシフト制御して視差を付与する。
　ビデオエンコーダ１１８は、ビデオ重畳部１１７から出力される制作側グラフィクスの表示データが重畳された左眼画像および右眼画像のデータに対して、例えば、ＭＰＥＧ４－ＡＶＣ（ＭＶＣ）、ＭＰＥＧ２ｖｉｄｅｏ、あるいはＨＥＶＣなどの符号化を施して、符号化ビデオデータを得る。また、このビデオエンコーダ１１８は、後段に備えるストリームフォーマッタ（図示せず）により、この符号化ビデオデータを含むビデオストリーム（ビデオエレメンタリストリーム）を生成する。
　また、ビデオエンコーダ１１８は、ビデオストリームに、上述した受信機グラフィクス（ＯＳＤ）用の情報Ｈ２を挿入する。例えば、符号化方式がＭＰＥＧ４－ＡＶＣである場合、または、ＨＥＶＣのような、ＮＡＬパケットなどの符号化構造が似通っている符号化方式である場合には、この情報Ｈ２を、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、ＳＥＩメッセージ（Enhancement scalability SEI message）として挿入する。なお、サイズ補正情報を含むＳＥＩメッセージおよびスケーリング比情報を含むＳＥＩメッセージは、選択的に、いずれか一方のみが付加される。このＳＥＩメッセージの詳細は、後述する。
　サブタイトル処理部１１９は、データ取り出し部１１１から取り出される２次元（２Ｄ）画像用のサブタイトルデータに、さらに、以下のセグメントを付加して、立体（３Ｄ）画像用のサブタイトルデータを得る。２次元画像用のサブタイトルデータは、周知のように、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＣＤＳ、ＯＤＳ、ＥＤＳのセグメントを持つ。
　ＤＤＳ（display definition segment）は、ＨＤＴＶ用の表示（display）サイズを指定する。ＰＣＳ（page composition segment）は、ページ（page）内のリージョン（region）位置を指定する。ＲＣＳ（region composition segment）は、リージョン（Region）の大きさやオブジェクト（object）の符号化モードを指定し、また、オブジェクト（object）の開始位置を指定する。ＣＤＳ（CLUT definition segment）は、ＣＬＵＴ内容の指定をする。ＯＤＳ（object data segment）は、符号化ビットマップデータ（bitmap data）を含む。
　サブタイトル処理部１１９は、上述したサブタイトルデータ用の情報Ｈ１を構成する視差情報を含むＤＳＳ（disparity signaling segment）のセグメントを付加し、さらに、新規定義のＤＰＳ（depth perspective segment）およびＳＤＳ（Scaling Look Up Table definition segment）のセグメントを付加する。ＤＰＳのセグメントは、情報Ｈ１を構成するサイズ補正情報を含むセグメントである。また、ＳＤＳのセグメントは、情報Ｈ１を構成するスケーリング比情報を含むセグメントである。なお、ＤＰＳのセグメントおよびＳＤＳのセグメントは、選択的に、いずれか一方のみが付加される。ＤＰＳのセグメントおよびＳＤＳのセグメントの詳細については、後述する。
　サブタイトルエンコーダ１２０は、サブタイトル処理部１１９で得られる立体画像用のサブタイトルデータを含むサブタイトルストリーム（サブタイトルエレメンタリストリーム）を生成する。オーディオエンコーダ１２１は、データ取り出し部１１１から取り出される音声データに対して、ＭＰＥＧ－２ Ａｕｄｉｏ、ＡＡＣ等の符号化を施し、オーディオストリーム（オーディオエレメンタリストリーム）を生成する。
　マルチプレクサ１２２は、ビデオエンコーダ１１８、サブタイトルエンコーダ１２０およびオーディオエンコーダ１２１からの各ストリームを多重化し、トランスポートストリームＴＳを得る。この場合、それぞれのＰＥＳ(Packetized Elementary Stream)のヘッダには、受信側における同期再生のために、ＰＴＳ（Presentation Time Stamp）が挿入される。
　図１５に示す送信データ生成部１１０の動作を簡単に説明する。データ取り出し部１１１から取り出される左眼画像および右眼画像のデータは、ビデオ重畳部１１７および視差情報生成部１１２に供給される。視差情報生成部１１２では、この左眼画像および右眼画像のデータに基づいて、画面全体における各分割領域の視差情報Pi’s(P0～Pn)が生成される（図１６（ｂ）、図３（ａ）参照）。
　この視差情報Pi’s(P0～Pn)は、視差情報領域マッピング部１１３に供給される。視差情報領域マッピング部１１３では、この視差情報Pi’s(P0～Pn)から、制作側グラフィクス用の情報Ｈ０、サブタイトル用の情報Ｈ１および受信機グラフィクス用の情報Ｈ２にそれぞれ含める視差情報が求められる。
　視差情報領域マッピング部１１３で求められた制作側グラフィクス用の情報Ｈ０を構成する視差情報は、サイズ補正部１１４および奥行き制御部１１６に供給される。データ取り出し部１１１から取り出される制作側グラフィクスの表示データ（ビットマップデータ）は、サイズ補正部１１４に供給される。
　サイズ補正部１１４では、情報Ｈ０を構成する視差情報と、この情報Ｈ０を構成するサイズ補正情報あるいはスケーリング比情報に基づいて、制作側グラフィクスの表示データ（ビットマップデータ）に対してサイズ補正のためのスケーリングが行われる。このサイズ補正は、左眼画像および右眼画像のデータによる立体画像に重畳される制作側グラフィクスの知覚サイズに違和感が生じることを回避するために行われる。
　制作側グラフィクスをスクリーンより奥側のファーポジション（far position）に貼る場合には縮小スケーリングが施され、逆に、制作側グラフィクスをスクリーンより手前側のニヤーポジション（near position）に貼る場合には拡大スケーリングが施される。スケーリング後の制作側グラフィクスの表示データは、グラフィクスバッファ１１５に一時的に蓄積される。
　ビデオ重畳部１１７では、グラフィクスバッファ１１５に蓄積されている制作側グラフィクスの表示データが、左眼画像および右眼画像のデータにそれぞれ重畳される。この場合、デプス妨害が生じないように、奥行き制御部１１６により、左眼画像および右眼画像のデータに重畳される制作側グラフィクスの表示データが視差情報に基づいてシフト制御されて、視差が付与される。このシフト制御により、制作側グラフィクスは、常に、立体画像より手前に知覚されるものとなる。
　ビデオ重畳部１１７から出力される制作側グラフィクスの表示データが重畳された左眼画像および右眼画像のデータは、ビデオエンコーダ１１８に供給される。このビデオデコーダ１１８では、この左眼画像および右眼画像のデータに対して、例えば、ＭＰＥＧ４－ＡＶＣ（ＭＶＣ）、ＭＰＥＧ２ｖｉｄｅｏ、あるいはＨＥＶＣなどの符号化が施されて、符号化ビデオデータが得られ、この符号化ビデオデータを含むビデオストリーム（ビデオエレメンタリストリーム）が生成される。このビデオストリームは、マルチプレクサ１２２に供給される。
　また、ビデオエンコーダ１１８では、ビデオストリームに受信機グラフィクス（ＯＳＤ）用の情報Ｈ２が挿入される。例えば、符号化方式がＭＰＥＧ４－ＡＶＣである場合、または、ＨＥＶＣのような、ＮＡＬパケットなどの符号化構造が似通っている符号化方式である場合には、この情報Ｈ２は、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、ＳＥＩメッセージとして挿入される。これにより、受信機グラフィクス（ＯＳＤ）用の情報Ｈ２を受信側に送信することが可能となる。
　データ取り出し部１１１から取り出される２次元（２Ｄ）画像用のサブタイトルデータは、サブタイトル処理部１１９に供給される。このサブタイトル処理部１１９では、ＤＳＳのセグメントの他に、さらに、新規定義のＤＰＳ，ＳＤＳのセグメントが付加され、立体（３Ｄ）画像用のサブタイトルデータが得られる。このようなセグメントの付加により、サブタイトルデータに、サブタイトル用の情報Ｈ１が挿入される。
　サブタイトル処理部１１９で得られる立体画像用のサブタイトルデータは、サブタイトルエンコーダ１２０に供給される。サブタイトルエンコーダ１２０では、立体画像用のサブタイトルデータを含むサブタイトルストリーム（サブタイトルエレメンタリストリーム）が生成される。このサブタイトルストリームはマルチプレクサ１２２に供給される。
　データ取り出し部１１１から取り出される音声データは、オーディオエンコーダ１２１に供給される。このオーディオエンコーダ１２１では、音声データに対して、ＭＰＥＧ－２ Ａｕｄｉｏ、ＡＡＣ等の符号化が施され、オーディオストリーム（オーディオエレメンタリストリーム）が生成される。このオーディオストリームは、マルチプレクサ１２２に供給される。
　マルチプレクサ１２２では、ビデオエンコーダ１１８、サブタイトルエンコーダ１２０およびオーディオエンコーダ１２１からの各ストリームが多重化され、トランスポートストリームＴＳが得られる。この場合、それぞれのＰＥＳ(Packetized Elementary Stream)のヘッダには、受信側における同期再生のために、ＰＴＳ（Presentation Time Stamp）が挿入される。
　図１９のフローチャートは、送信データ生成部１１０における制作側グラフィクスのサイズ補正に係る処理手順の一例を示している。送信データ生成部１１０は、ステップＳＴ１において、処理を開始する。次に、送信データ生成部１１０は、ステップＳＴ２において、処理済みフレーム数Ｎを０にセットし、その後、ステップＳＴ３において、処理済みフレーム数Ｎを１だけ増加する。
　次に、送信データ生成部１１０は、ステップＳＴ４において、処理済みグラフィクス数Ｍを０にセットし、その後、ステップＳＴ５において、処理済みグラフィクス数Ｍを１だけ増加する。そして、送信データ生成部１１０は、ステップＳＴ６において、Ｍ番目のグラフィクスを処理対象として、視差情報に基づいて、想定スクリーンサイズ(Primary viewing size)に合わせた視差オフセット値（Ｐｘ）を求める。
　次に、送信データ生成部１１０は、ステップＳＴ７において、「Perspective_type = linear」であるか否かを判断する。「Perspective_type = linear」であるとき、送信データ生成部１１０は、ステップＳＴ８において、上述の数式（１０）で示す関係式「１－（Ｐｘ／Ｅ）＊α」により、視差オフセット値Ｐｘおよび両眼距離Ｅを代入して、スケーリング比ＭＳＲを求める。一方、「Perspective_type = linear」でないとき、送信データ生成部１１０は、ステップＳＴ９において、上述の数式（９）で示す関係式「√（１－Ｐｘ／Ｅ）」により、視差オフセット値Ｐｘおよび両眼距離Ｅを代入して、スケーリング比ＭＳＲを求める。
　送信データ生成部１１０は、上述のステップＳＴ８あるいはステップＳＴ９の処理の後、ステップＳＴ１０において、Ｍ番目のグラフィクスの表示データに対して、スケーリング比ＭＳＲによるスケーリングを行う（図１８参照）。
　次に、送信データ生成部１１０は、ステップＳＴ１１において、フレーム内の全グラフィクス数が処理済みグラフィクス数Ｍより大きいか否かを判断する。大きいときは、全てのグラフィクスに対する処理が終了していないので、送信データ生成部１１０は、ステップＳＴ５に戻って、処理済みグラフィクス数Ｍを１だけ増加し、次のグラフィクスに対する処理に移行する。
　ステップＳＴ１１で大きくないとき、全てのグラフィクスに対する処理が終了したので、送信データ生成部１１０は、ステップＳＴ１２において、全フレーム数が処理ずみフレーム数Ｎより大きいか否かを判断する。大きいときは、全てのフレームに対する処理が終了していないので、送信データ生成部１１０は、ステップＳＴ３に戻って、処理済みフレーム数Ｎを１だけ増加し、次のフレームに対する処理に移行する。そして、ステップＳＴ１２で大きくないとき、全てのフレームに対する処理が終了したので、送信データ生成部１１０は、ステップＳＴ１３において、処理を終了する。
　なお、図１９のフローチャートで示す処理手順は、サイズ補正情報を使用する場合の例であり、スケーリング比情報（変換テーブル情報）が存在する場合には、ステップＳＴ６からステップＳＴ９の処理は、視差情報とスケーリング比との変換テーブルからスケーリング比ＭＳＲを得る処理となる。
　［ＴＳ構成、ＤＰＳ，ＳＤＳのセグメント構造、ＳＥＩメッセージ構造など］
　図２０は、トランスポートストリームＴＳの構成例を示している。このトランスポートストリームＴＳには、各エレメンタリストリームをパケット化して得られたＰＥＳパケットが含まれている。この構成例では、ビデオストリームのＰＥＳパケット「Video PES」、オーディオエレメンタリストリームのＰＥＳパケット「Audio PES」、サブタイトルエレメンタリストリームのＰＥＳパケット「「Subtitle PES」が含まれている。
　サブタイトルストリーム（サブタイトルエレメンタリストリーム）には、立体（３Ｄ）画像用のサブタイトルデータが含まれる。このサブタイトルストリームには、ＤＤＳ、ＰＣＳ、ＲＣＳ、ＤＳＳ、ＯＤＳ、ＣＤＳ、ＥＤＳなどの従来周知のセグメントと共に、新たに定義されたＤＰＳ（Depth Perspective Segment）、またはＳＤＳ（Scaling Look Up Table Definition Segment）が選択的に含まれる。
　図２１は、ＤＶＢサブタイトルのセグメントタイプ（DVB subtitle segment_type）を示している。ＤＤＳのセグメントタイプは「0x14」であり、ＰＣＳのセグメントタイプは「0x10」であり、ＲＣＳのセグメントタイプは「0x11」であり、ＤＳＳのセグメントタイプは「0x15」である。また、ＯＤＳのセグメントタイプは「0x13」であり、ＣＤＳのセグメントタイプは「0x12」であり、ＥＤＳのセグメントタイプは「0x80」である。そして、例えば、新規定義されるＤＰＳのセグメントタイプは「0x16」とされ、同じく新規定義されるＳＤＳのセグメントタイプは「0x17」とされる。
　図２２は、ＤＰＳ（Depth Perspective Segment）の構造例（Syntax）を示している。また、図２３、図２４は、その構造例における主要な情報の内容（Semantics）を示している。「perspective_type」の３ビットフィールドは、スケーリング比を求めるために使用する、視差オフセット値Ｐｘおよび両眼距離Ｅと、スケーリング比ＭＳＲとの関係式を指定する。例えば、“００１”は、スケーリング比を求めるために使用する関係式が、線形遠近法でスケーリング比を求める、上述の数式（１０）であることを示す。また、例えば、“０１０”は、スケーリング比を求めるために使用する関係式が、非線形遠近法でスケーリング比を求める、上述の数式（９）であることを示す。
　「target eye baseline_distance」の２ビットフィールドは、両眼距離Ｅを示す。例えば、“００”は５０ｍｍを示し、“０１”は５５ｍｍを示し、“１０”は６０ｍｍを示し、“１１”は６５ｍｍを示す。「primary viewing size」の３ビットフィールドは、想定スクリーンサイズを示す。例えば、“００１”は４０インチを示し、“０１０”は５０インチを示し、“０１１”は６０インチを示し、“１００”は７０インチを示し、“１０１”は８０インチを示し、“１１０”は９０インチを示し、“１１１”は１００インチを示す。
　「slope control factor　positive」の８ビットフィールドは、ファーポジション（far position）用の傾斜制御係数αの値を示し、０から１．９９の範囲の値をとる。「slope control factor negative」の８ビットフィールドは、ニヤーポジション（near position）用の傾斜制御係数αの値を示し、０から１．９９の範囲の値をとる。
　図２５は、スケーリング比情報を示している。このスケーリング比情報は、視差情報（Disparity offset value）とスケーリング比ＭＳＲとの変換テーブルの情報である。図２６は、ＳＤＳ（Scaling Look Up Table Definition Segment）の構造例（Syntax）を示している。また、図２７は、その構造例における主要な情報の内容（Semantics）を示している。
　「scaling_type」の３ビットフィールドは、スケーリング比を求めた、視差オフセット値Ｐｘおよび両眼距離Ｅと、スケーリング比ＭＳＲとの関係式を示す。例えば、“００１”は、スケーリング比を求めるために使用した関係式が、線形遠近法でスケーリング比を求める、上述の数式（１０）であることを示す。また、例えば、“０１０”は、スケーリング比を求めるために使用した関係式が、非線形遠近法でスケーリング比を求める、上述の数式（９）であることを示す。「Disparity_value_entry」の８ビットフィールドは視差情報の値を示し、「Scaling_ratio」の８ビットフィールドはその値に対応したスケーリング比を示す。
　また、上述したように、ビデオストリームに、受信機グラフィクス（ＯＳＤ）用の情報Ｈ２が挿入される。例えば、視差情報は、ＳＥＩメッセージ（Depth_information_for_graphics SEI message）として挿入される。サイズ補正情報は、ＳＥＩメッセージ（Depth perspective scaling SEI message）として挿入される。また、スケーリング比情報は、ＳＥＩメッセージ（3D_scaling_coefficient SEI message）として挿入される。
　図２８（ａ）は、ＧＯＰ（Group Of Pictures）の先頭のアクセスユニットを示しており、図２８（ｂ）は、ＧＯＰの先頭以外のアクセスユニットを示している。受信機グラフィクス用の情報Ｈ２がＧＯＰ単位で挿入される場合、ＧＯＰの先頭のアクセスユニットにのみ「Depth_information_for_graphics SEI message」、「Depth perspective scaling SEI message」が挿入される。なお、この例は、サイズ補正情報を挿入する場合を示している。サイズ補正情報の代わりにスケーリング比情報を挿入する場合には、Depth perspective scaling SEI message」の代わりに、「3D_scaling_coefficient SEI message」が挿入されることになる。
　図２９（ａ）は、「depth_information_for_graphics SEI message」の構造例(Syntax)を示している。「uuid_iso_iec_11578」は、“ISO/IEC 11578:1996 AnnexA.”で示されるUUID値をもつ。「user_data_payload_byte」のフィールドに、「depth_information_for_graphics_data()」が挿入される。図２９（ｂ）は、「depth_information_for_graphics_data()」の構造例(Syntax)を示している。この中に、デプス・インフォメーション・フォー・グラフィクス（depth_information_for_graphics()）が挿入される。「userdata_id」は、符号なし１６ビットで示される「depth_information_for_graphics()」の識別子である。
　図３０は、ピクチャ毎の視差情報をピクチャ単位で挿入する場合における「depth_information_for_graphics()」の構造例(Syntax)を示している。また、図３１は、図３０に示す構造例における主要な情報の内容（Semantics）を示している。
　「partition_type」の３ビットフィールドは、ピクチャ表示画面の分割タイプを示す。“０００”は分割なしを示し、“００１”は水平、垂直を各々２等分することを示し、“０１０”は水平、垂直を各々４等分することを示す。
　「partition_count」の４ビットフィールドは、分割領域（Partition）の総数を示し、上述の「partition_type」に依存した値となる。例えば、「partition_type=000」であるとき、図３２（ａ）に示すように、分割領域（Partition）の総数は「１」である。また、例えば、「partition_type=001」であるとき、図３２（ｂ）に示すように、分割領域（Partition）の総数は「４」である。また、例えば、「partition_type=010」であるとき、図３２（ｃ）に示すように、分割領域（Partition）の総数は「１６」である。
　「disparity_in_partition」の８ビットフィールドは、各分割領域（Partition）の代表視差情報（代表disparity値）を示す。該当領域の視差情報の最小値である場合が多い。
　図３３（ａ）は、「Depth perspective scaling SEI message」の構造例(Syntax)を示している。「uuid_iso_iec_11578」は、“ISO/IEC 11578:1996 AnnexA.”で示されるＵＵＩＤ値をもつ。「user_data_payload_byte」のフィールドに、「userdata_for_depth perspective scaling()」が挿入される。図３３（ｂ）は、「userdata_for_depth perspective scaling()」の構造例(Syntax)を示している。この中に、デプス・パースペクティブ・スケーリング・データ（depth perspective scaling_data()）が挿入される。「userdata_id」は、符号なし１６ビットで示されるデプス・パースペクティブ・スケーリング・データの識別子である。
　図３４は、デプス・パースペクティブ・スケーリング・データ（depth perspective scaling_data()）の構造例（Syntax）を示している。「perspective_type」、「target eye baseline_distance」、「slope control factor　positive」および「slope control factor negative」の各フィールドの内容は、上述のＤＰＳのセグメントにおける内容と同様である（図２３、図２４参照）
　図３５（ａ）は、「3D_scaling_coefficient SEI message」の構造例(Syntax)を示している。「uuid_iso_iec_11578」は、“ISO/IEC 11578:1996 AnnexA.”で示されるＵＵＩＤ値をもつ。「user_data_payload_byte」のフィールドに、「3D_scaling_coefficient()」が挿入される。図３５（ｂ）は、「3D_scaling_coefficient()」の構造例(Syntax)を示している。この中に、３Ｄ・スケーリング・コエフィシャント・データ（3D_scaling_coefficient_data()）が挿入される。「userdata_id」は、符号なし１６ビットで示される３Ｄ・スケーリング・コエフィシャント・データの識別子である。
　図３６は、３Ｄ・スケーリング・コエフィシャント・データ（3D_scaling_coefficient_data()）の構造例（Syntax）を示している。「scaling_type」、「Disparity_value_entry」および「Scaling_ratio」の各フィールドの内容は、上述のＳＤＳのセグメントにおける内容と同様である（図２７参照）
　図２０に戻って、また、トランスポートストリームには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。また、トランスポートストリームには、イベント単位の管理を行うＳＩ（Serviced Information）としてのＥＩＴ(Event Information Table)が含まれている。このＥＩＴには、番組単位のメタデータが記載される。
　ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・デスクリプタ（Program Descriptor）が存在する。また、このＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ、オーディオエレメンタリ・ループ、サブタイトルエレメンタリ・ループが存在する。各エレメンタリ・ループには、ストリーム毎に、パケット識別子（PID）等の情報が配置されると共に、図示していないが、そのエレメンタリストリームに関連する情報を記述する記述子（デスクリプタ）も配置される。
　ＰＭＴの配下に、サブタイトルの内容を示すサブタイトル・デスクリプタ（Subtitling_descriptor）が挿入されている。また、ＥＩＴの配下に、ストリーム毎に、配信内容を示すコンポーネント・デスクリプタ（Component_descriptor）が挿入されている。図３７に示すように、コンポーネント・デスクリプタの“stream_content”がサブタイトル（subtitle）を示す場合、“component_type”が「0x15」あるいは「0x25」であるときは３Ｄ用サブタイトルを示し、その他の値のときは２Ｄ用サブタイトルを示す。
　ＰＭＴには、サブタイトルエレメンタリストリームに関連した情報を持つサブタイトルエレメンタリ・ループ（Subtitle ES loop）が存在する。このサブタイトルエレメンタリ・ループには、ストリーム毎に、パケット識別子（PID）等の情報が配置されると共に、そのエレメンタリストリームに関連する情報を記述する記述子（デスクリプタ）も配置される。
　図３８は、コンポーネント・デスクリプタ（Component_descriptor）の構造例（syntax）を示している。「descriptor_tag」の８ビットフィールドは、このデスクリプタがコンポーネント・デスクリプタであることを示す。「descriptor_length」の８ビットフィールドは、このフィールド以後の全体のバイトサイズを示す。
　「stream_content」の４ビットフィールドは、メインのストリームの例えばビデオ、オーディオ、サブタイトルなどのストリームタイプを示す。「component_type」の４ビットフィールドは、メインのストリームの例えばビデオ、オーディオ、サブタイトルなどのコンポーネントタイプを示す。
　メインのストリームが２Ｄストリームである場合、つまり２Ｄストリームに対応したコンポーネント・デスクリプタでは、「stream_content」はサブタイトル“subtitle”とされ、「component_type」は、２次元用“2D”とされる。また、メインのストリームが３Ｄ拡張ストリームである場合、つまり３Ｄ拡張ストリームに対応したコンポーネント・デスクリプタでは、「stream_content」はサブタイトル“subtitle”とされ、「component_type」は、３次元用“3D”とされる。
　「component_tag」の８ビットフィールドは、メインのストリームに対応したストリーム・アイデンチファイヤ・デスクリプタ（stream_identifier descriptor）内の「component_tag」と同じ値を持つ。これにより、ストリーム・アイデンチファイヤ・デスクリプタと、コンポーネント・デスクリプタとが、「component_tag」で関連付けられる。「ISO_639_language_code」の２４ビットフィールドは、ＩＳＯ言語コードを示す。
　図３９は、サブタイトル・デスクリプタ（Subtitling_descriptor）の構造例（syntax）を示している。「descriptor_tag」の８ビットフィールドは、このデスクリプタがサブタイトル・デスクリプタであることを示す。「descriptor_length」の８ビットフィールドは、このフィールド以後の全体のバイトサイズを示す。
　「ISO_639_language_code」の２４ビットフィールドは、ＩＳＯ言語コードを示す。「subtitling_type」の８ビットフィールドは、サブタイトルタイプ情報を示す。メインのストリームが２Ｄストリームである場合、つまり２Ｄストリームに対応したサブタイトル・デスクリプタでは、「subtitling_type」は“2D”とされる。一方、メインのストリームが３Ｄ拡張ストリームである場合、つまり３Ｄ拡張ストリームに対応したサブタイトル・デスクリプタでは、「subtitling_type」は“3D”とされる。「composition_page_id」の１６ビットフィールドは、コンポジション・ページＩＤを示し、メインのストリームに含まれるセグメントのページＩＤ「page_id」と同じ値を持つ。
　「受信装置におけるストリーム処理部の構成例」
　図４０は、受信装置２００におけるストリーム処理部２１０の構成例を示している。このビットストリーム処理部２１０は、上述の図１５に示す送信データ生成部１１０に対応した構成となっている。このストリーム処理部２１０は、デマルチプレクサ２１１と、ビデオデコーダ２１２と、ビデオ重畳部２１３とを有している。
　また、このストリーム処理部２１０は、サブタイトルデコーダ２２１と、サイズ補正部２２２と、サブタイトルバッファ２２３と、奥行き制御部２２４を有している。また、ストリーム処理部２１０は、受信機グラフィクスデータ発生部２３１と、サイズ補正部２３２と、グラフィクスバッファ２３３と、奥行き制御部２３４と、オーディオデコーダ２４１を有している。
　デマルチプレクサ２１１は、受信されたトランスポートストリームＴＳから、ビデオ、オーディオ、サブタイトルのパケットを抽出し、各デコーダに送る。ビデオデコーダ２１２は、上述の送信データ生成部１１０におけるビデオエンコーダ１１８とは逆の処理を行う。すなわち、ビデオデコーダ２１２は、デマルチプレクサ２１１で取り出されたビデオのパケットからビデオストリーム（ビデオエレメンタリストリーム）を再構成し、復号化処理を行って、左眼画像および右眼画像のデータを得る。
　また、ビデオデコーダ２１２は、ビデオストリームに挿入された「Depth_information_for_graphics SEI message」、「Depth perspective scaling SEI message」、「3D_scaling_coefficient SEI message」のＳＥＩメッセージに基づいて、受信機グラフィクス（ＯＳＤ）用の情報Ｈ２を構成する視差情報と、サイズ補正情報あるいはスケーリング比情報を取得する。
　サブタイトルデコーダ２２１は、上述の送信データ生成部１１０のサブタイトルエンコーダ１２０とは逆の処理を行う。すなわち、このサブタイトルデコーダ２２１は、デマルチプレクサ２１１で抽出されたサブタイトルのパケットからサブタイトルストリーム（サブタイトルエレメンタリストリーム）を再構成し、復号化処理を行って、立体画像用のサブタイトルデータを得る。
　また、サブタイトルデコーダ２２１は、立体画像用のサブタイトルデータに基づいて、左眼画像および右眼画像のデータに重畳するサブタイトル（字幕）の表示データ（ビットマップデータ）を発生する。また、サブタイトルデコーダ２２１は、立体画像用のサブタイトルデータに含まれるＤＳＳとＤＰＳ、あるいはＤＳＳとＳＤＳのセグメントに基づいて、サブタイトル用の情報Ｈ１を構成する視差情報と、サイズ補正情報あるいはスケーリング比情報を取得する。
　サイズ補正部２２２は、左眼画像および右眼画像のデータによる立体画像に重畳されるサブタイトル（字幕）の知覚サイズに違和感が生じることを回避するために、サブタイトルデコーダ２２１で発生されるサブタイトル（字幕）の表示データ（ビットマップデータ）に対してサイズ補正のためのスケーリングを行う。
　サイズ補正部２２２は、サイズの補正を行う際に、スケーリング比を取得し、このスケーリング比に基づいてサブタイトルの表示データに対してスケーリングを行う。ここで、スケーリング比は、スクリーン上におけるサブタイトルの視差オフセット値と両眼距離に基づいて決定されたものである。サイズ補正部２２２は、このスケーリング比を、フレーム毎に、取得する。この際、サイズ補正部２２２は、サブタイトル用の情報Ｈ１に含まれる視差情報およびサイズ補正情報を使用してスケーリング比を取得するか、あるいはこの情報Ｈ１に含まれる視差情報およびスケーリング比情報を使用してスケーリング比を取得する。
　なお、ＤＳＳのセグメントで送られてくる視差情報は、例えば、フレーム毎の視差情報ではなく、サブタイトル（字幕）表示期間において所定の更新フレーム間隔で順次更新されるものである。図４１は、視差情報の更新例を示している。この例は、インターバル期間（Interval period）を短期間とし、各更新期間は、このインターバル期間の個数で表されている。“Ａ”はサブタイトル（字幕）表示期間の開始フレーム（開始時点）を示し、“Ｂ”～“Ｆ”は、その後の更新フレーム（更新時点）を示している。Ｍ，Ｎ，Ｐ，Ｑ，Ｒは、各更新期間におけるインターバル期間の個数を示している。
　このように、受信される視差情報が、サブタイトル（字幕）表示期間において所定の更新フレーム間隔で順次更新されるものである場合、例えば、補間処理が施され、サブタイトル（字幕）表示期間における任意のフレーム間隔、例えば１フレーム間隔の視差情報を生成して使用することが行われる。この補間処理は、線形補間処理ではなく、時間方向（フレーム方向）にローパスフィルタ（ＬＰＦ）処理を伴ったものとされる。これにより、補間処理後の所定フレーム間隔の視差情報の時間方向（フレーム方向）の変化をなだらかとできる。図４１には、このように時間方向に変化する視差情報に対応して得られるスケーリング比ＭＳＲの時間方向の変化例も示している。
　図４０に戻って、サイズ補正部２２２は、サイズ補正情報を使用する場合、まず、視差情報と実際のスクリーンサイズ（表示デバイスのサイズ）の情報に基づいてスクリーン上におけるグラフィクスの視差オフセット値を求める。ここで、視差オフセット値が、安全などを考慮した所定の範囲を越えることも考えられる。その場合、サイズ補正部２２２は、この視差オフセット値を、所定の範囲内に入るように調整する。この場合、例えば、表示スクリーンサイズと想定スクリーンサイズの比に基づいて視差オフセット値を調整すること、あるいは視差オフセット値に対してリミッタ処理を施すことなどが考えられる。
　次に、サイズ補正部２２２は、視差オフセット値Ｐｘおよび両眼距離Ｅの情報（target eye baseline_distance）を、関係式の情報（perspective_type）で特定される関係式に代入して、スケーリング比を得る。
　一方、サイズ補正部２２２は、スケーリング比情報を使用する場合、視差情報とスケーリング比との変換テーブルから、視差情報に対応するスケーリング比を読み出して、スケーリング比を得る。
　図４２（ａ）は、サイズ補正情報を使用する場合におけるサイズ補正部２２２の構成例を示している。このサイズ補正部２２２は、視差情報変換・検査部２２２ａと、スケーリング比決定部２２２ｂと、スケーラ２２２ｃを有している。視差情報変換・検査部２２２ａは、視差情報と表示デバイスのサイズの情報に基づいてスクリーン上におけるオブジェクトの視差オフセット値Ｐｘを求める。この際、視差情報変換・検査部２２２ａは、求められた視差オフセット値Ｐｘが安全などを考慮した所定の範囲を越えるか検査し、越える場合には所定の範囲内に入るように調整する。
　スケーリング比決定部２２２ｂは、視差オフセット値Ｐｘおよび両眼距離Ｅの情報（target eye baseline_distance）に基づき、関係式の情報（perspective_type）で特定される関係式を用いて、スケーリング比ＭＳＲを得る。例えば、関係式の情報（perspective_type）により、上述の数式（９）または数式（１０）が特定される。スケーラ２２２ｃは、スケーリング比ＭＳＲに基づいて、サブタイトル（字幕）の表示データ（ビットマップデータ）に対して、拡大あるいは縮小のスケーリング処理を行って、スケーリング後の表示データを得る。なお、詳細説明は省略するが、図４２（ｂ）は、スケーリング比情報を使用する場合におけるサイズ補正部２２２の構成例を示している。
　図４０に戻って、サブタイトルバッファ２２３は、サイズ補正部２２２でサイズ補正されたサブタイトルの表示データを、一時的に蓄積する。ビデオ重畳部２１３は、このようにサイズ補正されたサブタイトル（字幕）の表示データを、ビデオデコーダ２１２で得られた左眼画像および右眼画像のデータに重畳して、画像データＶoutを得る。
　奥行き制御部２２４は、デプス妨害が生じないように、左眼画像および右眼画像のデータに重畳されるサブタイトルの表示データを視差情報に基づいてシフト制御して視差を付与する。なお、上述したように視差オフセット値Ｐｘが調整される場合には、それに対応して、視差付与の処理で使用される視差情報も調整され、実際の視差オフセット値が所定の範囲内に入るようにされる。
　受信機グラフィクスデータ発生部２３１は、受信機グラフィクス、例えばＯＳＤの表示データを発生する。サイズ補正部２３２は、左眼画像および右眼画像のデータによる立体画像に重畳されるサブタイトル（字幕）の知覚サイズに違和感が生じることを回避するために、受信機グラフィクスデータ発生部２３１で発生される受信機グラフィクス（ＯＳＤ）の表示データ（ビットマップデータ）に対してサイズ補正のためのスケーリングを行う。
　サイズ補正部２３２は、サイズの補正を行う際に、スケーリング比を取得し、このスケーリング比に基づいて受信機グラフィクス（ＯＳＤ）の表示データに対してスケーリングを行う。ここで、スケーリング比は、スクリーン上における受信機グラフィクス（ＯＳＤ）の視差オフセット値と両眼距離に基づいて決定されたものである。サイズ補正部２３２は、このスケーリング比を、上述したように、ビデオデコーダ２１２で取得される受信機グラフィクス（ＯＳＤ）用の情報Ｈ２に含まれる視差情報と、さらにサイズ補正情報あるいはスケーリング比情報を使用して、フレーム毎に、取得する。
　サイズ補正部２３２は、サイズ補正情報を使用する場合、まず、視差情報と実際のスクリーンサイズ（表示デバイスのサイズ）の情報に基づいてスクリーン上におけるグラフィクスの視差オフセット値を求める。そして、サイズ補正部２３２は、次に、視差オフセット値Ｐｘおよび両眼距離Ｅの情報（target eye baseline_distance）を、関係式の情報（perspective_type）で特定される関係式に代入して、スケーリング比を得る。一方、サイズ補正部２３２は、スケーリング比情報を使用する場合、視差情報とスケーリング比との変換テーブルから、視差情報に対応するスケーリング比を読み出して、スケーリング比を得る。詳細説明は省略するが、このサイズ補正部２３２も、上述したサイズ補正部２２２と同様に構成されている（図４２参照）。
　グラフィクスバッファ２３３は、サイズ補正部２３２でサイズ補正された受信機グラフィクス（ＯＳＤ）の表示データを、一時的に蓄積する。ビデオ重畳部２１３は、このようにサイズ補正された受信機グラフィクス（ＯＳＤ）の表示データを、ビデオデコーダ２１２で得られた左眼画像および右眼画像のデータに重畳して、画像データＶoutを得る。
　奥行き制御部２３４は、デプス妨害が生じないように、左眼画像および右眼画像のデータに重畳される受信機グラフィクス（ＯＳＤ）の表示データを視差情報に基づいてシフト制御して視差を付与する。なお、上述したように視差オフセット値Ｐｘが調整される場合には、それに対応して、視差付与の処理で使用される視差情報も調整され、実際の視差オフセット値が所定の範囲内に入るようにされる。
　オーディオデコーダ２４１は、上述の送信データ生成部１１０のオーディオエンコーダ１２１とは逆の処理を行う。すなわち、このオーディオデコーダ２４１は、デマルチプレクサ２１１で抽出されたオーディオのパケットからオーディオのエレメンタリストリームを再構成し、復号化処理を行って、音声データＡoutを得る。
　図４０に示すストリーム処理部２１０の動作を簡単に説明する。受信されたトランスポートストリームＴＳは、デマルチプレクサ２１１に供給される。デマルチプレクサ２１１では、トランスポートストリームＴＳから、ビデオ、オーディオ、サブタイトルのパケットが抽出され、各デコーダに送られる。
　ビデオデコーダ２１２では、デマルチプレクサ２１１で取り出されたビデオのパケットからビデオストリーム（ビデオエレメンタリストリーム）が再構成され、復号化処理が施され、左眼画像および右眼画像のデータが得られる。この左眼画像および右眼画像のデータは、ビデオ重畳部２１３に供給される。また、このビデオデコーダ２１２では、ＳＥＩメッセージに基づいて、受信機グラフィクス（ＯＳＤ）用の情報Ｈ２を構成する視差情報と、サイズ補正情報あるいはスケーリング比情報を取得される。
　サブタイトルデコーダ２２１では、デマルチプレクサ２１１で抽出されたサブタイトルのパケットからサブタイトルストリーム（サブタイトルエレメンタリストリーム）が再構成され、復号化処理が施され、立体（３Ｄ）画像用のサブタイトルデータが得られる。そして、このサブタイトルデコーダ２２１では、このサブタイトルデータに基づいて、左眼画像および右眼画像のデータに重畳するサブタイトル（字幕）の表示データ（ビットマップデータ）が発生される。また、このサブタイトルデコーダ２２１では、ＤＳＳ、ＤＰＳ、ＳＤＳのセグメントに基づいて、サブタイトル用の情報Ｈ１を構成する視差情報と、サイズ補正情報あるいはスケーリング比情報が取得される。
　サブタイトルデコーダ２２１で発生されるサブタイトルの表示データは、サイズ補正部２２２に供給される。サイズ補正部２２２では、情報Ｈ１を構成する視差情報と、この情報Ｈ１を構成するサイズ補正情報あるいはスケーリング比情報に基づいて、サブタイトルの表示データ（ビットマップデータ）に対してサイズ補正のためのスケーリングが行われる。このサイズ補正は、左眼画像および右眼画像のデータによる立体画像に重畳されるサブタイトルの知覚サイズに違和感が生じることを回避するために行われる。
　この場合、サブタイトルをスクリーンより奥側のファーポジション（far position）に貼る場合には縮小スケーリングが施され、逆に、サブタイトルをスクリーンより手前側のニヤーポジション（near position）に貼る場合には拡大スケーリングが施される。スケーリング後のサブタイトルの表示データは、サブタイトルバッファ２２３に一時的に蓄積される。
　受信機グラフィクスデータ発生部２３１では、受信機グラフィクス、例えばＯＳＤの表示データが発生される。この表示データは、サイズ補正部２３２に供給される。サイズ補正部２３２では、情報Ｈ２を構成する視差情報と、この情報Ｈ２を構成するサイズ補正情報あるいはスケーリング比情報に基づいて、受信機グラフィクス（ＯＳＤ）の表示データ（ビットマップデータ）に対してサイズ補正のためのスケーリングが行われる。このサイズ補正は、左眼画像および右眼画像のデータによる立体画像に重畳される受信機グラフィクス（ＯＳＤ）の知覚サイズに違和感が生じることを回避するために行われる。
　この場合、受信機グラフィクス（ＯＳＤ）をスクリーンより奥側のファーポジション（far position）に貼る場合には縮小スケーリングが施され、逆に、受信機グラフィクス（ＯＳＤ）をスクリーンより手前側のニヤーポジション（near position）に貼る場合には拡大スケーリングが施される。スケーリング後の受信機グラフィクス（ＯＳＤ）の表示データは、グラフィクスバッファ２３３に一時的に蓄積される。
　ビデオ重畳部２１３では、サブタイトルバッファ２２３に蓄積されているサブタイトル（字幕）の表示データと、グラフィクスバッファ２３３に蓄積されている受信機グラフィクス（ＯＳＤ）の表示データとが、左眼画像および右眼画像のデータにそれぞれ重畳され、左眼画像および右眼画像の出力データＶoutが得られる。
　この場合、デプス妨害が生じないように、奥行き制御部２２４により、左眼画像および右眼画像のデータに重畳されるサブタイトル（字幕）の表示データが視差情報に基づいてシフト制御されて、視差が付与される。このシフト制御により、サブタイトル（字幕）は、常に、立体画像より手前に知覚されるものとなる。また、同様に、奥行き制御部２３４により、左眼画像および右眼画像のデータに重畳される受信機グラフィクス（ＯＳＤ）の表示データが視差情報に基づいてシフト制御されて、視差が付与される。このシフト制御により、受信機グラフィクス（ＯＳＤ）は、常に、立体画像より手前に知覚されるものとなる。
　また、オーディオデコーダ２４１では、デマルチプレクサ２１１で抽出されたオーディオのパケットからオーディオのエレメンタリストリームが再構成され、復号化処理が行われて、音声データＡoutが得られる。
　図４３、図４４のフローチャートは、ストリーム処理部２１０におけるサブタイトル（字幕）や受信機グラフィクス（ＯＳＤ）のサイズ補正に係る処理手順の一例を示している。ストリーム処理部２１０は、ステップＳＴ２１において、処理を開始する。次に、ストリーム処理部２１０は、ステップＳＴ２２において、処理済みフレーム数Ｎを０にセットし、その後、ステップＳＴ２３において、処理済みフレーム数Ｎを１だけ増加する。
　次に、ストリーム処理部２１０は、ステップＳＴ２４において、処理済みリージョン（グラフィクス）数Ｍを０にセットし、その後、ステップＳＴ２５において、処理済みリージョン（グラフィクス）数Ｍを１だけ増加する。そして、ストリーム処理部２１０は、ステップＳＴ２６において、情報Ｈ１（Ｈ２）にスケーリング比情報があるか否かを判断する。スケーリング比情報があるとき、ストリーム処理部２１０は、ステップＳＴ２７において、視差情報とスケーリング比との変換テーブルからスケーリング比ＭＳＲを求める。
　ステップＳＴ２６でスケーリング比情報がないとき、ストリーム処理部２１０は、ステップＳＴ２８において、情報Ｈ１（Ｈ２）に、サイズ補正情報があるか否かを判断する。サイズ補正情報があるとき、ストリーム処理部２１０は、直ちに、ステップＳＴ２９の処理に移る。サイズ補正情報がないとき、ストリーム処理部２１０は、ステップＳＴ３０において、サイズ補正情報（perspective_type、target eye baseline_distance、primary viewing size）を求める。この場合、ストリーム処理部２１０は、受信装置２００の表示機能、重畳物体（オブジェクト）の種類などからサイズ補正情報を求めることができる。
　ストリーム処理部２１０は、ステップＳＴ３０の処理の後、ステップＳＴ２９の処理に移る。このステップＳＴ２９において、ストリーム処理部２１０は、視差情報と表示デバイスのサイズに基づいて、実際のスクリーンサイズに合わせた視差オフセット値（Ｐｘ）を求める。そして、ストリーム処理部２１０は、ステップＳＴ３１において、求められた視差オフセット値（Ｐｘ）が適切か否かを判断する。ストリーム処理部２１０は、安全などを考慮した所定の範囲内にあるときは適切と判断する。
　適切であるとき、ストリーム処理部２１０は、直ちに、ステップＳＴ３２の処理に移る。一方、適切でないとき、ストリーム処理部２１０は、ステップＳＴ３３において、所定の範囲内に入るように、視差オフセット値（Ｐｘ）を調整する。例えば、表示スクリーンサイズと想定スクリーンサイズの比に基づいて視差オフセット値を調整すること、あるいは視差オフセット値に対してリミッタ処理を施すことなどが行われる。ストリーム処理部２１０は、ステップＳＴ３３の処理の後、ステップＳＴ３２の処理に移る。
　このステップＳＴ３２において、ストリーム処理部２１０は、「Perspective_type = linear」であるか否かを判断する。「Perspective_type = linear」であるとき、ストリーム処理部２１０は、ステップＳＴ３４において、上述の数式（１０）で示す関係式「１－（Ｐｘ／Ｅ）＊α」により、視差オフセット値Ｐｘおよび両眼距離Ｅを代入して、スケーリング比ＭＳＲを求める。一方、「Perspective_type = linear」でないとき、ストリーム処理部２１０は、ステップＳＴ３５において、上述の数式（９）で示す関係式「√（１－Ｐｘ／Ｅ）」により、視差オフセット値Ｐｘおよび両眼距離Ｅを代入して、スケーリング比ＭＳＲを求める。
　ストリーム処理部２１０は、上述のステップＳＴ２７、ステップＳＴ３４あるいはステップＳＴ３５の処理の後、ステップＳＴ３６において、Ｍ番目のグラフィクスの表示データに対して、スケーリング比ＭＳＲによるスケーリングを行う（図１８参照）。
　次に、ストリーム処理部２１０は、ステップＳＴ３７において、フレーム内の全リージョン（グラフィクス）数が処理済みリージョン（グラフィクス）数Ｍより大きいか否かを判断する。大きいときは、全てのリージョン（グラフィクス）に対する処理が終了していないので、ストリーム処理部２１０は、ステップＳＴ２５に戻って、処理済みリージョン（グラフィクス）数Ｍを１だけ増加し、次のリージョン（グラフィクス）に対する処理に移行する。
　ステップＳＴ３７で大きくないとき、全てのリージョン（グラフィクス）に対する処理が終了したので、ストリーム処理部２１０は、ステップＳＴ３８において、全フレーム数が処理ずみフレーム数Ｎより大きいか否かを判断する。大きいときは、全てのフレームに対する処理が終了していないので、ストリーム処理部２１０は、ステップＳＴ２３に戻って、処理済みフレーム数Ｎを１だけ増加し、次のフレームに対する処理に移行する。そして、ステップＳＴ３８で大きくないとき、全てのフレームに対する処理が終了したので、ストリーム処理部２１０は、ステップＳＴ３９において、処理を終了する。
　以上説明したように、図１に示す画像送受信システム１０においては、左眼画像および右眼画像のデータに、制作側グラフィクス、サブタイトル（字幕）、受信機グラフィクス（ＯＳＤ）などのオブジェクトの表示データを、デプス（depth）妨害が生じないように視差を付与して重畳する。そして、その際に、スクリーン上におけるオブジェクトの視差オフセット値、従ってオブジェクトの奥行き方向の知覚位置に応じて、サイズ補正を行うものである。左眼画像および右眼画像のデータによる立体画像に重畳されるオフジェクトの知覚サイズに違和感が生じることを回避できる。
　＜２．変形例＞
　なお、上述実施の形態においては、サブタイトル用の情報Ｈ１をサブタイトルストリームに新規セグメントを定義して挿入する例を示した。しかし、この情報Ｈ１の一部または全部をビデオストリームに挿入して送信することも考えられる。
　また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ－２　ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ－２　ＴＳ）、インターネット配信で使用されているＭＰ４などの種々のフォーマットのコンテナが該当する。
　また、上述実施の形態においては、受信装置２００では受信されたビデオストリームまたはオブジェクトストリームからサイズ補正情報またはスケーリング比情報を取得する例を示した。しかし、受信装置２００では、サイズ補正情報またはスケーリング比情報を、他の方法で取得することも考えられる。
　例えば、これらの情報が記載された紙、あるいはこれらの情報が記録されたリムーバブルな記憶媒体（メモリ）から取得する場合が考えられる。この場合、受信装置２００のユーザは、紙に記載されている情報を受信装置２００に入力あるいは設定する。また、この場合、受信装置２００のユーザは、リムーバブルな記録媒体を受信装置２００に装着し、記憶されている情報を受信装置２００に入力あるいは設定する。
　また、例えば、スマートフォン、パーソナルコンピュータなどの通信手段でこれらの情報が入手され、この通信手段から取得する場合が考えられる。その場合、受信装置２００には、通信手段との有線あるいは無線によるインタフェースを介して、これらの情報が入力あるいは設定される。
　また、このような通信手段を、受信装置２００自体が内部に備え、自動的にあるいはユーザの操作に基づいて、サイズ補正情報またはスケーリング比情報の取得を、放送局のサーバ等から取得する場合も考えられる。なお、この場合、サーバへのアクセス情報がビデオストリームあるいはトランスポートストリームＴＳに挿入されており、これらからサーバへのアクセス情報を取得して用いることも考えられる。
　また、受信装置２００は、上述したように、送信装置１００やサーバなどからサイズ補正情報またはスケーリング比情報を取得するか、あるいは紙や記録媒体などからこれらの情報を取得する他に、視差情報に基づいてスケーリング比情報（スケーリング比自体）を内部で生成取得することも考えられる。
　なお、本技術は、上述実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
　また、本技術は、以下のような構成を取ることもできる。
　（１）スクリーン上におけるオブジェクトの視差オフセット値と両眼距離に基づいて決定されたスケーリング比を取得するスケーリング比取得部と、
　上記取得されたスケーリング比に基づいて、上記オブジェクトの表示データにスケーリングを行うスケーリング部とを備える
　データ処理装置。
　（２）上記スケーリング比取得部は、
　視差情報を想定スクリーンサイズまたは表示スクリーンサイズに応じた視差オフセット値に変換する視差情報変換部と、
　上記変換された視差オフセット値と両眼距離に基づいて、上記スケーリング比を決定するスケーリング比決定部とを有する
　前記（１）に記載のデータ処理装置。
　（３）上記スケーリング比決定部は、
　上記視差オフセット値が０であるときスケーリング比が１となり、該視差オフセット値の変化に応じてスケーリング比が線形または非線形に変化する、視差オフセット値および両眼距離と、スケーリング比との関係式により、上記スケーリング比を決定する
　前記（２）に記載のデータ処理装置。
　（４）上記視差情報変換部は、
　上記変換された上記表示スクリーンサイズに応じた視差オフセット値が所定の範囲内に入っていないとき、該視差オフセット値が所定の範囲内に入るように調整する
　前記（２）または（３）に記載のデータ処理装置。
　（５）上記視差情報変換部は、
　上記表示スクリーンサイズと想定スクリーンサイズの比に基づいて、上記変換された視差オフセット値を調整する
　前記（４）に記載のデータ処理装置。
　（６）上記視差情報変換部は、
　上記変換された視差オフセット値に対してリミッタ処理を施して、上記変換された視差オフセット値を調整する
　前記（４）に記載のデータ処理装置。
　（７）上記スケーリング比取得部は、
　視差情報とスケーリング比との変換テーブルを用いて、上記スケーリング比を取得する　前記（１）に記載のデータ処理装置。
　（８）スクリーン上におけるオブジェクトの視差オフセット値と両眼距離に基づいて決定されたスケーリング比を取得するステップと、
　上記取得されたスケーリング比に基づいて、上記オブジェクトの表示データにスケーリングを行うステップとを備える
　データ処理方法。
　（９）立体画像を構成する左眼画像および右眼画像のデータを取得する画像データ取得部と、
　画像に重畳するオブジェクトの表示データを取得するオブジェクトデータ取得部と、
　上記取得されたオブジェクトの表示データに対してオブジェクトサイズの補正を行うオブジェクトサイズ補正部と、
　上記サイズ補正されたオブジェクトの表示データを、上記左眼画像および右眼画像のデータに、視差を付与して重畳するビデオ重畳部と、
　上記オブジェクトの表示データが重畳された左眼画像および右眼画像のデータを含むビデオストリームを送信する送信部とを備え、
　上記オブジェクトサイズ補正部は、
　スクリーン上におけるオブジェクトの視差オフセット値と両眼距離に基づいて決定されたスケーリング比を取得するスケーリング比取得部と、
　上記取得されたスケーリング比に基づいて、上記オブジェクトの表示データにスケーリングを行うスケーリング部とを有する
　送信装置。
　（１０）立体画像を構成する左眼画像および右眼画像のデータを取得する画像データ取得部と、
　上記画像に重畳するオブジェクトのデータを取得するオブジェクトデータ取得部と、
　上記左眼画像および右眼画像のデータを含むビデオストリームと、上記オブジェクトのデータを含むオブジェクトストリームを送信する送信部と、
　上記オブジェクトのサイズを、該オブジェクトに付与する視差に応じて補正するためのサイズ補正情報またはスケーリング比情報を取得する情報取得部と、
　上記取得されたサイズ補正情報またはスケーリング比情報を、上記ビデオストリームまたは上記オブジェクトストリームに挿入する情報挿入部とを備える
　送信装置。
　（１１）上記サイズ補正情報は、
　スクリーン上におけるオブジェクトの視差オフセット値および両眼距離と、スケーリング比との関係式の情報、両眼距離の情報および想定スクリーンサイズの情報を含む
　前記（１０）に記載の送信装置。
　（１２）立体画像を構成する左眼画像および右眼画像のデータを取得する画像データ取得部と、
　上記画像データを含むビデオストリームを送信する送信部と、
　上記画像に重畳するオブジェクトのサイズを、該オブジェクトに付与する視差に応じて補正するためのサイズ補正情報またはスケーリング比情報を取得する情報取得部と、
　上記取得されたサイズ補正情報またはスケーリング比情報を、上記ビデオストリームに挿入する情報挿入部とを備える
　送信装置。
　（１３）上記サイズ補正情報は、
　スクリーン上におけるオブジェクトの視差オフセット値および両眼距離と、スケーリング比との関係式の情報、両眼距離の情報および想定スクリーンサイズの情報を含む
　前記（１２）に記載の送信装置。
　（１４）立体画像を構成する左眼画像および右眼画像のデータを含むビデオストリームを受信する受信部と、
　画像に重畳するオブジェクトの表示データを取得するオブジェクトデータ取得部と、
　画像に重畳するオブジェクトのサイズを補正するためのサイズ補正情報またはスケーリング比情報を取得する情報取得部と、
　上記取得されたオブジェクトの表示データに対して、上記取得されたサイズ補正情報またはスケーリング比情報に基づいて、オブジェクトサイズの補正を行うオブジェクトサイズ補正部と、
　上記サイズ補正されたオブジェクトの表示データを上記左眼画像および右眼画像のデータに視差を付与して重畳するビデオ重畳部とをさらに備える
　受信装置。
　（１５）上記ビデオストリームには、上記サイズ補正情報またはスケーリング比情報が挿入されており、
　上記情報取得部は、上記ビデオストリームから上記サイズ補正情報またはスケーリング比情報を取得する
　前記（１４）に記載の受信装置。
　（１６）上記オブジェクトサイズ補正部は、
　スクリーン上におけるオブジェクトの視差オフセット値と両眼距離に基づいて決定されたスケーリング比を取得するスケーリング比取得部と、
　上記取得されたスケーリング比に基づいて、上記オブジェクトの表示データにスケーリングを行うスケーリング部とを有する
　前記（１４）に記載の受信装置。
　（１７）立体画像を構成する左眼画像および右眼画像のデータを含むビデオストリームと、画像に重畳するオブジェクトのデータを含むオブジェクトストリームを受信する受信部を備え、
　上記ビデオストリームまたは上記オブジェクトストリームには、上記オブジェクトのサイズを補正するためのサイズ補正情報またはスケーリング比情報が挿入されており、
　上記オブジェクトの表示データに対して、上記挿入されているサイズ補正情報またはスケーリング比情報に基づいて、オブジェクトサイズの補正を行うオブジェクトサイズ補正部と、
　上記サイズ補正されたオブジェクトの表示データを上記左眼画像および右眼画像のデータに視差を付与して重畳するビデオ重畳部とをさらに備える
　受信装置。
　（１８）上記オブジェクトサイズ補正部は、
　スクリーン上におけるオブジェクトの視差オフセット値と両眼距離に基づいて決定されたスケーリング比を取得するスケーリング比取得部と、
　上記取得されたスケーリング比に基づいて、上記オブジェクトの表示データにスケーリングを行うスケーリング部とを有する
　前記（１７）に記載の受信装置。
　本技術の主な特徴は、左眼画像および右眼画像のデータに、制作側グラフィクス、サブタイトル（字幕）、受信機グラフィクス（ＯＳＤ）などのオブジェクトの表示データを、デプス（depth）妨害が生じないように視差を付与して重畳する際に、スクリーン上におけるオブジェクトの視差オフセット値、従ってオブジェクトの奥行き方向の知覚位置に応じてサイズ補正を行うようにしたことで、立体画像に重畳されるオフジェクトの知覚サイズに違和感が生じることを回避可能にしたことである（図１０参照）
　１０・・・画像送受信システム
　１１０・・・送信データ生成部
　１１１・・・データ取り出し部
　１１１ａ・・・画像撮像媒体
　１１１ｂ・・・制作側グラフィクス・サブタイトルデータ発生部
　１１１ｃ・・・音声入力媒体
　１１１ｄ・・・データ記録媒体
　１１２・・・視差情報生成部
　１１３・・・視差情報領域マッピング部
　１１４・・・サイズ補正部
　１１４ａ・・・視差情報変換部
　１１４ｂ・・・スケーリング比決定部
　１１４ｃ・・・スケーラ
　１１５・・・グラフィクスバッファ
　１１６・・・奥行き制御部
　１１７・・・ビデオ重畳部
　１１８・・・ビデオエンコーダ
　１１９・・・サブタイトル処理部
　１２０・・・サブタイトルエンコーダ
　１２１・・・オーディオエンコーダ
　１２２・・・マルチプレクサ
　２００・・・受信装置
　２１０・・・ストリーム処理部
　２１１・・・デマルチプレクサ
　２１２・・・ビデオデコーダ
　２１３・・・ビデオ重畳部
　２２１・・・サブタイトルデコーダ
　２２２・・・サイズ補正部
　２２２ａ・・・視差情報変換・検査部
　２２２ｂ・・・スケーリング比決定部
　２２２ｃ・・・スケーラ
　２２３・・・サブタイトルバッファ
　２２４・・・奥行き制御部
　２３１・・・受信機グラフィクスデータ発生部
　２３２・・・サイズ補正部
　２３３・・・グラフィクスバッファ
　２３４・・・奥行き制御部
　２４１・・・オーディオデコーダ

Claims (18)

  1. 　スクリーン上におけるオブジェクトの視差オフセット値と両眼距離に基づいて決定されたスケーリング比を取得するスケーリング比取得部と、
    　上記取得されたスケーリング比に基づいて、上記オブジェクトの表示データにスケーリングを行うスケーリング部とを備える
    　データ処理装置。
  2. 　上記スケーリング比取得部は、
    　視差情報を想定スクリーンサイズまたは表示スクリーンサイズに応じた視差オフセット値に変換する視差情報変換部と、
    　上記変換された視差オフセット値と両眼距離に基づいて、上記スケーリング比を決定するスケーリング比決定部とを有する
    　請求項１に記載のデータ処理装置。
  3. 　上記スケーリング比決定部は、
    　上記視差オフセット値が０であるときスケーリング比が１となり、該視差オフセット値の変化に応じてスケーリング比が線形または非線形に変化する、視差オフセット値および両眼距離と、スケーリング比との関係式により、上記スケーリング比を決定する
    　請求項２に記載のデータ処理装置。
  4. 　上記視差情報変換部は、
    　上記変換された上記表示スクリーンサイズに応じた視差オフセット値が所定の範囲内に入っていないとき、該視差オフセット値が所定の範囲内に入るように調整する
    　請求項２に記載のデータ処理装置。
  5. 　上記視差情報変換部は、
    　上記表示スクリーンサイズと想定スクリーンサイズの比に基づいて、上記変換された視差オフセット値を調整する
    　請求項４に記載のデータ処理装置。
  6. 　上記視差情報変換部は、
    　上記変換された視差オフセット値に対してリミッタ処理を施して、上記変換された視差オフセット値を調整する
    　請求項４に記載のデータ処理装置。
  7. 　上記スケーリング比取得部は、
    　視差情報とスケーリング比との変換テーブルを用いて、上記スケーリング比を取得する　請求項１に記載のデータ処理装置。
  8. 　スクリーン上におけるオブジェクトの視差オフセット値と両眼距離に基づいて決定されたスケーリング比を取得するステップと、
    　上記取得されたスケーリング比に基づいて、上記オブジェクトの表示データにスケーリングを行うステップとを備える
    　データ処理方法。
  9. 　立体画像を構成する左眼画像および右眼画像のデータを取得する画像データ取得部と、
    　画像に重畳するオブジェクトの表示データを取得するオブジェクトデータ取得部と、
    　上記取得されたオブジェクトの表示データに対してオブジェクトサイズの補正を行うオブジェクトサイズ補正部と、
    　上記サイズ補正されたオブジェクトの表示データを、上記左眼画像および右眼画像のデータに、視差を付与して重畳するビデオ重畳部と、
    　上記オブジェクトの表示データが重畳された左眼画像および右眼画像のデータを含むビデオストリームを送信する送信部とを備え、
    　上記オブジェクトサイズ補正部は、
    　スクリーン上におけるオブジェクトの視差オフセット値と両眼距離に基づいて決定されたスケーリング比を取得するスケーリング比取得部と、
    　上記取得されたスケーリング比に基づいて、上記オブジェクトの表示データにスケーリングを行うスケーリング部とを有する
    　送信装置。
  10. 　立体画像を構成する左眼画像および右眼画像のデータを取得する画像データ取得部と、
    　上記画像に重畳するオブジェクトのデータを取得するオブジェクトデータ取得部と、
    　上記左眼画像および右眼画像のデータを含むビデオストリームと、上記オブジェクトのデータを含むオブジェクトストリームを送信する送信部と、
    　上記オブジェクトのサイズを、該オブジェクトに付与する視差に応じて補正するためのサイズ補正情報またはスケーリング比情報を取得する情報取得部と、
    　上記取得されたサイズ補正情報またはスケーリング比情報を、上記ビデオストリームまたは上記オブジェクトストリームに挿入する情報挿入部とを備える
    　送信装置。
  11. 　上記サイズ補正情報は、
    　スクリーン上におけるオブジェクトの視差オフセット値および両眼距離と、スケーリング比との関係式の情報、両眼距離の情報および想定スクリーンサイズの情報を含む
    　請求項１０に記載の送信装置。
  12. 　立体画像を構成する左眼画像および右眼画像のデータを取得する画像データ取得部と、
    　上記画像データを含むビデオストリームを送信する送信部と、
    　上記画像に重畳するオブジェクトのサイズを、該オブジェクトに付与する視差に応じて補正するためのサイズ補正情報またはスケーリング比情報を取得する情報取得部と、
    　上記取得されたサイズ補正情報またはスケーリング比情報を、上記ビデオストリームに挿入する情報挿入部とを備える
    　送信装置。
  13. 　上記サイズ補正情報は、
    　スクリーン上におけるオブジェクトの視差オフセット値および両眼距離と、スケーリング比との関係式の情報、両眼距離の情報および想定スクリーンサイズの情報を含む
    　請求項１２に記載の送信装置。
  14. 　立体画像を構成する左眼画像および右眼画像のデータを含むビデオストリームを受信する受信部と、
    　画像に重畳するオブジェクトの表示データを取得するオブジェクトデータ取得部と、
    　画像に重畳するオブジェクトのサイズを補正するためのサイズ補正情報またはスケーリング比情報を取得する情報取得部と、
    　上記取得されたオブジェクトの表示データに対して、上記取得されたサイズ補正情報またはスケーリング比情報に基づいて、オブジェクトサイズの補正を行うオブジェクトサイズ補正部と、
    　上記サイズ補正されたオブジェクトの表示データを上記左眼画像および右眼画像のデータに視差を付与して重畳するビデオ重畳部とをさらに備える
    　受信装置。
  15. 　上記ビデオストリームには、上記サイズ補正情報またはスケーリング比情報が挿入されており、
    　上記情報取得部は、上記ビデオストリームから上記サイズ補正情報またはスケーリング比情報を取得する
    　請求項１４に記載の受信装置。
  16. 　上記オブジェクトサイズ補正部は、
    　スクリーン上におけるオブジェクトの視差オフセット値と両眼距離に基づいて決定されたスケーリング比を取得するスケーリング比取得部と、
    　上記取得されたスケーリング比に基づいて、上記オブジェクトの表示データにスケーリングを行うスケーリング部とを有する
    　請求項１４に記載の受信装置。
  17. 　立体画像を構成する左眼画像および右眼画像のデータを含むビデオストリームと、画像に重畳するオブジェクトのデータを含むオブジェクトストリームを受信する受信部を備え、
    　上記ビデオストリームまたは上記オブジェクトストリームには、上記オブジェクトのサイズを補正するためのサイズ補正情報またはスケーリング比情報が挿入されており、
    　上記オブジェクトの表示データに対して、上記挿入されているサイズ補正情報またはスケーリング比情報に基づいて、オブジェクトサイズの補正を行うオブジェクトサイズ補正部と、
    　上記サイズ補正されたオブジェクトの表示データを上記左眼画像および右眼画像のデータに視差を付与して重畳するビデオ重畳部とをさらに備える
    　受信装置。
  18. 　上記オブジェクトサイズ補正部は、
    　スクリーン上におけるオブジェクトの視差オフセット値と両眼距離に基づいて決定されたスケーリング比を取得するスケーリング比取得部と、
    　上記取得されたスケーリング比に基づいて、上記オブジェクトの表示データにスケーリングを行うスケーリング部とを有する
    　請求項１７に記載の受信装置。
PCT/JP2013/072090 2012-08-31 2013-08-19 データ処理装置、データ処理方法、送信装置および受信装置 WO2014034464A1 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012-192689 2012-08-31
JP2012192689 2012-08-31
JP2012-272629 2012-12-13
JP2012272629 2012-12-13

Publications (1)

Publication Number Publication Date
WO2014034464A1 true WO2014034464A1 (ja) 2014-03-06

Family

ID=50183279

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/072090 WO2014034464A1 (ja) 2012-08-31 2013-08-19 データ処理装置、データ処理方法、送信装置および受信装置

Country Status (1)

Country Link
WO (1) WO2014034464A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2018078798A1 (ja) * 2016-10-28 2019-01-24 三菱電機株式会社 表示制御装置及び表示制御方法
CN111028290A (zh) * 2019-11-26 2020-04-17 北京光年无限科技有限公司 一种用于绘本阅读机器人的图形处理方法及装置
CN114449179A (zh) * 2020-10-19 2022-05-06 海信视像科技股份有限公司 显示设备及人像混合方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011199389A (ja) * 2010-03-17 2011-10-06 Sony Corp 画像処理装置、画像変換方法、およびプログラム
JP2012151536A (ja) * 2011-01-17 2012-08-09 Panasonic Corp 画像ファイル生成装置、画像ファイル再生装置、画像ファイル生成方法、画像ファイル再生方法
WO2012105120A1 (ja) * 2011-02-03 2012-08-09 富士フイルム株式会社 立体動画再生装置、立体動画再生プログラムならびにその記録媒体、立体ディスプレイ装置、立体撮像装置及び立体動画再生方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011199389A (ja) * 2010-03-17 2011-10-06 Sony Corp 画像処理装置、画像変換方法、およびプログラム
JP2012151536A (ja) * 2011-01-17 2012-08-09 Panasonic Corp 画像ファイル生成装置、画像ファイル再生装置、画像ファイル生成方法、画像ファイル再生方法
WO2012105120A1 (ja) * 2011-02-03 2012-08-09 富士フイルム株式会社 立体動画再生装置、立体動画再生プログラムならびにその記録媒体、立体ディスプレイ装置、立体撮像装置及び立体動画再生方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2018078798A1 (ja) * 2016-10-28 2019-01-24 三菱電機株式会社 表示制御装置及び表示制御方法
CN109863747A (zh) * 2016-10-28 2019-06-07 三菱电机株式会社 显示控制装置及显示控制方法
CN111028290A (zh) * 2019-11-26 2020-04-17 北京光年无限科技有限公司 一种用于绘本阅读机器人的图形处理方法及装置
CN111028290B (zh) * 2019-11-26 2024-03-08 北京光年无限科技有限公司 一种用于绘本阅读机器人的图形处理方法及装置
CN114449179A (zh) * 2020-10-19 2022-05-06 海信视像科技股份有限公司 显示设备及人像混合方法
CN114449179B (zh) * 2020-10-19 2024-05-28 海信视像科技股份有限公司 显示设备及人像混合方法

Similar Documents

Publication Publication Date Title
US9288470B2 (en) 3D image signal transmission method, 3D image display apparatus and signal processing method therein
US8780173B2 (en) Method and apparatus for reducing fatigue resulting from viewing three-dimensional image display, and method and apparatus for generating data stream of low visual fatigue three-dimensional image
US9219911B2 (en) Image processing apparatus, image processing method, and program
KR101622690B1 (ko) 3차원 영상신호 처리 방법과 이를 구현하기 위한 영상표시 장치
EP2380357B2 (en) Method and device for overlaying 3d graphics over 3d video
JP5454444B2 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
US20120128327A1 (en) Video reproducing device
JP2004274125A (ja) 画像処理装置および方法
KR20120128607A (ko) 방송 수신기 및 3ｄ 이미지 디스플레이 방법
JP2011030200A (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP2009044722A (ja) 擬似立体画像生成装置、画像符号化装置、画像符号化方法、画像伝送方法、画像復号化装置及び画像復号化方法
KR20140030111A (ko) 의사-3d 인위적 원근법 및 장치
JPWO2013105401A1 (ja) 送信装置、送信方法、受信装置および受信方法
WO2012060198A1 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
US9357200B2 (en) Video processing device and video processing method
WO2013005571A1 (ja) 送信装置、送信方法および受信装置
JP5682149B2 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
WO2014034464A1 (ja) データ処理装置、データ処理方法、送信装置および受信装置
WO2012026342A1 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP2013110540A (ja) 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
WO2013011834A1 (ja) 送信装置、送信方法および受信装置
WO2013018489A1 (ja) 送信装置、送信方法および受信装置
KR20110051074A (ko) 3차원 영상 디스플레이 방법과 이를 구현하기 위한 3차원 디스플레이 장치
WO2012160812A1 (ja) 映像処理装置、送信装置、立体映像視聴システム、映像処理方法、映像処理プログラム及び集積回路

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13833596

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13833596

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP