WO2013054371A1 - 立体字幕処理装置および立体字幕処理方法 - Google Patents

立体字幕処理装置および立体字幕処理方法 Download PDF

Info

Publication number
WO2013054371A1
WO2013054371A1 PCT/JP2011/005678 JP2011005678W WO2013054371A1 WO 2013054371 A1 WO2013054371 A1 WO 2013054371A1 JP 2011005678 W JP2011005678 W JP 2011005678W WO 2013054371 A1 WO2013054371 A1 WO 2013054371A1
Authority
WO
WIPO (PCT)
Prior art keywords
subtitle
caption
stereoscopic
display
subtitles
Prior art date
Application number
PCT/JP2011/005678
Other languages
English (en)
French (fr)
Inventor
浩二 濱崎
片岡　充照
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to PCT/JP2011/005678 priority Critical patent/WO2013054371A1/ja
Priority to US14/349,292 priority patent/US20140240472A1/en
Publication of WO2013054371A1 publication Critical patent/WO2013054371A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals

Definitions

  • the present invention relates to a stereoscopic caption processing device and a stereoscopic caption processing method for displaying a plurality of stereoscopic captions on a display unit.
  • Patent Document 1 proposes a technique for displaying subtitles in front of each object (object) in an image so that a viewer user does not feel a contradiction in perspective. Thereby, it is possible to maintain the consistency of perspective between each object in the image and the caption.
  • the consistency of perspective between each object in the image and the caption is maintained, but the consistency of perspective between the captions is not considered.
  • the perspective between the subtitles may be inconsistent.
  • the size of the subtitles may be changed on the display device side. For example, if the size of a subtitle is enlarged, a plurality of subtitles may overlap on the screen. And when the several subtitles which overlapped have the same feeling of depth, since a feeling of depth is the same in spite of the subtitles overlapping on display, it will give a user discomfort.
  • the present invention has been made to solve the above-described problem, and even when the caption display method is changed in the stereoscopic display device, the stereoscopic display inconsistency among a plurality of captions is reduced. It is an object to provide a stereoscopic caption processing device and a stereoscopic caption processing method that can be suppressed.
  • a stereoscopic caption processing device for stereoscopically displaying a plurality of captions indicated by a plurality of caption data on a stereoscopic display device.
  • a setting management unit that manages subtitle display settings that are settings related to a subtitle display method in the display device, and the subtitle display setting indicates that the subtitle display method is to be changed, and a plurality of subtitle data is included
  • subtitles that are displayed earlier are included in the plurality of subtitle data so that the subtitles are stereoscopically displayed on the back side.
  • This configuration makes it possible to correct the depth information of a plurality of subtitles so that subtitles that are displayed earlier among the plurality of subtitles displayed on the same screen are stereoscopically displayed on the back side.
  • the new subtitle is displayed in three dimensions in front of the old subtitle.
  • the inconsistency in stereoscopic display among a plurality of captions can be suppressed.
  • the stereoscopic caption processing device further includes a caption area calculation unit that calculates display areas on the screen of the plurality of captions based on the plurality of caption data and the caption display setting, and the depth correction.
  • the unit corrects at least one of the plurality of depth information when at least a part of the calculated plurality of display areas overlaps on the screen.
  • This configuration makes it possible to correct the depth information only when a plurality of subtitles overlap on the screen. That is, the depth information can be corrected efficiently only when there is a high possibility that a mismatch will occur between the way the captions overlap on the screen and the depth of the captions. In addition, it is possible to prevent the depth feeling indicated by the original caption data from being impaired by correcting the depth information.
  • the depth correction unit corrects at least one of the plurality of depth information when the types of the plurality of subtitles are different from each other, and the plurality of depths when the types of the plurality of subtitles are the same. It is preferable not to correct the information.
  • This configuration can prevent the depth information from being corrected when a plurality of subtitle types are the same. As a result, for example, it is possible to suppress a plurality of captions corresponding to a series of statements from the same person from being displayed three-dimensionally with different depths. Therefore, it is possible to suppress discomfort to the user by correcting the depth information.
  • the depth correction unit corrects at least one of the plurality of depth information when a difference in time at which the display of the plurality of subtitles is started is equal to or greater than a threshold, and the display of the plurality of subtitles is performed. It is preferable that the plurality of depth information is not corrected when the difference between the starting times is less than the threshold value.
  • the sense of depth of the plurality of subtitles can be made the same.
  • the setting management unit manages a setting relating to at least one of a display size and a display time of the caption in the stereoscopic display device as the caption display setting.
  • This configuration makes it possible to correct the depth information when the setting related to at least one of the subtitle display size and display time is changed. That is, it is possible to correct the depth information when a setting change that is highly likely to be displayed with a plurality of subtitles overlapped is performed.
  • the stereoscopic caption processing device further includes a video output unit that outputs a stereoscopic caption video in which the stereoscopic caption image and the stereoscopic video are superimposed to the stereoscopic display device, and the plurality of stereoscopically displayed images on the stereoscopic display device.
  • An operation receiving unit that receives a user operation on at least one of the subtitles, and the video output unit outputs the stereoscopic subtitle video in the special playback mode when the received operation is a predetermined operation It is preferable to do.
  • the video output unit may be configured to display the stereoscopic caption video in a rewind playback mode when the accepted operation is an operation for moving at least one of the plurality of stereoscopically displayed captions to the near side. Is preferably output.
  • This configuration makes it possible to perform rewind playback by an operation for moving a stereoscopically displayed subtitle to the near side. That is, rewinding reproduction can be realized by an operation of bringing an old subtitle closer to a new subtitle, and thus the user can control the special reproduction mode by an intuitive operation on the subtitle.
  • the video output unit may display the stereoscopic subtitle video in the fast-forward playback mode when the accepted operation is an operation for moving at least one of the plurality of stereoscopically displayed subtitles to the back side. It is preferable to output.
  • This configuration enables fast-forward playback by an operation for moving the stereoscopically displayed subtitles to the back side. That is, since fast-forward playback can be realized by an operation that brings a new subtitle closer to an old subtitle, the user can control the special playback mode by an intuitive operation on the subtitle.
  • the setting management unit indicates subtitle display time for the video in the stereoscopic display device, It is preferable to change the subtitle display setting so as to be longer than the subtitle display time for the video.
  • This configuration can prevent the subtitle display time from becoming too short in the fast-forward playback mode.
  • the present invention can be realized not only as such a stereoscopic caption processing device, but also as a stereoscopic caption processing method including each process performed by the characteristic components included in such a stereoscopic caption processing device. Can do.
  • the present invention even when the subtitle display method is changed in the stereoscopic display device, it is possible to suppress inconsistency of the stereoscopic display among a plurality of subtitles.
  • FIG. 1 is an external view of a stereoscopic display system including a stereoscopic subtitle processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a block diagram showing a functional configuration of the stereoscopic caption processing device according to Embodiment 1 of the present invention.
  • FIG. 3 is a flowchart showing the processing operation of the stereoscopic caption processing device according to Embodiment 1 of the present invention.
  • FIG. 4 is a diagram for explaining a plurality of subtitles displayed stereoscopically in Embodiment 1 of the present invention.
  • FIG. 5 is a block diagram showing a functional configuration of the stereoscopic caption processing device according to Embodiment 2 of the present invention.
  • FIG. 1 is an external view of a stereoscopic display system including a stereoscopic subtitle processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a block diagram showing a functional configuration of the stereoscopic caption processing device according to Embodiment 1 of the
  • FIG. 6 is a block diagram showing a detailed functional configuration of the stereoscopic caption processing unit according to Embodiment 2 of the present invention.
  • FIG. 7 is a diagram for explaining an example of the processing operation of the caption area calculation unit according to Embodiment 2 of the present invention.
  • FIG. 8 is a diagram for explaining an example of a plurality of display areas calculated by the caption area calculation unit according to Embodiment 2 of the present invention.
  • FIG. 9 is a diagram for explaining an example of a plurality of display areas calculated by the caption area calculation unit according to Embodiment 2 of the present invention.
  • FIG. 10 is a diagram illustrating an example of parallax corrected by the depth correction unit according to Embodiment 2 of the present invention.
  • FIG. 11 is a diagram illustrating an example of a depth information correction method by the depth correction unit according to Embodiment 2 of the present invention.
  • FIG. 12 is a flowchart showing processing operations in the three-dimensional caption processing device according to Embodiment 2 of the present invention.
  • FIG. 13 is a diagram for explaining a method of calculating depth information by the depth correction unit according to Embodiment 2 of the present invention.
  • FIG. 14 is a diagram for explaining an example of the processing operation of the depth correction unit according to Embodiment 3 of the present invention.
  • FIG. 15 is a diagram for explaining an example of the processing operation of the depth correction unit according to Embodiment 3 of the present invention.
  • FIG. 12 is a flowchart showing processing operations in the three-dimensional caption processing device according to Embodiment 2 of the present invention.
  • FIG. 13 is a diagram for explaining a method of calculating depth information by the depth correction unit according to Embodiment 2 of the present invention.
  • FIG. 14 is a diagram for explaining
  • FIG. 16 is a flowchart showing the processing operation of the stereoscopic caption processing device according to Embodiment 3 of the present invention.
  • FIG. 17 is a block diagram illustrating a functional configuration of the stereoscopic caption processing device according to the fourth embodiment of the present invention.
  • FIG. 18 is a flowchart showing the processing operation of the three-dimensional caption processing device according to Embodiment 4 of the present invention.
  • FIG. 19 is a diagram for explaining an example of the processing operation of the three-dimensional caption processing device according to Embodiment 4 of the present invention.
  • FIG. 1 is an external view of a stereoscopic display system including a stereoscopic subtitle processing apparatus 100 according to Embodiment 1 of the present invention.
  • the stereoscopic display system includes a stereoscopic display device 10 and a stereoscopic caption processing device 100 connected to the stereoscopic display device 10.
  • the stereoscopic display device 10 displays stereoscopic captions by displaying stereoscopic caption images received from the stereoscopic caption processing device 100 on a screen.
  • the stereoscopic display device 10 stereoscopically displays captions using a glasses-type stereoscopic display method.
  • the glasses-type stereoscopic display method is a method of displaying a right-eye image and a left-eye image having parallax for a user wearing glasses (for example, liquid crystal shutter glasses or polarized glasses).
  • the stereoscopic display device 10 may stereoscopically display captions by a naked-eye stereoscopic display method.
  • the naked-eye type stereoscopic display method is a stereoscopic display method that does not use glasses (for example, a parallax barrier method or a lenticular lens method).
  • the stereoscopic display device 10 does not necessarily have to be a stationary device as shown in FIG.
  • the stereoscopic display device 10 may be a mobile device (for example, a mobile phone, a tablet PC, or a portable game machine).
  • the stereoscopic caption processing device 100 generates a stereoscopic caption image for stereoscopically displaying a plurality of captions indicated by a plurality of caption data on the stereoscopic display device 10.
  • Each of the plurality of caption data includes depth information indicating a display position (for example, parallax) in the depth direction of the caption.
  • FIG. 2 is a block diagram showing a functional configuration of the three-dimensional caption processing device 100 according to Embodiment 1 of the present invention.
  • the stereoscopic caption processing device 100 includes a setting management unit 101, a depth correction unit 102, and a caption drawing unit 103.
  • these components will be described in detail.
  • the setting management unit 101 manages subtitle display settings that are settings related to a subtitle display method in the stereoscopic display device 10. For example, the setting management unit 101 changes the subtitle display setting in accordance with an instruction (user instruction) from the user for changing the subtitle display method.
  • This subtitle display setting is a setting that is effective for the stereoscopic display device 10.
  • the setting management unit 101 manages, for example, settings related to at least one of the display size and display time of captions in the stereoscopic display device 10 as caption display settings.
  • the setting management unit 101 can manage, as subtitle display settings, settings related to a subtitle display method that has a large influence on whether or not a plurality of subtitles are displayed in an overlapping manner.
  • the setting management unit 101 may manage settings related to the subtitle display method other than the settings related to the subtitle display size and display time as the subtitle display settings.
  • the setting management unit 101 may manage settings related to the display position or font of the caption on the screen as caption display settings.
  • the depth correction unit 102 receives a plurality of caption data. Specifically, the depth correction unit 102 receives a plurality of subtitle data via, for example, a broadcast or a communication network.
  • the depth correction unit 102 is a case where the subtitle display setting indicates that the subtitle display method is to be changed and a plurality of subtitles are displayed on the same screen. At least one of the depth information is corrected. At this time, the depth correction unit 102 selects at least one of the plurality of depth information so that a subtitle displayed earlier is displayed more stereoscopically on the back side among the plurality of subtitles indicated by the plurality of subtitle data. Correct one. In other words, the depth correction unit 102 includes a plurality of pieces of depth information such that a subtitle that starts later is displayed in a three-dimensional manner on the near side among a plurality of subtitles indicated by a plurality of subtitle data. Correct at least one.
  • the depth correction unit 102 has a subtitle with an earlier display start timing (older subtitles) than a subtitle with a later display start timing (new subtitles) among a plurality of subtitles displayed on the same screen. At least one of the plurality of depth information is corrected so as to be stereoscopically displayed. In other words, the depth correction unit 102 includes at least one of the plurality of depth information so that a new subtitle is displayed in front of the old subtitle among a plurality of subtitles displayed on the same screen. Correct one.
  • the depth correction unit 102 determines that the subtitles whose display starts earlier among a plurality of subtitles. Is corrected so that at least one of the plurality of depth information is reduced.
  • the depth correction unit 102 may correct all of the plurality of depth information, or may correct only one of the plurality of depth information.
  • the subtitle drawing unit 103 generates a three-dimensional subtitle image for stereoscopic display of a plurality of subtitles on the three-dimensional display device 10 using a plurality of subtitle data after at least one of the plurality of depth information is corrected.
  • the caption rendering unit 103 generates, for example, a right-eye image including a plurality of captions and a left-eye image including a plurality of captions having parallax with respect to the right-eye image as a stereoscopic caption image.
  • FIG. 3 is a flowchart showing the processing operation of the stereoscopic caption processing device 100 according to Embodiment 1 of the present invention.
  • the depth correction unit 102 determines whether or not the subtitle display setting indicates changing the subtitle display method (S101). That is, it is determined whether or not the subtitle display setting managed by the setting management unit 101 indicates changing the subtitle display method indicated by the subtitle data.
  • the depth correction unit 102 corrects at least one of the plurality of depth information included in the plurality of subtitle data. (S102). Specifically, the depth correction unit 102 selects at least one of the plurality of depth information so that the subtitles that are displayed earlier are displayed on the back side among the plurality of subtitles displayed on the same screen. Correct one. On the other hand, when the subtitle display setting indicates that the subtitle display method is not changed (No in S101), the depth correction unit 102 does not correct the plurality of depth information.
  • the caption rendering unit 103 generates a stereoscopic caption image for stereoscopic display of the multiple captions on the stereoscopic display device 10 using the multiple caption data (S103). That is, when the subtitle display setting indicates changing the subtitle display method, the subtitle rendering unit 103 generates a stereoscopic subtitle image using a plurality of subtitle data after at least one depth information is corrected. On the other hand, when the subtitle display setting has not been changed, the subtitle rendering unit 103 generates a stereoscopic subtitle image using the plurality of subtitle data whose depth information is not corrected as it is.
  • FIG. 4 is a diagram for explaining a plurality of subtitles displayed stereoscopically in Embodiment 1 of the present invention.
  • the caption display setting indicates that the display method of captions is changed in the stereoscopic display device 10.
  • the stereoscopic caption processing device 100 receives the first caption data indicating the first caption “AAAAAAA”.
  • the depth correction unit 102 does not correct the depth information included in the first subtitle data. Therefore, as shown in FIG. 4A, the first subtitle is stereoscopically displayed according to the depth information included in the first subtitle data.
  • the stereoscopic caption processing device 100 receives second caption data indicating the second caption “BBBBBBB”. Therefore, the depth correction unit 102 is included in the first subtitle data or the second subtitle data so that the first subtitle that has been displayed earlier than the second subtitle is three-dimensionally displayed behind the second subtitle. Correct the depth information.
  • the first subtitle that is an old subtitle is stereoscopically displayed behind the second subtitle that is a new subtitle.
  • the second subtitle is three-dimensionally displayed in front of the first subtitle.
  • the caption that starts to be displayed earlier is stereoscopically displayed on the far side.
  • the depth information of a plurality of subtitles can be corrected.
  • the new subtitle is displayed in three dimensions in front of the old subtitle.
  • the inconsistency in stereoscopic display among a plurality of captions can be suppressed.
  • a plurality of subtitles are displayed in a distributed manner on the screen, it is possible to easily find the latest subtitle from the plurality of subtitles.
  • the stereoscopic caption processing device 200 switches whether or not to correct the depth information depending on whether or not at least a part of a plurality of caption display areas overlaps on the screen.
  • a case will be described in which subtitles are stereoscopically displayed so as to jump out of the screen and the depth information indicates parallax.
  • FIG. 5 is a block diagram illustrating a functional configuration of the three-dimensional caption processing device 200 according to Embodiment 2 of the present invention.
  • the stereoscopic caption processing device 200 includes a demultiplexer 201, an audio decoder 202, a video decoder 203, a caption decoder 204, a stereoscopic caption processing unit 205, and an audio output unit. 206, a video output unit 207, a caption display setting management unit 208, and a display device information management unit 209.
  • the demultiplexer 201 extracts video, audio, and subtitle packets (PES packets) from the input signal and sends them to each decoder.
  • PES packets subtitle packets
  • the audio decoder 202 reconstructs an audio elementary stream from the audio packet extracted by the demultiplexer 201. Then, the audio decoder 202 performs audio elementary stream decoding processing to obtain audio data.
  • the video decoder 203 reconstructs a video elementary stream from the video packets extracted by the demultiplexer 201. Then, the video decoder 203 performs decoding processing of the video elementary stream to obtain video data.
  • the subtitle decoder 204 reconstructs a subtitle elementary stream from the subtitle packet extracted by the demultiplexer 201. Then, the subtitle decoder 204 performs subtitle elementary stream decoding processing to obtain subtitle data.
  • the caption data includes text information indicating the contents of the caption, position information indicating the display position of the caption, depth information indicating the parallax of the caption, and the like.
  • the caption data obtained by the caption decoder 204 is also referred to as input caption data.
  • the stereoscopic caption processing unit 205 uses the input caption data obtained by the caption decoder 204, the video data (for example, a disparity vector) obtained by the video decoder 203, and the audio data obtained by the audio decoder 202, and Generate subtitle images. Details of the three-dimensional caption processing unit 205 will be described later with reference to FIG.
  • the audio output unit 206 outputs the audio data obtained by the audio decoder 202 to the stereoscopic display device 10.
  • the video output unit 207 generates a stereoscopic subtitle video by superimposing the stereoscopic subtitle image generated by the stereoscopic subtitle processing unit 205 on the stereoscopic video indicated by the video data obtained by the video decoder 203. Then, the video output unit 207 outputs the generated stereoscopic caption video to the stereoscopic display device 10.
  • the subtitle display setting management unit 208 corresponds to the setting management unit 101 of the first embodiment.
  • the caption display setting management unit 208 manages caption display settings (for example, caption display size or caption display time) according to an instruction from the user.
  • the subtitle display setting management unit 208 stores information indicating the current subtitle display setting in a rewritable nonvolatile storage device (for example, a hard disk or a flash memory).
  • the display device information management unit 209 manages information related to the stereoscopic display device 10 connected to the stereoscopic caption processing device 200 (for example, screen resolution and screen size).
  • FIG. 6 is a block diagram showing a detailed functional configuration of the stereoscopic caption processing unit 205 according to Embodiment 2 of the present invention.
  • the stereoscopic caption processing unit 205 includes a caption area calculation unit 211, a depth correction unit 212, a caption data holding unit 213, a stereoscopic caption generation unit 214, and a caption drawing unit 215.
  • a caption area calculation unit 211 a depth correction unit 212
  • a caption data holding unit 2113 a caption data holding unit 2113
  • a stereoscopic caption generation unit 214 a caption drawing unit 215.
  • the subtitle area calculation unit 211 includes input subtitle data (for example, subtitle display size and subtitle display position) acquired from the subtitle decoder 204, subtitle display settings acquired from the subtitle display setting management unit 208, and a display device information management unit. Based on the screen size and resolution of the stereoscopic display device 10 acquired from 209, the display area of the caption on the screen is calculated.
  • input subtitle data for example, subtitle display size and subtitle display position
  • subtitle display settings acquired from the subtitle display setting management unit 208
  • a display device information management unit Based on the screen size and resolution of the stereoscopic display device 10 acquired from 209, the display area of the caption on the screen is calculated.
  • FIG. 7 is a diagram for explaining an example of the processing operation of the caption area calculation unit 211 according to Embodiment 2 of the present invention.
  • the input subtitle data indicates the subtitle display position (x, y) on the screen and the horizontal width and height (w, h) of the subtitle display area.
  • the subtitle area calculation unit 211 calculates a value obtained by adding the correction values ⁇ and ⁇ to the caption display position (x, y) indicated by the input caption data, as the caption display position (X, Y) after the calculation.
  • the correction values ⁇ and ⁇ are values calculated so that the caption display area after the calculation does not protrude from the screen. For example, when the sum of the calculated subtitle display area height (H) and the vertical subtitle display position (y) indicated by the input subtitle data exceeds the screen size dispH acquired from the display device information management unit 209
  • the calculation method of the caption display area is not limited to the method described here.
  • the subtitle area calculation unit 211 is configured so that the subtitle display position after the calculation does not deviate from the subtitle display position of the subtitle (hereinafter referred to as “subsequent subtitles”) whose display is started before or after in time.
  • the caption display area may be calculated.
  • the caption area calculation unit 211 may automatically change the enlargement ratio. Further, the caption display area may protrude from the screen.
  • the subtitle display setting instructed by the user may indicate not only the above-described enlargement ratio but also the absolute value of the display size.
  • the depth correction unit 212 recalculates the parallax indicating the sense of depth of the caption. Specifically, as in the depth correction unit 102 according to Embodiment 1, the depth correction unit 212 is a case where the subtitle display setting indicates that the subtitle display method is changed, and a plurality of subtitles are the same. When displayed on the screen, at least one of the plurality of depth information included in the plurality of caption data is corrected. At this time, the depth correction unit 212 is configured to display at least one of the plurality of depth information so that the subtitles that are displayed earlier among the plurality of subtitles indicated by the plurality of subtitle data are stereoscopically displayed on the back side. Correct one.
  • the depth correction unit 212 uses at least one of the plurality of depth information when at least a part of the plurality of display regions calculated by the caption region calculation unit 211 overlaps on the screen. to correct. That is, in the present embodiment, the depth correction unit 212 determines whether or not at least some of the plurality of display areas overlap on the screen. Then, only when at least a part of the plurality of display areas overlaps on the screen, the depth correction unit 212 corrects at least one of the plurality of depth information. In other words, when a plurality of display areas do not overlap on the screen, the depth correction unit 212 does not correct the plurality of depth information.
  • FIG. 8 and FIG. 9 is a diagram for explaining an example of a plurality of display areas calculated by the caption area calculation unit 211 according to Embodiment 2 of the present invention.
  • the input subtitle data indicates the first subtitle area and the second subtitle area shown in FIG. 8A as the display areas for the first subtitle and the second subtitle.
  • the subtitle area calculation unit 211 calculates the display area based on the subtitle display setting indicating that the subtitle display area is enlarged, the first subtitle area and the second subtitle area after the calculation are shown in ( As shown in b), they may overlap on the screen.
  • a plurality of display areas overlap on the screen, if the parallax of the plurality of subtitles is the same, inconsistency occurs in the user's sense of depth.
  • the second subtitle overlaps with the first subtitle on the screen, if the first subtitle is stereoscopically displayed in front of the second subtitle or at the same depth position, the user's sense of depth is inconsistent. .
  • the subtitle display areas may overlap.
  • the subtitle display areas may overlap on the screen.
  • FIG. 9A for example, a case where the second subtitle is displayed at time t + ⁇ t after the first subtitle is displayed at time t is considered.
  • the parallax (depth information) of both the first caption and the second caption is the same. Therefore, as shown in FIG. 9B, as a result of extending the caption display time, in the time section (hatched area) where both the first caption and the second caption are displayed, the second caption area is In spite of being superimposed in front of the first subtitle area, the parallax between the first subtitle and the second subtitle is the same, resulting in inconsistency in the user's sense of depth.
  • the depth correction unit 212 is displayed on (or will be displayed from) the screen acquired from the caption data holding unit 213 described later. Yes)
  • the parallax indicated by the input subtitle data is corrected based on the subtitle display start time. In the present embodiment, the parallax is corrected so that the latest caption among the plurality of captions is displayed in the forefront.
  • FIG. 10 is a diagram showing an example of parallax corrected by the depth correction unit 212 according to Embodiment 2 of the present invention. Specifically, FIG. 10 shows the parallax after correction of the first caption and the second caption at time t + ⁇ t in FIG. 9.
  • the parallax between the first subtitle and the second subtitle indicated by the input subtitle data is both (Ra, La).
  • the first subtitle and the second subtitle are stereoscopically displayed with the same parallax. That is, the feeling of depth of the first caption is the same as the feeling of depth of the second caption.
  • the depth correction unit 212 corrects the parallax so that the latest subtitle is displayed stereoscopically in front of other subtitles.
  • the depth correction unit 212 corrects the parallax of the second caption, which is the latest caption, to (Rb, Lb).
  • the second subtitle is stereoscopically displayed in front of the first subtitle.
  • (Rb, Lb) may be obtained, for example, by adding an arbitrary offset amount (for example, a predetermined fixed value) to (Ra, La).
  • (Rb, Lb) may be obtained, for example, by adding a value dynamically calculated using the parallax of video to (Ra, La).
  • the offset amount may be increased as the parallax of the video included in the area where the first subtitle is displayed.
  • FIG. 11 is a diagram showing an example of a depth information correction method by the depth correction unit 212 according to Embodiment 2 of the present invention.
  • the parallax of each caption is corrected so as to decrease as time elapses from the time when display of the caption is started (hereinafter referred to as “display start time” or “display start timing”). That is, the depth correction unit 212 corrects the depth information of each caption data so that the display position of the caption moves to the back side as time passes.
  • display start time the depth information of each caption data so that the display position of the caption moves to the back side as time passes.
  • a subtitle that starts to be displayed earlier is stereoscopically displayed on the far side.
  • the subtitle data holding unit 213 holds the subtitle data (subtitle display region, parallax, subtitle display time, etc.) updated with the information calculated by the subtitle region calculation unit 211 and the depth correction unit 212.
  • the depth information is corrected so that the latest subtitle is displayed in front.
  • the depth correction unit 212 reduces the parallax (feeling of depth) indicated by each subtitle data held by the subtitle data holding unit 213 every time a subtitle is updated, and gives a large parallax to a newly displayed subtitle. give. Therefore, the caption data holding unit 213 holds the time (display start time) when the caption display is started for each caption displayed on the screen.
  • the depth correction unit 212 recalculates the parallax based on the display start time for each subtitle being displayed at the timing when the subtitle is updated.
  • the subtitle data holding unit 213 may hold only subtitle data of subtitles displayed on the screen, or may hold subtitle data of subtitles that are not already displayed on the screen.
  • the stereoscopic caption generation unit 214 generates stereoscopic captions to be displayed on the screen from the caption data held by the caption data holding unit 213. Specifically, the stereoscopic subtitle generation unit 214 extracts subtitle data in order from the subtitles with the oldest display start time among the subtitles displayed on the screen at the timing of updating the subtitles, and the subtitles extracted to the subtitle drawing unit 215 Pass data.
  • the subtitle drawing unit 215 corresponds to the subtitle drawing unit 103 of the first embodiment.
  • the caption drawing unit 215 generates a stereoscopic caption image by sequentially rendering the caption data acquired from the stereoscopic caption generation unit 214. Drawing may be performed on a memory for OSD (On-Screen Display), for example.
  • the subtitle drawing unit 215 draws all subtitle data acquired from the three-dimensional subtitle generation unit 214, and then passes the access right of the memory area (for example, OSD drawing memory) on which the subtitle is drawn to the video output unit 207.
  • the video output unit 207 combines the stereoscopic video indicated by the video data obtained from the video decoder 203 and the stereoscopic subtitle image obtained from the caption drawing unit 215, and outputs the obtained stereoscopic subtitle video to the stereoscopic display device 10.
  • FIG. 12 is a flowchart showing processing operations in the three-dimensional caption processing device according to Embodiment 2 of the present invention. Specifically, FIG. 12 shows details of the internal processing of the stereoscopic caption processing unit 205.
  • the process shown in FIG. 12 is started when it is time to update the caption.
  • the subtitle update timing is basically the timing when new subtitle data is input from the subtitle decoder or the subtitle is deleted from the screen.
  • the subtitle update timing is not particularly limited, and may be any timing.
  • the stereoscopic caption processing unit 205 acquires input caption data from the caption decoder 204, acquires caption display settings from the caption display setting management unit 208, and acquires display device information from the display device information management unit 209 (S201). .
  • the caption area calculation unit 211 calculates the display area on the screen of the caption indicated by the input caption data according to the input caption data and the caption display setting (S202). Then, the caption area calculation unit 211 stores caption data including information indicating the calculated display area in the caption data holding unit 213.
  • the depth correction unit 212 acquires the caption data of the caption to be displayed from the caption data held by the caption data holding unit 213 (S203).
  • the depth correction unit 212 determines whether or not the display area indicated by the acquired caption data overlaps on the screen (S204). Here, when the display areas do not overlap on the screen (No in S204), the processing in step S205 is skipped.
  • the depth correction unit 212 corrects the parallax indicated by the acquired subtitle data so that the parallax becomes smaller as the subtitle of the display start time becomes older (S205). . Then, the depth correction unit 212 updates the caption data held in the caption data holding unit 213 using the corrected parallax.
  • the processing in steps S203 to S205 is as follows.
  • the depth correction unit 212 acquires the subtitle data of three subtitles to be displayed from the subtitle data holding unit 213.
  • Subtitles to be displayed can be determined, for example, based on whether or not the difference between the current time and the subtitle display start time is within the subtitle display time obtained from the input subtitle data.
  • the depth correction unit 212 determines whether or not at least a part of the display area indicated by the acquired three subtitle data overlaps on the screen. Here, when the display areas overlap, the depth correction unit 212 corrects the parallax indicated by the acquired three subtitle data.
  • the depth correction unit 212 obtains the parallax (R3, L3) of the latest caption (third caption in FIG. 13) using a fixed offset amount that is held in advance. Further, the depth correction unit 212 converts the parallax (R2, L2) of the caption (second caption in FIG. 13) having the display start time between the oldest display start time and the latest display start time to (R1, L2). L1) and (R3, L3).
  • the depth correction unit 212 may calculate (R2, L2) according to, for example, a simple proportional calculation.
  • the depth correction unit 212 may calculate the current parallax so as not to be larger than the previously calculated parallax.
  • the three-dimensional subtitle generation unit 214 and the subtitle drawing unit 215 obtain the subtitle data of the subtitles to be displayed from the subtitle data holding unit 213 in order from the oldest display start time, and draw the subtitles in order on the OSD memory for drawing the subtitles (S206).
  • a stereoscopic caption image is generated by drawing all the captions to be displayed.
  • the stereoscopic caption processing device 200 by correcting the parallax of at least one caption among the plurality of captions, even when the plurality of captions overlap on the screen, Subtitles can be displayed in 3D without giving a sense of incongruity to the user.
  • depth information can be corrected only when a plurality of captions overlap on the screen. That is, the depth information can be corrected efficiently only when there is a high possibility that a mismatch will occur between the way the captions overlap on the screen and the depth of the captions. In addition, it is possible to prevent the depth feeling indicated by the original caption data from being impaired by correcting the depth information.
  • the stereoscopic caption processing device uses the caption type and caption display start time to determine whether or not to correct the depth information so that the latest caption is displayed in front. Thereby, the three-dimensional caption processing apparatus can suppress giving an unpleasant feeling to the user by changing the depth feeling of the same type of caption in a short time. A situation where the user feels uncomfortable will be described with reference to FIGS. 14 and 15.
  • FIG 14 and 15 are diagrams for explaining an example of the processing operation of the depth correction unit according to the third embodiment of the present invention.
  • FIG. 14 assumes a scene where one person speaks.
  • characters enclosed in double quotations ““ ”” represent characters displayed on the screen.
  • “I am” is displayed as the first subtitle at time t0
  • “I was bad” is displayed as the second subtitle at time t1.
  • the parallax is different between the first subtitle and the second subtitle, there is a difference in depth between the two subtitles corresponding to the same person's speech at almost the same time, which gives the user an unpleasant feeling. End up.
  • FIG. 15 assumes a scene in which a plurality of people are having a conversation.
  • the caption A1 corresponding to the speech of the person A is displayed at the time t0
  • the caption B1 corresponding to the speech of the person B is displayed at the time t1
  • the caption A2 corresponding to the speech of the person A is displayed again at the time t2.
  • the depth correction unit 212 determines whether or not to correct the depth information depending on whether or not the types of subtitles match. Specifically, the depth correction unit 212 corrects at least one of the plurality of depth information when the types of the plurality of subtitles are different from each other, and the plurality of depth information when the types of the plurality of subtitles are the same. Is not corrected.
  • the type of subtitle is information that depends on the characteristics of the subtitle.
  • the type of subtitle is the color of the subtitle.
  • the type of caption may be specified by type information. This type information may be included in the caption data in advance in association with the speaker, for example.
  • the depth correction unit 212 determines whether or not to correct the depth information according to the difference in time at which the display of a plurality of subtitles is started. Specifically, the depth correction unit 212 corrects at least one of the plurality of depth information when the difference in time at which the display of the plurality of captions is started is greater than or equal to the threshold, and the display of the plurality of captions is When the difference between the starting times is less than the threshold, the plurality of depth information is not corrected.
  • this threshold value for example, a boundary value of a difference in time that is uncomfortable for the user, which is obtained by experiments or the like, may be set.
  • FIG. 16 is a flowchart showing the processing operation of the stereoscopic caption processing device 200 according to Embodiment 3 of the present invention. In FIG. 16, the same processes as those in FIG.
  • the depth correction unit 212 searches for caption data of the same type as the caption data to be newly displayed (S301).
  • Subtitle types include, for example, subtitle colors.
  • subtitles corresponding to the speech of the same person are displayed in the same color, the user can identify which person each subtitle is a speech of. In such a case, the subtitle color can be handled as the subtitle type.
  • the type of subtitle is not limited to the color of the subtitle, and may be specified by, for example, a flag or sequence number included in the subtitle data.
  • the subtitle area calculation unit 211 calculates the display area on the subtitle screen indicated by the input subtitle data in accordance with the input subtitle data and the subtitle display setting, similarly to step S202 of FIG. 12 (S302). At that time, the caption area calculation unit 211 calculates the display area based on the display start time of the searched captions having the same type. For example, when the subtitle display area of the same type and the subtitle display area indicated by the input subtitle data are spatially close to each other, the subtitle area calculation unit 211 calculates the subtitle area so as not to overlap the display area. To do.
  • the depth correction unit 212 calculates a difference in display start time in the caption data acquired in step S203 (S303).
  • the depth correction unit 212 determines whether to correct the parallax (S304). Specifically, the depth correction unit 212 determines that the subtitle parallax is not corrected when the calculated display start time difference is less than the threshold and the subtitles of the acquired subtitle data are the same type of subtitles. To do. On the contrary, the depth correction unit 212 determines not to correct the parallax of the subtitle when the calculated difference in the display start time is equal to or larger than the threshold value or the subtitles of the acquired subtitle data are different types of subtitles. .
  • Step S205 when it is determined that the parallax is corrected (Yes in S304), the process of Step S205 is executed. Conversely, if it is determined not to correct the parallax (No in S304), the process in step S205 is skipped.
  • the stereoscopic caption processing device it is possible to prevent depth information from being corrected when a plurality of caption types are the same. As a result, for example, it is possible to suppress a plurality of captions corresponding to a series of statements from the same person from being displayed three-dimensionally with different depths. Therefore, it is possible to suppress discomfort to the user by correcting the depth information.
  • the depth feeling of the plurality of captions can be made the same.
  • Embodiment 4 The stereoscopic caption processing device according to Embodiment 4 of the present invention changes the playback mode according to a user operation on the stereoscopically displayed caption.
  • the user when audio in a language other than the user's native language is played and subtitles in the native language corresponding to the audio are displayed, the user is often watching subtitles instead of video.
  • the subtitle when the subtitle is updated at a particularly fast speed, the subtitle may disappear from the screen before the user can read the subtitle. In such a case, there is a request to rewind the video up to the missed subtitle.
  • the three-dimensional caption processing device 300 performs special playback (fast forward, rewind) in accordance with an operation on the displayed caption.
  • special playback fast forward, rewind
  • the stereoscopic caption processing device 300 according to the present embodiment will be described with reference to the drawings.
  • a case where the user's operation is a touch operation on the screen will be described.
  • FIG. 17 is a block diagram showing a functional configuration of the three-dimensional caption processing device 300 according to Embodiment 4 of the present invention.
  • the same components as those in FIG. 2 are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
  • the stereoscopic caption processing device 300 is connected to the stereoscopic display device 30. As illustrated in FIG. 17, the stereoscopic caption processing device 300 includes a setting management unit 101, a depth correction unit 102, a caption drawing unit 103, a video output unit 301, and an operation reception unit 302.
  • the video output unit 301 outputs a stereoscopic caption video in which the stereoscopic video indicated by the video data and the stereoscopic caption image are superimposed.
  • the video output unit 301 outputs a stereoscopic subtitle video in the special playback mode.
  • the special playback mode is a so-called trick mode, in which video is played at a playback speed different from the normal playback speed.
  • the operation accepting unit 302 accepts a user's touch operation on at least one of a plurality of subtitles stereoscopically displayed on the stereoscopic display device 30.
  • the touch operation is an operation in which the user touches the screen through a hand or a pen.
  • the touch operation includes a tap operation, a flick operation, a pinch out operation, a pinch in operation, a drag and drop operation, and the like.
  • FIG. 18 is a flowchart showing the processing operation of the three-dimensional caption processing device 300 according to Embodiment 4 of the present invention. Specifically, FIG. 18 shows a processing operation when a user's touch operation is accepted.
  • the operation reception unit 302 receives a user's touch operation (S401). Subsequently, when the received touch operation is a predetermined touch operation, the video output unit 301 selects a special reproduction mode associated with the touch operation from a plurality of predetermined special reproduction modes. Is selected (S402).
  • the predetermined special playback modes include, for example, a fast-forward playback mode and a rewind playback mode.
  • the video output unit 301 includes a plurality of special playback modes. Select the rewind playback mode.
  • the video output unit 301 can select from among a plurality of special playback modes. Select the fast-forward playback mode.
  • the setting management unit 101 indicates the subtitle display time for the video on the stereoscopic display device 30 by the subtitle data.
  • the subtitle display setting may be changed so as to be longer than the subtitle display time for the video. Thereby, in the fast-forward playback mode, it is possible to suppress the subtitle display time from becoming too short.
  • the video output unit 301 outputs a stereoscopic caption video in the selected special playback mode (S403).
  • FIG. 19 is a diagram for explaining an example of a processing operation of the three-dimensional caption processing device 300 according to Embodiment 4 of the present invention.
  • FIG. 19 shows a state in which the user is viewing the stereoscopic caption video on the mobile device that is the stereoscopic display device 30.
  • the first subtitle “AAAAAAA” is stereoscopically displayed behind the second subtitle “BBBBBBB”.
  • the user taps the subtitles being displayed, for example, with a finger when special playback is desired.
  • the stereoscopic caption processing device 300 enters the “caption base mode”.
  • this subtitle-based mode when the user performs a flick operation on the subtitle, the past or future subtitle of the currently displayed subtitle is displayed, and the video is rewound to the video corresponding to the past or future subtitle. Or fast forward.
  • the first subtitle is displayed.
  • the three-dimensional subtitle video is rewound until the time when is started.
  • the stereoscopic subtitle processing apparatus 300 it is possible to output a stereoscopic subtitle video in the special playback mode in accordance with the user's touch operation on the stereoscopically displayed caption. That is, the user can control the special playback mode by an intuitive operation on the caption.
  • the stereoscopic caption processing device 300 it is possible to perform rewind playback by a touch operation for moving the stereoscopically displayed caption to the near side. That is, rewinding reproduction can be realized by an operation of bringing an old subtitle closer to a new subtitle, and thus the user can control the special reproduction mode by an intuitive operation on the subtitle.
  • fast-forward playback can be performed by a touch operation for moving the stereoscopically displayed caption to the back side. That is, since fast-forward playback can be realized by an operation that brings a new subtitle closer to an old subtitle, the user can control the special playback mode by an intuitive operation on the subtitle.
  • captions are stereoscopically displayed.
  • captions need not necessarily be stereoscopically displayed.
  • subtitles and video are normally displayed in a two-dimensional manner. In this way, even when subtitles are displayed in a planar manner, by outputting the subtitle video in the special playback mode in response to the user's touch operation on the displayed subtitles, the user can intuitively select the desired subtitles.
  • Subtitles can be displayed.
  • the above-described processing of the stereoscopic caption processing device 300 for the touch operation is an example, and other processing may be performed.
  • the size of the subtitle may be changed. That is, the setting management unit 101 may change the subtitle display setting related to the subtitle display size in accordance with the user's touch operation on the subtitles stereoscopically displayed on the stereoscopic display device 30. Further, the position of the subtitle may be changed by dragging and dropping the displayed subtitle.
  • Such user operations are not limited to mobile devices, but may be operations on a pointer device for a large screen such as a TV.
  • the three-dimensional caption processing device has been described based on the embodiments, but the present invention is not limited to these embodiments. Unless it deviates from the meaning of this invention, the form which carried out the various deformation
  • the depth correction unit corrects the depth information using the caption data.
  • the depth information may be corrected using other information.
  • the depth information may be corrected using video data and audio data.
  • the depth correction unit may calculate the parallax of the subtitle so that the parallax of the subtitle increases in proportion to the volume obtained from the audio data when calculating the parallax of the subtitle.
  • the parallax of the caption may be calculated using the parallax of the video obtained from the video data.
  • the stereoscopic caption processing device and the stereoscopic display device have been described as separate devices.
  • the stereoscopic caption processing device may be built in the stereoscopic display device. That is, the stereoscopic display device may include a stereoscopic caption processing device.
  • the constituent elements included in the stereoscopic caption processing device may be configured by one system LSI (Large Scale Integration).
  • the stereoscopic caption processing apparatus may be configured by a system LSI including the setting management unit 101, the depth correction unit 102, and the caption drawing unit 103 illustrated in FIG.
  • the system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of components on one chip. Specifically, a microprocessor, a ROM (Read Only Memory), a RAM (Random Access Memory), etc. It is a computer system comprised including. A computer program is stored in the ROM. The system LSI achieves its functions by the microprocessor operating according to the computer program.
  • system LSI may be called IC, LSI, super LSI, or ultra LSI depending on the degree of integration.
  • method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible.
  • An FPGA Field Programmable Gate Array
  • reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • the present invention can be realized not only as a stereoscopic caption processing device including such characteristic components but also as stereoscopic caption processing including each process performed by the characteristic components included in the stereoscopic caption processing device. It can also be realized as a method. Moreover, it can also be realized as a computer program that causes a computer to execute characteristic processes included in the three-dimensional caption processing method. Needless to say, such a computer program can be distributed via a computer-readable non-transitory recording medium such as a CD-ROM or a communication network such as the Internet.
  • the present invention can be used as a stereoscopic caption processing device that allows a user to view stereoscopic captions without a sense of incongruity even when the caption display method is changed in the stereoscopic display device.

Abstract

　複数の字幕データが示す複数の字幕を立体表示装置（１０）に立体表示させるための立体字幕処理装置（１００）であって、立体表示装置（１０）における字幕の表示方法に関する設定である字幕表示設定を管理する設定管理部（１０１）と、字幕表示設定が字幕の表示方法を変更することを示している場合であって、かつ複数の字幕データが示す複数の字幕が同一画面上に表示される場合に、複数の字幕のうち、より早く表示が開始される字幕がより奥側に立体表示されるように、複数の字幕データに含まれる複数の奥行情報のうちの少なくとも１つを補正する奥行補正部（１０２）と、複数の奥行情報のうちの少なくとも１つが補正された後の複数の字幕データを用いて、複数の字幕を立体表示装置に立体表示させるための立体字幕画像を生成する字幕描画部（１０３）とを備える。

Description

立体字幕処理装置および立体字幕処理方法
　本発明は、複数の立体字幕を表示部に表示するための立体字幕処理装置および立体字幕処理方法に関する。
　近年、立体映像を表示可能なテレビまたはパーソナルコンピュータが増加している。このようなテレビまたはパーソナルコンピュータによって表示される映像の立体感を損なわないために、テキスト情報（字幕など）も立体表示するための基盤技術が整いつつある。例えば特許文献１では、視聴者であるユーザが遠近感の矛盾を感じないように、画像内の各物体（オブジェクト）よりも手前に字幕を表示する技術が提案されている。これにより、画像内の各物体と字幕との間の遠近感の整合性の維持を図ることができる。
特開２０１１－３０２００号公報
　しかしながら、従来の技術では、画像内の各物体と字幕との間の遠近感の整合性の維持は図られているが、字幕同士の遠近感の整合性については考慮されていない。例えば、立体表示装置において字幕の表示方法の設定が変更された場合（例えば字幕のサイズが大きくされる場合など）、字幕同士の遠近感に不整合が生じることがある。
　例えば、近年の技術革新により、テレビのような大型画面を有する機器だけでなく、小さな画面をもつモバイル機器でも、ユーザが立体映像を視聴することできるようになることは容易に想像できる。このような場合、小さな画面では字幕が見難いため字幕の大きさを表示機器側で変更するといったことが考えられる。例えば、字幕の大きさが拡大されれば、複数の字幕が画面上で重なってしまうこともある。そして、重なりあった複数の字幕が同じ奥行き感をもっている場合、表示上は字幕が重なっているにもかかわらず、奥行き感が同じなので、ユーザに違和感を与えてしまう。
　そこで、本発明は、上記課題の解決をするためになされたものであって、立体表示装置において字幕の表示方法が変更された場合であっても、複数の字幕間における立体表示の不整合を抑制することができる立体字幕処理装置および立体字幕処理方法を提供することを目的とする。
　上記課題を解決するために、本発明の一態様に係る立体字幕処理装置は、複数の字幕データが示す複数の字幕を立体表示装置に立体表示させるための立体字幕処理装置であって、前記立体表示装置における字幕の表示方法に関する設定である字幕表示設定を管理する設定管理部と、前記字幕表示設定が字幕の表示方法を変更することを示している場合であって、かつ複数の字幕データが示す複数の字幕が同一画面上に表示される場合に、前記複数の字幕のうち、より早く表示が開始される字幕がより奥側に立体表示されるように、前記複数の字幕データに含まれる複数の奥行情報のうちの少なくとも１つを補正する奥行補正部と、前記複数の奥行情報のうちの少なくとも１つが補正された後の前記複数の字幕データを用いて、前記複数の字幕を前記立体表示装置に立体表示させるための立体字幕画像を生成する字幕描画部とを備える。
　この構成により、同一画面に表示される複数の字幕のうち、より早く表示が開始される字幕がより奥側に立体表示されるように、複数の字幕の奥行情報を補正するができる。その結果、画面上で古い字幕の上に新しい字幕が重ねられる場合に、新しい字幕が古い字幕よりも手前側に立体表示される。つまり、画面上における字幕の重なり方と字幕の奥行き感との間の整合性を保つことができるので、複数の字幕間における立体表示の不整合を抑制することができる。また、画面上に複数の字幕が分散して表示されるような場合に、複数の字幕の中から最新の字幕を探すことが容易にもなる。
　また、前記立体字幕処理装置は、さらに、前記複数の字幕データと前記字幕表示設定とに基づいて、前記複数の字幕の画面上の表示領域をそれぞれ算出する字幕領域演算部を備え、前記奥行補正部は、算出された複数の表示領域の少なくとも一部が画面上で重なる場合に、前記複数の奥行情報のうちの少なくとも１つを補正することが好ましい。
　この構成により、複数の字幕が画面上で重なる場合にのみ奥行情報を補正することができる。つまり、画面上における字幕の重なり方と字幕の奥行き感との間に不整合が生じる可能性が高い場合にのみ、効率的に奥行情報を補正することができる。また、奥行情報の補正によって、元の字幕データが示す奥行き感が損なわれることを抑制することもできる。
　また、前記奥行補正部は、前記複数の字幕の種別が互いに異なる場合に前記複数の奥行情報のうちの少なくとも１つを補正し、前記複数の字幕の種別が同一である場合に前記複数の奥行情報を補正しないことが好ましい。
　この構成により、複数の字幕の種別が同一の場合に奥行情報を補正することを防止することができる。その結果、例えば、同一人物の一連の発言に対応する複数の字幕が互いに異なる奥行き感で立体表示されることを抑制することができる。したがって、奥行情報の補正によってユーザに不快感を与えることを抑制することができる。
　また、前記奥行補正部は、前記複数の字幕の表示が開始される時刻の差が閾値以上である場合に前記複数の奥行情報のうちの少なくとも１つを補正し、前記複数の字幕の表示が開始される時刻の差が前記閾値未満である場合に前記複数の奥行情報を補正しないことが好ましい。
　この構成により、複数の字幕の表示が次々と開始される場合に、それらの複数の字幕の奥行き感を同一にすることができる。その結果、例えば、同一人物の一連の発言に対応する複数の字幕が互いに異なる奥行き感で立体表示されることを抑制することができる。したがって、奥行情報の補正によってユーザに不快感を与えることを抑制することができる。
　また、前記設定管理部は、前記立体表示装置における字幕の表示サイズおよび表示時間のうちの少なくとも一方に関する設定を前記字幕表示設定として管理することが好ましい。
　この構成により、字幕の表示サイズおよび表示時間のうちの少なくとも一方に関する設定が変更された場合に、奥行情報を補正することができる。つまり、複数の字幕が重なって表示される可能性が高い設定の変更が行われた場合に奥行情報を補正することが可能となる。
　また、前記立体字幕処理装置は、さらに、前記立体字幕画像と立体映像とを重畳した立体字幕映像を前記立体表示装置に出力するビデオ出力部と、前記立体表示装置に立体表示された前記複数の字幕の少なくとも１つに対するユーザの操作を受け付ける操作受付部とを備え、前記ビデオ出力部は、受け付けられた前記操作が予め定められた操作である場合に、特殊再生モードで前記立体字幕映像を出力することが好ましい。
　この構成により、立体表示された字幕に対するユーザの操作に応じた特殊再生モードで立体字幕映像を出力することができる。つまり、ユーザは、字幕に対する直感的な操作により特殊再生モードを制御することが可能となる。
　また、前記ビデオ出力部は、受け付けられた前記操作が、立体表示された前記複数の字幕の少なくとも１つを手前側に移動させるための操作である場合に、巻き戻し再生モードで前記立体字幕映像を出力することが好ましい。
　この構成により、立体表示された字幕を手前側に移動させるための操作により、巻き戻し再生することが可能となる。つまり、古い字幕を新しい字幕に近付ける操作によって巻き戻し再生を実現することができるので、ユーザは、字幕に対する直感的な操作により特殊再生モードを制御することが可能となる。
　また、前記ビデオ出力部は、受け付けられた前記操作が、立体表示された前記複数の字幕の少なくとも１つを奥側に移動させるための操作である場合に、早送り再生モードで前記立体字幕映像を出力することが好ましい。
　この構成により、立体表示された字幕を奥側に移動させるための操作により、早送り再生することが可能となる。つまり、新しい字幕を古い字幕に近付ける操作によって早送り再生を実現することができるので、ユーザは、字幕に対する直感的な操作により特殊再生モードを制御することが可能となる。
　また、前記設定管理部は、立体表示された前記複数の字幕を奥側に移動させるための操作が受け付けられた場合に、前記立体表示装置における映像に対する字幕の表示時間が、字幕データが示す、映像に対する字幕の表示時間よりも長くなるように、前記字幕表示設定を変更することが好ましい。
　この構成により、早送り再生モードの場合に、字幕の表示時間が短くなりすぎることを抑制することができる。
　なお、本発明は、このような立体字幕処理装置として実現することができるだけでなく、このような立体字幕処理装置が備える特徴的な構成要素が行う各処理を含む立体字幕処理方法として実現することができる。
　本発明によれば、立体表示装置において字幕の表示方法が変更された場合であっても、複数の字幕間における立体表示の不整合を抑制することができる。
図１は、本発明の実施の形態１に係る立体字幕処理装置を備える立体表示システムの外観図である。 図２は、本発明の実施の形態１に係る立体字幕処理装置の機能構成を示すブロック図である。 図３は、本発明の実施の形態１に係る立体字幕処理装置の処理動作を示すフローチャートである。 図４は、本発明の実施の形態１において立体表示される複数の字幕を説明するための図である。 図５は、本発明の実施の形態２に係る立体字幕処理装置の機能構成を示すブロック図である。 図６は、本発明の実施の形態２に係る立体字幕処理部の詳細な機能構成を示すブロック図である。 図７は、本発明の実施の形態２に係る字幕領域演算部の処理動作の一例を説明するための図である。 図８は、本発明の実施の形態２に係る字幕領域演算部によって算出された複数の表示領域の一例を説明するための図である。 図９は、本発明の実施の形態２に係る字幕領域演算部によって算出された複数の表示領域の一例を説明するための図である。 図１０は、本発明の実施の形態２に係る奥行補正部によって補正された視差の一例を示す図である。 図１１は、本発明の実施の形態２に係る奥行補正部による奥行情報の補正方法の一例を示す図である。 図１２は、本発明の実施の形態２に係る立体字幕処理装置における処理動作を示すフローチャートである。 図１３は、本発明の実施の形態２に係る奥行補正部による奥行情報の計算方法を説明するための図である。 図１４は、本発明の実施の形態３に係る奥行補正部の処理動作の一例を説明するための図である。 図１５は、本発明の実施の形態３に係る奥行補正部の処理動作の一例を説明するための図である。 図１６は、本発明の実施の形態３に係る立体字幕処理装置の処理動作を示すフローチャートである。 図１７は、本発明の実施の形態４に係る立体字幕処理装置の機能構成を示すブロック図である。 図１８は、本発明の実施の形態４に係る立体字幕処理装置の処理動作を示すフローチャートである。 図１９は、本発明の実施の形態４に係る立体字幕処理装置の処理動作の一例を説明するための図である。
　以下本発明の実施の形態について、図面を参照しながら説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示す。つまり、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置および接続形態、ステップ、ステップの順序などは、本発明の一例であり、本発明を限定する主旨ではない。本発明は、請求の範囲の記載によって限定される。したがって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素は、本発明の課題を達成するために必ずしも必要ではないが、より好ましい形態を構成する構成要素として説明される。
　（実施の形態１）
　図１は、本発明の実施の形態１に係る立体字幕処理装置１００を備える立体表示システムの外観図である。図１に示すように、立体表示システムは、立体表示装置１０と、立体表示装置１０に接続された立体字幕処理装置１００とを備える。
　立体表示装置１０は、立体字幕処理装置１００から受信する立体字幕画像を画面に表示することにより字幕を立体表示する。例えば、立体表示装置１０は、メガネ式の立体表示方式により字幕を立体表示する。メガネ式の立体表示方式とは、メガネ（例えば、液晶シャッターメガネまたは偏光メガネなど）を着用したユーザに対して、視差を有する右目用画像および左目用画像を表示する方式である。また例えば、立体表示装置１０は、裸眼式の立体表示方式により字幕を立体表示してもよい。裸眼式の立体表示方式は、メガネを用いない立体表示方式（例えば、パララックスバリア方式あるいはレンチキュラーレンズ方式など）である。
　なお、立体表示装置１０は、必ずしも図１に示すような据え置き型機器である必要はない。例えば、立体表示装置１０は、モバイル機器（例えば、携帯電話、タブレットＰＣ、または携帯ゲーム機）であっても構わない。
　立体字幕処理装置１００は、複数の字幕データが示す複数の字幕を立体表示装置１０に立体表示させるための立体字幕画像を生成する。複数の字幕データの各々は、字幕の奥行方向の表示位置（例えば視差）を示す奥行情報を含む。
　図２は、本発明の実施の形態１に係る立体字幕処理装置１００の機能構成を示すブロック図である。図２に示すように、立体字幕処理装置１００は、設定管理部１０１と、奥行補正部１０２と、字幕描画部１０３とを備える。以下に、これらの構成要素について詳細に説明する。
　設定管理部１０１は、立体表示装置１０における字幕の表示方法に関する設定である字幕表示設定を管理する。例えば、設定管理部１０１は、字幕の表示方法を変更するためのユーザからの指示（ユーザ指示）に従って字幕表示設定を変更する。なお、この字幕表示設定は、立体表示装置１０に対して有効な設定である。
　具体的には、設定管理部１０１は、例えば、立体表示装置１０における字幕の表示サイズおよび表示時間のうちの少なくとも一方に関する設定を字幕表示設定として管理する。これにより、設定管理部１０１は、複数の字幕が重なって表示されるか否かに与える影響が大きい字幕の表示方法に関する設定を字幕表示設定として管理することができる。
　なお、設定管理部１０１は、字幕の表示サイズおよび表示時間に関する設定以外の字幕の表示方法に関する設定を字幕表示設定として管理してもよい。例えば、設定管理部１０１は、字幕の画面上の表示位置またはフォントに関する設定を字幕表示設定として管理してもよい。
　奥行補正部１０２は、複数の字幕データを受信する。具体的には、奥行補正部１０２は、例えば放送あるいは通信ネットワークなどを介して、複数の字幕データを受信する。
　さらに、奥行補正部１０２は、字幕表示設定が字幕の表示方法を変更することを示す場合であって、かつ複数の字幕が同一画面上に表示される場合に、複数の字幕データに含まれる複数の奥行情報のうちの少なくとも１つを補正する。このとき、奥行補正部１０２は、複数の字幕データが示す複数の字幕のうち、より早く表示が開始される字幕がより奥側に立体表示されるように、複数の奥行情報のうちの少なくとも１つを補正する。逆に言えば、奥行補正部１０２は、複数の字幕データが示す複数の字幕のうち、より遅く表示が開始される字幕がより手前側に立体表示されるように、複数の奥行情報のうちの少なくとも１つを補正する。
　言い換えれば、奥行補正部１０２は、同一画面上に表示される複数の字幕の中で、表示開始タイミングが早い字幕（古い字幕）が、表示開始タイミングが遅い字幕（新しい字幕）よりも奥側に立体表示されるように、複数の奥行情報のうちの少なくとも１つを補正する。逆に言えば、奥行補正部１０２は、同一画面上に表示される複数の字幕の中で、新しい字幕が古い字幕よりも手前側に立体表示されるように、複数の奥行情報のうちの少なくとも１つを補正する。
　より具体的には、例えば、奥行情報が視差を示し、画面よりも手前に字幕が立体表示される場合、奥行補正部１０２は、複数の字幕のうち、より早く表示が開始される字幕ほど視差が小さくなるように、複数の奥行情報のうちの少なくとも１つを補正する。
　なお、奥行補正部１０２は、複数の奥行情報のすべてを補正してもよいし、複数の奥行情報のうちの１つだけを補正してもよい。
　字幕描画部１０３は、複数の奥行情報のうちの少なくとも１つが補正された後の複数の字幕データを用いて、複数の字幕を立体表示装置１０に立体表示させるための立体字幕画像を生成する。具体的には、字幕描画部１０３は、例えば、複数の字幕を含む右目用画像と、右目用画像に対して視差を有する複数の字幕を含む左目用画像とを、立体字幕画像として生成する。
　次に、以上のように構成された立体字幕処理装置１００における各種動作について説明する。図３は、本発明の実施の形態１に係る立体字幕処理装置１００の処理動作を示すフローチャートである。
　まず、奥行補正部１０２は、字幕表示設定が字幕の表示方法を変更することを示すか否かを判定する（Ｓ１０１）。つまり、設定管理部１０１によって管理されている字幕表示設定が、字幕データが示す字幕の表示方法を変更することを示すか否かが判定される。
　ここで、字幕表示設定が字幕の表示方法を変更することを示す場合（Ｓ１０１のＹｅｓ）、奥行補正部１０２は、複数の字幕データに含まれる複数の奥行情報のうちの少なくとも１つを補正する（Ｓ１０２）。具体的には、奥行補正部１０２は、同一画面に表示される複数の字幕のうち、より早く表示が開始される字幕がより奥側に表示されるように、複数の奥行情報のうちの少なくとも１つを補正する。一方、字幕表示設定が字幕の表示方法を変更しないことを示す場合（Ｓ１０１のＮｏ）、奥行補正部１０２は、複数の奥行情報を補正しない。
　続いて、字幕描画部１０３は、複数の字幕データを用いて、複数の字幕を立体表示装置１０に立体表示させるための立体字幕画像を生成する（Ｓ１０３）。つまり、字幕表示設定が字幕の表示方法を変更することを示す場合は、字幕描画部１０３は、少なくとも１つの奥行き情報が補正された後の複数の字幕データを用いて立体字幕画像を生成する。一方、字幕表示設定が変更されていない場合は、字幕描画部１０３は、奥行情報が補正されていない複数の字幕データをそのまま用いて立体字幕画像を生成する。
　図４は、本発明の実施の形態１において立体表示される複数の字幕を説明するための図である。図４では、字幕表示設定は、立体表示装置１０において字幕の表示方法を変更することを示すとする。
　まず、立体字幕処理装置１００は、第１字幕「ＡＡＡＡＡＡＡ」を示す第１字幕データを受信する。ここでは、複数の字幕が同一画面に表示されないので、奥行補正部１０２は、第１字幕データに含まれる奥行情報を補正しない。したがって、図４の（ａ）に示すように、第１字幕は、第１字幕データに含まれる奥行情報に従って立体表示される。
　その後、立体字幕処理装置１００は、第２字幕「ＢＢＢＢＢＢＢ」を示す第２字幕データを受信する。そこで、奥行補正部１０２は、第２字幕よりも早く表示が開始されている第１字幕が第２字幕よりも奥側に立体表示されるように、第１字幕データまたは第２字幕データに含まれる奥行情報を補正する。その結果、図４の（ｂ）に示すように、古い字幕である第１字幕は、新しい字幕である第２字幕よりも奥側に立体表示される。逆に言えば、第２字幕は、第１字幕よりも手前側に立体表示される。
　以上のように、本実施の形態に係る立体字幕処理装置１００によれば、同一画面に表示される複数の字幕のうち、より早く表示が開始される字幕がより奥側に立体表示されるように、複数の字幕の奥行情報を補正するができる。その結果、画面上で古い字幕の上に新しい字幕が重ねられる場合に、新しい字幕が古い字幕よりも手前側に立体表示される。つまり、画面上における字幕の重なり方と字幕の奥行き感との間の整合性を保つことができるので、複数の字幕間における立体表示の不整合を抑制することができる。また、画面上に複数の字幕が分散して表示されるような場合に、複数の字幕の中から最新の字幕を探すことを容易にすることができる。
　（実施の形態２）
　次に、本発明の実施の形態２について説明する。本実施の形態に係る立体字幕処理装置２００は、複数の字幕の表示領域の少なくとも一部が画面上で重なるか否かに応じて、奥行情報を補正するか否かを切り替える。なお、以下では、字幕が画面から飛び出すように立体表示され、かつ奥行情報が視差を示す場合について説明する。
　図５は、本発明の実施の形態２に係る立体字幕処理装置２００の機能構成を示すブロック図である。図５に示すように、本実施の形態に係る立体字幕処理装置２００は、デマルチプレクサ２０１と、オーディオデコーダ２０２と、ビデオデコーダ２０３と、字幕デコーダ２０４と、立体字幕処理部２０５と、オーディオ出力部２０６と、ビデオ出力部２０７と、字幕表示設定管理部２０８と、表示装置情報管理部２０９とを備える。
　デマルチプレクサ２０１は、入力信号から、ビデオ、オーディオ、および字幕のパケット（ＰＥＳパケット）を抽出し、各デコーダに送出する。
　オーディオデコーダ２０２は、デマルチプレクサ２０１で抽出されたオーディオのパケットからオーディオのエレメンタリストリームを再構成する。そして、オーディオデコーダ２０２は、オーディオのエレメンタリストリームの復号処理を行ってオーディオデータを得る。
　ビデオデコーダ２０３は、デマルチプレクサ２０１で抽出されたビデオのパケットからビデオのエレメンタリストリームを再構成する。そして、ビデオデコーダ２０３は、ビデオのエレメンタリストリームの復号処理を行って映像データを得る。
　字幕デコーダ２０４は、デマルチプレクサ２０１で抽出された字幕のパケットから字幕のエレメンタリストリームを再構成する。そして、字幕デコーダ２０４は、字幕のエレメンタリストリームの復号処理を行って字幕データを得る。この字幕データには、字幕の内容を示すテキスト情報、字幕の表示位置を示す位置情報、および字幕の視差を示す奥行情報などが含まれる。以下において、字幕デコーダ２０４によって得られた字幕データを入力字幕データとも呼ぶ。
　立体字幕処理部２０５は、字幕デコーダ２０４で得られた入力字幕データと、ビデオデコーダ２０３で得られた映像データ（例えば視差ベクトル）と、オーディオデコーダ２０２で得られたオーディオデータとを用いて、立体字幕画像を生成する。立体字幕処理部２０５の詳細は図６を用いて後述する。
　オーディオ出力部２０６は、オーディオデコーダ２０２で得られたオーディオデータを立体表示装置１０に出力する。
　ビデオ出力部２０７は、ビデオデコーダ２０３で得られた映像データが示す立体映像に対して立体字幕処理部２０５で生成された立体字幕画像を重畳することにより、立体字幕映像を生成する。そして、ビデオ出力部２０７は、生成された立体字幕映像を立体表示装置１０に出力する。
　字幕表示設定管理部２０８は、実施の形態１の設定管理部１０１に相当する。字幕表示設定管理部２０８は、ユーザからの指示に従って字幕表示設定（例えば、字幕表示サイズあるいは字幕表示時間など）を管理する。字幕表示設定管理部２０８は、書き換え可能な不揮発性の記憶装置（例えばハードディスク、フラッシュメモリなど）に現在の字幕表示設定を示す情報を保存する。
　表示装置情報管理部２０９は、立体字幕処理装置２００に接続された立体表示装置１０に関する情報（例えば、画面解像度および画面サイズ等）を管理する。
　続いて、立体字幕処理部２０５について詳細に説明する。図６は、本発明の実施の形態２に係る立体字幕処理部２０５の詳細な機能構成を示すブロック図である。
　図６に示すように、立体字幕処理部２０５は、字幕領域演算部２１１と、奥行補正部２１２と、字幕データ保持部２１３と、立体字幕生成部２１４と、字幕描画部２１５とを備える。以下、立体字幕処理部２０５が備える各構成要素について説明する。
　字幕領域演算部２１１は、字幕デコーダ２０４から取得された入力字幕データ（例えば、字幕表示サイズおよび字幕表示位置）と、字幕表示設定管理部２０８から取得された字幕表示設定と、表示装置情報管理部２０９から取得された立体表示装置１０の画面の大きさおよび解像度とに基づいて、画面上の字幕の表示領域を演算する。
　ここで、字幕領域演算部２１１の処理動作について図７を用いて説明する。図７は、本発明の実施の形態２に係る字幕領域演算部２１１の処理動作の一例を説明するための図である。
　例えば、図７の（ａ）のように、入力字幕データが画面上の字幕表示位置（ｘ，ｙ）と、字幕表示領域の横幅および高さ（ｗ，ｈ）とを示すとする。このとき、字幕表示設定管理部２０８から取得された字幕表示設定が拡大率αを示す場合、字幕領域演算部２１１は、図７の（ｂ）に示すように、演算後の字幕表示領域の横幅および高さ（Ｗ，Ｈ）として、入力字幕データが示す字幕表示領域の横幅および高さ（ｗ，ｈ）に拡大率αを乗算した値を算出する。また、字幕領域演算部２１１は、演算後の字幕表示位置（Ｘ，Ｙ）として、入力字幕データが示す字幕表示位置（ｘ，ｙ）に補正値βおよびγをそれぞれ加算した値を算出する。
　補正値βおよびγは、演算後の字幕表示領域が画面からはみ出さないように計算された値である。例えば、演算後の字幕表示領域の高さ（Ｈ）と入力字幕データが示す垂直方向の字幕表示位置（ｙ）との和が、表示装置情報管理部２０９から取得された画面サイズｄｉｓｐＨを超える場合には、補正値γは、γ＝（ｙ＋Ｈ）－ｄｉｓｐＨと計算されればよい。
　なお、字幕表示領域の演算方法は、ここで説明した方法に限られるものではない。例えば、字幕領域演算部２１１は、時間的に前または後に表示が開始される字幕（以下、「前後の字幕」という）の字幕表示位置に対して演算後の字幕表示位置がズレないように、字幕表示領域を演算してもよい。また、ユーザが指示した拡大率で字幕表示領域が拡大された場合に字幕表示領域が画面に収まりきらないときは、字幕領域演算部２１１は、自動的に拡大率を変更してもよい。また、字幕表示領域は、画面からはみ出したりしてもよい。また、ユーザが指示する字幕表示設定は、上述の拡大率だけではなく、表示サイズの絶対値を示してもよい。
　奥行補正部２１２は、字幕の奥行き感を示す視差を再計算する。具体的には、奥行補正部２１２は、実施の形態１に係る奥行補正部１０２と同様に、字幕表示設定が字幕の表示方法を変更することを示す場合であって、かつ複数の字幕が同一画面上に表示される場合に、複数の字幕データに含まれる複数の奥行情報のうちの少なくとも１つを補正する。このとき、奥行補正部２１２は、複数の字幕データが示す複数の字幕のうち、より早く表示が開始される字幕がより奥側に立体表示されるように、複数の奥行情報のうちの少なくとも１つを補正する。
　ただし、本実施の形態に係る奥行補正部２１２は、字幕領域演算部２１１によって算出された複数の表示領域の少なくとも一部が画面上で重なる場合に、複数の奥行情報のうちの少なくとも１つを補正する。つまり、本実施の形態では、奥行補正部２１２は、複数の表示領域の少なくとも一部が画面上で重なるか否かを判定する。そして、複数の表示領域の少なくとも一部が画面上で重なる場合にのみ、奥行補正部２１２は、複数の奥行情報のうちの少なくとも１つを補正する。逆に言えば、複数の表示領域が画面上で重ならない場合には、奥行補正部２１２は、複数の奥行情報を補正しない。
　ここで、奥行補正部２１２における処理について図面を用いて詳細に説明する。図８および図９の各々は、本発明の実施の形態２に係る字幕領域演算部２１１によって算出された複数の表示領域の一例を説明するための図である。
　例えば、入力字幕データが、図８の（ａ）に示す第１字幕領域および第２字幕領域を、第１字幕および第２字幕の表示領域として示しているとする。このとき、字幕の表示領域を拡大することを示す字幕表示設定に基づいて字幕領域演算部２１１が表示領域を演算した場合、演算後の第１字幕領域および第２字幕領域は、図８の（ｂ）のように画面上で重なる場合がある。このように複数の表示領域が画面上で重なる場合に、複数の字幕の視差が同じであれば、ユーザの奥行き感に不整合が生じる。例えば、画面上において第２字幕が第１字幕の前に重なっている場合に、第１字幕が第２字幕より手前または同じ奥行位置に立体表示されれば、ユーザの奥行き感に不整合が生じる。
　また、図９に示すように、字幕の表示時間を立体表示装置１０において変更することをユーザから指示された場合も、字幕表示領域が重なることがある。例えば、放送データに付与される字幕データに従って字幕を表示する場合、複数の字幕が同時に表示されることが無いので字幕表示領域が重なることは無い。しかし、字幕表示設定の変更に従って字幕表示時間が変更された場合、複数の字幕表示領域が画面上で重なることがありうる。
　具体的には、図９の（ａ）に示すように、例えば時刻ｔで第１字幕が表示された後、時刻ｔ＋△ｔで第２字幕が表示される場合を考える。図９において、第１字幕および第２字幕の両方の視差（奥行情報）は同じである。したがって、図９の（ｂ）のように、字幕表示時間が延長された結果、第１字幕と第２字幕との両方が表示される時間区間（ハッチングされた領域）では、第２字幕領域が第１字幕領域の手前に重ねられているにもかかわらず、第１字幕と第２字幕との視差が同じために、ユーザの奥行き感に不整合が生じる。
　図８および図９に示すような場合に奥行き感の不整合を解消するために、奥行補正部２１２は、後述する字幕データ保持部２１３から取得される画面上に表示されている（またはこれから表示する）字幕の表示開始時刻に基づいて、入力字幕データが示す視差を補正する。本実施の形態では、複数の字幕の中で最新の字幕が最も手前に表示されるように視差が補正される。
　図１０は、本発明の実施の形態２に係る奥行補正部２１２によって補正された視差の一例を示す図である。具体的には、図１０は、図９の時刻ｔ＋△ｔにおける第１字幕および第２字幕の補正後の視差を示す。
　図１０において、入力字幕データが示す第１字幕および第２字幕の視差が、共に（Ｒａ，Ｌａ）とする。この場合、入力字幕データの視差が補正されなければ、第１字幕および第２字幕は同じ視差で立体表示される。つまり、第１字幕の奥行き感と第２字幕の奥行き感とは同じになる。しかし、画面上では第２字幕が第１字幕よりも手前に重ねられるため、字幕の重なり方と奥行き感との間に不整合が生じる。そこで、奥行補正部２１２は、最新の字幕が他の字幕よりも手前に立体表示されるように視差を補正する。
　図１０では、奥行補正部２１２は、最新の字幕である第２字幕の視差を（Ｒｂ，Ｌｂ）に補正する。その結果、第２字幕が第１字幕よりも手前に立体表示される。（Ｒｂ，Ｌｂ）は、例えば任意のオフセット量（例えば予め定められた固定値など）を（Ｒａ，Ｌａ）に加算して求められればよい。
　また、（Ｒｂ，Ｌｂ）は、例えば映像の視差を用いて動的に計算された値を（Ｒａ，Ｌａ）に加算して求められてもよい。例えば、第１字幕が表示される領域に含まれる映像の視差が大きいほどオフセット量を大きくしてもよい。
　また、図１１は、本発明の実施の形態２に係る奥行補正部２１２による奥行情報の補正方法の一例を示す図である。図１１では、各字幕の視差は、当該字幕の表示が開始された時刻（以下、「表示開始時刻」または「表示開始タイミング」という）から時間が経過するほど小さくなるように補正されている。つまり、奥行補正部２１２は、時間の経過にともなって字幕の表示位置が奥側に移動するように、各字幕データの奥行情報を補正している。その結果、図１１では、複数の字幕のうち、より早く表示が開始される字幕がより奥側に立体表示される。
　字幕データ保持部２１３は、字幕領域演算部２１１と奥行補正部２１２とによって計算された情報で更新された字幕データ（字幕表示領域、視差、および字幕表示時間等）を保持する。
　図１０で説明したように、本実施の形態では、最新の字幕が手前に表示されるように奥行情報が補正される。奥行補正部２１２は、字幕が更新される度に、字幕データ保持部２１３が保持している各字幕データが示す視差（奥行き感）を減少させ、新規に表示される字幕に対して大きな視差を与える。そのため、字幕データ保持部２１３は、画面上に表示されている字幕毎に字幕表示が開始された時刻（表示開始時刻）を保持している。
　奥行補正部２１２は、字幕が更新されるタイミングで、表示中の字幕毎に、表示開始時刻に基づいて視差を再計算する。なお、字幕データ保持部２１３は、画面に表示されている字幕の字幕データのみを保持してもよいし、既に画面上に表示されていない字幕の字幕データも保持してもよい。
　立体字幕生成部２１４は、字幕データ保持部２１３が保持している字幕データから画面に表示する立体字幕を生成する。具体的には、立体字幕生成部２１４は、字幕を更新するタイミングで、画面上に表示される字幕のうち表示開始時刻の古い字幕から順番に字幕データを取り出し、字幕描画部２１５に取り出した字幕データを渡す。
　字幕描画部２１５は、実施の形態１の字幕描画部１０３に相当する。字幕描画部２１５は、立体字幕生成部２１４から取得した字幕データを順番に描画することにより、立体字幕画像を生成する。描画は、例えばＯＳＤ（Ｏｎ－Ｓｃｒｅｅｎ　Ｄｉｓｐｌａｙ）用のメモリ上で行われてもよい。字幕描画部２１５は、立体字幕生成部２１４から取得した全ての字幕データを描画した後に、ビデオ出力部２０７に、字幕が描画されたメモリ領域（例えばＯＳＤ描画用メモリ）のアクセス権を渡す。ビデオ出力部２０７は、ビデオデコーダ２０３から得られるビデオデータが示す立体映像と字幕描画部２１５から得られる立体字幕画像とを合成し、得られた立体字幕映像を立体表示装置１０に出力する。
　続いて、以上のように構成された本実施の形態に係る立体字幕処理装置２００における処理の流れを説明する。図１２は、本発明の実施の形態２に係る立体字幕処理装置における処理動作を示すフローチャートである。具体的には、図１２は、立体字幕処理部２０５の内部処理の詳細を示す。
　図１２に示す処理は、字幕を更新するタイミングが来れば開始される。字幕を更新するタイミングは、基本的には字幕デコーダから新たな字幕データが入力されたタイミング、あるいは字幕を画面から削除するタイミングである。もちろん、字幕を更新するタイミングは、特に限定される必要はなく、任意のタイミングであってもよい。
　まず、立体字幕処理部２０５は、字幕デコーダ２０４から入力字幕データを取得し、字幕表示設定管理部２０８から字幕表示設定を取得し、表示装置情報管理部２０９から表示装置情報を取得する（Ｓ２０１）。
　入力字幕データが新規に取得された場合、字幕領域演算部２１１は、入力字幕データおよび字幕表示設定に従って、入力字幕データが示す字幕の画面上の表示領域を計算する（Ｓ２０２）。そして、字幕領域演算部２１１は、計算した表示領域を示す情報を含む字幕データを字幕データ保持部２１３に保存する。
　奥行補正部２１２は、字幕データ保持部２１３が保持している字幕データから、表示すべき字幕の字幕データを取得する（Ｓ２０３）。
　奥行補正部２１２は、取得された字幕データが示す表示領域が画面上で重なるか否かを判定する（Ｓ２０４）。ここで、表示領域が画面上で重ならない場合（Ｓ２０４のＮｏ）、ステップＳ２０５の処理はスキップされる。
　一方、表示領域が画面上で重なる場合（Ｓ２０４のＹｅｓ）、奥行補正部２１２は、表示開始時刻が古い字幕ほど視差が小さくなるように、取得された字幕データが示す視差を補正する（Ｓ２０５）。そして、奥行補正部２１２は、補正された視差を用いて、字幕データ保持部２１３に保持されている字幕データを更新する。
　例えば、表示すべき字幕が３つ存在する場合、ステップＳ２０３～Ｓ２０５の処理は以下のようになる。まず、奥行補正部２１２は、表示すべき３つの字幕の字幕データを字幕データ保持部２１３から取得する。表示すべき字幕は、例えば現在の時刻と字幕の表示開始時刻との差が、入力字幕データから得られる字幕の表示時間内に収まっているかどうかで判定できる。
　続いて、奥行補正部２１２は、取得した３つの字幕データが示す表示領域の少なくとも一部が画面上で重なっているか否かを判定する。ここで、表示領域が重なっている場合、奥行補正部２１２は、取得された３つの字幕データが示す視差を補正する。
　ここで、３つの字幕の視差の計算方法について図１３を用いて説明する。まず表示開始時刻が一番古い字幕（図１３では第１字幕）の視差が（Ｒ１，Ｌ１）であるとする。このとき、奥行補正部２１２は、最新の字幕（図１３では第３字幕）の視差（Ｒ３，Ｌ３）を、予め保持された固定のオフセット量などを用いて求める。また、奥行補正部２１２は、一番古い表示開始時刻と最新の表示開始時刻との間に表示開始時刻を有する字幕（図１３では第２字幕）の視差（Ｒ２，Ｌ２）を、（Ｒ１，Ｌ１）と（Ｒ３，Ｌ３）とを用いて求める。奥行補正部２１２は、（Ｒ２，Ｌ２）を、例えば簡単な比例計算に従って計算してもよい。
　なお、上記の視差の計算方法に従って視差が補正されれば、同時に画面に表示する字幕の数が前回よりも減少する場合には、前回よりも視差が増加する（前回よりも字幕が手前に表示される）ことになる。しかし、このような場合には、奥行補正部２１２は、前回計算された視差よりも大きくならないように、今回の視差を計算してもよい。
　図１２のフローチャートの説明に戻る。立体字幕生成部２１４および字幕描画部２１５は、字幕データ保持部２１３から表示すべき字幕の字幕データを表示開始時刻が古い順に取得し、字幕を描画するためのＯＳＤメモリ上に順番に字幕を描画する（Ｓ２０６）。表示すべき字幕がすべて描画されることにより、立体字幕画像が生成される。
　このようにして、本実施の形態に係る立体字幕処理装置２００によれば、複数の字幕のうちの少なくとも１つの字幕の視差を補正することで、複数の字幕が画面上で重なる場合にも、ユーザに対して違和感を与えずに、字幕を立体表示することができる。
　以上のように、本実施の形態に係る立体字幕処理装置２００によれば、複数の字幕が画面上で重なる場合にのみ奥行情報を補正することができる。つまり、画面上における字幕の重なり方と字幕の奥行き感との間に不整合が生じる可能性が高い場合にのみ、効率的に奥行情報を補正することができる。また、奥行情報の補正によって、元の字幕データが示す奥行き感が損なわれることを抑制することもできる。
　（実施の形態３）
　次に、本実施の形態に係る立体字幕処理装置について、実施の形態２に係る立体字幕処理装置と異なる点を中心に説明する。なお、本実施の形態に係る立体字幕処理装置の機能構成を示すブロック図は、図５および図６に示す実施の形態２のブロック図と同様であるので図示を省略する。
　本実施の形態に係る立体字幕処理装置は、字幕の種別および字幕の表示開始時刻を利用して、最新の字幕が手前に表示されるように奥行情報を補正するか否かを決定する。これにより、立体字幕処理装置は、同一種別の字幕の奥行き感が短時間で変化することにより、ユーザに不快感を与えることを抑制することができる。図１４および図１５を用いて、ユーザに不快感が与えられる状況について説明する。
　図１４および図１５の各々は、本発明の実施の形態３に係る奥行補正部の処理動作の一例を説明するための図である。
　図１４では、１人の人物が発言している場面を想定している、なお、以下の説明において、ダブルクォーテーション「“　”」で囲われた文字が画面に表示される文字を表す。時刻ｔ０に第１字幕として“わたしが”が表示された後、時刻ｔ１に第２字幕として“悪かったわ”が表示される。この場合、第１字幕と第２字幕とで視差が異なると、同一人物のほぼ同時刻の発言に対応する２つの字幕の間で奥行き感に差が出てしまい、ユーザに不快感を与えてしまう。
　図１５では、複数の人物が会話をしている場面を想定している。時刻ｔ０に人物Ａの発言に対応する字幕Ａ１が表示され、時刻ｔ１に、人物Ｂの発言に対応する字幕Ｂ１が表示され、更に時刻ｔ２に再度人物Ａの発言に対応する字幕Ａ２が表示されている。このように、複数の字幕が短時間で表示されると、字幕の奥行き感が短時間で連続的に切り替わってしまい、ユーザに不快感を与えてしまう。
　そこで、本実施の形態に係る奥行補正部２１２は、複数の字幕の種別が一致するか否かに応じて、奥行情報を補正するか否かを決定する。具体的には、奥行補正部２１２は、複数の字幕の種別が互いに異なる場合に複数の奥行情報のうちの少なくとも１つを補正し、複数の字幕の種別が同一である場合に複数の奥行情報を補正しない。
　ここで、字幕の種別は、字幕の特徴に依存する情報である。例えば、字幕の種別は、字幕の色である。また例えば、字幕の種別は、種別情報によって特定されてもよい。この種別情報は、例えば、発言者に対応づけて予め字幕データに含まれればよい。
　さらに、奥行補正部２１２は、複数の字幕の表示が開始される時刻の差に応じて、奥行情報を補正するか否かを決定する。具体的には、奥行補正部２１２は、複数の字幕の表示が開始される時刻の差が閾値以上である場合に複数の奥行情報のうちの少なくとも１つを補正し、複数の字幕の表示が開始される時刻の差が閾値未満である場合に複数の奥行情報を補正しない。この閾値は、例えば、実験などにより得られる、ユーザが不快に感じる時刻の差の境界値が設定されればよい。
　以下、図１６を用いて、本実施の形態に係る立体字幕処理装置２００の処理動作を説明する。
　図１６は、本発明の実施の形態３に係る立体字幕処理装置２００の処理動作を示すフローチャートである。なお、図１６において、図１２と同じ処理については同じ符号を付し、適宜説明を省略する。
　ステップＳ２０１の処理の後、奥行補正部２１２は、新規に表示する字幕の字幕データと同じ種別の字幕の字幕データを検索する（Ｓ３０１）。字幕の種別は、例えば字幕の色がある。同一人物の発言に対応する字幕が同じ色で表示される場合、ユーザは、各字幕がどの人物の発言であるかを識別できる。このような場合には、字幕の色を字幕の種別として扱うことができる。
　もちろん、字幕の種別は、字幕の色に限ったものではなく、例えば字幕データに含まれるフラグあるいはシーケンス番号によって特定されてもよい。
　次に、字幕領域演算部２１１は、図１２のステップＳ２０２と同様に、入力字幕データおよび字幕表示設定に従って、入力字幕データが示す字幕の画面上の表示領域を計算する（Ｓ３０２）。その際、字幕領域演算部２１１は、検索された種別が同一の字幕の表示開始時刻に基づいて、表示領域を計算する。例えば、字幕領域演算部２１１は、種別が同一の字幕の表示領域と、入力字幕データが示す字幕の表示領域とが空間的に近接する場合は、互いに表示領域と重ならないように字幕領域を計算する。
　続いて、ステップＳ２０３の処理が実行された後、奥行補正部２１２は、ステップＳ２０３で取得された字幕データにおいて表示開始時刻の差分を計算する（Ｓ３０３）。
　そして、奥行補正部２１２は、視差を補正するか否かを判定する（Ｓ３０４）。具体的には、奥行補正部２１２は、計算された表示開始時刻の差分が閾値未満であり、かつ取得された字幕データの字幕が同じ種別の字幕である場合、字幕の視差を補正しないと判定する。逆に、奥行補正部２１２は、計算された表示開始時刻の差分が閾値以上である、または取得された字幕データの字幕が互いに異なる種別の字幕である場合、字幕の視差を補正しないと判定する。
　ここで、視差を補正すると判定された場合（Ｓ３０４のＹｅｓ）、ステップＳ２０５の処理が実行される。逆に、視差を補正しないと判定された場合（Ｓ３０４のＮｏ）、ステップＳ２０５の処理はスキップされる。
　以上のように、本実施の形態に係る立体字幕処理装置によれば、複数の字幕の種別が同一の場合に奥行情報を補正することを防止することができる。その結果、例えば、同一人物の一連の発言に対応する複数の字幕が互いに異なる奥行き感で立体表示されることを抑制することができる。したがって、奥行情報の補正によってユーザに不快感を与えることを抑制することができる。
　また、本実施の形態に係る立体字幕処理装置によれば、複数の字幕の表示が次々と開始される場合に、それらの複数の字幕の奥行き感を同一にすることができる。その結果、例えば、同一人物の一連の発言に対応する複数の字幕が互いに異なる奥行き感で立体表示されることを抑制することができる。したがって、奥行情報の補正によってユーザに不快感を与えることを抑制することができる。
　（実施の形態４）
　本発明の実施の形態４に係る立体字幕処理装置は、立体表示された字幕に対するユーザの操作に応じて、再生モードを変更する。
　例えば、ユーザの母国語以外の音声が再生され、その音声に対応する母国語の字幕が表示されている場合、ユーザは、映像ではなく字幕を見ていることが多い。この際、特に早いスピードで字幕が更新される場合は、ユーザが字幕を読みきる前に当該字幕が画面から消えてしまうことがある。このような場合、読み逃した字幕まで映像を巻き戻したいという要求がある。
　そこで、本実施の形態に係る立体字幕処理装置３００は、表示された字幕に対する操作に応じて、特殊再生（早送り、巻き戻し）を行う。以下、本実施の形態に係る立体字幕処理装置３００について、図面を参照しながら説明する。なお、以下では、ユーザの操作が画面に対するタッチ操作である場合について説明する。
　図１７は、本発明の実施の形態４に係る立体字幕処理装置３００の機能構成を示すブロック図である。なお、図１７において、図２と同様の構成要素については、同一の符号を付し、適宜説明を省略する。
　立体字幕処理装置３００は、立体表示装置３０と接続されている。図１７に示すように、立体字幕処理装置３００は、設定管理部１０１と、奥行補正部１０２と、字幕描画部１０３と、ビデオ出力部３０１と、操作受付部３０２とを備える。
　ビデオ出力部３０１は、ビデオデータが示す立体映像と立体字幕画像とを重畳した立体字幕映像を出力する。ここで、操作受付部３０２によって受け付けられたタッチ操作が予め定められたタッチ操作である場合に、ビデオ出力部３０１は、特殊再生モードで立体字幕映像を出力する。特殊再生モードとは、いわゆるトリックモードであり、通常の再生速度とは異なる再生速度で映像を再生するモードである。
　操作受付部３０２は、立体表示装置３０に立体表示された複数の字幕の少なくとも１つに対するユーザのタッチ操作を受け付ける。タッチ操作とは、ユーザが手あるいはペンなどを介して画面にタッチする操作である。タッチ操作には、タップ操作、フリック操作、ピンチアウト操作、ピンチイン操作、およびドラッグアンドドロップ操作などが含まれる。
　次に、以上のように構成された立体字幕処理装置３００の処理動作について説明する。
　図１８は、本発明の実施の形態４に係る立体字幕処理装置３００の処理動作を示すフローチャートである。具体的には、図１８は、ユーザのタッチ操作が受け付けられるときの処理動作を示す。
　まず、操作受付部３０２は、ユーザのタッチ操作を受け付ける（Ｓ４０１）。続いて、ビデオ出力部３０１は、受け付けられたタッチ操作が予め定められたタッチ操作である場合に、予め定められた複数の特殊再生モードの中から、そのタッチ操作に対応付けられた特殊再生モードを選択する（Ｓ４０２）。予め定められた複数の特殊再生モードには、例えば、早送り再生モードおよび巻き戻し再生モードなどが含まれる。
　具体的には、例えば受け付けられたタッチ操作が、立体表示された複数の字幕の少なくとも１つを手前側に移動させるためのタッチ操作である場合に、ビデオ出力部３０１は、複数の特殊再生モードの中から巻き戻し再生モードを選択する。
　また例えば、受け付けられたタッチ操作が、立体表示された複数の字幕の少なくとも１つを奥側に移動させるためのタッチ操作である場合に、ビデオ出力部３０１は、複数の特殊再生モードの中から早送り再生モードを選択する。なお、立体表示された複数の字幕を奥側に移動させるためのタッチ操作が受け付けられた場合に、設定管理部１０１は、立体表示装置３０における映像に対する字幕の表示時間が、字幕データが示す、映像に対する字幕の表示時間よりも長くなるように、字幕表示設定を変更してもよい。これにより、早送り再生モードの場合に、字幕の表示時間が短くなりすぎることを抑制することができる。
　最後に、ビデオ出力部３０１は、選択された特殊再生モードで立体字幕映像を出力する（Ｓ４０３）。
　以上のような立体字幕処理装置３００の処理動作の一例を、図１９を用いて説明する。図１９は、本発明の実施の形態４に係る立体字幕処理装置３００の処理動作の一例を説明するための図である。
　図１９では、ユーザが、立体表示装置３０であるモバイル機器で立体字幕映像を視聴している様子が示されている。図１９において、第１字幕“ＡＡＡＡＡＡＡ”は、第２字幕“ＢＢＢＢＢＢＢ”よりも奥側に立体表示されている。
　このように字幕が立体表示された状態において、ユーザは、特殊再生をしたい場合に、表示中の字幕を例えば指でタップする。指が字幕に触れることで、立体字幕処理装置３００は、「字幕ベースモード」となる。この字幕ベースモードにおいて、ユーザが、字幕に対してフリック操作をすることで、現在表示されている字幕の過去または未来の字幕が表示され、映像も過去または未来の字幕に対応する映像に巻き戻しまたは早送りされる。
　例えば、図１９に矢印で示すように、ユーザが、第１字幕を、第１字幕よりも手前に立体表示されている第２字幕に近付けるためのタッチ操作を行った場合、第１字幕の表示が開始された時刻まで立体字幕映像が巻き戻される。
　以上のように、本実施の形態に係る立体字幕処理装置３００によれば、立体表示された字幕に対するユーザのタッチ操作に応じた特殊再生モードで立体字幕映像を出力することができる。つまり、ユーザは、字幕に対する直感的な操作により特殊再生モードを制御することが可能となる。
　また、本実施の形態に係る立体字幕処理装置３００によれば、立体表示された字幕を手前側に移動させるためのタッチ操作により、巻き戻し再生することが可能となる。つまり、古い字幕を新しい字幕に近付ける操作によって巻き戻し再生を実現することができるので、ユーザは、字幕に対する直感的な操作により特殊再生モードを制御することが可能となる。
　また、本実施の形態に係る立体字幕処理装置３００によれば、立体表示された字幕を奥側に移動させるためのタッチ操作により、早送り再生することが可能となる。つまり、新しい字幕を古い字幕に近付ける操作によって早送り再生を実現することができるので、ユーザは、字幕に対する直感的な操作により特殊再生モードを制御することが可能となる。
　なお、本実施の形態では、実施の形態１～３と同様に、字幕が立体表示される場合について説明したが、必ずしも字幕は立体表示される必要はない。この場合、字幕および映像は、通常に、平面的に表示される。このように字幕が平面的に表示された場合であっても、表示された字幕に対するユーザのタッチ操作に応じて、特殊再生モードで字幕映像を出力することにより、ユーザは、直感的に所望の字幕を表示することが可能となる。
　また、上記で説明した、タッチ操作に対する立体字幕処理装置３００の処理は、一例であり、他の処理を行っても構わない。例えば、「字幕ベースモード」において、ユーザがピンチアウトまたはピンチイン操作を行った場合、字幕の大きさが変更されてもよい。つまり、設定管理部１０１は、立体表示装置３０に立体表示された字幕に対するユーザのタッチ操作に従って、字幕の表示サイズに関する字幕表示設定を変更してもよい。また、ユーザが表示された字幕をドラッグアンドドロップすることで、字幕の位置が変更されてもよい。
　また、このようなユーザの操作は、モバイル機器に限定されたものではなく、ＴＶ等の大画面に対するポインタデバイスに対する操作であってもよい。
　以上、本発明の一態様に係る立体字幕処理装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、あるいは異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
　例えば、上記実施の形態１～４では、奥行補正部は、字幕データを用いて奥行情報を補正していたが、他の情報を用いて奥行情報を補正してもよい。例えば、ビデオデータおよびオーディオデータを用いて、奥行情報を補正してもよい。具体的には例えば、奥行補正部は、字幕の視差を計算する際に、オーディオデータから得られる音量に比例して字幕の視差が大きくなるように、字幕の視差を計算してもよいし、ビデオデータから得られる映像の視差を用いて字幕の視差を計算してもよい。
　また、上記実施の形態１～４において、立体字幕処理装置と立体表示装置とは別体の装置として説明していたが、例えば、立体字幕処理装置は、立体表示装置に内蔵されてもよい。つまり、立体表示装置は、立体字幕処理装置を備えてもよい。
　また、上記実施の形態１～４における立体字幕処理装置が備える構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。例えば、立体字幕処理装置は、図２に示す設定管理部１０１と奥行補正部１０２と字幕描画部１０３とを有するシステムＬＳＩから構成されてもよい。
　システムＬＳＩは、複数の構成要素を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。前記ＲＯＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
　なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、あるいはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
　また、本発明は、このような特徴的な構成要素を備える立体字幕処理装置として実現することができるだけでなく、立体字幕処理装置に含まれる特徴的な構成要素が行う各処理を含む立体字幕処理方法として実現することもできる。また、立体字幕処理方法に含まれる特徴的な各処理をコンピュータに実行させるコンピュータプログラムとして実現することもできる。そして、そのようなコンピュータプログラムを、ＣＤ－ＲＯＭ等のコンピュータ読取可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
　本発明は、立体表示装置において字幕の表示方法が変更された場合であっても、ユーザが違和感なく立体字幕を視聴することができる立体字幕処理装置として利用することができる。
　１０、３０　立体表示装置
　１００、２００、３００　立体字幕処理装置
　１０１　設定管理部
　１０２、２１２　奥行補正部
　１０３、２１５　字幕描画部
　２０１　デマルチプレクサ
　２０２　オーディオデコーダ
　２０３　ビデオデコーダ
　２０４　字幕デコーダ
　２０５　立体字幕処理部
　２０６　オーディオ出力部
　２０７、３０１　ビデオ出力部
　２０８　字幕表示設定管理部
　２０９　表示装置情報管理部
　２１１　字幕領域演算部
　２１３　字幕データ保持部
　２１４　立体字幕生成部
　３０２　操作受付部

Claims (10)

  1. 　複数の字幕データが示す複数の字幕を立体表示装置に立体表示させるための立体字幕処理装置であって、
    　前記立体表示装置における字幕の表示方法に関する設定である字幕表示設定を管理する設定管理部と、
    　前記字幕表示設定が字幕の表示方法を変更することを示している場合であって、かつ複数の字幕データが示す複数の字幕が同一画面上に表示される場合に、前記複数の字幕のうち、より早く表示が開始される字幕がより奥側に立体表示されるように、前記複数の字幕データに含まれる複数の奥行情報のうちの少なくとも１つを補正する奥行補正部と、
    　前記複数の奥行情報のうちの少なくとも１つが補正された後の前記複数の字幕データを用いて、前記複数の字幕を前記立体表示装置に立体表示させるための立体字幕画像を生成する字幕描画部とを備える
    　立体字幕処理装置。
  2. 　前記立体字幕処理装置は、さらに、
    　前記複数の字幕データと前記字幕表示設定とに基づいて、前記複数の字幕の画面上の表示領域をそれぞれ算出する字幕領域演算部を備え、
    　前記奥行補正部は、算出された複数の表示領域の少なくとも一部が画面上で重なる場合に、前記複数の奥行情報のうちの少なくとも１つを補正する
    　請求項１に記載の立体字幕処理装置。
  3. 　前記奥行補正部は、前記複数の字幕の種別が互いに異なる場合に前記複数の奥行情報のうちの少なくとも１つを補正し、前記複数の字幕の種別が同一である場合に前記複数の奥行情報を補正しない
    　請求項１または２に記載の立体字幕処理装置。
  4. 　前記奥行補正部は、前記複数の字幕の表示が開始される時刻の差が閾値以上である場合に前記複数の奥行情報のうちの少なくとも１つを補正し、前記複数の字幕の表示が開始される時刻の差が前記閾値未満である場合に前記複数の奥行情報を補正しない
    　請求項１または２に記載の立体字幕処理装置。
  5. 　前記設定管理部は、前記立体表示装置における字幕の表示サイズおよび表示時間のうちの少なくとも一方に関する設定を前記字幕表示設定として管理する
    　請求項１に記載の立体字幕処理装置。
  6. 　前記立体字幕処理装置は、さらに、
    　前記立体字幕画像と立体映像とを重畳した立体字幕映像を前記立体表示装置に出力するビデオ出力部と、
    　前記立体表示装置に立体表示された前記複数の字幕の少なくとも１つに対するユーザの操作を受け付ける操作受付部とを備え、
    　前記ビデオ出力部は、受け付けられた前記操作が予め定められた操作である場合に、特殊再生モードで前記立体字幕映像を出力する
    　請求項１に記載の立体字幕処理装置。
  7. 　前記ビデオ出力部は、受け付けられた前記操作が、立体表示された前記複数の字幕の少なくとも１つを手前側に移動させるための操作である場合に、巻き戻し再生モードで前記立体字幕映像を出力する
    　請求項６に記載の立体字幕処理装置。
  8. 　前記ビデオ出力部は、受け付けられた前記操作が、立体表示された前記複数の字幕の少なくとも１つを奥側に移動させるための操作である場合に、早送り再生モードで前記立体字幕映像を出力する
    　請求項６に記載の立体字幕処理装置。
  9. 　前記設定管理部は、立体表示された前記複数の字幕を奥側に移動させるための操作が受け付けられた場合に、前記立体表示装置における映像に対する字幕の表示時間が、字幕データが示す、映像に対する字幕の表示時間よりも長くなるように、前記字幕表示設定を変更する
    　請求項８に記載の立体字幕処理装置。
  10. 　複数の字幕データが示す複数の字幕を立体表示装置に立体表示させるための立体字幕処理方法であって、
    　前記立体表示装置における字幕の表示方法に関する設定である字幕表示設定が字幕の表示方法を変更することを示している場合であって、かつ複数の字幕データが示す複数の字幕が同一画面上に表示される場合に、前記複数の字幕のうち、より早く表示が開始される字幕がより奥側に立体表示されるように、前記複数の字幕データに含まれる複数の奥行情報のうちの少なくとも１つを補正する奥行補正ステップと、
    　前記複数の奥行情報のうちの少なくとも１つが補正された後の前記複数の字幕データを用いて、前記複数の字幕を前記立体表示装置に立体表示させるための立体字幕画像を生成する字幕描画ステップとを含む
    　立体字幕処理方法。
PCT/JP2011/005678 2011-10-11 2011-10-11 立体字幕処理装置および立体字幕処理方法 WO2013054371A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2011/005678 WO2013054371A1 (ja) 2011-10-11 2011-10-11 立体字幕処理装置および立体字幕処理方法
US14/349,292 US20140240472A1 (en) 2011-10-11 2011-10-11 3d subtitle process device and 3d subtitle process method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/005678 WO2013054371A1 (ja) 2011-10-11 2011-10-11 立体字幕処理装置および立体字幕処理方法

Publications (1)

Publication Number Publication Date
WO2013054371A1 true WO2013054371A1 (ja) 2013-04-18

Family

ID=48081456

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/005678 WO2013054371A1 (ja) 2011-10-11 2011-10-11 立体字幕処理装置および立体字幕処理方法

Country Status (2)

Country Link
US (1) US20140240472A1 (ja)
WO (1) WO2013054371A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016136468A1 (ja) * 2015-02-23 2016-09-01 ソニー株式会社 送信装置、送信方法、受信装置、受信方法、情報処理装置および情報処理方法
WO2017028565A1 (zh) * 2015-08-17 2017-02-23 乐视控股（北京）有限公司 一种3d视频的字幕播放方法及装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9471334B2 (en) * 2013-03-08 2016-10-18 Intel Corporation Content presentation with enhanced closed caption and/or skip back
KR20140120000A (ko) * 2013-04-01 2014-10-13 한국전자통신연구원 3차원공간의 분석을 통한 입체영상 자막 생성 장치 및 방법
US9202522B2 (en) * 2013-05-08 2015-12-01 Adobe Systems Incorporated Method and apparatus for subtitle display
RU2718121C2 (ru) * 2015-06-30 2020-03-30 Сони Корпорейшн Приемное устройство, способ приема, передающее устройство и способ передачи
US10531063B2 (en) 2015-12-25 2020-01-07 Samsung Electronics Co., Ltd. Method and apparatus for processing stereoscopic video
CN106101681A (zh) * 2016-06-21 2016-11-09 青岛海信电器股份有限公司 三维图像显示处理方法、信号输入设备及电视终端
CN106254887B (zh) * 2016-08-31 2019-04-09 天津大学 一种深度视频编码快速方法
US11076112B2 (en) * 2016-09-30 2021-07-27 Lenovo (Singapore) Pte. Ltd. Systems and methods to present closed captioning using augmented reality
CN111225288A (zh) * 2020-01-21 2020-06-02 北京字节跳动网络技术有限公司 展示字幕信息的方法、装置以及电子设备
WO2022097007A1 (en) * 2020-11-03 2022-05-12 BlueStack Systems, Inc. Methods, systems and computer program products for integrating a secondary interactive display datastream with a primary display datastream

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010021991A (ja) * 2008-06-09 2010-01-28 Sony Corp 情報提示装置および情報提示方法
JP2011030200A (ja) * 2009-06-29 2011-02-10 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP2011029849A (ja) * 2009-07-23 2011-02-10 Sony Corp 受信装置、通信システム、立体画像への字幕合成方法、プログラム、及びデータ構造
JP2011070450A (ja) * 2009-09-25 2011-04-07 Panasonic Corp 三次元画像処理装置およびその制御方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5739844A (en) * 1994-02-04 1998-04-14 Sanyo Electric Co. Ltd. Method of converting two-dimensional image into three-dimensional image
KR100357093B1 (ko) * 1999-06-02 2002-10-18 엘지전자 주식회사 동영상 압축 복원시스템에서의 오류 은폐장치 및 방법
JP2002027469A (ja) * 2000-07-05 2002-01-25 Matsushita Electric Ind Co Ltd ビットストリーム変換方法、ビットストリーム変換装置およびプログラム記録媒体
US8369607B2 (en) * 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
CA2380105A1 (en) * 2002-04-09 2003-10-09 Nicholas Routhier Process and system for encoding and playback of stereoscopic video sequences
CN1312927C (zh) * 2002-07-15 2007-04-25 株式会社日立制作所 动态图像编码方法及解码方法
EP1551178A1 (en) * 2003-12-18 2005-07-06 Koninklijke Philips Electronics N.V. Supplementary visual display system
TWI247546B (en) * 2004-04-22 2006-01-11 Newsoft Technology Corp A video encoding method which carries out the encoding of P frame or B frame by utilizing I frame
JP2006178900A (ja) * 2004-12-24 2006-07-06 Hitachi Displays Ltd 立体画像生成装置
KR101506217B1 (ko) * 2008-01-31 2015-03-26 삼성전자주식회사 스테레오스코픽 영상의 부분 데이터 구간 재생을 위한스테레오스코픽 영상 데이터스트림 생성 방법과 장치, 및스테레오스코픽 영상의 부분 데이터 구간 재생 방법과 장치
KR101520619B1 (ko) * 2008-02-20 2015-05-18 삼성전자주식회사 스테레오 동기화를 위한 스테레오스코픽 영상의 시점 결정방법 및 장치
JP5009847B2 (ja) * 2008-03-28 2012-08-22 富士フイルム株式会社 立体画像生成装置および方法並びにプログラム
KR101497511B1 (ko) * 2008-09-19 2015-03-02 삼성전자주식회사 평면 영상과 입체 영상을 동시에 표현하는 영상 표시 장치
KR101502603B1 (ko) * 2008-09-22 2015-03-13 삼성전자주식회사 입체 영상 표시 장치 및 그 방법
JP4737573B2 (ja) * 2009-02-05 2011-08-03 富士フイルム株式会社 ３次元画像出力装置及び方法
CN102845067B (zh) * 2010-04-01 2016-04-20 汤姆森许可贸易公司 三维(3d)呈现中的字幕
US10448083B2 (en) * 2010-04-06 2019-10-15 Comcast Cable Communications, Llc Streaming and rendering of 3-dimensional video
CN105812771B (zh) * 2010-06-27 2017-12-08 Lg电子株式会社 数字接收器以及在数字接收器中处理字幕数据的方法
KR101685980B1 (ko) * 2010-07-30 2016-12-13 엘지전자 주식회사 이동 단말기 및 그 제어방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010021991A (ja) * 2008-06-09 2010-01-28 Sony Corp 情報提示装置および情報提示方法
JP2011030200A (ja) * 2009-06-29 2011-02-10 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP2011029849A (ja) * 2009-07-23 2011-02-10 Sony Corp 受信装置、通信システム、立体画像への字幕合成方法、プログラム、及びデータ構造
JP2011070450A (ja) * 2009-09-25 2011-04-07 Panasonic Corp 三次元画像処理装置およびその制御方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016136468A1 (ja) * 2015-02-23 2016-09-01 ソニー株式会社 送信装置、送信方法、受信装置、受信方法、情報処理装置および情報処理方法
JPWO2016136468A1 (ja) * 2015-02-23 2017-11-30 ソニー株式会社 送信装置、送信方法、受信装置、受信方法、情報処理装置および情報処理方法
US10582270B2 (en) 2015-02-23 2020-03-03 Sony Corporation Sending device, sending method, receiving device, receiving method, information processing device, and information processing method
WO2017028565A1 (zh) * 2015-08-17 2017-02-23 乐视控股（北京）有限公司 一种3d视频的字幕播放方法及装置

Also Published As

Publication number Publication date
US20140240472A1 (en) 2014-08-28

Similar Documents

Publication Publication Date Title
WO2013054371A1 (ja) 立体字幕処理装置および立体字幕処理方法
EP2363802B1 (en) An electronic device and method for providing user interface thereof
US20100091091A1 (en) Broadcast display apparatus and method for displaying two-dimensional image thereof
RU2598989C2 (ru) Устройство отображения трехмерного изображения и способ отображения для такового
TW201119349A (en) Data structure, recording medium, playback apparatus and method, and program
KR20110116525A (ko) 3ｄ 오브젝트를 제공하는 영상표시장치, 그 시스템 및 그 동작 제어방법
US20130194296A1 (en) Display apparatus and method for providing multi-view thereof
JP5166611B2 (ja) 番組情報表示装置、テレビジョン受像機、番組情報表示方法、番組情報表示プログラム、記憶媒体
KR101702949B1 (ko) 영상표시장치의 동작 방법
WO2013183697A1 (ja) 表示制御装置、表示制御方法、表示システム、表示制御プログラム、記録媒体およびメタデータ。
US10810916B2 (en) Image processing apparatus and image processing method
US20120086711A1 (en) Method of displaying content list using 3d gui and 3d display apparatus applied to the same
KR101655804B1 (ko) 3ｄ 썸네일을 표시하는 영상표시장치 및 그 동작 제어방법
JP2014207492A (ja) 立体映像表示装置
KR102056166B1 (ko) 영상표시장치, 서버 및 그 동작방법
KR101735608B1 (ko) 영상표시장치 및 그 동작방법
JP2007116581A (ja) 電子番組ガイド表示装置
KR101804688B1 (ko) 동영상 탐색 속도 및 간격 미세 조절 방법 및 장치
US20130047186A1 (en) Method to Enable Proper Representation of Scaled 3D Video
US9547933B2 (en) Display apparatus and display method thereof
KR101698787B1 (ko) 영상표시장치 및 그 동작방법
KR20110094740A (ko) 아날로그 시계 3ｄ 오브젝트를 표시할 수 있는 영상표시장치 및 그 동작 제어방법
KR20110107667A (ko) 영상표시장치 및 그 동작방법
JP5250604B2 (ja) 立体画像表示装置、立体画像表示方法およびプログラム
KR101716171B1 (ko) 영상표시장치 및 그 동작방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11873872

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14349292

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11873872

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP