WO2011016240A1 - 映像再生装置 - Google Patents

映像再生装置 Download PDF

Info

Publication number
WO2011016240A1
WO2011016240A1 PCT/JP2010/004934 JP2010004934W WO2011016240A1 WO 2011016240 A1 WO2011016240 A1 WO 2011016240A1 JP 2010004934 W JP2010004934 W JP 2010004934W WO 2011016240 A1 WO2011016240 A1 WO 2011016240A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
graphics
depth
synthesized
frame
Prior art date
Application number
PCT/JP2010/004934
Other languages
English (en)
French (fr)
Inventor
彰 松原
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US13/388,708 priority Critical patent/US20120128327A1/en
Priority to EP10806240A priority patent/EP2464129A4/en
Priority to CN2010800339078A priority patent/CN102474663A/zh
Priority to JP2011525793A priority patent/JPWO2011016240A1/ja
Publication of WO2011016240A1 publication Critical patent/WO2011016240A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42646—Internal components of the client ; Characteristics thereof for reading from or writing on a non-volatile solid state storage medium, e.g. DVD, CD-ROM
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums

Definitions

  • This technical field relates to video playback technology, and in particular, to a video playback device that outputs a stereoscopically visible video signal.
  • the video playback device When displaying a stereoscopic video, the video playback device generates a left-eye video and a right-eye video from content data recorded in a video source such as an optical disk, and sends the generated video to the video display device.
  • the video display device alternately presents a left-eye video and a right-eye video.
  • Patent Document 1 discloses a video playback device that enables stereoscopic video display by presenting a right-eye video and a left-eye video having parallax to a user. The user synthesizes an image viewed through the right eye (right eye image) and an image viewed through the left eye (left eye image) in the brain, and recognizes it as a stereoscopic image.
  • ⁇ Subtitles and graphics video synthesized with the main video are generated in the video playback device based on the subtitles and graphics data included in the video source.
  • the video playback device uses a memory and a processor to generate subtitles and graphics video from the data of the video source so as to meet the timing of synthesis with the main video, and generate the generated video for each main video.
  • a video signal of the synthesized video is generated by synthesizing with the video of the frame, and the synthesized video signal is output at the playback timing of the synthesized video.
  • the user can only recognize the graphics video for the left eye with respect to the graphics video, and the graphics video can be recognized as a stereoscopic video. Not only does this occur, but the localization in the depth direction (depth direction) of the graphics image is not correctly determined, and the user perceives that the image is abnormal (unnatural).
  • the lack of at least one of the left-eye video and the right-eye video of the stereoscopic video to be synthesized with the main video is not preferable even if it is temporary.
  • the present embodiment has been made to solve the above-mentioned problems, and is used for synthesis when the second video (for example, graphics or subtitles) to be combined with the first video (for example, main video) is missing.
  • This is a video playback device that can output a natural stereoscopic video that does not give the user a sense of incongruity even when it cannot.
  • One aspect of the present invention is a video playback apparatus that synthesizes and outputs a first video that is a stereoscopic video and a second video, and the first video and the second video that are to be synthesized into one frame.
  • the acquisition unit cannot acquire the second video to be synthesized into one frame at the time of generating the video, the second to be synthesized with the first video in a frame different from the one frame
  • a video playback device for synthesizing a video with a first video to be synthesized into one frame.
  • Another aspect of the semiconductor device is a semiconductor device that synthesizes and outputs a first video that is a stereoscopic video and a second video, and the first video and the second video that are to be synthesized into one frame.
  • An acquisition means for acquiring the image a synthesis means for generating a synthesized video by synthesizing the first video and the second video obtained by the acquisition means, and a signal output means for outputting the synthesized video
  • the synthesizing unit is synthesized with the first video in a frame different from the one frame when the obtaining unit cannot acquire the second video to be synthesized into one frame when the synthesized video is generated.
  • a semiconductor device that combines a second video to be combined with a first video to be combined into one frame.
  • Still another aspect thereof is a video playback method for synthesizing and outputting a first video that is a stereoscopic video and a second video in the video playback device, and the acquisition means is combined into one frame.
  • the first video and the second video to be generated, and the synthesizing unit generates the synthesized video by synthesizing the first video and the second video acquired in the obtaining step in synchronism with each other.
  • And outputting a video, and the synthesizing unit is different from the one frame when the acquisition unit cannot acquire the second video to be synthesized into one frame at the time of generating the synthesized video.
  • This is a video playback method in which a second video to be synthesized with a first video in a frame is synthesized with a first video to be synthesized into one frame.
  • the video playback apparatus can be used even when the second video (subtitle video, graphics video, etc.) of the stereoscopic video synthesized with the first video (main video, etc.) cannot be used for synthesis due to omission or the like. Can output natural 3D images without feeling uncomfortable.
  • FIG. 1 is a configuration diagram of a 3D video playback display system including a video playback device according to an embodiment.
  • Configuration diagram of video display device of 3D video playback display system Configuration diagram of video playback apparatus according to embodiments Detailed block diagram of second AV processing unit of video reproduction apparatus according to Embodiment 1
  • Diagram explaining the plane synthesis model Schematic diagram of stereoscopic video signal sent out by video playback apparatus according to the embodiment Diagram explaining the concept of depth in stereoscopic video
  • the figure explaining the offset given to a picture Detailed block diagram of the synthesis unit of the second AV processing unit of the video reproduction apparatus Flowchart of processing for outputting graphics video Diagram explaining alternative video output when graphics video is missing
  • Diagram explaining alternative video output when graphics video is missing The figure explaining the process which a graphics decoder and a synchronization part perform along time
  • stereoscopic video (“3D video”) refers to video that can be viewed stereoscopically by a user (viewer).
  • a video signal including such a stereoscopic video is referred to as a stereoscopic video signal.
  • the video playback device is a video playback device capable of outputting a stereoscopic video signal.
  • the stereoscopic video signal is generated by a video playback device based on content data (for example, a video stream signal) recorded on an optical disc (video source) such as a BD-ROM.
  • the video playback device generates a video of the main video (first video) and a graphics video or a subtitle video (second video) based on the content data acquired from the video source, and the first video is the first video.
  • This video playback device is used for synthesizing at another synthesizing timing when the generation of the second video (caption video, graphics video, etc.) to be synthesized with the first video at a certain synthesizing timing is not in time for the synthesizing timing.
  • the second video to be output is output as the second video at the synthesis timing.
  • the video reproduction apparatus appropriately adjusts (depth correction) the depth (depth) of the second video. By doing so, the discomfort that the user feels with respect to the stereoscopic video due to the temporary loss of the second video is reduced.
  • FIG. 1 is an overall configuration diagram of a stereoscopic video playback display system including a video playback device 12 according to the first embodiment.
  • a video display device 11 is a display device such as a display for displaying a stereoscopic video.
  • the video playback device 12 receives a data signal such as video from a storage medium such as an optical disc such as a BD-ROM, a network such as the Internet, and a broadcast wave (video source), and plays back and outputs a stereoscopic video signal.
  • the stereoscopic glasses 13 are polarizing glasses that include liquid crystal shutters that appropriately block stereoscopic images displayed by the video display device 11.
  • FIG. 2 is a diagram showing details of the configuration of the video display device 11 in each embodiment described in this specification.
  • the video display device 11 includes a first input / output unit 101, a first AV processing unit 102, a display unit 103, a first remote control signal reception unit 104, a transmission unit 105, and the like, and includes a first remote control signal reception unit.
  • the operation starts in response to an operation from the user.
  • the stereoscopic video signal output from the video playback device 12 is input to the first input / output unit 101.
  • the first input / output unit 101 may be configured by a signal input unit compatible with HDMI (High Definition Multimedia Interface) Ver1.4.
  • the stereoscopic video signal is displayed on the display unit 103 after the resolution of the video and the timing of the audio are adjusted in the first AV processing unit 102.
  • the transmission unit 105 sends a switching signal for controlling the opening / closing of the shutters of the left and right lenses to the stereoscopic glasses 13 worn by the user.
  • FIG. 3 is a diagram illustrating a configuration of the video reproduction device 12 according to the present embodiment.
  • the disk drive unit 201 is a disk drive device into which a disk 200 such as a BD-ROM can be inserted, and outputs data recorded on the disk 200 to the second AV processing unit 202 in response to an instruction from the CPU 205.
  • the second AV processing unit 202 receives a playback instruction from the user through the second remote control signal receiving unit 204, acquires content data recorded on the disc 200 from the disc drive unit 201, and generates a stereoscopic video signal. And output to the second input / output unit 203.
  • the CPU 205 receives a user instruction through the second remote control signal receiving unit 204 and outputs an instruction to the second AV processing unit 202 based on the instruction. In addition, the CPU 205 controls data transfer between the second AV processing unit 202 and the flash memory 206 and between the second AV processing unit 202 and the memory 207 as necessary. Second remote control signal receiving unit 204 receives a user instruction output from a remote control (not shown).
  • the flash memory 206 stores software for operating the CPU 205 and the second AV processing unit 202, and data necessary for combining graphics video such as depth information (depth information) described later with the main video.
  • a memory 207 is a memory for temporarily storing data such as video when decoding content data to generate a stereoscopic video signal.
  • video data data of the main video
  • graphics video second video
  • graphics data data of graphics video
  • graphics data data of graphics video
  • subtitle data data such as subtitle data
  • the second AV processing unit 202 decodes these data and develops them into a plurality of videos (planes), generates a synthesized video from these videos, and inputs a video signal (“synthesized video signal”) to the second input.
  • output unit 203 output from the output unit 203.
  • the video reproduction device 12 may include a recording medium such as a hard disk drive (HDD) in addition to the disk drive unit 201.
  • the video playback device 12 further includes an antenna for receiving broadcast radio waves, a tuner that converts the received broadcast radio waves into digital stream signals (video, audio, graphics, subtitles, and the like). Also good.
  • the video playback device 12 reads the content data recorded on the disc 200 to generate a main video and a graphics video, and synthesizes both videos to generate a stereoscopic video.
  • a composite video signal indicating video is output.
  • the composite video signal is a video signal including a left-eye video and a right-eye video.
  • the video display device 11 displays the left-eye video and the right-eye video included in the input composite video signal on a display in a time-sharing manner.
  • the time-sharing switching timing is set as an infrared synchronization signal (switching signal) in FIG. Tell the 3D glasses 13.
  • the stereoscopic glasses 13 switch the transmittance of the liquid crystal shutter according to the synchronization signal received from the video display device 11, and alternately block the field of view of the left eye side or the right eye side of the stereoscopic glasses 13, thereby Present only to the left eye, and present the right eye image only to the right eye. In this way, stereoscopic image display is realized.
  • FIG. 4 is a block diagram showing details of the second AV processing unit 202 in the first embodiment.
  • the second AV processing unit 202 includes a stream control unit 501, a depth determination unit 502, a video decoder 503, a graphics decoder 504, a synthesis unit 505, and the like.
  • the second remote control signal receiving unit 204 receives an instruction from the user via a remote control (not shown). In accordance with the instruction, the CPU 205 controls the second AV processing unit 202, the flash memory 206, the memory 207, and the like.
  • the stream control unit 501 acquires video data (main image data), graphics data (graphics image data), and depth information recorded on the disc 200 from the disk drive unit 201. Then, the stream control unit 501 outputs video data to the video decoder 503, graphics data to the graphics decoder 504, and depth information to the depth determination unit 502.
  • the video decoder 503 receives video data from the stream control unit 501.
  • the video data is compressed, and the compressed video data is expanded to generate a video image (an image of the main image only).
  • the graphics decoder 504 receives the graphics data recorded on the disc 200 from the stream control unit 501 and decompresses it to generate a graphics video (video of only graphics video).
  • Most graphics data is composed of several parts such as an image of a button for prompting a user operation.
  • the graphics decoder 504 generates a graphics video by decoding them and drawing (writing) on the memory 207.
  • the graphics decoder 504 may create a graphics video using device-specific graphics data recorded in the flash memory 206.
  • the disc 200 stores left-eye video and right-eye video of video data (main video data) and graphics data (graphics video data), respectively.
  • main video data video data
  • graphics data graphics data
  • the main video is also described as a stereoscopic video, but the main video may be a non-stereo video. Even in that case, the composite video signal can be configured as a stereoscopic video signal.
  • information on the depth position (depth) regarding the video data and the graphics data is also recorded on the disc 200 as depth information.
  • the depth position information (depth information) may be recorded as average depth information of objects in the video data and graphics data.
  • the depth information is recorded on the disc 200 separately from the video data and graphics data. To be recorded.
  • the depth determination unit 502 calculates the depth of the graphics data from the depth information recorded on the disc 200, and outputs it to the synthesis unit 505 as depth data.
  • the left-eye video and right-eye video are shifted in the horizontal direction on the display screen (offset adjustment) so that the apparent distance in the depth direction of the video is farther than the display position (display image position). Show or show closer to the display position.
  • Data indicating the apparent depth position (depth) determined by the depth determination unit 502 is referred to as depth data.
  • the synthesizing unit 505 synthesizes a plurality of planes such as a main video and graphics video to generate a synthesized video signal. That is, the synthesis unit 505 synthesizes the video video (main video) from the video decoder 503 and the graphics video from the graphics decoder 504 based on the depth data sent from the depth determination unit 502.
  • Plane Compositing Model With reference to FIG. 5, a process from superimposing (combining) a graphics video on a main video and outputting a synthesized video will be described.
  • the model shown in FIG. 5 is generally called a plane synthesis model.
  • the left-eye video image (L video image) 305L and the right-eye video image (R video image) 305R (the main image image) from the video data 305S (# 1 # VIDEO STREAM) read from the disc 200 or the like.
  • Left-eye video and right-eye video are generated and output to the combining unit 505.
  • the graphics decoder 504 from the graphics data 307S (# 2 VIDEO STREAM) read from the disk 200 or the like, the left-eye graphics video (L graphics video) 307L and the right-eye graphics video (R graphics video) 307R (graphics) Left-eye video and right-eye video) are generated and output to the combining unit 505.
  • the synthesizing unit 505 superimposes (synthesizes) the main video 305L and R and the graphics video 307L and R and outputs it as a synthesized video 313.
  • the synthesis unit 505 can further superimpose the menu graphics 301 and the caption data 303 on the synthesized video.
  • FIG. 6 is an example of a signal format used when the video reproduction device 12 outputs a video signal (synthesized video signal) of the synthesized video 313 as a stereoscopic video signal.
  • the composite video signal 313SGL includes, for example, a video signal (L) for the left eye video and a video signal (R) for the right eye video alternately to form a video signal for one frame of the composite video.
  • the video playback device 12 transmits the video signal (L) of the left eye video in 1/120 seconds, and transmits the video signal of the right eye video in the next 1/120 seconds.
  • FIG. 8 is a diagram for explaining offset processing for a video.
  • By performing an offset process on the video it becomes possible to adjust the depth (depth) of the video.
  • depth depth
  • a right-eye video and a left-eye video having parallax are used, and both videos are shifted in the opposite direction by a predetermined distance in the horizontal direction of the screen (by performing offset processing).
  • Depth feeling distance in the depth direction
  • the second AV processing unit 202 adjusts the depth of the video by changing the degree of offset (shift distance) based on the depth data described above.
  • FIG. 8A is a diagram showing the left-eye video 401L and the right-eye video 401R when the degree of offset (offset amount) is zero.
  • the apparent distance that the user feels with respect to an object (for example, a bus) in the video matches the video display surface.
  • FIG. 8B shows a case where the offset 405 is given to the reference frame 403 (the position of the image when the offset amount is zero) so that the left-eye image and the right-eye images 401L and R are gathered in the center direction of the drawing.
  • the user feels that the apparent distance of the object in the video is closer to the video display surface.
  • FIG. 8C is a diagram showing a case where an offset 407 is given to the reference frame 403 so that the left eye video and the right eye video 401L and R are moved away from each other. At this time, the user feels that the apparent distance of the object in the video is farther than the video display surface.
  • the depth of the video in the stereoscopic video can be adjusted by adjusting the magnitude of the offset given to the video and the direction of the offset.
  • the left-eye image 401L and the right-eye image 401R may be different images in consideration of parallax or the same image.
  • FIG. 9 is a block diagram showing details of the synthesis unit 505.
  • the synthesizing unit 505 includes a graphics video acquiring unit 700 that acquires graphics video directly from the graphics decoder 504 or indirectly via the memory 207, and a graphics synthesizing unit 703 that combines the main video and the graphics video.
  • the graphics video acquisition unit 700 includes a synchronization unit 701 that outputs graphics video in synchronization with the main video, and a depth provision unit 702 that adjusts the depth (depth) of the graphics video.
  • the synchronization unit 701 outputs the graphics video at a predetermined output timing so as to be in time for the synthesis processing performed in the graphics synthesis unit 703 while synchronizing both videos, and the depth assigning unit 702 applies to the input graphics video. Then, the depth (depth) of the graphics video is appropriately adjusted based on the depth data output from the depth determination unit 502 described above, and the depth-corrected graphics video is output to the graphics synthesis unit 703.
  • the graphics video decoded by the graphics decoder 504 is temporarily written (drawn) in the memory 207, and the synchronization unit 701 confirms that the left-eye video and the right-eye video of the graphics video are written in the memory 207.
  • the graphics video written in the memory 207 is read out so as to be in time (the timing for performing the synthesis processing that is set so that the generation of the synthesized video is in time by the timing at which the synthesized video is output from the graphics synthesis unit 703).
  • the graphics video is output to the depth assigning unit 702.
  • the synchronization unit 701 of the graphics video acquisition unit 700 outputs the graphics video in time for the synthesis timing of the main video and the graphics video in the graphics synthesis unit 703. For example, normally, in 60 Hz NTSC, the left-eye video and the right-eye video of the graphics video are output to the depth assigning unit 702 every 1/120 seconds, that is, about every 8 mSec.
  • the depth assigning unit 702 performs an offset process on the graphics video based on the depth data output from the depth determination unit 502, adjusts the depth of the graphics video, and outputs the depth-corrected graphics video to the graphics synthesis unit 703. .
  • the graphics synthesis unit 703 generates a (stereo) synthesized video by synthesizing the main video and the graphics video input via the depth adding unit 702 in synchronization with the main video, and generates the (three-dimensional) synthesized video signal. 2 to the input / output unit 203.
  • the depth assigning unit 702 when an offset is already added to the graphics video output by the graphics decoder 504, that is, when the graphics video is generated based on the graphics data recorded on the disc 200 by the 2-plane method or the like, usually, It is not necessary for the depth assigning unit 702 to add an offset to the graphics video.
  • an offset is not added to the graphics video in advance, that is, the graphics video is generated and output by the graphics decoder 504 based on the graphics data recorded on the disc 200 by the 2-plane plus 1 offset method or the 1-plane plus 1 offset method. In such a case, the depth assigning unit 702 always performs an offset process on the graphics video based on the depth data.
  • the depth-corrected graphics video output from the depth assigning unit 702 in time for the synthesis processing timing (combination timing) in the graphics synthesis unit 703 is synthesized with the main video in the graphics synthesis unit 703, and the playback timing of the synthesized video Is output as a composite video signal.
  • the graphics decoder 504 decodes the graphics data and outputs the graphics video for the left eye within a limited time, Furthermore, it is necessary to decode the graphics data and output a graphics image for the right eye. Also, it takes time to confirm the synchronization between the main video and the graphics video. Therefore, due to the decoding performance and rendering performance of the graphics decoder 504, the left-eye video and the right-eye video to be synthesized in synchronism with the main video are displayed at a predetermined timing (for example, the graphics video output timing from the synchronization unit 701).
  • the synchronization unit 701 cannot output the graphics video to be combined with the main video at the playback timing of the main video.
  • the video reproduction device 12 is configured so that at least one of the left-eye video and the right-eye video of the graphics video is output at the timing at which the graphics video is to be output from the synchronization unit 701.
  • the left-eye video and the right-eye video of the graphics video for another output timing are output as the graphics video to be output at the output timing.
  • the video playback device 12 avoids output of video that the user feels uncomfortable even when the original graphics video is missing.
  • the graphics video output from the graphics decoder 504 is a left-eye graphics video and a right-eye graphics video that have parallax and no offset. . Therefore, even during normal times (when the graphics video is normally sent from the graphics decoder 504), the depth assigning unit 702 performs an offset process on the graphics video based on the depth data of the graphics video of each frame (depth). The depth-corrected graphics video is output to the graphics composition unit 703.
  • the depth assigning unit 702 is as follows.
  • the graphics video at another output timing (graphic video of another frame) is offset (depth corrected) and output. To do.
  • FIG. 10 is a flowchart of the graphics video output process performed by the graphics video acquisition unit 700 in the vicinity of the output timing in the time domain t (each time domain corresponds to one frame of the composite video signal).
  • the synchronization unit 701 determines whether both the left-eye video (Lt) and the right-eye video (Rt) of the graphics video to be output at the graphics video output timing of the time domain t have already been input (whether they can be used). (S101).
  • the synchronization unit 701 When both the left-eye video Lt and the right-eye video Rt are input (“YES” in S101), the synchronization unit 701 outputs the left-eye video Lt and the right-eye video Rt to the depth assigning unit 702 at appropriate timing (S102).
  • the depth assigning unit 702 corrects the depth of the left-eye video Lt and the right-eye video Rt using the depth data Dt for the graphics video of the time domain t (offset processing), and depth-corrected left-eye video Lt ′, and
  • the depth-corrected right-eye video Rt ′ is output to the graphics synthesis unit 703 (S103).
  • the graphics synthesis unit 703 synthesizes the graphics video and the main video and outputs the synthesized video signal.
  • the synchronization unit 701 displays the graphics video in the previous time domain t ⁇ 1. It is determined whether or not both the left-eye image Lt-1 and the right-eye image Rt-1 are input (can be used) (S104).
  • the synchronization unit 701 When both the left-eye video Lt-1 and the right-eye video Rt-1 are input to the synchronization unit 701 (when available) (“YES” in S104), the synchronization unit 701 performs the left-eye video Lt at an appropriate timing. ⁇ 1 and the right eye image Rt ⁇ 1 are output to the depth assigning unit 702 (S105).
  • the depth providing unit 702 uses the depth data Dt of the original graphics video in the time domain t for the input left-eye video Lt-1 and right-eye video Rt-1, and outputs the left-eye video Lt-1 and the right-eye video Rt-1.
  • the depth-corrected left-eye video Lt-1 ′′ and the depth-added right-eye video Rt-1 ′′ are output to the graphics synthesis unit 703 (S106).
  • the graphics synthesis unit 703 synthesizes the graphics video and the main video and outputs the synthesized video signal.
  • the video playback device 12 can use at least one of the left-eye video and the right-eye video of the graphics video in the time domain in each time domain when it cannot be used for the synthesis process with the main video.
  • the depth-corrected graphics video is generated by correcting the depth so that the graphics video of another time domain (different frame) is originally given the depth of the graphics video synthesized with the main video in the time domain,
  • the synthesized video is output by synthesizing the depth-corrected graphics video and the main video.
  • FIG. 11A shows a graphics decoder 504, a synchronization unit 701, and a depth in each time region (frame) when graphics data is recorded in a video source (content data of the disc 200) in a 2-plane plus 1 offset format. It is the figure which put together the output from the provision part 702, and the depth data D (output from the depth determination part 502). Here, it is assumed that the depth data is recorded on the disc 200 for each frame (one hour area) of graphics video (or main video).
  • a graphics video indicated by a solid rectangle as an output from the graphics decoder means a graphics video that can be used by the synchronization unit 701 at a graphics video output timing of the synchronization unit 701 in each time domain, and a broken line A graphics image indicated by a rectangle indicates a graphics image that cannot be used by the synchronization unit 701 at the same output timing in each time domain.
  • the graphics decoder 504 includes the left-eye video (L1, L2,%) And the right-eye video (R1, R2) of the graphics video so that the synchronization unit 701 can output the graphics video in time domain (TD1 to TD5). , ...) is output.
  • L1, L2, etc. the graphics decoder 504 has not been able to output the right-eye video R4 (701) of the graphics video by a predetermined timing with respect to the time domain TD4.
  • the synchronization unit 701 determines that there is no input of the right-eye video R4 (701), and in the time domain TD4, the left-eye video L3 (703) of the graphics video (of the previous frame) in the previous time domain TD3. ) And the right eye image R3 (705).
  • the depth is corrected (offset processing) using the corresponding depth data D1 to D3 for the L3 and right eye images R1 to R3, and the left and right eye images (L1 ′ to L3 ′ and R1 ′) of the graphics image to which the depth is given. To R3 ′).
  • the graphics video L3 and R3 are corrected (offset processing) using the depth data D4 of the time domain TD4, and the left and right eye videos L3 '' of the graphics video to which the depth is given. And R3 ′′ are output.
  • the video reproduction device 12 when a graphics video is missing (cannot be used) in a certain time domain (frame), the left-eye video and the right-eye of the graphics video in another time domain (frame).
  • a graphics video is missing (cannot be used) in a certain time domain (frame)
  • the left-eye video and the right-eye of the graphics video in another time domain (frame).
  • the depth of the graphics video changes smoothly with the passage of time, it is possible to output a 3D video that changes smoothly.
  • depth data does not require decoding or the like unlike graphics data and video data, the possibility of missing depth data at a predetermined timing in each time domain is extremely low. If the depth data cannot be used, the depth data of the current time domain graphics video may be estimated using the depth data of the previous time domain graphics video.
  • the depth information of the graphics video is not recorded on the disc 200 as the data for each frame (for each time region)
  • other information for example, the depth data of the main video
  • the depth data may be determined based on input from the user. For example, if the user wants to add effects such as a fade-out effect that pushes the displayed image far away and erases it to the graphics image, the instruction is received from the user and the fade-out recorded in the flash memory 206 or the like is received. Depth data may be obtained from the sequence and used.
  • the depth information may be recorded as a sequence without being recorded every frame (every time region).
  • the depth information may be sequence information such as moving away at 1 meter per second. Even in such a case, the depth data of the graphics video in each time region (frame) can be obtained by a simple calculation, and therefore the depth data of the graphics video in each frame may be calculated by the calculation.
  • the graphics video in the previous time domain is output again, but it is re-outputted.
  • the graphics image may not be the previous time domain graphics image. Two or more previous time-domain graphics images may be output again. Further, if available, a later time domain graphics image may be used.
  • the synchronization unit 701 uses the previous time-domain graphics video and adds the current time-domain graphics to the graphics video. Depth correction (offset processing) is performed using the depth data of the video, and the left-eye video and right-eye video that have been depth-corrected are output. By doing so, the output of an abnormal graphics image is prevented, and the depth of the graphics image changes smoothly with the passage of time, so that a smoothly changing stereoscopic image can be output.
  • the graphics video output from the graphics decoder 504 is a left-eye graphics video and a right-eye graphics video having a parallax and having an offset. Therefore, in normal times (when the graphics video is normally sent from the graphics decoder 504), the depth assigning unit 702 generally outputs the input graphics video without performing offset processing on the graphics video.
  • the depth assigning unit 702 In a non-normal time (when the graphics video at the output timing cannot be used at the graphics video output timing of the synchronization unit 701 and a graphics video of another time domain is output from the synchronization unit 701), the depth assigning unit 702 As shown below, using the depth data of the original graphics video to be synthesized with the main video in the current time domain and the depth data of the graphics video of another time domain, offset processing is performed on the graphics video of the other time domain. Go (correct depth) and output as depth corrected graphics video.
  • FIG. 11B shows a graphics decoder 504, a synchronization unit 701, and a depth assigning unit 702 in each time domain (frame) when graphics data is recorded in the video source (content data of the disc 200) in a 2-plane format.
  • FIG. 6 is a diagram summarizing the output from, and depth data D (output from the depth determination unit 502).
  • the graphics video indicated by the solid line rectangle as the output from the graphics decoder means a graphics video that can be used by the synchronization unit 701 at the graphics video output timing of the synchronization unit 701 in each time domain.
  • the graphics video indicated by is a graphics video that cannot be used by the synchronization unit 701 at the same output timing in each time domain.
  • the graphics decoder 504 cannot output the right-eye video R4 (701) of the graphics video by a predetermined timing in the time domain TD4.
  • the synchronization unit 701 determines that there is no input of the right-eye video R4 (701), and in the time domain TD4, the left-eye video L3 (703) and the right-eye video R3 (705) of the graphics video in the previous time domain TD3. Is output at a predetermined output timing.
  • the depth assigning unit 702 uses the graphics video depth data D3 of the time domain TD3 and the original graphics video depth data D4 of the time domain TD4 for the graphics video L3 and R3 (D4-D3). Only the depth is corrected (offset processing), and the left-eye image L3 ′ and the right-eye image R3 ′ of the graphics image to which the depth is added are output. Here, the depth correction is performed by the difference in depth (D4-D3) for the following reason.
  • the graphics video L3 and R3 in the time domain TD3 has already been subjected to depth correction (offset addition) by only the depth D3.
  • the depth assigning unit 702 reduces the depth of the graphics video L3 and R3 by the depth (D4-D3). Further correct and output.
  • FIG. 12 is a diagram illustrating, along the time axis, an example of graphics video writing and reading processing when the memory 207 includes a memory area for three videos for each of the left-eye video and the right-eye video of the graphics video.
  • the areas 1 to 3 (areas 4 to 6) of the graphics L memory (R memory) of the memory 207 are storage areas for temporarily storing the left-eye video (right-eye video) of the graphics video.
  • the left and right eye videos L2 and R2 of the graphics video are drawn (written) in the graphics domain 1 and the graphics domain 3, and the graphics video L1 from the graphics domain 2 and the graphics domain 4 in the meantime.
  • R1 are read out, input to the synchronization unit 701, and output from the synchronization unit 701.
  • the left and right eye videos L3 and R3 of the graphics video are drawn in the graphics area 2 and the graphics area 4 by switching the graphics area every time the time domain advances in synchronization with the playback timing of the synthesized video.
  • the left and right eye images L2 and R2 of the graphics video are read from the graphics area 1 and the graphics area 3, input to the synchronization unit 701, and output from the synchronization unit 701.
  • the graphics video is not output in the drawing state, and the graphics video is synthesized in accordance with the timing of the main video, Composite video can be output.
  • the synchronization unit 701 determines that there is no input of both the left-eye and right-eye images of the graphics image (“NO” in step S101 in FIG. 10), and the graphics images L3 and R3 in the previous time domain TD3 are determined.
  • the data is output again (step S105 in FIG. 10).
  • the left eye and right eye videos L5 and R5 of the graphics video in the time domain TD5 are written in the graphics areas 3 and 6, respectively.
  • FIG. 13 is a diagram illustrating, along the time axis, an example of graphics video writing and reading processing when the memory 207 includes a memory area for two videos for each of the left-eye video and the right-eye video of the graphics video.
  • the synchronization unit 701 determines that there is no input of both the left and right eye images of the graphics image (“NO” in step S101 in FIG. 10), and the graphics image in the previous time domain TD3. L3 and R3 are output again (step S105 in FIG. 10).
  • the left eye and right eye videos L5 and R5 of the graphics video in the time domain TD5 are written in the graphics areas 1 and 3, respectively.
  • FIG. 14 is a diagram illustrating another example of graphics video writing and reading processing along the time axis when the memory 207 includes a memory area for two videos for each of the left-eye video and the right-eye video of the graphics video. .
  • the synchronization unit 701 determines that there is no input of both the left-eye and right-eye images of the graphics image (“NO” in step S101 in FIG. 10), and the graphics image L3 in the previous time domain TD3. And R3 are output again (step S105 in FIG. 10).
  • the left-eye and right-eye videos L5 and R5 of the graphics video in the time domain TD5 are not written to the graphics areas 1 and 3 as in the previous example.
  • the time domain TD4 only the re-output of the left-eye and right-eye videos L3 and R3 of the graphics video in the time domain TD3 is performed.
  • the left and right eye videos L4 and R4 of the graphics video in the time domain TD4 are output, and the left and right eye videos L6 and R6 of the graphics video for the time domain TD6 are written.
  • the images L6 and R6 are output.
  • the graphics video of the previous time domain TDx-1 is re-outputted in the time domain TDx, and the output of the TDx graphics video is output in the time domain TDx + 1.
  • the synchronization unit 701 may be configured to perform the above. Needless to say, even in the case of this example, the depth assigning unit 702 may correct the depth of the graphics video output by the synchronization unit 701 using the depth data for the current time domain.
  • the video playback device 12 is a video playback device that synthesizes and outputs a first video (main video) and a second video (graphics video), which are three-dimensional video images, and outputs them in one frame.
  • a synthesizing unit 505 that generates a synthesized video by synthesizing the video and outputs the synthesized video, and the synthesizing unit 505 includes a single video and graphics decoder 503 and 504 when the synthesized video is generated.
  • the first video is The second image to be made to synthesize the first image to be synthesized into one frame.
  • the video playback apparatus has a main video (first video) and a graphics video (second video) synthesized with the main video from content data recorded on an optical disc (video source) such as a BD-ROM. (Stereoscopic image)), and the two images are combined to output the combined image as a stereoscopic image. If at least one of the left-eye video and the right-eye video of the graphics video used for the synthesis cannot be used at the timing of synthesis of the main video and the graphics video, the video playback device uses another time domain (another synthesized video frame). The left-eye image and right-eye image of the graphics image used for composition are used for composition.
  • the video playback device corrects the depth of the graphics video so that the depth of the graphics video matches the depth of the graphics video that should originally be used in the synthesis, and then combines the synthesized video with the main video. Output.
  • the present video reproduction apparatus prevents the loss of graphics video and prevents unnatural fluctuations in the depth of the graphics video.
  • the video playback device 12 according to the present embodiment even when the graphics video cannot be prepared at the playback timing of the main video to be synchronized, by using the previously output graphics video, Prevent abnormal graphics video output.
  • the left-eye graphics video and the graphics video for the left eye are selected from the previous time domain (composite video frame) graphics videos.
  • a graphics image in which both right-eye graphics images are available (available) is used. This prevents the user from feeling uncomfortable with the video due to the difference between the left-eye graphics video and the right-eye graphics video other than the parallax and the offset.
  • the second AV processing unit 202 appropriately corrects and outputs the depth of the graphics video using depth information recorded on the disc 200 and depth data based on the depth information recorded on the flash memory 206. .
  • the missing (unusable) graphics video is interpolated using the left-eye graphics video and the right-eye graphics video at the previous playback timing, for example, a graphics video whose depth continuously changes can be obtained.
  • Even in the case of reproduction it is possible to output a 3D image with a smoothly changing depth without displaying a 3D image that feels uncomfortable.
  • Embodiment 2 Another embodiment of the video reproduction apparatus will be described.
  • the same processing as the processing for graphics video in the first embodiment is performed.
  • the depth correction for the caption video is performed according to the depth information recorded on the disc 200 and an instruction input by the user.
  • the same components as those of the first embodiment are denoted by the same reference numerals, and the description thereof is omitted as appropriate.
  • FIG. 15 is a block diagram of the second AV processing unit 202 of the video reproduction device 12 according to the second embodiment.
  • a subtitle decoder 506 is a decoder that decodes subtitle data input from the disc 200 and generates a subtitle video to be superimposed on the main video (video video).
  • Subtitle video obtained by decoding by the subtitle decoder 506 can be switched on / off for superimposition on the main video by the CPU 205 sending an instruction to the synthesis unit 505 based on the received user operation.
  • the second AV processing unit 202 appropriately corrects the depth of the subtitle video using the depth information recorded on the disc 200 and the depth data based on the depth information recorded on the flash memory 206 and outputs the corrected subtitle video. .
  • FIG. 16 is a diagram illustrating details of the configuration of the second AV processing unit 202 of the video reproduction device 12 according to the first and second embodiments.
  • the second AV processing unit 202 may be configured as one or more semiconductor devices.
  • the second AV processing unit 202 inputs stream data including 3D content from a video source such as the disc 200, outputs the first video stream to the first decoder 553, and outputs the second video stream to the second video stream.
  • a stream control unit 501 that outputs to the decoder 554 and outputs the depth information included in the stream data to the depth determination unit 502, and a depth determination unit 502 that determines the video depth of the 3D content based on the depth information and outputs it as depth data.
  • a first decoder 553 that decodes the video stream of the first video and outputs the first video (main video), and outputs a second video (graphics video or subtitle video) by decoding the video stream of the second video
  • a second decoder 554 for synthesizing and synthesizing the second video in synchronism with the first video and outputting a synthesized video signal Comprising the, the signal output section 555 for outputting a composite video signal.
  • the synthesis unit 505 has a function equivalent to that of the synthesis unit 505 of the first to third embodiments.
  • the signal output unit 555 may be an output terminal.
  • the second AV processing unit 202 in the first and second embodiments can be configured as a semiconductor device.
  • FIG. 17 is a block diagram of the second AV processing unit 202 of the video reproduction device 12 according to the third embodiment.
  • a depth determination decoder 507 is a decoder for determining the depth of the video decoded by the graphics decoder 504.
  • the depth determination decoder 507 obtains the average depth from the contents of the graphics video output from the graphics decoder 504, and outputs it as depth data.
  • the graphics video output from the graphics decoder 504 is a stereoscopic video
  • the distance (depth) in the depth direction of the stereoscopic video is proportional to the amount of left-right shift (offset amount) of the left-eye video of the graphics video.
  • the decoder for depth determination 507 compares the left-eye video and the right-eye video of the graphics video, detects the shift amount between the two videos, and acquires the average shift amount as depth data.
  • the depth determination decoder 507 can estimate (extrapolate) the depth data. For example, as shown in FIG. 18, when the depth data D1 to D3 can be calculated for the time domain TD1 to the time domain TD3, the depth determination decoder 507 sets the depth value of the time domain TD4 to the time domain TD1 to the time domain. it can be acquired as an external ⁇ degree data ExD4 by recursively calculated from the depth data D1 ⁇ d3 of TD3.
  • the video playback device 12 is a video playback device that synthesizes and outputs a first video (main video) and a second video (graphics video) that are three-dimensional video, and outputs them in one frame.
  • a synthesizing unit 505 that generates a synthesized video by synthesizing the video and outputs the synthesized video, and the synthesizing unit 505 includes a single video and graphics decoder 503 and 504 when the synthesized video is generated.
  • the first video is The second image to be made to synthesize the first image to be synthesized into one frame.
  • the depth when the second video is displayed as a stereoscopic video is determined by the depth information, and the synthesis unit 505 performs video when synthesizing the first video and the second video to be synthesized into one frame.
  • the graphics decoders 503 and 504 fail to obtain the second video to be synthesized into one frame, the graphics decoders 503 and 504 are configured based on the content of the second video to be synthesized with the first video in another frame. Depth information for the second video to be combined with the first frame is obtained, and the second video to be combined with the first video in another frame is combined with the first video using the obtained depth information. .
  • the depth determination decoder 507 detects the depth from the graphics video and outputs it as depth data. Therefore, if the generation of graphics video is not in time by the output timing of the graphics video from the synchronization unit 701 in a certain time domain, it is estimated (extrapolated) from the depth data of the previous graphics video in the time domain. The depth of the graphics video in another time domain (frame) is corrected using the depth data thus obtained, so that the graphics video is synthesized with the main video at the synthesis timing of the time domain.
  • the video playback apparatus 12 is a stereoscopic video that changes smoothly with time without outputting an abnormal video even if depth information is not recorded separately from the video on a video source such as the disc 200. Can be realized.
  • FIG. 19 is a diagram illustrating details of the configuration of the second AV processing unit 202 of the video reproduction device 12 according to the third embodiment.
  • the second AV processing unit 202 may be configured as one or more semiconductor devices.
  • the second AV processing unit 202 inputs stream data including 3D content from a video source such as the disc 200, outputs the first video stream to the first decoder 553, and outputs the second video stream to the second video stream.
  • a stream control unit 501 that outputs to the decoder 554, a first decoder 553 that decodes the video stream of the first video and outputs the first video (main video), and a second video that decodes the video stream of the second video
  • a second decoder 554 that outputs (graphics video or subtitle video)
  • a depth determination decoder 507 that acquires depth data of the second video based on the content of the second video output by the second decoder 554, and a first A synthesizing unit 505 for synthesizing and synthesizing the second video with the video and outputting a synthesized video signal
  • a signal output unit 555 for outputting the synthesized video signal; Equipped with a.
  • the synthesis unit 505 has a function equivalent to that of the synthesis unit 505 of the first to third embodiments.
  • the signal output unit 555 may be an output terminal.
  • the second AV processing unit 202 of the third embodiment can also be configured as a semiconductor device.
  • the video playback device 12 of the first to third embodiments can be variously modified. Hereinafter, an example of a modification of the video reproduction device 12 will be described.
  • the synthesized video is not limited to these.
  • a configuration is also possible in which another video image (sub-image) is output in synchronism with the video image (main image) and the two images are combined. Even in such a case, the main video and the sub-video are recognized as abnormal video by the user if the left-eye video and the right-eye video are not compatible.
  • smooth stereoscopic video representation is possible by correcting and outputting the depth of the video while maintaining correspondence between the left-eye and right-eye videos.
  • the graphics image may be an image in which the left-eye and right-eye images are the same. In that case, the graphics image looks planar unless the depth is adjusted, but by adjusting the depth, the graphics image can be localized in the depth direction.
  • the sequence recorded in the flash memory 206 is shown.
  • it is not limited to this and may be a memory card or the like memory 207. It doesn't matter.
  • the depth data used for the depth correction of the graphics video may use information other than the depth information of the graphics video, for example, depth information of the main video. Even in that case, it is possible to achieve an equivalent effect.
  • the depth correction may be performed by regularly performing offset processing.
  • the graphics video in another time domain used when the graphics video is not ready in time may not be the graphics video in the previous time domain.
  • content recorded on a BD-ROM is taken as an example as a video source.
  • the video source is not limited to a BD-ROM, and a video source medium such as a broadcast wave, other optical disks, and a hard disk is used. Including all.
  • the main video (first video) and the graphics video or subtitle video (second video) are generated from video data included in the same video source (content).
  • the source and the video source (content) of the second video may be different from each other.
  • the first video is a main video of a certain content, but the first video is not limited to this and may be an arbitrary video.
  • the second video that is a stereoscopic video is not limited to the caption video or the graphics video, and may be an arbitrary video.
  • the first video may be a stereoscopic video or a non-stereoscopic video.
  • the video reproduction apparatus according to the embodiment can synthesize a second video that is a stereoscopic video with the first video and output the synthesized video as a stereoscopic video.
  • the second video which is a stereoscopic video, may be recorded in an arbitrary format such as a 2-plane system, a 2-plane plus 1 offset system, or a 1-plane plus 1 offset system in the video source.
  • the video playback device 12 of the present embodiment is not limited to an optical disc such as a BD-ROM, but can be applied to a stereoscopic video playback device for displaying a stereoscopic video by overlaying video and graphics, such as a television or a game machine.
  • the video reproduction apparatus transmits a stereoscopic video signal by a frame sequential method
  • the stereoscopic video signal method is not limited to this, and any method may be used.
  • the stereoscopic video signal may be a video signal including a left-eye video (left-eye video) and a right-eye video (right-eye video) as a video signal for one frame.
  • the video playback device of the present embodiment there is no particular limitation on the format of the stereoscopic video signal.
  • the video playback device 12 of each embodiment can synthesize (superimpose) the second video ((three-dimensional) graphics video) on the first video.
  • the video reproduction device 12 performs the synthesis between the first video and the second video.
  • the video playback device 12 uses the second video in another time domain (frame) as the depth data of the second video in the current time domain (frame). Output with depth correction.
  • the graphics video of Embodiments 1 and 3 and the caption video of Embodiment 2 are examples of stereoscopic graphics video.
  • the video playback device 12 has the left eye of the stereoscopic graphics video in the time domain (frame) before that time domain (frame). Using the graphics video and the right-eye graphics video, the missing period is interpolated and output.
  • the video playback device is useful as a video playback device that plays back a 3D video composed of a plurality of videos.
  • Video display device 12 Video playback device 13 Stereoscopic glasses 101 First input / output unit 102 First AV processing unit 103 Display unit 104 First remote control signal receiving unit 105 Transmitting unit 200 Disc 201 Disc drive unit 202 Second AV Processing unit 203 Second input / output unit 204 Second remote control signal receiving unit 205 CPU 206 Flash memory 207 Memory 501 Stream control unit 502 Depth determination unit 503 Video decoder 504 Graphics decoder 505 Synthesis unit 506 Subtitle decoder 507 Depth determination decoder 700 Graphics signal acquisition unit 701 Synchronization unit 702 Depth addition unit 703 Graphics synthesis unit

Abstract

立体映像である第１の映像と第２の映像とを合成して出力する映像再生装置であって、一のフレームに合成されるべき第１の映像と第２の映像を取得する取得手段と、取得手段により取得した第１の映像と第２の映像を同期して合成することで合成映像を生成し、合成映像を出力する合成手段とを備え、合成手段は、合成映像の生成時において、取得手段が一のフレームに合成されるべき第２の映像を取得できなかったときに、一のフレームとは別のフレームにおいて第１の映像と合成されるべき第２の映像を一のフレームに合成されるべき第１の映像と合成する、映像再生装置。

Description

映像再生装置
　本技術分野は、映像再生技術に関し、特に、立体視可能な映像信号を出力する映像再生装置に関する。
　近年、立体視可能な映像（立体映像）を表示できる映像再生装置の技術の開発が進んでいる。立体映像を表示する際、映像再生装置は、光ディスク等の映像ソースに記録されたコンテンツのデータから左目用の映像、および、右目用の映像を生成し、映像表示装置へ送出する。映像表示装置は、左目用の映像、および、右目用の映像を交互に提示する。
　特許文献１には、視差を有する右目映像および左目映像をユーザに提示することで立体映像表示を可能とする映像再生装置が開示される。ユーザは、右目を通じて視認する映像（右目映像）と左目を通じて視認する映像（左目映像）とを脳内で合成し、立体映像として認識する。
　また、近年、ＢＤ－ＲＯＭ（Blu-Ray Disc ROM）等の光ディスク（映像ソース）に納められたコンテンツでは、字幕や、動きのあるグラフィクスを本編映像に合成して表示することで、多彩な映像表現を実現している。特に、グラフィクス処理技術の向上により、アニメーションを駆使した、動画に近いグラフィクスが用いられるようになっている。
　本編映像に合成される字幕やグラフィクスの映像は、映像ソースに含まれる字幕やグラフィクスのデータに基づいて映像再生装置内で生成される。この場合、映像再生装置は、メモリやプロセッサを活用し、字幕やグラフィクスの映像を、本編映像との合成のタイミングに間に合うように、映像ソースのデータから生成し、生成した映像を本編映像の各フレームの映像と合成することで合成映像の映像信号を生成し、合成映像の再生タイミングで合成映像信号を出力する。
　映像再生装置のプロセッサに予想外の負荷がかかることにより、該プロセッサによる字幕映像やグラフィクス映像の生成が本編映像との合成のタイミングに間に合わなくなるような事態も起こり得る。このような事態に陥れば、本編映像に合成されるべき字幕映像やグラフィクス映像の右目映像および左目映像の少なくともいずれか一方が一時的に欠落することになる。
　例えば、右目用のグラフィクス映像（右目グラフィクス映像）が一時的に合成映像から欠落すると、ユーザは、グラフィクス映像に関しては左目用のグラフィクス映像のみを視認することになり、グラフィクス映像を立体映像として認識できなくなるのみならず、グラフィクス映像の深さ方向（奥行き方向）における定位が正しく定まらず、ユーザに異常な（不自然な）映像であると認識されてしまう。
特開２００６－０８４９６４号公報
　このように、本編映像に合成されるべき立体映像の左目映像および右目映像の少なくともいずれか一方が欠落することは、たとえそれが一時的であろうとも、好ましい事柄とはいえない。
　本実施の形態は、上記問題点を解決すべくなされたものであり、第１映像（例えば、本編映像）に合成される、第２映像（例えば、グラフィクスや字幕）が欠落等で合成に使用できない場合にも、ユーザが違和感を抱かない自然な立体映像を出力可能な映像再生装置である。
　その一態様は、立体映像である第１の映像と第２の映像とを合成して出力する映像再生装置であって、一のフレームに合成されるべき第１の映像と第２の映像を取得する取得手段と、取得手段により取得した第１の映像と第２の映像を同期して合成することで合成映像を生成し、合成映像を出力する合成手段とを備え、合成手段は、合成映像の生成時において、取得手段が一のフレームに合成されるべき第２の映像を取得できなかったときに、一のフレームとは別のフレームにおいて第１の映像と合成されるべき第２の映像を一のフレームに合成されるべき第１の映像と合成する、映像再生装置である。
　その別の一態様は、立体映像である第１の映像と第２の映像とを合成して出力する半導体装置であって、一のフレームに合成されるべき第１の映像と第２の映像を取得する取得手段と、取得手段により取得した第１の映像と第２の映像を同期して合成することで合成映像を生成する合成手段と、合成映像を出力する信号出力手段とを備え、合成手段は、合成映像の生成時において、取得手段が一のフレームに合成されるべき第２の映像を取得できなかったときに、一のフレームとは別のフレームにおいて第１の映像と合成されるべき第２の映像を一のフレームに合成されるべき第１の映像と合成する、半導体装置である。
　そのさらに別の一態様は、映像再生装置において立体映像である第１の映像と第２の映像とを合成して出力する映像再生方法であって、取得手段が、一のフレームに合成されるべき第１の映像と第２の映像を取得するステップと、合成手段が、取得するステップにより取得した第１の映像と第２の映像を同期して合成することで合成映像を生成し、合成映像を出力するステップとを備え、合成手段は、合成映像の生成時において、取得手段が一のフレームに合成されるべき第２の映像を取得できなかったときに、一のフレームとは別のフレームにおいて第１の映像と合成されるべき第２の映像を一のフレームに合成されるべき第１の映像と合成する、映像再生方法である。
　本実施の形態にかかる映像再生装置は、第１映像（本編映像等）に合成される立体映像の第２映像（字幕映像、グラフィクス映像等）が欠落等により合成に利用できない場合にも、ユーザが違和感を抱かない自然な立体映像を出力することができる。
実施の形態による映像再生装置を備えた３Ｄ映像再生表示システムの構成図 ３Ｄ映像再生表示システムの映像表示装置の構成図 実施の形態による映像再生装置の構成図 実施の形態１による映像再生装置の第２のＡＶ処理部の詳細ブロック図 プレーン合成モデルを説明する図 実施の形態による映像再生装置が送出する立体映像信号の模式図 立体映像におけるデプスの概念を説明する図 映像に付与されるオフセットを説明する図 映像再生装置の第２のＡＶ処理部の合成部の詳細ブロック図 グラフィクス映像の出力のための処理のフローチャート グラフィクス映像が欠落した場合における代替映像出力を説明する図 グラフィクス映像が欠落した場合における代替映像出力を説明する図 グラフィクスデコーダおよび同期部が行う処理を時間に沿って説明する図 グラフィクスデコーダおよび同期部が行う処理を時間に沿って説明する図 グラフィクスデコーダおよび同期部が行う処理を時間に沿って説明する図 実施の形態２による映像再生装置の第２のＡＶ処理部の詳細ブロック図 実施の形態１、２によるＡＶ処理部の詳細ブロック図 実施の形態３による映像再生装置の第２のＡＶ処理部の詳細ブロック図 深度の推定を説明するための図 実施の形態３によるＡＶ処理部の詳細ブロック図
　以下、実施の形態について、詳細に説明する。
　実施の形態において、「立体映像」（「３Ｄ映像」）とは、ユーザ（鑑賞者）が立体視可能な映像を指す。また、そのような立体映像を含む映像信号を立体映像信号と称する。
　以下に説明する実施の形態の映像再生装置は、立体映像信号を出力することができる映像再生装置である。該立体映像信号は、ＢＤ－ＲＯＭといった光ディスク（映像ソース）に記録されているコンテンツのデータ（例えば、映像ストリーム信号）に基づいて映像再生装置により生成される。
　また、本映像再生装置は、映像ソースから取得したコンテンツのデータに基づき、本編映像（第１映像）およびグラフィクス映像または字幕映像（第２映像）の映像を生成し、第１映像に対して第２映像を同期させて両映像を合成することにより合成映像を生成し、合成映像の映像信号（合成映像信号）を立体映像信号として出力することができる。
　本映像再生装置は、ある合成タイミングで第１映像と合成されるべき第２映像（字幕映像、グラフィクス映像等）の生成が、その合成のタイミングに間に合わない場合、別の合成タイミングで合成に使用される第２映像を当該合成タイミングの第２映像として出力する。そうすることで、本映像再生装置は、合成映像における第２映像の一時的な欠落を防止する。
　このとき、映像再生装置は、第２映像のデプス（深度）を適宜、調節（深度補正）する。そうすることで、第２映像の一時的な欠落によって、ユーザが立体映像に対して感じる違和感が軽減される。
　（実施の形態１）
　１．立体映像再生表示システムの構成
　実施の形態１による立体映像再生表示システムについて説明する。図１は、実施の形態１による映像再生装置１２を備えた立体映像再生表示システムの全体構成図である。図１において、映像表示装置１１は、立体映像を表示するディスプレイなどの表示装置である。映像再生装置１２は、ＢＤ－ＲＯＭといった光ディスク等の記憶媒体、インターネット等のネットワ－ク、および、放送波など（映像ソース）から映像等のデータ信号を受け取り、立体映像信号を再生して出力する装置である。立体メガネ１３は、映像表示装置１１が表示する立体映像を適切に遮断する液晶シャッタを備えた偏光メガネである。
　図２を参照し、映像表示装置１１の詳細を説明する。図２は本明細書に記載の各実施の形態における映像表示装置１１の構成の詳細を示す図である。
　映像表示装置１１は、第１の入出力部１０１、第１のＡＶ処理部１０２、表示部１０３、第１のリモコン信号受信部１０４、送信部１０５等で構成され、第１のリモコン信号受信部１０４により、ユーザからの操作を受けて動作を開始する。
　映像再生装置１２から出力された立体映像信号は、第１の入出力部１０１に入力される。第１の入出力部１０１は、ＨＤＭＩ（High Definition Multimedia Interface）　Ｖｅｒ１．４対応の信号入力部などで構成されればよい。そして立体映像信号は、第１のＡＶ処理部１０２において映像の解像度の調整や、音声とのタイミング調整がされた後に、表示部１０３に表示される。
　表示部１０３に表示される映像に合わせて、送信部１０５から、ユーザが装着する立体メガネ１３に対し、左右のレンズのシャッタの開閉を制御する切換信号を送出する。
　図３は、本実施の形態の映像再生装置１２の構成を示す図である。ディスクドライブ部２０１はＢＤ－ＲＯＭ等のディスク２００を挿入可能なディスクドライブ装置であり、ＣＰＵ２０５からの指示に応じて、ディスク２００に記録されているデータを第２のＡＶ処理部２０２へ出力する。第２のＡＶ処理部２０２は、第２のリモコン信号受信部２０４を通じてユーザからの再生指示を受け付け、ディスク２００に記録されているコンテンツのデータをディスクドライブ部２０１から取得し、立体映像信号を生成し、第２の入出力部２０３へ出力する。
　ＣＰＵ２０５は、第２のリモコン信号受信部２０４を通じてユーザ指示を受け付け、当該指示に基づき、第２のＡＶ処理部２０２へ指示を出力する。また、ＣＰＵ２０５は、必要に応じ、第２のＡＶ処理部２０２とフラッシュメモリ２０６との間、第２のＡＶ処理部２０２とメモリ２０７との間のデータの受け渡しを制御する。第２のリモコン信号受信部２０４はリモコン（図示せず）から出力されるユーザ指示を受信する。フラッシュメモリ２０６は、ＣＰＵ２０５や、第２のＡＶ処理部２０２の動作を行うためのソフトウェアを格納し、さらに、後述する深度情報（デプス情報）などグラフィクス映像を本編映像と合成する際に必要なデータを記憶する。メモリ２０７はコンテンツのデータをデコードして立体映像信号を生成する際に映像等のデータを一時的に記憶するメモリである。
　ディスク２００には、本編映像（第１映像）のデータ（「ビデオデータ」）、本編映像（第１映像）に重畳（合成）するグラフィクス映像（第２映像）のデータ（「グラフィクスデータ」）、字幕のデータ（「字幕データ」）、ユーザが機器操作を行う際にユーザに提示されるメニュー等のデータが格納されている。第２のＡＶ処理部２０２は、これらのデータをデコードして複数の映像（プレーン）に展開し、これらの映像から合成映像を生成し、映像信号（「合成映像信号」）を第２の入出力部２０３より出力する。
　なお、映像再生装置１２は、ディスクドライブ部２０１の他に、ハードディスクドライブ（ＨＤＤ）等の記録媒体を備えてもよい。また、映像再生装置１２は、さらに、放送電波を受信するためのアンテナ、および、受信された放送電波をデジタルのストリーム信号（ビデオ、音声、グラフィクスス、字幕など）に変換するチューナ等を備えてもよい。
　２．立体映像再生表示システムの動作
　２．１．全体動作
　以上のように構成された立体映像再生表示システムにおいて、映像再生装置１２は、ディスク２００に記録されたコンテンツのデータを読み出して本編映像およびグラフィクス映像を生成し、両映像を合成して立体映像を示す合成映像信号を出力する。合成映像信号は、左目映像および右目映像を含んでなる映像信号である。
　映像表示装置１１は、入力した合成映像信号に含まれる左目映像と右目映像とをディスプレイ上で時分割表示し、この時、時分割の切り換えタイミングを、赤外線同期信号（切換信号）として図１の立体メガネ１３へ伝える。
　立体メガネ１３は、映像表示装置１１から受けた同期信号に応じて液晶シャッタの透過率を切換え、立体メガネ１３の左目側或いは右目側の何れかの視野を交互に遮断することにより、左目映像を左目だけに提示し、また右目映像を右目だけに提示する。このようにして立体映像表示が実現される。
　２．２．グラフィクス映像合成処理
　次に、第２のＡＶ処理部２０２の構成の詳細および第２のＡＶ処理部２０２における本編映像とグラフィクス映像との合成処理について説明する。
　図４は、実施の形態１における第２のＡＶ処理部２０２の詳細を示すブロック図である。
　第２のＡＶ処理部２０２は、ストリーム制御部５０１、深度決定部５０２、ビデオデコーダ５０３、グラフィクスデコーダ５０４、合成部５０５等から構成される。第２のリモコン信号受信部２０４はリモコン（不図示）を介してユーザからの指示を受け付ける。ＣＰＵ２０５は当該指示に従い、第２のＡＶ処理部２０２、フラッシュメモリ２０６、メモリ２０７等を制御する。
　ストリーム制御部５０１は、ディスクドライブ部２０１からディスク２００に収録されたビデオデータ（本編映像のデータ）、グラフィクスデータ（グラフィクス映像のデータ）、深度情報を取得する。そして、ストリーム制御部５０１は、ビデオデータをビデオデコーダ５０３に、グラフィクスデータをグラフィクスデコーダ５０４に、深度情報を深度決定部５０２へ出力する。
　ビデオデコーダ５０３は、ストリーム制御部５０１からビデオデータを受け取る。そのビデオデータは圧縮されており、その圧縮されたビデオデータを伸張してビデオ映像（本編映像のみの映像）を生成する。グラフィクスデコーダ５０４は、ディスク２００に記録されたグラフィクスデータをストリーム制御部５０１から受け取り、伸張してグラフィクス映像（グラフィクス映像のみの映像）を生成する。グラフィクスデータの多くは、ユーザ操作を促すボタンのイメージなど、いくつかの部品で構成される。グラフィクスデコーダ５０４は、それらをデコードし、メモリ２０７上に描画する（書き込む）ことにより、グラフィクス映像を生成する。
　また、グラフィクスデコーダ５０４は、グラフィクス映像を、フラッシュメモリ２０６に記録された機器特有のグラフィクスデータを利用して作成する場合もある。
　ディスク２００は、ビデオデータ（本編映像のデータ）、および、グラフィクスデータ（グラフィクス映像のデータ）それぞれの左目映像および右目映像を格納する。以下においては、本編映像も、立体映像として説明するが、本編映像は、非立体映像であってもよい。その場合であっても、合成映像信号を立体映像信号として構成することは可能である。
　また、ビデオデータとグラフィクスデータに関する深さ位置（デプス）の情報も、深度情報としてディスク２００に記録されている。その深さ位置の情報（深度情報）は、ビデオデータとグラフィクスデータの映像中の物体の平均的な深度の情報として記録されてよく、深度情報は、ビデオデータ、グラフィクスデータとは別に、ディスク２００に記録される。
　深度決定部５０２は、ディスク２００に記録された深度情報から、グラフィクスデータの深度を算出し深度データとして合成部５０５へ出力する。立体映像においては、左目映像および右目映像を表示画面上の左右方向にずらす（オフセット調整する）ことにより、映像の奥行き方向の見かけ上の距離を、表示位置（表示画の位置）よりも遠くに見せたり、表示位置よりも近くに見せたりする。深度決定部５０２が決定したこの見かけの深さ位置（デプス）を示したデータを、深度データと呼ぶ。
　合成部５０５は、本編映像、グラフィクス映像等の複数プレーンを合成し、合成映像信号を生成する。つまり、合成部５０５は、ビデオデコーダ５０３からのビデオ映像（本編映像）と、グラフィクスデコーダ５０４からのグラフィクス映像とを、深度決定部５０２から送られる深度データに基づいて合成する。
　２．２．１．プレーン合成モデル
　図５を参照し、本編映像にグラフィクス映像を重畳（合成）して、合成映像を出力するまでのプロセスを説明する。図５に示されるモデルは、一般に、プレーン合成モデルと称される。
　ビデオデコーダ５０３において、ディスク２００等から読み出されたビデオデータ３０５Ｓ（#1 VIDEO STREAM）から左目用ビデオ映像（Ｌビデオ映像）３０５Ｌ、および、右目用ビデオ映像（Ｒビデオ映像）３０５Ｒ（本編映像の左目映像および右目映像）が生成され合成部５０５へ出力される。同時に、グラフィクスデコーダ５０４において、ディスク２００等から読み出されたグラフィクスデータ３０７Ｓ（#2 VIDEO STREAM）から左目用グラフィクス映像（Ｌグラフィクス映像）３０７Ｌ、および、右目用グラフィクス映像（Ｒグラフィクス映像）３０７Ｒ（グラフィクス映像の左目映像および右目映像）が生成され合成部５０５へ出力される。合成部５０５は、本編映像３０５ＬおよびＲ、ならびに、グラフィクス映像３０７ＬおよびＲを重畳（合成）し、合成映像３１３として出力する。
　なお、合成部５０５は、メニューグラフィクス３０１や字幕データ３０３などを、合成映像にさらに重畳することもできる。
　２．２．２．立体映像信号
　図６は、映像再生装置１２が合成映像３１３の映像信号（合成映像信号）を立体映像信号として出力する場合に用いる信号フォーマットの例図である。合成映像信号３１３ＳＧＬには、例えば、左目映像の映像信号（Ｌ）と右目映像の映像信号（Ｒ）とが交互に含まれ、合成映像１フレーム分の映像信号が構成される。映像再生装置１２は、６０フレーム／秒で合成映像を出力する場合、１／１２０秒で左目映像の映像信号（Ｌ）を伝送し、次の１／１２０秒で右目映像の映像信号を伝送する。
　２．２．３．デプスおよびオフセット処理について
　図７を参照し、立体映像である合成映像３１３におけるデプスについて説明する。図７では、ユーザが立体映像を鑑賞した場合に認識する立体感（奥行き方向の拡がり）を図面左右方向（デプス方向）で表現している。本図が例示する立体映像（合成映像３１３）では、本編映像３０５として背景とその手前（ユーザ側）に立つ人が含まれる。合成映像３１３では、本編映像３０５の手前（ユーザ側）にグラフィクス映像３０７が重畳されている。同図で、ユーザが感じるグラフィクス映像３０７の奥行き方向（図面左右方向）見かけ上の距離を矢印３１５の方向に変化させることが、グラフィクス映像３０７のデプスを調整することに対応する。
　図８は、映像に対するオフセット処理を説明する図である。映像に対しオフセット処理を施すことで、当該映像の深度（デプス）を調整することが可能になる。映像を立体的に表現する場合には、一般に視差を有する右目映像および左目映像を使用するとともに、両映像を画面左右方向に所定の距離だけ反対方向にずらして（オフセット処理を行って）映像の奥行き感（奥行き方向の距離）を表現する。第２のＡＶ処理部２０２は、オフセットの程度（ずらす距離）を上述の深度データに基づいて変更することで映像の深度を調節する。
　例えば、図８（ａ）は、オフセットの程度（オフセット量）がゼロの場合の左目映像４０１Ｌおよび右目映像４０１Ｒを示す図である。このとき、ユーザが映像中の物体（例えば、バス）に対して感じる見かけ上の距離は、映像表示面と一致する。
　図８（ｂ）は、基準フレーム４０３（オフセット量ゼロの場合の映像の位置）に対して、左目映像および右目映像４０１ＬおよびＲが図面の中央方向に集まるようにオフセット４０５が与えられた場合を示す図である。このとき、ユーザは、映像中の物体の見かけ上の距離を映像表示面よりも近いと感じる。
　図８（ｃ）は、基準フレーム４０３に対して、左目映像および右目映像４０１ＬおよびＲが互いに遠ざかるようにオフセット４０７が与えられた場合を示す図である。このとき、ユーザは、映像中の物体の見かけ上の距離を映像表示面よりも遠いと感じる。
　このように、立体映像においては、左目映像および右目映像に所定のオフセットを与えることで、ユーザが当該映像に対して認識する距離感（奥行き感）を調節することができる。つまり、映像に与えるオフセットの大きさおよびオフセットの方向を調節することで、立体映像中における当該映像のデプスを調節することができる。なお、左目映像４０１Ｌと右目映像４０１Ｒは、視差を考慮した異なる映像であってもよいし、同一の映像であってもよい。
　２．２．４．合成部におけるデプス調整処理
　これより、合成部５０５における、グラフィクス映像に対するデプス調整処理について説明する。
　図９は、合成部５０５の詳細を示すブロック図である。合成部５０５は、グラフィクスデコーダ５０４から直接またはメモリ２０７を介して間接的にグラフィクス映像を取得するグラフィクス映像取得部７００と、本編映像とグラフィクス映像とを合成するグラフィクス合成部７０３とを有する。グラフィクス映像取得部７００は、本編映像に同期してグラフィクス映像を出力する同期部７０１と、グラフィクス映像の深度（デプス）を調整する深度付与部７０２とを備える。同期部７０１は、両映像の同期をとりながらグラフィクス合成部７０３において行われる合成処理のタイミングに間に合うように所定の出力タイミングでグラフィクス映像を出力し、深度付与部７０２は、入力されるグラフィクス映像について、上述の深度決定部５０２が出力する深度データに基づいてグラフィクス映像の深度（デプス）を適宜調整し、深度補正済のグラフィクス映像をグラフィクス合成部７０３へ出力する。
　グラフィクスデコーダ５０４がデコードしたグラフィクス映像は、メモリ２０７に一時的に書き込まれ（描画され）、同期部７０１は、グラフィクス映像の左目映像および右目映像がメモリ２０７に書き込まれたことを確認すると、合成タイミング（合成映像がグラフィクス合成部７０３から出力されるタイミングまでに合成映像の生成が間に合うように設定される合成処理を行うタイミング）に間に合うように、メモリ２０７に書き込まれた当該グラフィクス映像を読み出して当該グラフィクス映像を深度付与部７０２へ出力する。
　２．２．４．１．通常時におけるグラフィクス映像デプス調整処理および出力処理
　グラフィクス映像取得部７００の同期部７０１は、グラフィクス合成部７０３における本編映像とグラフィクス映像との合成のタイミングに間に合うようにグラフィクス映像を出力する。例えば、通常、６０ＨｚＮＴＳＣでは、グラフィクス映像の左目映像および右目映像は、１／１２０秒ごとに、つまり約８ｍＳｅｃごとに、深度付与部７０２へ出力される。深度付与部７０２は、深度決定部５０２から出力された深度データにもとづき、グラフィクス映像に対してオフセット処理を行い、グラフィクス映像のデプスを調整して深度補正済グラフィクス映像をグラフィクス合成部７０３へ出力する。グラフィクス合成部７０３は、本編映像と、本編映像に同期して深度付与部７０２を介して入力されるグラフィクス映像とを合成して（立体）合成映像を生成し、（立体）合成映像信号を第２の入出力部２０３へ出力する。
　ただし、グラフィクスデコーダ５０４が出力したグラフィクス映像に既にオフセットが付与されている場合、つまり、グラフィクス映像が２プレーン方式等でディスク２００に記録されたグラフィクスデータに基づいて生成された場合には、通常、深度付与部７０２が当該グラフィクス映像に対しさらにオフセットを付与する必要はない。グラフィクス映像に予めオフセットが付与されていない場合、つまり、グラフィクス映像が２プレーンプラス１オフセット方式または１プレーンプラス１オフセット方式等でディスク２００に記録されたグラフィクスデータに基づいてグラフィクスデコーダ５０４で生成され出力される場合には、深度付与部７０２は、常時、深度データにもとづき当該グラフィクス映像に対してオフセット処理を行う。
　深度付与部７０２からグラフィクス合成部７０３における合成処理のタイミング（合成タイミング）に間に合うように出力された深度補正済グラフィクス映像は、グラフィクス合成部７０３において、本編映像と合成され、その合成映像の再生タイミングにおいて合成映像信号として出力される。
　２．２．４．２．グラフィクス映像欠落時におけるグラフィクス映像デプス調整処理および出力処理
　グラフィクス映像を立体映像として生成する場合、グラフィクスデコーダ５０４は、限られた時間内で、グラフィクスデータをデコードして左目用のグラフィクス映像を出力し、さらに、グラフィクスデータをデコードして右目用のグラフィクス映像を出力する必要がある。また、本編映像とグラフィクス映像の同期を確認するための時間も必要である。そのため、グラフィクスデコーダ５０４のデコード性能、描画性能に起因して、本編映像に同期して合成すべきグラフィクス映像の左目映像および右目映像が、所定のタイミング（例えば、同期部７０１からのグラフィクス映像出力タイミング）までに同期部７０１またはメモリ２０７に入力されない事態が起こり得る。また、グラフィクス映像の左目映像および右目映像の一方しか、所定のタイミングまでに同期部７０１またはメモリ２０７に入力されない事態も起こり得る。後者の場合であっても、その入力された片目分のグラフィクス映像を使用することはできない。なぜなら、例えば、コンテンツ内に２プレーン方式で記録されグラフィクスデコーダ５０４で生成されたグラフィクス映像では、左目映像と右目映像とに視差をつけて、立体視を実現している。そのため、左目用のグラフィクス映像と、右目用のグラフィクス映像との両方がそろっていないと、グラフィクス映像に関して視差以外の情報差がユーザに与えられてしまい、ユーザはグラフィクスを十分な立体像として認識できないだけでなく、突然、深さ方向の位置の認識間違いが起こり、異常な映像として認識する。以上のような事態が生じると、同期部７０１は、本編映像の再生タイミングにおいて、本編映像に合成されるべきグラフィクス映像を出力することができない。
　この問題を解決するため、本実施の形態の映像再生装置１２は、グラフィクス映像の左目映像、および、右目映像の少なくともいずれか一方が、当該グラフィクス映像が同期部７０１から出力されるべき出力タイミングにおいて使用できない場合、当該出力タイミングにおいて出力するグラフィクス映像として、別の一の出力タイミングのためのグラフィクス映像（例えば、以前に出力したグラフィクス映像）の左目映像および右目映像を出力する。そうすることで、映像再生装置１２は、本来のグラフィクス映像が欠落した場合であってもユーザが違和感を感じる映像の出力を回避する。
　２．２．４．２ａ．２プレーンプラス１オフセット方式で記録されたグラフィクスデータから生成されるグラフィクス映像に対するデプス調整処理
　以下、グラフィクスデータが、コンテンツのデータ内に２プレーンプラス１オフセット方式で記録されている場合の処理について説明する。
　グラフィクス映像のデータが２プレーンプラス１オフセット方式で映像ソースに記録されている場合、グラフィクスデコーダ５０４が出力するグラフィクス映像は、視差を有しかつオフセットを有さない左目グラフィクス映像および右目グラフィクス映像である。そこで、通常時（正常にグラフィクスデコーダ５０４からグラフィクス映像が送られている場合）においても、深度付与部７０２は、各フレームのグラフィクス映像の深度データにもとづき、グラフィクス映像にオフセット処理を行って（深度補正して）深度補正済グラフィクス映像をグラフィクス合成部７０３へ出力する。
　また、非通常時（ある出力タイミングにおいて本来のグラフィクス映像が使用できず、別の出力タイミングの（別のフレームのための）グラフィクス映像が使用される場合）、深度付与部７０２は、以下のように、現在の出力タイミングにおいて出力されるべき本来のグラフィクス映像の深度データを用いて当該別の出力タイミングのグラフィクス映像（別のフレームのグラフィクス映像）にオフセット処理を行って（深度補正して）出力する。
　図１０は、時間領域ｔ（時間領域はそれぞれ、合成映像信号の１フレームに対応。）の出力タイミング近傍においてグラフィクス映像取得部７００がするグラフィクス映像出力処理のフローチャートである。
　同期部７０１は、時間領域ｔのグラフィクス映像出力タイミングにおいて出力するべきグラフィクス映像の左目映像（Ｌｔ）および右目映像（Ｒｔ）の両映像が既に入力されているかどうか（使用可能かどうか）について判断する（Ｓ１０１）。
　左目映像Ｌｔおよび右目映像Ｒｔが共に入力されている場合（Ｓ１０１における「ＹＥＳ」）、同期部７０１は、適切なタイミングで左目映像Ｌｔおよび右目映像Ｒｔを深度付与部７０２へ出力する（Ｓ１０２）。深度付与部７０２は、時間領域ｔのグラフィクス映像のための深度データＤｔを用いて左目映像Ｌｔおよび右目映像Ｒｔの深度を補正して（オフセット処理して）深度補正済左目映像Ｌｔ’、および、深度補正済右目映像Ｒｔ’をグラフィクス合成部７０３へ出力する（Ｓ１０３）。グラフィクス合成部７０３は、グラフィクス映像と本編映像とを合成し合成映像信号として出力する。
　これに対し、同期部７０１へ左目映像Ｌｔおよび右目映像Ｒｔの少なくともいずれか一方が入力されなかった場合（Ｓ１０１における「ＮＯ」）、同期部７０１は、ひとつ前の時間領域ｔ－１のグラフィクス映像の左目映像Ｌｔ－１および右目映像Ｒｔ－１の両映像を入力したかどうか、（使用可能かどうか）について判断する（Ｓ１０４）。
　左目映像Ｌｔ－１および右目映像Ｒｔ－１の両映像が同期部７０１へ入力されている場合（使用可能な場合）（Ｓ１０４における「ＹＥＳ」）、同期部７０１は、適切なタイミングで左目映像Ｌｔ－１および右目映像Ｒｔ－１を深度付与部７０２へ出力する（Ｓ１０５）。
　深度付与部７０２は、入力した左目映像Ｌｔ－１および右目映像Ｒｔ－１に対し、時間領域ｔでの本来のグラフィクス映像の深度データＤｔを用いて左目映像Ｌｔ－１および右目映像Ｒｔ－１の深度を補正して（オフセット処理して）深度付与済左目映像Ｌｔ－１’’、および、深度付与済右目映像Ｒｔ－１’’をグラフィクス合成部７０３へ出力する（Ｓ１０６）。グラフィクス合成部７０３は、グラフィクス映像と本編映像とを合成し合成映像信号として出力する。
　左目映像Ｌｔ－１および右目映像Ｒｔ－１の少なくともいずれか一方が同期部７０１へ入力されていなかった場合（使用できない場合）（Ｓ１０４における「ＮＯ」）、エラー処理を行う（Ｓ１０７）。なお、エラー処理としては、表示を停止するのではなく、より以前に表示されたグラフィクス映像を再度表示してもよい。
　このように、本実施の形態の映像再生装置１２は、各時間領域においてその時間領域のグラフィクス映像の左目映像および右目映像の少なくともいずれか一方が、本編映像との合成処理に使用できない場合には、別の時間領域（別のフレーム）のグラフィクス映像に、本来その時間領域において本編映像に合成されるグラフィクス映像の深度が付与されるように深度補正して深度補正済グラフィクス映像を生成し、その深度補正済グラフィクス映像と本編映像とを合成して合成映像を出力する。そうすることで、グラフィクス映像の欠落を防止し、もって、ユーザが違和感を覚えず、かつ、深度がなめらかに変化する立体映像を提供する。
　図１１Ａは、映像ソース（ディスク２００のコンテンツのデータ）に、グラフィクスデータが２プレーンプラス１オフセット方式で記録されている場合の、各時間領域（フレーム）でのグラフィクスデコーダ５０４、同期部７０１、深度付与部７０２からのでの出力、ならびに、深度データＤ（深度決定部５０２からの出力）をまとめた図である。ここでは、深度データは、ディスク２００に、グラフィクス映像（または本編映像）１フレーム（１時間領域）毎に記録されているものとする。また、同図において、グラフィクスデコーダからの出力として実線矩形で示されているグラフィクス映像は、各時間領域における同期部７０１のグラフィクス映像出力タイミングにおいて同期部７０１が使用可能なグラフィクス映像を意味し、破線矩形で示されているグラフィクス映像は、各時間領域における同出力タイミングにおいて同期部７０１が使用不可能なグラフィクス映像を示す。
　グラフィクスデコーダ５０４は、各時間領域（ＴＤ１～ＴＤ５）において同期部７０１がグラフィクス映像を出力するタイミングに間に合うように、グラフィクス映像の左目映像（Ｌ１、Ｌ２、．．．）および右目映像（Ｒ１、Ｒ２、．．．）を出力する。図１１Ａの例では、グラフィクスデコーダ５０４は、時間領域ＴＤ４に関し、グラフィクス映像の右目映像Ｒ４（７０１）を所定のタイミングまでに出力できなかったとする。
　この場合、同期部７０１は、右目映像Ｒ４（７０１）の入力がないと判断し、時間領域ＴＤ４においては、先の時間領域ＴＤ３の（１つ前のフレームの）グラフィクス映像の左目映像Ｌ３（７０３）および右目映像Ｒ３（７０５）を出力する。
　深度決定部５０２から出力される各時間領域のグラフィクス映像の深度データをＤ１～Ｄ５で表すと、深度付与部７０２は、時間領域ＴＤ１～ＴＤ３においては、各時間領域のグラフィクス映像の左目映像Ｌ１～Ｌ３および右目映像Ｒ１～Ｒ３に対し、対応する深度データＤ１～Ｄ３を用いて深度を補正し（オフセット処理し）、深度付与されたグラフィクス映像の左目および右目映像（Ｌ１’～Ｌ３’およびＲ１’～Ｒ３’）を出力する。そして、時間領域ＴＤ４においては、グラフィクス映像Ｌ３およびＲ３に対し、時間領域ＴＤ４の深度データＤ４を用いて深度を補正し（オフセット処理し）、深度付与されたグラフィクス映像の左目および右目映像Ｌ３’’およびＲ３’’を出力する。
　以上のように、本実施の形態の映像再生装置１２は、ある時間領域（フレーム）においてグラフィクス映像が欠落した場合（使用できない場合）、別の時間領域（フレーム）のグラフィクス映像の左目映像および右目映像を、現在の時間領域で本来出力されるグラフィクス映像の深度データで深度補正し、深度補正済グラフィクス映像を出力することで、映像表示装置１１において異常なグラフィクス映像が表示されることを防止する。そうすることで、本映像再生装置１２では、本編映像との合成のタイミングに同期して同期部７０１から出力されるべき本来のグラフィクス映像が使用できないような事態が生じた場合にも、ユーザが違和感を覚えるような異常なグラフィクス映像が出力されることが防止される。さらに、グラフィクス映像のデプスは時間経過に沿ってなめらかに推移するため、なめらかに変化する立体映像を出力することが可能である。なお、深度データは、グラフィクスデータやビデオデータとは異なりデコード等が不要であるため、各時間領域の所定のタイミングにおいて深度データが欠落する可能性は極めて低いものである。仮に、深度データが利用できないような場合には、以前の時間領域のグラフィクス映像の深度データを用いて現在の時間領域のグラフィクス映像の深度データを推定してもよい。
　また、グラフィクス映像の深度情報が、フレーム毎（時間領域毎）のデータとしてディスク２００に記録されていない場合には、他の情報（例えば、本編映像の深度データ）を用いることも可能である。
　また、深度データをユーザからの入力に基づいて決定してもよい。例えば、ユーザが、表示中の映像を遠くへ押しやって消してしまうフェードアウト効果等の演出をグラフィクス映像に加えたいような場合には、ユーザから当該指示を受け取り、フラッシュメモリ２０６等に記録されているフェードアウトシーケンスから深度データを入手して利用してもよい。
　また、深度情報は、フレーム毎（時間領域毎）に記録されずとも、シーケンスとして記録されてもよい。例えば、深度情報は、毎秒１メートルで遠ざかるように、といったシーケンス情報であってもよい。このような場合であっても、各時間領域（フレーム）のグラフィクス映像の深度データは、単純な演算により求めることができるので、演算で各フレームのグラフィクス映像の深度データを算出すればよい。
　なお、本例では、ある時間領域においてグラフィクス映像の欠落が検出された場合、１つ前の時間領域の（１つ前のフレームの）グラフィクス映像を再度出力するようにしているが、再出力されるグラフィクス映像は、１つ前の時間領域のグラフィクス映像でなくともよい。２つ以上前の時間領域のグラフィクス映像を再度出力してもよい。また、利用可能であれば後の時間領域のグラフィクス映像を利用してもよい。
　２．２．４．２ｂ．１プレーンプラス１オフセット方式で記録されたグラフィクスデータから生成されるグラフィクス映像に対するデプス調整処理
　次に、グラフィクスデータが、コンテンツのデータ内に１プレーンプラス１オフセット方式で記録されている場合の処理について説明する。
　グラフィクス映像のデータが１プレーン１オフセット方式で記録されている場合、グラフィクスデコーダ５０４が出力するグラフィクス映像は、視差を有さずかつオフセットを有さない左目グラフィクス映像および右目グラフィクス映像である。（すなわち、一つのグラフィクス映像である。）つまり、図１１ＡにおいてＬｔ＝Ｒｔ（ｔ：１～５）とした場合に相当する。このような場合であっても、グラフィクスデータが２プレーンプラス１オフセット方式で映像ソースに記録されている場合と同様にして、異常なグラフィクス映像の出力を防止することが可能である。
　同期部７０１は、所定の出力タイミングまでにグラフィクス映像がグラフィクスデコーダ５０４から入力されなかった場合（使用できない場合）、先の時間領域のグラフィクス映像を利用し、当該グラフィクス映像に現在の時間領域のグラフィクス映像の深度データを用いて深度補正し（オフセット処理し）、深度補正された左目映像および右目映像を出力する。そうすることで、異常なグラフィクス映像の出力が防止され、かつ、グラフィクス映像のデプスは時間経過に沿ってなめらかに推移するため、なめらかに変化する立体映像を出力することができる。
　２．２．４．２ｃ．２プレーン方式で記録されたグラフィクスデータから生成されるグラフィクス映像に対するデプス調整処理
　最後に、グラフィクスデータが、コンテンツのデータ内に２プレーン方式で記録されている場合の処理について説明する。
　グラフィクス映像のデータが２プレーン方式で記録されている場合、グラフィクスデコーダ５０４が出力するグラフィクス映像は、視差を有しかつオフセットを有する左目グラフィクス映像および右目グラフィクス映像である。そこで、通常時（正常にグラフィクスデコーダ５０４からグラフィクス映像が送られている場合）においては、深度付与部７０２は、一般に、グラフィクス映像にオフセット処理を行わずに入力したグラフィクス映像をそのまま出力する。そして、非通常時（同期部７０１のグラフィクス映像出力タイミングにおいて当該出力タイミングのグラフィクス映像が使用できず、別の時間領域のグラフィクス映像が同期部７０１から出力される場合）、深度付与部７０２は、以下のように、現在の時間領域で本編映像に合成されるべき本来のグラフィクス映像の深度データおよび別の時間領域のグラフィクス映像の深度データを用いて当該別の時間領域のグラフィクス映像にオフセット処理を行って（深度補正して）深度補正済グラフィクス映像として出力する。
　図１１Ｂは、映像ソース（ディスク２００のコンテンツのデータ）に、グラフィクスデータが２プレーン方式で記録されている場合の、各時間領域（フレーム）でのグラフィクスデコーダ５０４、同期部７０１、深度付与部７０２からのでの出力、ならびに、深度データＤ（深度決定部５０２からの出力）をまとめた図である。同図においても、グラフィクスデコーダからの出力として実線矩形で示されているグラフィクス映像は、各時間領域における同期部７０１のグラフィクス映像出力タイミングにおいて同期部７０１が使用可能なグラフィクス映像を意味し、破線矩形で示されているグラフィクス映像は、各時間領域における同出力タイミングにおいて同期部７０１が使用不可能なグラフィクス映像を示す。
　この場合、グラフィクスデコーダ５０４から出力されるグラフィクス映像の左目映像および右目映像には、オフセットが既に付与されている。よって、深度付与部７０２は、各時間領域において同期部７０１から同時間領域の本来のグラフィクス映像が入力されるかぎりにおいて、さらなる深度補正をしなくともよい。
　図１１Ｂの例では、グラフィクスデコーダ５０４は、時間領域ＴＤ４において、グラフィクス映像の右目映像Ｒ４（７０１）を所定のタイミングまでに出力できなかったとする。
　この場合、同期部７０１は、右目映像Ｒ４（７０１）の入力がないと判断し、時間領域ＴＤ４においては、先の時間領域ＴＤ３のグラフィクス映像の左目映像Ｌ３（７０３）および右目映像Ｒ３（７０５）を所定の出力タイミングで出力する。
　深度付与部７０２は、時間領域ＴＤ４において、グラフィクス映像Ｌ３およびＲ３に対し、時間領域ＴＤ３のグラフィクス映像の深度データＤ３および時間領域ＴＤ４の本来のグラフィクス映像の深度データＤ４を用いて（Ｄ４－Ｄ３）だけ深度を補正し（オフセット処理し）、深度付与されたグラフィクス映像の左目映像Ｌ３’、および、右目映像Ｒ３’を出力する。ここで、深度の差（Ｄ４－Ｄ３）だけ深度補正が行われるのは、以下の理由による。時間領域ＴＤ３のグラフィクス映像Ｌ３およびＲ３には、既に、深度Ｄ３だけの深度補正（オフセットの付与）が行われている。そこで、深度付与部７０２は、グラフィクス映像Ｌ３およびＲ３の深度を、時間領域ＴＤ４の本来のグラフィクス映像の深度Ｄ４に補正するために、深度（Ｄ４－Ｄ３）だけ、グラフィクス映像Ｌ３およびＲ３の深度を更に補正して出力する。
　２．２．５ａ．メモリおよび同期部での処理例１
　図１２は、メモリ２０７がグラフィクス映像の左目映像および右目映像それぞれについて映像３枚分のメモリ領域を備えている場合におけるグラフィクス映像の書き込みおよび読み出し処理の例を時間軸に沿って示す図である。メモリ２０７のグラフィクスＬメモリ（Ｒメモリ）の領域１～３（領域４～６）はそれぞれ、グラフィクス映像の左目映像（右目映像）を一時的に記憶するための記憶領域である。
　例えば、時間領域ＴＤ１においては、グラフィクス領域１と、グラフィクス領域３にグラフィクス映像の左目および右目映像Ｌ２およびＲ２を描画し（書き込み）、その間に、グラフィクス領域２と、グラフィクス領域４から、グラフィクス映像Ｌ１およびＲ１が読み出されて同期部７０１へ入力され、同期部７０１から出力される。
　時間領域ＴＤ２においては、合成映像の再生タイミングと同期し時間領域が進む毎に、グラフィクス領域を切り換えることにより、グラフィクス領域２と、グラフィクス領域４にグラフィクス映像の左目および右目映像Ｌ３およびＲ３を描画し（書き込み）、その間に、グラフィクス領域１と、グラフィクス領域３から、グラフィクス映像の左目および右目映像Ｌ２およびＲ２が読み出されて同期部７０１へ入力され、同期部７０１から出力される。このように描画（書込）と出力のメモリ領域を交互に切り換えることにより、描画中の状態でグラフィクス映像が出力されることはなくなり、本編映像のタイミングに合わせて、グラフィクス映像を合成して、合成映像を出力することができる。
　ここで、時間領域ＴＤ３におけるメモリ２０７へのグラフィクス映像の書き込みに注目すれば、左目映像Ｌ４のメモリ２０７への書き込み（グラフィクスデコーダ５０４からの入力）は時間領域ＴＤ３内において完了しているが、右目映像Ｒ４のメモリ２０７への書き込みは時間領域ＴＤ４の開始点において完了していない。
　このような場合、同期部７０１は、グラフィクス映像の左目および右目の両映像の入力はないと判断し（図１０のステップＳ１０１の「ＮＯ」）、先の時間領域ＴＤ３のグラフィクス映像Ｌ３およびＲ３を再度出力する（図１０のステップＳ１０５）。
　そして、時間領域ＴＤ４においては、グラフィクス領域３および６のそれぞれに対し、時間領域ＴＤ５のグラフィクス映像の左目および右目映像Ｌ５およびＲ５の書き込みが行われる。
　２．２．５ｂ．メモリおよび同期部での処理例２
　図１３は、メモリ２０７がグラフィクス映像の左目映像および右目映像それぞれについて映像２枚分のメモリ領域を備えている場合におけるグラフィクス映像の書き込みおよび読み出し処理の例を時間軸に沿って示す図である。
　ここでも、先例と同様、時間領域ＴＤ３におけるグラフィクス映像の右目映像Ｒ４のメモリ２０７への書き込みが時間領域ＴＤ４の開点において完了していないとする。
　このような場合、先例と同様、同期部７０１は、グラフィクス映像の左目および右目の両映像の入力はないと判断し（図１０のステップＳ１０１の「ＮＯ」）、先の時間領域ＴＤ３のグラフィクス映像Ｌ３およびＲ３を再度出力する（図１０のステップＳ１０５）。
　そして、時間領域ＴＤ４においては、グラフィクス領域１および３のそれぞれに対し、時間領域ＴＤ５のグラフィクス映像の左目および右目映像Ｌ５およびＲ５の書き込みが行われる。
　２．２．５ｃ．メモリおよび同期部での処理例３
　図１４は、メモリ２０７がグラフィクス映像の左目映像および右目映像それぞれについて映像２枚分のメモリ領域を備えている場合におけるグラフィクス映像の書き込みおよび読み出し処理の別例を時間軸に沿って示す図である。
　ここでも、先例と同様、時間領域ＴＤ３におけるグラフィクス映像の右目映像Ｒ４のメモリ２０７への書き込みが時間領域ＴＤ４の開始点において完了していないとする。
　このような場合、先例と同様、同期部７０１は、グラフィクス映像の左目および右目両映像の入力はないと判断し（図１０のステップＳ１０１の「ＮＯ」）、先の時間領域ＴＤ３のグラフィクス映像Ｌ３およびＲ３を再度出力する（図１０のステップＳ１０５）。
　ただし、本例では、時間領域ＴＤ４において、直前の例のようにグラフィクス領域１および３のそれぞれに対し時間領域ＴＤ５のグラフィクス映像の左目および右目映像Ｌ５およびＲ５の書き込みは行われない。時間領域ＴＤ４においては、時間領域ＴＤ３のグラフィクス映像の左目および右目映像Ｌ３およびＲ３の再出力のみが行われる。
　そして、時間領域ＴＤ５においては、時間領域ＴＤ４のグラフィクス映像の左目および右目映像Ｌ４およびＲ４が出力されるとともに、時間領域ＴＤ６のためのグラフィクス映像の左目および右目映像Ｌ６およびＲ６の書き込みが行われ、時間領域ＴＤ６において、該映像Ｌ６およびＲ６の出力が行われる。
　このように、ある時間領域ＴＤｘにおいてグラフィクス映像の欠落が生じた場合、時間領域ＴＤｘにおいて、先の時間領域ＴＤｘ－１のグラフィクス映像の再出力を行い、時間領域ＴＤｘ＋１において、ＴＤｘのグラフィクス映像の出力を行うように同期部７０１を構成してもよい。言うまでもなく、本例のような場合であっても、深度付与部７０２は、現在の時間領域のための深度データを用いて、同期部７０１が出力するグラフィクス映像の深度補正を行えばよい。
　実施の形態１の映像再生装置１２は、立体映像である第１の映像（本編映像）と第２の映像（グラフィクス映像）とを合成して出力する映像再生装置であって、一のフレームに合成されるべき第１の映像（本編映像）と第２の映像（グラフィクス映像）を取得するビデオおよびグラフィクスデコーダ５０３および５０４と、ビデオおよびグラフィクスデコーダ５０３および５０４により取得した第１の映像と第２の映像を同期して合成することで合成映像を生成し、合成映像を出力する合成部５０５とを備え、合成部５０５は、合成映像の生成時において、ビデオおよびグラフィクスデコーダ５０３および５０４が一のフレームに合成されるべき第２の映像を取得できなかったときに、一のフレームとは別のフレームにおいて第１の映像と合成されるべき第２の映像を一のフレームに合成されるべき第１の映像と合成する。
　本実施の形態の映像再生装置は、ＢＤ－ＲＯＭ等の光ディスク（映像ソース）に収録されたコンテンツのデータから、本編映像（第１映像）と、本編映像に合成されるグラフィクス映像（第２映像（立体映像））とを生成し、両映像を合成し、合成映像を立体映像として出力することができる。本映像再生装置は、本編映像とグラフィクス映像との合成のタイミングにおいて当該合成に使用するグラフィクス映像の左目映像および右目映像の少なくともいずれか一方が使用できない場合、別の時間領域（別の合成映像フレーム）で合成に使用するグラフィクス映像の左目映像および右目映像を合成に使用する。この場合において映像再生装置は、グラフィクス映像のデプスを、当該合成において本来使用されるはずのグラフィクス映像のデプスに一致するようにグラフィクス映像の深度を補正してから、本編映像と合成し合成映像を出力する。そうすることで、本映像再生装置は、グラフィクス映像の欠落を防止するとともに、グラフィクス映像のデプスに不自然な変動が生じないようにしている。このように、本実施の形態の映像再生装置１２では、同期すべき本編映像の再生のタイミングにおいて、グラフィクス映像を用意できなかった場合であっても、以前に出力したグラフィクス映像を用いることで、異常なグラフィクス映像の出力を防止する。
　また、左目用のグラフィクス映像と右目用のグラフィクス映像のいずれかが欠落している（使用できない）場合は、以前の時間領域（合成映像フレーム）のグラフィクス映像のうちから、左目用のグラフィクス映像と右目用のグラフィクス映像の両方が揃っている（使用可能な）グラフィクス映像を用いる。これにより、左目用のグラフィクス映像と右目用のグラフィクス映像との間に視差およびオフセット以外の差違が生じることでユーザが映像に違和感を覚えることを防止する。
　さらに、第２のＡＶ処理部２０２により、ディスク２００に記録されている深度情報や、フラッシュメモリ２０６に記録されている深度情報にもとづく深度データを用いてグラフィクス映像の深度を適宜補正して出力する。これにより、以前の再生タイミングの左目用のグラフィクス映像と右目用のグラフィクス映像を用いて欠落した（使用できない）グラフィクス映像を補間した場合にも、例えば、連続的に深度が変わるようなグラフィクス映像を再生する場合であっても、立体映像として違和感を覚えるような映像を表示することなく、なめらかに深度が変化する立体映像の出力を行うことができる。
　（実施の形態２）
　映像再生装置の別の実施の形態について説明する。本実施の形態においては、字幕データのデコードが同期すべき本編映像と合成処理されるタイミングまでに用意できなかった場合に、実施の形態１におけるグラフィクス映像に対する処理と同様の処理を行い、以前に表示した字幕映像を再度表示する。字幕映像に対する深度補正は、ディスク２００に記録されている深度情報や、ユーザが入力する指示に従って行われる。なお、実施の形態２の説明においては、実施の形態１と同様の構成については同一の符号をつけ説明を適宜省略する。
　図１５は、実施の形態２の映像再生装置１２の第２のＡＶ処理部２０２のブロック図である。図１５において、字幕デコーダ５０６は、ディスク２００から入力される字幕データをデコードし、本編映像（ビデオ映像）に重畳する字幕映像を生成するデコーダである。字幕デコーダ５０６がデコードして得た字幕映像は、受け付けたユーザ操作に基づきＣＰＵ２０５が合成部５０５へ指示を送ることで、本編映像に対する重畳のオン／オフを切り換えることができる。
　このように、実施の形態２の映像再生装置１２では、字幕についても、本編映像との合成タイミングに対して、立体映像である字幕映像の左目および右目映像の両映像の生成が間に合わない時には、以前に出力した字幕映像を用いる。さらに、第２のＡＶ処理部２０２により、ディスク２００に記録されている深度情報や、フラッシュメモリ２０６に記録されている深度情報にもとづく深度データを用いて字幕映像の深度を適宜補正して出力する。そうすることにより、字幕映像の深度を時間に沿って適切に変化させることができる。例えば、字幕映像の深度が時間に沿って変化する場合にも、ユーザに違和感を覚えさせる立体映像を見せることなく、なめらかな映像再生を行うことができる。また、例えば、字幕が回転しながら遠ざかるような効果を演出する場合にも、なめらかな深度変化を実現することができる。
　（実施の形態１および２の第２のＡＶ処理部について）
　図１６は、実施の形態１および２の映像再生装置１２の第２のＡＶ処理部２０２の構成の詳細を示す図である。第２のＡＶ処理部２０２は、例えば、１つまたは２つ以上の半導体装置として構成されてよい。第２のＡＶ処理部２０２は、ディスク２００等映像ソースから３Ｄコンテンツを含んだストリームデータを入力し、第１映像の映像ストリームを第１デコーダ５５３へ出力し、第２映像の映像ストリームを第２デコーダ５５４へ出力し、ストリームデータに含まれる深度情報を深度決定部５０２へ出力するストリーム制御部５０１と、深度情報に基づいて３Ｄコンテンツの映像の深度を決定し深度データとして出力する深度決定部５０２と、第１映像の映像ストリームをデコードして第１映像（本編映像）を出力する第１デコーダ５５３と、第２映像の映像ストリームをデコードして第２映像（グラフィクス映像または字幕映像）を出力する第２デコーダ５５４と、第１映像に第２映像を同期させて合成し合成映像信号を出力する合成部５０５と、合成映像信号を出力する信号出力部５５５と、を備える。ここで、合成部５０５は、実施の形態１～３の合成部５０５と同等の機能を有する。なお、信号出力部５５５は、出力端子でよい。
　このように、実施の形態１および２の第２のＡＶ処理部２０２は、半導体装置として構成することが可能である。
　（実施の形態３）
　映像再生装置のさらに別の実施の形態について説明する。本実施の形態では、ディスク２００等の映像ソース中に深度情報が映像と別のデータとして記録されていなくても、グラフィクス映像の深度データを取得することができる映像再生装置の構成を説明する。なお、実施の形態３の説明においては、実施の形態１および２と同様の構成については同一の符号をつけ説明を適宜省略する。
　図１７は、実施の形態３の映像再生装置１２の第２のＡＶ処理部２０２のブロック図である。図１７において、深度決定用デコーダ５０７は、グラフィクスデコーダ５０４がデコードした映像の深度を決定するためのデコーダである。深度決定用デコーダ５０７は、グラフィクスデコーダ５０４から出力されたグラフィクス映像の内容から、その平均的な深度を求め、深度データとして出力する。
　ここで、グラフィクスデコーダ５０４が出力するグラフィクス映像は、立体映像であり、その立体映像の奥行き方向の距離（デプス）は、グラフィクス映像の左目および右目映像の左右方向のずれ量（オフセット量）に比例する。そこで、深度決定用デコーダ５０７は、かかるグラフィクス映像の左目および右目映像を比較することにより、両映像同士のずれ量を検出し、平均的なずれ量を深度データとして取得する。
　また、深度決定用デコーダ５０７は、深度データを推定（外挿）して求めることもできる。例えば、図１８に示すように、時間領域ＴＤ１～時間領域ＴＤ３に関し深度データＤ１～Ｄ３として算出できている場合、深度決定用デコーダ５０７は、時間領域ＴＤ４の深度値を、時間領域ＴＤ１～時間領域ＴＤ３の深度データＤ１～ｄ３から回帰的に算出することで外挿深度データＥｘＤ４として取得することができる。
　実施の形態３の映像再生装置１２は、立体映像である第１の映像（本編映像）と第２の映像（グラフィクス映像）とを合成して出力する映像再生装置であって、一のフレームに合成されるべき第１の映像（本編映像）と第２の映像（グラフィクス映像）を取得するビデオおよびグラフィクスデコーダ５０３および５０４と、ビデオおよびグラフィクスデコーダ５０３および５０４により取得した第１の映像と第２の映像を同期して合成することで合成映像を生成し、合成映像を出力する合成部５０５とを備え、合成部５０５は、合成映像の生成時において、ビデオおよびグラフィクスデコーダ５０３および５０４が一のフレームに合成されるべき第２の映像を取得できなかったときに、一のフレームとは別のフレームにおいて第１の映像と合成されるべき第２の映像を一のフレームに合成されるべき第１の映像と合成する。また、第２の映像が立体映像表示されたときの奥行きが深度情報により決定され、合成部５０５は、一のフレームに合成されるべき第１の映像と第２の映像の合成時において、ビデオおよびグラフィクスデコーダ５０３および５０４が一のフレームに合成されるべき第２の映像を取得できなかったときに、別のフレームにおいて第１の映像と合成されるべき第２の映像の内容に基づいて一のフレームに合成されるべき第２の映像に対する深度情報を求め、その求めた深度情報を用いて別のフレームにおいて第１の映像と合成されるべき第２の映像を第１の映像と合成する。
　このように、実施の形態３の映像再生装置１２では、深度決定用デコーダ５０７が、グラフィクス映像からその深度を検出し深度データとして出力する。そのため、ある時間領域での同期部７０１からのグラフィクス映像の出力タイミングまでにグラフィクス映像の生成が間に合わなかった場合には、以前の時間領域のグラフィクス映像の深度データから推定（外挿）して取得した深度データを用いて、別の時間領域（フレーム）のグラフィクス映像の深度を補正し、当該時間領域の合成タイミングにおいて本編映像と合成されるグラフィクス映像とする。そのため、グラフィクス映像の生成が同期部７０１からの出力タイミングに間に合わなかった場合であっても、本来同期部７０１から出力されるべきグラフィクス映像と類似したグラフィクス映像が適切な深度補正が施されて出力され、本編映像と合成され、合成映像信号として映像表示装置１１へ出力される。そのため、ユーザが、表示される映像に違和感を覚えない。本実施の形態の映像再生装置１２は、ディスク２００等の映像ソースに深度情報が映像とは別に記録されていなくても、異常な映像を出力することなく、なめらかに時間的に変化する立体映像の再生を実現することができる。
　図１９は、実施の形態３の映像再生装置１２の第２のＡＶ処理部２０２の構成の詳細を示す図である。第２のＡＶ処理部２０２は、例えば、１つまたは２つ以上の半導体装置として構成されてよい。第２のＡＶ処理部２０２は、ディスク２００等映像ソースから３Ｄコンテンツを含んだストリームデータを入力し、第１映像の映像ストリームを第１デコーダ５５３へ出力し、第２映像の映像ストリームを第２デコーダ５５４へ出力するストリーム制御部５０１と、第１映像の映像ストリームをデコードして第１映像（本編映像）を出力する第１デコーダ５５３と、第２映像の映像ストリームをデコードして第２映像（グラフィクス映像または字幕映像）を出力する第２デコーダ５５４と、第２デコーダ５５４が出力する第２映像の内容に基づいて当該第２映像の深度データを取得する深度決定用デコーダ５０７と、第１映像に第２映像を同期して合成し合成映像信号を出力する合成部５０５と、合成映像信号を出力する信号出力部５５５と、を備える。ここで、合成部５０５は、実施の形態１～３の合成部５０５と同等の機能を有する。なお、信号出力部５５５は、出力端子でよい。
　このように、実施の形態３の第２のＡＶ処理部２０２もまた、半導体装置として構成することが可能である。
　（変形例）
　本実施の形態１～３の映像再生装置１２は、様々に変形可能である。以下、映像再生装置１２の変形の一例について説明する。
　上記実施の形態１～３の映像再生装置１２では、ビデオ映像（本編映像）に対して、グラフィクス映像および字幕映像を合成する例を示したが、合成される映像はこれらに限定されない。ビデオ映像（本編映像）に同期して別のビデオ映像（副映像）を出力して両映像を合成するような構成も可能である。このような場合でも、本編映像および副映像は、それぞれ、左目および右目映像が対応していないと、ユーザに異常な映像として認識されてしまう。本実施の形態の映像再生装置１２によれば、左目および右目映像の対応を保ちながら当該映像の深度を補正して出力することにより、なめらかな立体映像表現が可能である。
　また、グラフィクス映像（第２映像）は、左目および右目映像が同一の映像であってもよい。その場合、深度を調整しない限りグラフィクス映像は平面的に見えるが、深度を調整することにより、グラフィクス映像に深度方向の定位を与えることができる。
　また、ユーザが指定可能な深度の例として、フラッシュメモリ２０６に記録されたシーケンスを示したが、メモリであれば、これに限らず、メモリーカードのようなものでも構わないし、メモリ２０７と同じメモリでも構わない。
　また、グラフィクス映像の深度補正に用いる深度データは、グラフィクス映像の深度情報以外の情報、例えば、本編映像の深度情報を使ってもよい。その場合であっても、同等の効果を奏することが可能である。
　また、ある時間領域で本来出力されるグラフィクス映像の左目および右目映像の両方が使用可能である場合であっても、定常的にオフセット処理をして深度補正を行ってよい。
　また、グラフィクス映像の用意が間に合わない時に使用する別の時間領域のグラフィクス映像は、一つ前の時間領域のグラフィクス映像でなくても構わない。
　上記実施の形態では、映像ソースとしてＢＤ－ＲＯＭに記録されたコンテンツを例に挙げているが、映像ソースは、ＢＤ－ＲＯＭに限定されず、放送波、その他の光ディスク、ハードディスク、といった映像ソース媒体の全てを含む。
　上記実施の形態では、本編映像（第１映像）と、グラフィクス映像または字幕映像（第２映像）は、同一の映像ソース（コンテンツ）に含まれる映像データから生成されるが、第１映像の映像ソースと第２映像の映像ソース（コンテンツ）は互いに異なってもよい。
　上記実施の形態では、第１映像は、あるコンテンツの本編映像としているが、第１映像はそれに限定されず任意の映像であってよい。また、立体映像である第２映像もまた字幕映像またはグラフィクス映像に限定されずに任意の映像であってよい。
　上記実施の形態では、第１映像は、立体映像であっても、非立体映像であってもよい。実施の形態の映像再生装置は、第１映像に対し、立体映像である第２映像を合成し、合成映像を立体映像として出力することができる。
　立体映像である第２映像は、映像ソースにおいて、２プレーン方式、２プレーンプラス１オフセット方式、１プレーンプラス１オフセット方式といった任意の方式で記録されてよい。
　本実施の形態の映像再生装置１２は、ＢＤ－ＲＯＭなどの光ディスクに限らず、テレビジョンや、ゲーム機など、映像やグラフィクスを重ねて立体映像を表示する用途における立体映像再生装置に適用できる。
　また、実施の形態の映像再生装置は、フレームシーケンシャル方式で立体映像信号を送出するが、立体映像信号の方式はこれに限定されず、任意の方式でよい。
　なお、立体映像信号は、１フレーム分の映像信号として左目映像（左目用の映像）と右目映像（右目用の映像）とを含んでなる映像信号でもよい。しかしながら、本実施の形態の映像再生装置では、立体映像信号のフォーマット等に特に制限はない。
　（まとめ）
　以上、各実施の形態の映像再生装置１２は、第１映像に対し、第２映像（（立体）グラフィクス映像）を合成（重畳）可能である。当該合成に際し、映像再生装置１２は、第１映像と第２映像との間の同期をとって合成する。第２映像（（立体）グラフィクス映像）に欠落があった場合、映像再生装置１２は、別の時間領域（フレーム）の第２映像を現在の時間領域（フレーム）の第２映像の深度データで深度補正して出力する。
　なお、実施の形態１および３のグラフィクス映像、実施の形態２の字幕映像は、立体グラフィクスス映像の一例である。
　これにより、グラフィクス映像に欠落があった場合でも、途切れることなくなめらかに変化するグラフィクス映像をユーザに提示することができる。
　また、映像再生装置１２は、立体グラフィクス映像の左目グラフィクス映像と右目グラフィクス映像の少なくともいずれか一方が使用できない場合に、その時間領域（フレーム）の前の時間領域（フレーム）の立体グラフィクス映像の左目グラフィクス映像および右目グラフィクス映像を用いてその欠落期間を補間して出力する。
　これにより、左目グラフィクス映像と右目グラフィクス映像のいずれかが使用できない場合にも、左目グラフィクス映像と右目グラフィクス映像とに視差、オフセット以外のずれが生じてユーザが映像に違和感を覚えることを防止する。
　本実施の形態の映像再生装置は、複数の映像が合成されてなる立体映像を再生する映像再生装置として有用である。
　１１　　映像表示装置
　１２　　映像再生装置
　１３　　立体メガネ
１０１　　第１の入出力部
１０２　　第１のＡＶ処理部
１０３　　表示部
１０４　　第１のリモコン信号受信部
１０５　　送信部
２００　　ディスク
２０１　　ディスクドライブ部
２０２　　第２のＡＶ処理部
２０３　　第２の入出力部
２０４　　第２のリモコン信号受信部
２０５　　ＣＰＵ
２０６　　フラッシュメモリ
２０７　　メモリ
５０１　　ストリーム制御部
５０２　　深度決定部
５０３　　ビデオデコーダ
５０４　　グラフィクスデコーダ
５０５　　合成部
５０６　　字幕デコーダ
５０７　　深度決定用デコーダ
７００　　グラフィクス信号取得部
７０１　　同期部
７０２　　深度付加部
７０３　　グラフィクス合成部

Claims (6)

  1. 　立体映像である第１の映像と第２の映像とを合成して出力する映像再生装置であって、
    　一のフレームに合成されるべき第１の映像と第２の映像を取得する取得手段と、
    　前記取得手段により取得した第１の映像と第２の映像を同期して合成することで合成映像を生成し、前記合成映像を出力する合成手段とを備え、
    　前記合成手段は、前記合成映像の生成時において、前記取得手段が前記一のフレームに合成されるべき第２の映像を取得できなかったときに、前記一のフレームとは別のフレームにおいて第１の映像と合成されるべき第２の映像を前記一のフレームに合成されるべき第１の映像と合成する、
    映像再生装置。
  2. 　前記第２の映像が立体映像表示されたときの奥行きが深度情報により決定され、
    　前記合成手段は、前記一のフレームに合成されるべき第１の映像と第２の映像の合成時において、前記取得手段が前記一のフレームに合成されるべき第２の映像を取得できなかったときに、前記一のフレームに合成されるべき第２の映像に対する深度情報を用いて前記別のフレームにおいて第１の映像と合成されるべき第２の映像を第１の映像と合成する、
    請求項１記載の映像再生装置。
  3. 　前記第２の映像が立体映像表示されたときの奥行きが深度情報により決定され、
    　前記合成手段は、前記一のフレームに合成されるべき第１の映像と第２の映像の合成時において、前記取得手段が前記一のフレームに合成されるべき第２の映像を取得できなかったときに、前記別のフレームにおいて第１の映像と合成されるべき第２の映像の内容に基づいて前記一のフレームに合成されるべき第２の映像に対する深度情報を求め、その求めた深度情報を用いて前記別のフレームにおいて第１の映像と合成されるべき第２の映像を第１の映像と合成する、
    請求項１記載の映像再生装置。
  4. 　前記第２の映像はグラフィックス映像または字幕映像である、請求項１記載の映像再生装置。
  5. 　立体映像である第１の映像と第２の映像とを合成して出力する半導体装置であって、
    　一のフレームに合成されるべき第１の映像と第２の映像を取得する取得手段と、
    　前記取得手段により取得した第１の映像と第２の映像を同期して合成することで合成映像を生成する合成手段と、
    　前記合成映像を出力する信号出力手段とを備え、
    　前記合成手段は、前記合成映像の生成時において、前記取得手段が前記一のフレームに合成されるべき第２の映像を取得できなかったときに、前記一のフレームとは別のフレームにおいて第１の映像と合成されるべき第２の映像を前記一のフレームに合成されるべき第１の映像と合成する、
    半導体装置。
  6. 　映像再生装置において立体映像である第１の映像と第２の映像とを合成して出力する映像再生方法であって、
    　取得手段が、一のフレームに合成されるべき第１の映像と第２の映像を取得するステップと、
    　合成手段が、前記取得するステップにより取得した第１の映像と第２の映像を同期して合成することで合成映像を生成し、前記合成映像を出力するステップとを備え、
    　前記合成手段は、前記合成映像の生成時において、前記取得手段が前記一のフレームに合成されるべき第２の映像を取得できなかったときに、前記一のフレームとは別のフレームにおいて第１の映像と合成されるべき第２の映像を前記一のフレームに合成されるべき第１の映像と合成する、
    映像再生方法。
PCT/JP2010/004934 2009-08-05 2010-08-05 映像再生装置 WO2011016240A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US13/388,708 US20120128327A1 (en) 2009-08-05 2010-08-05 Video reproducing device
EP10806240A EP2464129A4 (en) 2009-08-05 2010-08-05 VIDEO PLAYBACK DEVICE
CN2010800339078A CN102474663A (zh) 2009-08-05 2010-08-05 影像再现装置
JP2011525793A JPWO2011016240A1 (ja) 2009-08-05 2010-08-05 映像再生装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009182151 2009-08-05
JP2009-182151 2009-08-05

Publications (1)

Publication Number Publication Date
WO2011016240A1 true WO2011016240A1 (ja) 2011-02-10

Family

ID=43544149

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/004934 WO2011016240A1 (ja) 2009-08-05 2010-08-05 映像再生装置

Country Status (6)

Country Link
US (1) US20120128327A1 (ja)
EP (1) EP2464129A4 (ja)
JP (1) JPWO2011016240A1 (ja)
CN (1) CN102474663A (ja)
TW (1) TW201123844A (ja)
WO (1) WO2011016240A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012118231A1 (en) * 2011-03-02 2012-09-07 Sharp Kabushiki Kaisha Method and device for displaying a pair of stereoscopic images
CN103517062A (zh) * 2012-06-15 2014-01-15 晨星软件研发(深圳)有限公司 影像的同步方法及其装置
WO2018079081A1 (ja) * 2016-10-25 2018-05-03 ソニーセミコンダクタソリューションズ株式会社 表示制御装置、電子機器、表示制御装置の制御方法、および、プログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9341464B2 (en) 2011-10-17 2016-05-17 Atlas5D, Inc. Method and apparatus for sizing and fitting an individual for apparel, accessories, or prosthetics
WO2013058985A1 (en) 2011-10-17 2013-04-25 Kimmel Zebadiah M Method and apparatus for detecting deterioration of health status
US9817017B2 (en) * 2011-10-17 2017-11-14 Atlas5D, Inc. Method and apparatus for monitoring individuals while protecting their privacy
TWI520577B (zh) * 2012-08-10 2016-02-01 晨星半導體股份有限公司 立體影像輸出裝置與相關的立體影像輸出方法
CN103686116B (zh) * 2012-09-04 2016-04-20 晨星软件研发(深圳)有限公司 立体影像输出装置与相关的立体影像输出方法
US9600993B2 (en) 2014-01-27 2017-03-21 Atlas5D, Inc. Method and system for behavior detection
KR102237479B1 (ko) * 2014-06-03 2021-04-07 (주)아이리스아이디 홍채 인식 단말기 및 방법
US10013756B2 (en) 2015-03-13 2018-07-03 Atlas5D, Inc. Methods and systems for measuring use of an assistive device for ambulation

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0750782A (ja) * 1993-08-06 1995-02-21 Mitsubishi Electric Corp 字幕信号復調回路
JPH11164329A (ja) * 1997-11-27 1999-06-18 Toshiba Corp 立体映像表示装置
JP2002074393A (ja) * 2000-05-31 2002-03-15 Sony Computer Entertainment Inc 画像描画方法、画像描画装置、記録媒体及びプログラム
JP2006084964A (ja) 2004-09-17 2006-03-30 Seiko Epson Corp 立体画像表示装置
JP2008016946A (ja) * 2006-07-03 2008-01-24 Matsushita Electric Ind Co Ltd 映像再生装置、映像再生方法および映像再生プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1558664A (zh) * 2004-01-17 2004-12-29 上海交通大学 一种高清晰数字电视节目字幕与背景图像的合成方法
JP3746506B2 (ja) * 2004-03-08 2006-02-15 一成 江良 立体視化パラメータ埋込装置及び立体視画像再生装置
JP4730183B2 (ja) * 2006-04-17 2011-07-20 株式会社日立製作所 映像表示装置
US20080226128A1 (en) * 2007-03-12 2008-09-18 Conversion Works, Inc. System and method for using feature tracking techniques for the generation of masks in the conversion of two-dimensional images to three-dimensional images
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
US8471898B2 (en) * 2008-02-05 2013-06-25 Disney Enterprises, Inc. Medial axis decomposition of 2D objects to synthesize binocular depth

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0750782A (ja) * 1993-08-06 1995-02-21 Mitsubishi Electric Corp 字幕信号復調回路
JPH11164329A (ja) * 1997-11-27 1999-06-18 Toshiba Corp 立体映像表示装置
JP2002074393A (ja) * 2000-05-31 2002-03-15 Sony Computer Entertainment Inc 画像描画方法、画像描画装置、記録媒体及びプログラム
JP2006084964A (ja) 2004-09-17 2006-03-30 Seiko Epson Corp 立体画像表示装置
JP2008016946A (ja) * 2006-07-03 2008-01-24 Matsushita Electric Ind Co Ltd 映像再生装置、映像再生方法および映像再生プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012118231A1 (en) * 2011-03-02 2012-09-07 Sharp Kabushiki Kaisha Method and device for displaying a pair of stereoscopic images
CN103517062A (zh) * 2012-06-15 2014-01-15 晨星软件研发(深圳)有限公司 影像的同步方法及其装置
WO2018079081A1 (ja) * 2016-10-25 2018-05-03 ソニーセミコンダクタソリューションズ株式会社 表示制御装置、電子機器、表示制御装置の制御方法、および、プログラム
US10867587B2 (en) 2016-10-25 2020-12-15 Sony Semiconductor Solutions Corporation Display control apparatus, electronic equipment, and control method of display control apparatus

Also Published As

Publication number Publication date
TW201123844A (en) 2011-07-01
US20120128327A1 (en) 2012-05-24
JPWO2011016240A1 (ja) 2013-01-10
EP2464129A1 (en) 2012-06-13
EP2464129A4 (en) 2012-08-01
CN102474663A (zh) 2012-05-23

Similar Documents

Publication Publication Date Title
WO2011016240A1 (ja) 映像再生装置
EP2380357B1 (en) Method and device for overlaying 3d graphics over 3d video
JP4959830B2 (ja) 映像再生装置
JP5357317B2 (ja) 立体視映像再生装置
CN103024408B (zh) 立体图像转换装置和方法、立体图像输出装置
WO2011135857A1 (ja) 画像変換装置
JP4875127B2 (ja) 三次元画像処理装置
JP2011172216A (ja) 再生装置
US8704876B2 (en) 3D video processor and 3D video processing method
JP5066244B2 (ja) 映像再生装置及び映像再生方法
EP2408214A2 (en) Playback apparatus, playback method, and program
JP5400467B2 (ja) 映像出力装置、その制御方法、及びプログラム
WO2012014489A1 (ja) 映像信号処理装置及び映像信号処理方法
JP2011035858A (ja) 映像処理装置
JP2011114378A (ja) 映像表示システム及びその制御方法
WO2012017687A1 (ja) 映像再生装置
JP5422597B2 (ja) 三次元映像処理装置
WO2011074070A1 (ja) 画像出力装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080033907.8

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10806240

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13388708

Country of ref document: US

Ref document number: 2011525793

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2010806240

Country of ref document: EP