WO2011055674A1 - 受信装置、送信装置、通信システム、表示制御方法、プログラム、及びデータ構造 - Google Patents

受信装置、送信装置、通信システム、表示制御方法、プログラム、及びデータ構造 Download PDF

Info

Publication number
WO2011055674A1
WO2011055674A1 PCT/JP2010/069154 JP2010069154W WO2011055674A1 WO 2011055674 A1 WO2011055674 A1 WO 2011055674A1 JP 2010069154 W JP2010069154 W JP 2010069154W WO 2011055674 A1 WO2011055674 A1 WO 2011055674A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
frame
video signal
identification information
switching
Prior art date
Application number
PCT/JP2010/069154
Other languages
English (en)
French (fr)
Inventor
塚越　郁夫
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to BRPI1006042A priority Critical patent/BRPI1006042A2/pt
Priority to ES10828234T priority patent/ES2868358T3/es
Priority to EP10828234.4A priority patent/EP2498500B1/en
Priority to US13/142,336 priority patent/US8872890B2/en
Priority to CN2010800067393A priority patent/CN102308588A/zh
Publication of WO2011055674A1 publication Critical patent/WO2011055674A1/ja
Priority to US14/484,915 priority patent/US10051226B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/46—Receiver circuitry for the reception of television signals according to analogue transmission standards for receiving on more than one standard at will
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]

Definitions

  • the present invention relates to a receiving device, a transmitting device, a communication system, a display control method, a program, and a data structure.
  • the main program may be transmitted as 3D video
  • the CM may be transmitted as 2D video.
  • the present invention has been made in view of the above problems, and an object of the present invention is to realize an appropriate display immediately after switching when a video signal including a stereoscopic video is switched. It is to provide a receiving device, a transmitting device, a communication system, a display control method, a program, and a data structure that can be used.
  • a decoding processing unit that decodes a video signal received from the outside and a layer corresponding to each frame of the video signal include two-dimensional or three-dimensional video.
  • a receiving apparatus comprising: an identification information acquisition unit that acquires identification information including a format related to a video signal; and a processing unit that performs processing for image display using the video signal based on the identification signal.
  • the processing unit performs spatial or temporal scaling of video data based on the video signal based on the identification signal, and when the video format is switched, the scaling is performed in accordance with the switching timing.
  • a scaling unit that switches parameters for the purpose may be included.
  • the identification information includes offset information indicating a timing at which switching of a 3D format of a video occurs or a timing at which switching of a 3D video and a 2D video occurs, and the scaling unit is based on the offset information.
  • the process for switching the parameter may be started before the timing at which the switching occurs.
  • the identification information includes offset information indicating a timing at which switching of a 3D format of a video occurs or a timing at which switching of a 3D video and a 2D video occurs, and the scaling unit is based on the offset information.
  • the identification information may include information representing at least one of a side-by-side method, a top-and-bottom method, and a frame sequential method as the three-dimensional format.
  • the identification information includes information indicating whether a spatial or temporal phase is the same phase or a different phase for each of the two views for the left eye and the right eye in the three-dimensional format. It may be.
  • the scaling unit may perform a process of expanding the video decoded by the decoding processing unit in a screen vertical direction or a screen horizontal direction as the spatial scaling.
  • the scaling unit may perform a copy or interpolation process of video frames arranged in time series as the temporal scaling.
  • the identification information may include information for prohibiting the conversion of the video format.
  • At least a two-dimensional or three-dimensional image is provided on an encoding processing unit that encodes a video signal and a layer corresponding to each frame of the video signal.
  • a transmission apparatus comprising: an identification information insertion unit that inserts identification information including a format related to the above; and a transmission unit that transmits a video signal in which the identification information is inserted.
  • an encoding processing unit that encodes a video signal, and a format related to a two-dimensional or three-dimensional format of a video on a layer corresponding to each frame of the video signal
  • An identification information insertion unit that inserts identification information including: a transmission unit that transmits a video signal in which the identification information is inserted; a decoding processing unit that decodes a video signal received from the transmission device; An identification information acquisition unit that acquires identification information including a format related to two-dimensional or three-dimensional video from a layer corresponding to each frame of the video signal; and for displaying an image by the video signal based on the identification signal
  • a communication system including a receiving device including a processing unit that performs the process.
  • a step of decoding a video signal received from the outside and a layer corresponding to each frame of the video signal from a two-dimensional or three-dimensional video comprising: obtaining identification information including a format related to: and performing processing for image display by the video signal based on the identification signal.
  • a means for decoding a video signal received from outside, a layer corresponding to each frame of the video signal, and a two-dimensional or three-dimensional video There is provided a program for causing a computer to function as means for obtaining identification information including a format, and means for performing processing for image display using the video signal based on the identification signal.
  • a data structure of a digital broadcast signal including a video signal related to content to be broadcast, and a layer corresponding to each frame of the video signal
  • Digital broadcast signal data for inserting identification information including a format related to two-dimensional or three-dimensional video, and for causing the receiving apparatus to function as means for performing image display processing based on the video signal based on the identification information A structure is provided.
  • an appropriate display can be realized immediately after switching.
  • FIG. 1 is a schematic diagram illustrating a configuration example of the receiving device 100.
  • the receiving apparatus 100 is a television receiver that receives terrestrial digital broadcasts.
  • the receiving apparatus 100 receives and decodes a bit stream of a stereoscopic video (3D video) composed of a left-eye video and a right-eye video. Displayed on the display panel.
  • the receiving apparatus 100 receives a normal two-dimensional video (2D video) bit stream, combines it, and displays it on the display panel.
  • 3D video stereoscopic video
  • 2D video normal two-dimensional video
  • the transmission apparatus switches between 3D and 2D video and transmits them according to the video source.
  • the main part of the program is transmitted as 3D video
  • the CM inserted between the main parts is transmitted as 2D video.
  • the transmission apparatus may switch 3D video of different formats (systems) as appropriate.
  • the 3D video format include a side-by-side format, a top-and-bottom format, and a frame sequential format.
  • time information until switching is entered in a container layer such as a time stamp (TS)
  • the time information depends on the time stamp, and therefore a direct time relationship with video V synchronization is directly associated. I could't.
  • time stamps are not always attached to all pictures, it is difficult to control switching accurately in synchronization with video frames.
  • the time offset parameter until switching is basically inserted at a position corresponding to the picture header in the codec layer.
  • the timing of the video signal can be processed for each frame.
  • the timing and position (Position) of the image L for the left eye and the image R for the right eye are inserted as other parameters.
  • the decoded pictures can be displayed in the correct order.
  • SEI Supplemental enhancement information; user data
  • identification information is inserted for each frame, a direct relationship with the 3D video format is taken, and switching timing management in the video cycle can be easily performed.
  • These pieces of information are inserted into the picture header of the bit stream.
  • the information is additionally inserted into a sequence parameter (sequence header), a picture parameter corresponding to a GOP unit, and the like. Also good.
  • parameters such as time offset can be acquired without looking at information of higher layers.
  • the codec is not only MPEG4 AVC but also MPEG2 video, VC-1 and MPEG4 Visual.
  • 2D and 3D contents are mixed in a single stream, and when 2D is converted into 3D format and sent, is the format before return on the display side 2D? A flag is provided so that the difference between 3D can be identified.
  • the receiving device 100 includes a header parser 102, an elementary decoder 104, a back end processor 106, and a control unit 110.
  • the configuration shown in FIG. 1 can be configured by a circuit (hardware) or a CPU (central processing unit) and a program (software) for functioning this.
  • the program can be stored in a memory included in the receiving apparatus 100 or an external storage medium.
  • the header parser 102 detects that 3D is included in the stream received from the transmission device, and notifies the control unit 110 of it.
  • the elementary decoder 104 decodes the video data of the stream received from the transmission device and outputs the decoded video data to the back-end processor 106.
  • the elementary decoder 104 detects 3D_Type information in the biostream, and notifies the control unit 110 of the image size, the frame structure, and the frame frequency together with the Picture_type information.
  • the elementary decoder 104 adds the time stamp to the above information and notifies the control unit 110 of the time stamp.
  • the control unit 110 specifies a picture to be displayed from the output buffer of the decoder according to the time stamp order or according to Picture_Type, and notifies the back-end processor 106 of the picture.
  • the back-end processor 106 determines the output order of each picture extracted from the buffer in which the decoded data is stored, and outputs it to the subsequent stage. For example, since a reorder occurs when an MPEG-4 AVC B picture is decoded, the back-end processor 106 designates the output order of each frame according to an instruction from the control unit 110.
  • control unit 110 notifies the back-end processor 106 of 3D_Type of the corresponding video data, image size, and frame structure information, and performs temporal processing such as necessary spatial scaling or deinterlacing. Is specified. Then, during the countdown by the frame countdown (FrameCountDown), a time until switching (number of frames) and 3D_Type to be newly switched are designated according to the value.
  • the back-end processor 106 prepares a spatial and temporal scaling process mainly according to 3D_Type and 2D_Type and a memory configuration so that smooth process switching is possible.
  • the back-end processor 106 interleaves the decoded image data of the left-eye image L and the right-eye image R in the time direction as processing unique to the 3D video, and performs processing so as to be suitable for the 3D display system. Do. Alternatively, the back-end processor 106 interleaves the left-eye image L and the right-eye image R for each line in the screen vertical direction, and performs processing so as to be suitable for the 3D display system. Both of these display methods require 3D glasses, but there are also display devices with the naked eye as already known.
  • FIG. 2 is a schematic diagram illustrating an example in which switching of 3D_Type occurs, and illustrates a case where 3D_Type switches from the top-and-bottom method to the frame sequential method.
  • FIG. 2 shows a state in which the frame changes in time series from # 1 to # 7.
  • information of the frame countdown value (FrameCountDown), 3D type reset flag (3D_Type_Reset_flag), 3D type (3D_Type), and the next 3D type after switching (Next_3D_type_after_reset) is added to the stream sync syntax of the codec layer.
  • the receiving apparatus 100 acquires these pieces of information for each frame.
  • the frame countdown value is a value indicating the number of frames until switching.
  • switching is not specified in the # 1 frame, and the frame countdown value of the # 1 frame is 0xFF. Therefore, when the data # 1 is received, it is not recognized that the switching is performed.
  • the countdown value is 2. This indicates that switching is performed when two frames elapse from the frame # 2.
  • the frame countdown value decreases by 1 in subsequent frames # 3 and # 4, and becomes 0 in frame # 4 immediately before switching.
  • the 3D type reset flag is a flag indicating that a 3D type reset is performed.
  • 3D type reset flag is set to 0
  • 3D type reset is not performed, and the same 3D type is indicated in the next frame.
  • the 3D type reset flag is set to 1
  • the 3D type is reset in the frame, the 3D type up to the current frame ends, and the next frame becomes a different 3D type.
  • 3D type is information representing the 3D type of the current frame.
  • the 3D type is 000100. As will be described later, this 3D type indicates that the 3D system of the current frame is a top-and-bottom system.
  • the 3D type is 000000, and this 3D type indicates that the 3D system of the current frame is the conventional 2D system.
  • the next frame type is information indicating the frame type after reset.
  • the 3D type reset is performed, the 3D type after switching to the next frame type is indicated. For example, when the frame countdown value is set to 2 in frame # 2, frame reset is performed after 2 frames, so that 000000 representing conventional 2D is designated as the next frame type. At the stage of frame # 1, the frame countdown value is 0x00, and it is not shown that 3D type switching occurs thereafter, so the next frame type is set to xxx.
  • the 3D type is specified as 000000, indicating that the 3D data of the current frame is the conventional 2D format. Further, since the frame countdown value is set to 0xFF and the 3D type reset flag is set to 0, it is not shown that 3D type switching occurs thereafter. Then, since it is not shown that the next switching occurs, the next frame type is set to xxxxxxxx.
  • the information of the frame countdown value, 3D type reset flag, 3D type, and next 3D type is added to the stream sync syntax of the codec layer of each frame. Therefore, the receiving apparatus 100 can acquire the 3D type of the current frame, and can acquire in advance whether or not the 3D type is switched next and the timing until the switching of the 3D type. Accordingly, preparation for scaler processing and preparation for memory configuration change can be performed in advance according to switching.
  • FIG. 3 is a schematic diagram showing an outline of identification information added to the stream sync syntax of the codec layer of each frame.
  • an 8-bit 3D format signaling ID is added to the stream sync syntax as user data, a 3D type reset flag (1 bit), a conversion prohibition flag (1 bit), a reserved (6 bits), and a frame countdown.
  • a value (Frame_Countdown_to_reset; 8 bits), 3D type (6 bits), view copy (View_copy; 1 bit), L_First_flag (1 bit), next 3D type (6 bits), and Reference_Dependency (2 bits) are added.
  • the 3D format signaling ID is generally user data, and corresponds to the user definition in SEI in MPEG4-AVC.
  • Each of the above data can be added in the same manner as the buffering period SEI, picture timing SEI, etc. defined by MPEG, and is added to each of all frames.
  • these pieces of information will be described in detail.
  • FIG. 4 is schematic diagrams illustrating details of information added to the stream sync syntax of the codec layer of each frame.
  • the 3D type reset flag is 1
  • the current 3D type is reset in the current frame
  • the 3D type reset flag is 0, the current 3D type is maintained.
  • the frame countdown value indicates a time offset value until the 3D type reset.
  • the 3D type reset flag is set to 1.
  • the value is set to 0xFF.
  • 3D type information As shown in FIG. 5 and FIG. 6, various methods other than the side-by-side method and the frame sequential method shown in FIG. 2 are designated as 3D type information.
  • 100000 and 100001 indicate that the 3D data is a field sequential progressive, and 100000 indicates the 1st view and 100001 indicates the 2nd view.
  • one of the 1st view and the 2nd view is the left-eye image L, and the other is the right-eye image R.
  • L_First_Flag which will be described later.
  • 110000, 110001, 110010, and 110011 indicate cases where 3D data is a frame-based field sequential interlace.
  • 11000 indicates that the top field is the first view of the first field of the frame pair and the bottom field is the second view of the first field.
  • 110000 corresponds to FIG. 110001 indicates that the top field is the first view of the second field of the frame pair, and the bottom field is the second view of the second field.
  • 110001 corresponds to FIG. 110010 indicates that the top field is the first view of the first field of the frame pair and the bottom field is the second view of the second field.
  • 110010 corresponds to FIG. 110011 indicates that the top field is the first view of the second field of the frame pair, and the bottom field is the second view of the first field.
  • 110011 corresponds to FIG.
  • 010000,010001 indicates that the 3D data is in the field sequential system
  • 010000 indicates the 1st view of the 1st field
  • “010001” indicates a 2nd view of the 1st field.
  • 010010 and 010011 indicate that the 3D data is in the field sequential system, and 010000 indicates the 1st view of the 2nd field.
  • 010011 indicates a 2nd view of a 2nd field.
  • 010000, 010001, 010010, and 010011 correspond to FIGS. 15A, 15B, 15C, and 15D, respectively.
  • 001000 and 000001 indicate the side-by-side method, indicating that the left side is the 1st view and the right side is the 2nd view.
  • 001000 indicates that the left side and the right side are the same sampling position, and the sampling position is an even row of pixels.
  • 00101 indicates that the left side and the right side are the same sampling position, and the sampling position is an odd number of pixels (odd pixels).
  • 001000 and 000001 correspond to FIGS. 16A and 16B, respectively.
  • 001010 and 001011 indicate a side-by-side method, in which the left side is a 1st view and the right side is a 2nd view.
  • 001010 is a sampling position (alternative sampling position) where the left side and the right side are different, and indicates that the 1st view is an even-numbered row pixel and the 2nd view is an odd-numbered row pixel.
  • 001011 is a sampling position where the left side and the right side are different, and indicates that the 1st view is an odd-numbered row pixel and the 2nd view is an even-numbered row pixel.
  • 001000 and 000001 correspond to FIGS. 16C and 16D, respectively.
  • 000100,000101 indicates a top-and-bottom method, in which the upper side is the 1st view and the lower side is the 2nd view. Of these, 000100 is the same sampling position on the upper side and the lower side, and both the 1st view and the 2nd view are sampled on even lines. 000101 indicates that the upper side and the lower side are different sampling positions (alternative sampling position). The 1st view is sampled with an even number of lines, and the 2nd view is sampled with an odd number of lines (odd lines). . 000100,000101 correspond to FIGS. 17A and 17B, respectively.
  • 000110 and 000111 indicate a top-and-bottom method, in which the upper side is the 1st view and the lower side is the 2nd view. Of these, 000110 is a sampling position where the upper side and the lower side are different, wherein the 1st view is sampled in odd rows and the 2nd view is sampled in even rows. Reference numeral 000111 indicates that the upper side and the lower side are different sampling positions, and both the 1st view and the 2nd view are sampled in odd rows. 000110 and 000111 correspond to FIGS. 17C and 17D, respectively.
  • the sample phase is the same or assigned as a different phase in the spatial phase, particularly in the horizontal subsample. Accordingly, for example, when two views are spatially interleaved by the side-by-side method, it is possible to increase the horizontal spatial resolution of a portion with a small amount of parallax by using a different spatial phase. In addition, in the sub-sample in the vertical direction, it can be specified whether the sample phase is the same or assigned as a different phase. Accordingly, when spatially interleaving two views in the top-and-bottom method, it is possible to increase the vertical spatial resolution of a portion with less parallax by using a different spatial phase. According to the 3D type setting as described above, the image quality improvement effect can be realized by selectively designating and encoding the 3D type at the time of each format transmission.
  • the 3D format is not specified and the video data is 2D.
  • the information of 3D type (6 bits) shown in FIG. 4 is not added, it is handled as 2D data on the receiving apparatus 100 side.
  • the 3D format may be Frame Sequential or Field Sequential (Field Sequential), side-by-side (SideBySide), top-and-bottom (Top & Bottom), or 2D. Note that 3D types other than the above may not be accepted on the receiving side.
  • the view copy information shown in FIG. 4 is information indicating whether or not a 3D frame pair (first view, second view) is created by copying.
  • the view copy is 1, it is indicated that the 2nd view is a copy of the 1st view.
  • the receiving apparatus 100 handles the data as 2D data.
  • the view copy is 0, it is indicated that the 1st view and the 2nd view are independent data, and in this case, the receiving apparatus can recognize that the data is 3D data.
  • FIG. 7 is a schematic diagram showing other information added to the sync tax.
  • L_First_Flag is a flag indicating which one of the first view and the second view is the left-eye image L or the right-eye image R. When L_First_Flag is 1, it is indicated that the 1st view is the image L for the left eye, and when L_First_Flag is 0, it is indicated that the 1st view is the image R for the right eye.
  • the next 3D type is information indicating the 3D type after switching as described above, and is specified in the same manner as the 3D type.
  • Reference_Dependency is data indicating whether or not motion compensation reference data such as MPEG straddles between frames.
  • Reference_Dependency 10
  • the frame of the 1st view uses only the frame of the other 1st view as the reference data, and the frame of the 1st view does not use the frame of the 2nd view as the reference data.
  • there is no restriction for the 2nd view and the frame of the 2nd view can use the frame of the 1st view or another 2nd view as reference data.
  • the 2nd view uses only the other 2nd view as reference data and does not refer to the 1st view.
  • the frame of the 1st view can use the other 1st view or the frame of the 2nd view as reference data.
  • the information shown in FIGS. 3 to 7 is inserted into the SEI of MPEG4 AVC.
  • it can be similarly inserted at locations corresponding to each frame unit of the video signal.
  • switching can be performed in synchronization with the video signal by inserting information in units of each frame in the video signal layer.
  • MPEG2 video H.262 ISO / IEC IS13818.2 Information Technology-Generic Coding of Moving Picture and Associated Audio Information: Video
  • it can be placed in the User data area of the picture header defined in the same format. Even in this case, data may be further inserted into the sequence header, slice header, or macroblock header.
  • FIG. 8 is a schematic diagram illustrating a case where the video is switched from 3D to 2D.
  • the upper part of FIG. 8 schematically shows data for each frame received by the receiving apparatus.
  • 100000 and 100001 are alternately designated as 3D types, and the frame sequential method is used.
  • Progressive data is sent at a frequency of 60 [Hz].
  • 2D data is transmitted at a frequency of 30 Hz.
  • the 3D type is designated as 000000 (Non-3D format).
  • each frame data (Decoded Frames) output from the decoder 104 and the frame data (BackEnd Proc out) output from the back-end processor 106 are schematically shown.
  • the lower part of FIG. 8 schematically shows a state viewed from the upper side of the frame. From the decoder 104, data of each frame is output at a frequency of 60 [Hz] up to the frame # 6, and frames after # 7 are output at a frequency of 30 [Hz].
  • the back-end processor 106 receives the output of the decoder 104 and outputs the frames # 1 to # 6 to the display panel at a frequency of 120 [Hz]. Further, the back-end processor 108 performs temporal scaling for the frames after # 7, converts them into 120 [Hz] data, and outputs them to the display panel. Specifically, for example, by performing an interpolation process between frames # 7 and # 8, a frame # 7-8 is generated, and by performing an interpolation process between frames # 8 and # 9, # 8 -9 frames are generated. As another method, the # 7-8 frame may be copied as the # 7 frame, and the # 8-9 frame may be copied as the # 8 frame. Note that if the # 7-8 and # 8-9 frames are generated in advance on the transmission apparatus 100 side by view copy, the reception apparatus 100 can display the received 2D data as it is. In the case of view copy, 2D data is transmitted at a frequency of 120 [Hz].
  • the receiving device 100 can acquire the switching timing from 3D to 2D based on the frame countdown value added to each frame. Therefore, the back-end processor 108 can recognize the switching timing in the # 7 frame in advance, and can make preparations necessary for scaling of 2D data in advance. Therefore, when the video is switched from 3D to 2D, it is possible to continuously perform display without causing a time lag.
  • FIG. 9 is a schematic diagram showing a case where the video is switched from 3D to 2D and then from 2D to 3D.
  • frames # 1 to # 4 are 1920 ⁇ 1080 pixels 60 [Hz] interlaced (60i) data, and the 3D flag of each frame indicates “3D”. It has become.
  • interlaced (60i) data of 1920 ⁇ 1080 pixels at 60 Hz is received.
  • the frame is switched to 3D data again in the # 11 frame, and becomes 60 ⁇ Hz interlaced (60i) data of 1920 ⁇ 1080 pixels.
  • each frame data (Decoded Frames) output from the decoder 106 and the frame data (BackEnd Proc out) output from the back-end processor 106 are schematically illustrated.
  • the lower part of FIG. 9 schematically shows a state viewed from the upper side of the frame. Since 3D data is a side-by-side method, L and R data are arranged in the horizontal direction of the screen. . From the decoder 104, side-by-side frame data is output at a frequency of 60 [Hz] until frame # 4, and 2D data is output at a frequency of 60 [Hz] in frames # 5 to # 10. The Further, in the frames after # 11, data of each frame of the side-by-side method is output at a frequency of 60 [Hz].
  • the back-end processor 106 receives the output of the decoder 104, and in the frames # 1 to # 4 and # 10 to # 14, side-by-side L and R data (960 ⁇ 1080 pixels, respectively) are respectively displayed in the horizontal direction of the screen.
  • Filter processing complementation processing
  • the back-end processor 108 scales (interpolates) the 2D frames # 5 to # 10 in the time axis direction to convert it to 120 [Hz], and outputs it to the display panel.
  • the receiving device 100 can acquire the 3D ⁇ 2D switching timing from the frame countdown value added to each frame. Accordingly, the back-end processor 108 can recognize the switching timing in the # 4 frame in advance, and can make preparations necessary for the 2D interpolation processing in advance. Further, the back-end processor 108 can recognize the switching timing in the # 10 frame in advance, and can make preparations necessary for 3D processing in advance. Therefore, when the video is switched between 3D and 2D, it is possible to continuously display without causing a time lag.
  • the data of the left-eye image L, the right-eye image R, or the 2D image by frame sequential is stored in different areas of the memory after decoding.
  • the data of the left-eye image L, the right-eye image R, or the 2D image of one side-by-side frame is stored in different areas of the memory after decoding. Therefore, since the memory area is different before and after switching, it is necessary to initialize in advance at the switching timing. In this embodiment, since the time offset until switching is known in advance from the time offset value, preparation for memory initialization can be performed before switching.
  • the interpolation processing algorithm is different between the 3D case and the 2D case. Even in this case, since the time offset until switching is known in advance from the time offset value, preparation for algorithm switching can be made in advance.
  • FIG. 10 is a schematic diagram showing parameters before and after switching in the back-end processor 108 when the above-described switching is performed.
  • the first column in FIG. 10 shows changes in parameters when video is switched between 3D and 2D when video data is sent in the field sequential (FS) system.
  • 3D data is 1280 ⁇ 720 pixels
  • 2D data is also 1280 ⁇ 720 pixels, but is output from the decoder 104 at a frequency of 30 [Hz]. Accordingly, when switching between 3D and 2D occurs, the back-end processor 108 performs scaling in the time direction, complements the 2D data, and outputs it at a frequency of 60 [Hz]. As a result, when the video is switched between 3D and 2D, the frequency of both images can be made the same, the processing of the display panel can be performed in the same way, and the user feels uncomfortable when switching. Can be deterred.
  • the second column in FIG. 10 shows changes in parameters when the video is switched between 3D and 2D when 3D data is sent by the side-by-side method (SBS).
  • 3D data is 960 ⁇ 540 pixels for each of L and R, and one frame in which L and R are arranged in the horizontal direction on the screen is output from the decoder 104 at a frequency of 60 [Hz].
  • 2D data is 1920 ⁇ 540 pixels, and is output from the decoder 104 at a frequency of 60 [Hz].
  • the back-end processor 108 performs spatial scaling for each of L and R for 3D video, and outputs the data as 1920 ⁇ 540 pixel data.
  • filtering complementary processing
  • the output of the decoder 104 is 60 [Hz] for both 3D and 2D, scaling is not performed. Thereby, when a video switches between 3D and 2D, the number of pixels of both can be made the same.
  • the third column in FIG. 10 shows changes in parameters when video is switched between 3D and 2D when 3D data is sent in a top-and-bottom format (TAB).
  • 3D data is 1920 ⁇ 270 pixels for each of L and R, and one frame in which L and R are arranged in the horizontal direction on the screen is output from the decoder 104 at a frequency of 60 [Hz].
  • 2D data is 1920 ⁇ 540 pixels, and is output from the decoder 104 at a frequency of 60 [Hz].
  • the back-end processor 108 performs spatial scaling for each of L and R for 3D video, and outputs the data as 1920 ⁇ 540 pixel data.
  • the output of the decoder 104 is 60 [Hz] in both 3D and 2D, the frame frequency is not scaled. Thereby, when a video switches between 3D and 2D, the number of pixels of both can be made the same.
  • FIG. 11 is a schematic diagram for explaining the concept of view copy.
  • view copy one of L and R of 3D video is copied to the other on the transmitting device side, so that L and R are made the same video data and sent to the receiving side as 2D data.
  • the data is compressed in the vertical direction (Scaling Vertically), and L and R above and below the top and bottom respectively.
  • the same data after compression is arranged in this area.
  • the original frame is the left-eye image L and 2D display is performed using only the left-eye image L by view copy
  • the data of the left-eye image L compressed in the vertical direction is the area of the top-and-bottom left-eye image L.
  • the left-eye image L is copied to the region (lower region) of the right-eye image R.
  • the data is compressed in the horizontal direction with respect to the original frame data (Scaling Horizonally), and the same compressed data is arranged in each of the left and right L and R regions on the side by side.
  • the original frame is the left eye image L and 2D display is performed using only the left eye image L by view copy
  • the data of the left eye image L compressed in the horizontal direction is arranged in the region of the left eye image L on the side-by-side. Then, the left eye image L is copied to the area (right area) of the right eye image R.
  • the data of the frame N that is the left-eye image L is transferred to the next frame N + 1 in the time axis direction. Copied.
  • the original frame N + 1 in the case of 3D is the data of the right-eye image R, but by copying the left-eye image L, the left and right images become the same, and the 2D image is displayed using only the left-eye image L. be able to.
  • the 2nd view is a copy of the 1st view, and the view copy as shown in FIG. 11 is performed. Accordingly, when 2D data is sent by referring to the view copy (View_Copy) data, the receiving device 100 is originally 3D data, and the L, R of the original data It can be recognized that one is copied to the other.
  • FIG. 12 is a schematic diagram for explaining a memory setting change.
  • a deinterlacer 106 a, a scaler 106 b, and a frame interleaver 106 c are arranged at the subsequent stage of the decoder 104, and these functional blocks are mainly configured by the back-end processor 106.
  • the lower part of FIG. 12 shows the output from the decoder 104, and shows the case where the video data is an interlaced frame and the case of a progressive frame, respectively.
  • interlace each of the (N ⁇ 1) -th frame and the N-th frame is composed of an Even Field and Odd Field frame pair, and one frame of L and R data is composed of a frame pair.
  • the number of frames is twice the number of interlaces, and each of the 2 * N-th frame and the 2 * N + 1-th frame includes L and R data arranged in one frame.
  • the memory necessary to hold these data is allocated to the memory space by the control unit 110.
  • the required memory configuration differs depending on 3D_type, and the controller initializes memory allocation at the time of switching of 3D_Type.
  • the initialization of the memory is often performed at a timing depending on the operating system, and the timing required for the initialization may be an interval of 10 milliseconds to several tens of milliseconds.
  • the switching of the filter in the deinterlacer 106a and the scaler 106b is performed after temporarily stopping normal processing.
  • switching preparation of 3D_Type requires a switching preparation period from a plurality of video frames or a plurality of video vertical periods to a period of several seconds. Therefore, in order to display a new 3D_Type after switching from the first video frame, it is necessary to transmit information on the time difference until the switching timing of 3D_Type from the transmitting side to the receiving side.
  • the switching timing is indicated in advance by the frame countdown value before the switching timing. Therefore, on the receiving apparatus 100 side, it is possible to display a new 3D_Type after switching from the video frame immediately after switching by making preparations related to memory initialization in advance.
  • the identification information added to the stream sync syntax of the codec layer of each frame includes a conversion prohibition flag (Prohibit_Convert_flag).
  • the conversion prohibition flag is set to “1” when the content sent from the transmission side is prohibited from conversion according to the intention of the transmission side.
  • the conversion prohibition flag is set to “0”.
  • FIGS. 18 and 19 are schematic diagrams showing the operation of the receiving apparatus 100 based on the conversion prohibition flag.
  • FIGS. 18 and 19 show the case where the content transmitted from the transmission side is 3D video
  • FIG. 18 shows the case of the frame sequential method
  • FIG. 19 shows the case of the side-by-side method
  • FIG. 20 shows a case where the transmitted content is 2D video.
  • the decoder 106 alternately outputs the frame of the left eye image L and the frame of the right eye image R by frame sequential.
  • the conversion prohibition flag is “0”.
  • the receiving apparatus 100 can normally perform 3D playback (normal 3D playback) of the received content.
  • the conversion prohibition flag is “0”
  • the receiving apparatus 100 can also convert 3D video into 2D video and perform 2D conversion playback (2D Convert playback).
  • the data output from the decoder 104 (Decoded Frames shown in FIG.
  • the back-end processor 106 is subjected to predetermined 3D processing by the back-end processor 106, and is output as 3D Proc out data shown in FIG.
  • the back-end processor 106 can also output without performing spatial and temporal scaling.
  • 2D Convert playback only the frame of the left-eye image L is extracted and output by the back-end processor 106 from the data output from the decoder 104 (Decoded Frames shown in FIG. 18). Therefore, the 3D video can be converted into a 2D video using only the left eye image L and reproduced.
  • 2D Convert playback only the frame of the right-eye image R may be extracted, and the 3D video may be converted into 2D video using only the right-eye image R for playback.
  • the decoder 104 outputs image data in which the left-eye image L and the right-eye image R are integrated into one frame.
  • the conversion prohibition flag is “0”.
  • the receiving apparatus 100 can normally perform 3D playback (normal 3D playback) of the received content.
  • the conversion prohibition flag is “0”
  • the receiving apparatus 100 can also convert 3D video into 2D video and perform 2D conversion playback (2D Convert playback).
  • the data output from the decoder 104 (Decoded Frames shown in FIG.
  • the left-eye image L and the right-eye image R are alternately output for each frame in time series.
  • the data output from the decoder 104 (Decoded Frames shown in FIG. 19) is obtained by scaling only the left-eye image L in the horizontal direction by the back-end processor 106 and only the left-eye image L. Is output for each frame. Therefore, the 3D video can be converted into a 2D video using only the left eye image L and reproduced.
  • only the right-eye image R may be scaled in the horizontal direction, and the 3D video may be converted into 2D video using only the right-eye image R for playback.
  • the transmitted content is 2D video
  • the conversion prohibition flag is “0”.
  • the receiving apparatus 100 can normally perform 2D playback (normal 2D playback) of the received content.
  • the conversion prohibition flag is “0”
  • the receiving apparatus 100 can also convert 2D video to 3D video and perform 3D conversion playback (3D Convert playback).
  • the data of the left-eye image L output from the decoder 104 (Decoded Frames shown in FIG. 20) is output as a 2D data frame without being subjected to 3D processing by the back-end processor 106. .
  • a 2D video image by the left eye image L can be displayed.
  • 2D video by the right eye image R can be displayed.
  • the data of the left-eye image L output from the decoder 104 (Decoded Frames shown in FIG. 20) is shifted by the back end processor 106 by the amount of parallax. Is called.
  • a right-eye image R that is paired with the original left-eye image L is generated, and the left-eye image L and the right-eye image R are alternately output.
  • a more realistic 3D video can be generated by making the amount of parallax different for each object included in the left-eye image L.
  • various methods such as a method for detecting an edge of a contour and a method for detecting a difference in luminance or contrast can be used for detecting an object.
  • FIG. 13 is a schematic diagram illustrating a configuration of the transmission device 200 according to the present embodiment.
  • the transmission device 200 encodes 3D video or 2D video and transmits the encoded 3D video or 2D video to the reception device 100 via a wired or wireless transmission path.
  • the transmission device 200 includes a CPU 202, a counter 204, a switch 206, and a video encoder 208.
  • a database 210 and a database 212 are connected to the switch 206.
  • the database 210 and the database 212 may be configured integrally with the transmission device 200 or may be configured separately.
  • the configuration shown in FIG. 13 can be configured by a circuit (hardware) or a CPU (central processing unit) and a program (software) for functioning this.
  • the program can be stored in a memory included in the receiving apparatus 100 or an external storage medium.
  • the database 210 stores 3D video A data.
  • the database 212 stores 2D video B data.
  • the video A data stored in the database 210 and the video B data stored in the database 212 are sent to the switch 206.
  • the switch 206 selects either video A or video B and sends it to the video encoder 208.
  • the switch 206 sends one of the data of the video A and the video B to the video encoder 208 according to the number of frames counted by the counter 204.
  • the counter 204 counts the number of frames of video data sent to the video encoder 208 based on a command from the CPU 202, and sends the count number until switching to the switch 206. For example, if the 3D video A is program main data and the 2D video B is CM data, the CPU 202 sets a frame corresponding to the time offset until the program A video A is switched to the CM video B. The count number is sent to the switch 206.
  • the switch 206 switches the video to be sent to the video encoder 208 at the timing of switching based on the count number sent from the counter 204 until switching.
  • the video can be switched between the video A of the main program and the video B of the CM.
  • the video encoder 208 transmits the video A or video B data sent from the switch 206 to the receiving device 100 in a bit stream such as MPEG-4 AVC, MPEG-2 Video, VC-1, MPEG4 Visua, for example. Therefore, encode.
  • the counter 204 sends the count number until switching to the video encoder 208.
  • the video encoder 208 adds the count number sent from the counter 204 as a frame countdown value to the stream sync syntax of the encoded codec layer of each frame.
  • the video encoder 208 adds various data described in FIGS. 3 to 7 to the video A or video B data based on a command from the CPU 202.
  • the bit stream encoded by the video encoder 208 is transmitted from the transmission unit 214 to the reception device 100.
  • the transmission device 200 can switch between the 3D video A and the 2D video B based on an instruction from the CPU 202. Further, based on an instruction from the CPU 202, the transmission device 200 can add a countdown value indicating the number of frames until switching to video data. Further, the transmission apparatus 200 can add various types of information shown in FIGS. 3 to 7 to the video data. Therefore, on the receiving device 100 side, processing before and after switching can be performed based on the information added by the transmitting device 200, and various processing relating to switching can be prepared in advance.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

　本発明の受信装置（１００）は、外部から受信した映像信号を復号し、映像信号の各フレームに対応するレイヤーから、映像の２次元または３次元に関するフォーマットを含む識別情報を取得するデコーダ（１０４）と、識別信号に基づいて映像信号による映像データの空間的または時間的なスケーリングを行い、映像のフォーマットが切り換わった場合は、切り換わりのタイミングに合わせて前記スケーリングのためのパラメータを切り換えるバックエンドプロセッサー（１０６）と、を備える。

Description

受信装置、送信装置、通信システム、表示制御方法、プログラム、及びデータ構造
　本発明は、受信装置、送信装置、通信システム、表示制御方法、プログラム、及びデータ構造に関する。
　従来から、立体映像を表示するシステムとして様々なものが知られている。例えば下記の特許文献１～３に記載されているように、視差を有する左目用画像及び右目用画像を所定周期で交互にディスプレイに供給し、この画像を所定周期に同期して駆動される液晶シャッターを備える眼鏡で観察する方法が知られている。
特開平９－１３８３８４号公報 特開２０００－３６９６９号公報 特開２００３－４５３４３号公報 米国特許出願公開第２００９／０９２３３５号公報 米国特許出願公開第２００９／０９６８６４号公報
　テレビ番組などのコンテンツを放送局からユーザのテレビ受像機に送信することを想定した場合、映像データとして３Ｄの映像と２Ｄの映像を切り換えながら送信することが考えられる。例えば、番組本編については３Ｄ映像で送信し、ＣＭについては２Ｄ映像で送信するような場合が考えられる。
　また、３Ｄ映像の方式としては、サイドバイサイド方式、トップアンドボトム方式、フィールドシーケンシャル方式などの各種方式がある。このため、放送局側から送られる映像データが、映像のコンテンツ等に合わせて、各種方式の間で動的に切り換えて送られることが想定される。
　このような場合、ユーザ側のテレビ受像機では、切り換え直後に画像を適正に表示でいなくなる事態が想定される。これは、切り換えの前後で映像に関する各種パラメータ（画サイズ、周波数等）が変化するため、テレビ受像機側で表示のための処理を換える必要が生じるためである。そして、切り換え直後から画像を適正に表示するためには、フォーマットの切り換えについてそのタイミングを含めて受信装置に詳細に伝える必要があるが、上記従来技術の特許文献４，５は、このような仕組みを想定したものではない。
　そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、立体映像を含む映像信号が切り換わった場合に、切り換えの直後から適正な表示を実現することが可能な受信装置、送信装置、通信システム、表示制御方法、プログラム、及びデータ構造を提供することにある。
　上記課題を解決するために、本発明のある観点によれば、外部から受信した映像信号を復号する復号処理部と、前記映像信号の各フレームに対応するレイヤーから、映像の２次元または３次元に関するフォーマットを含む識別情報を取得する識別情報取得部と、前記識別信号に基づいて、前記映像信号による画像表示のための処理を行う処理部と、を備える、受信装置が提供される。
　また、前記処理部は、前記識別信号に基づいて前記映像信号による映像データの空間的または時間的なスケーリングを行い、映像のフォーマットが切り換わった場合は、切り換わりのタイミングに合わせて前記スケーリングのためのパラメータを切り換えるスケーリング部を含むものであってもよい。
　また、前記識別情報は、映像の３次元フォーマットの切り換わりが生じるタイミング、又は３次元映像と２次元映像の切り換わりが生じるタイミングを示すオフセット情報を含み、前記スケーリング部は、前記オフセット情報に基づいて、前記切り換わりが生じるタイミングの前に前記パラメータを切り換えるための処理を開始するものであってもよい。
　また、前記識別情報は、映像の３次元フォーマットの切り換わりが生じるタイミング、又は３次元映像と２次元映像の切り換わりが生じるタイミングを示すオフセット情報を含み、前記スケーリング部は、前記オフセット情報に基づいて、前記切り換わりが生じるタイミングの前に、復号された映像信号を保持する一時バッファの設定を切り換える処理を開始するものであってもよい。
　また、前記識別情報は、前記３次元フォーマットとして、サイドバイサイド方式、トップアンドボトム方式及びフレームシーケンシャル方式の少なくとも１つを表す情報を含むものであってもよい。
　また、前記識別情報は、前記３次元フォーマットによる左目用と右眼用の２つのビューのそれぞれについて、空間的又は時間的な位相が同位相であるか別位相であるかを示す情報を含むものであってもよい。
　また、前記スケーリング部は、前記空間的なスケーリングとして、前記復号処理部により復号された映像を画面垂直方向又は画面水平方向に伸張する処理を行うものであってもよい。
　また、前記スケーリング部は、前記時間的なスケーリングとして、時系列に配置される映像フレームのコピー又は補間処理を行うものであってもよい。
　また、前記識別情報は、映像のフォーマットの変換を禁止するための情報を含むものであってもよい。
　また、上記課題を解決するために、本発明のある観点によれば、映像信号を符号化する符号化処理部と、映像信号の各フレームに対応するレイヤーに、少なくとも映像の２次元または３次元に関するフォーマットを含む識別情報を挿入する識別情報挿入部と、前記識別情報が挿入された映像信号を送信する送信部と、を備える送信装置が提供される。
　また、上記課題を解決するために、本発明のある観点によれば、映像信号を符号化する符号化処理部と、映像信号の各フレームに対応するレイヤーに映像の２次元または３次元に関するフォーマットを含む識別情報を挿入する識別情報挿入部と、前記識別情報が挿入された映像信号を送信する送信部と、を有する送信装置と、前記送信装置から受信した映像信号を復号する復号処理部と、前記映像信号の各フレームに対応するレイヤーから、映像の２次元または３次元に関するフォーマットを含む識別情報を取得する識別情報取得部と、前記識別信号に基づいて、前記映像信号による画像表示のための処理を行う処理部と、を有する受信装置と、を備える、通信システムが提供される。
　また、上記課題を解決するために、本発明のある観点によれば、外部から受信した映像信号を復号するステップと、前記映像信号の各フレームに対応するレイヤーから、映像の２次元または３次元に関するフォーマットを含む識別情報を取得するステップと、前記識別信号に基づいて、前記映像信号による画像表示のための処理を行うステップと、を備える、画像表示方法が提供される。
　また、上記課題を解決するために、本発明のある観点によれば、外部から受信した映像信号を復号する手段、前記映像信号の各フレームに対応するレイヤーから、映像の２次元または３次元に関するフォーマットを含む識別情報を取得する手段、前記識別信号に基づいて、前記映像信号による画像表示のための処理を行う手段、としてコンピュータを機能させるためのプログラムが提供される。
　また、上記課題を解決するために、本発明のある観点によれば、放送するコンテンツに係る映像信号を含むデジタル放送信号のデータ構造であって、前記映像信号の各フレームに対応するレイヤーには映像の２次元または３次元に関するフォーマットを含む識別情報が挿入され、前記識別情報に基づいて、前記映像信号による画像表示のための処理を行う手段として受信装置を機能させるためのデジタル放送信号のデータ構造が提供される。
　本発明によれば、立体映像を含む映像信号が切り換わった場合に、切り換えの直後から適正な表示を実現することが可能となる。
本発明の一実施形態にかかる受信装置の構成例を示す模式図である。 ３Ｄ＿Ｔｙｐｅの切り換わり(Switching)が発生する例を示す模式図である。 各フレームのコーデックレイヤーのストリームシンクタクスに付加される情報の概略を示す模式図である。 各フレームのコーデックレイヤーのストリームシンクタクスに付加される情報の詳細を示す模式図である。 ３Ｄタイプを詳細に説明するための模式図である。 ３Ｄタイプを詳細に説明するための模式図である。 シンクタクスに付加される他の情報を示す模式図である。 映像が３Ｄから２Ｄに切り換わる場合を示す模式図である。 映像が３Ｄから２Ｄに切り換わり、その後、２Ｄから３Ｄに切り換わる場合を示す模式図である。 バックエンドプロセッサーにおける切り換えの前後のパラメータを示す模式図である。 ビューコピーの概念を説明するための模式図である。 メモリの設定変更を説明するための模式図である。 本実施形態に係る送信装置の構成を示す模式図である。 ３Ｄデータがフレームベースのフィールドシーケンシャル方式のインターレースの場合に、３Ｄタイプに対応するフレームを示す模式図である。 ３Ｄデータがフィールドシーケンシャル方式のインターレースの場合に、３Ｄタイプに対応するフレームを示す模式図である。 ３Ｄデータがサイドバイサイド方式の場合に、３Ｄタイプに対応するフレームを示す模式図である。 ３Ｄデータがトップアンドボトム方式の場合に、３Ｄタイプに対応するフレームを示す模式図である。 変換禁止フラグに基づく受信装置の動作を示す模式図である。 変換禁止フラグに基づく受信装置の動作を示す模式図である。 変換禁止フラグに基づく受信装置の動作を示す模式図である。
　以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　（１）受信装置の構成例
　（２）３Ｄタイプが切り換わる例
　（３）コーデックレイヤーに付加される情報について
　（４）３Ｄタイプの切り換えについて
　（５）バックエンドプロセッサーにおける切り換えの前後のパラメータ
　（６）ビューコピーの概念
　（７）メモリの設定変更について
　（８）送信装置の構成例
［（１）受信装置の概略構成］
　まず、図面に基づいて、本実施形態に係る受信装置１００の概略構成について説明する。図１は、受信装置１００の構成例を示す模式図である。一例として、受信装置１００は、地上デジタル放送などを受信するテレビ受像機であり、例えば左目用映像と右目用映像とから構成される立体映像（３Ｄ映像）のビットストリームを受信し、これ復号化して表示パネルに表示させるものである。また、受信装置１００は、通常の２次元の映像（２Ｄ映像）のビットストリームを受信して複合化し、表示パネルに表示させる。
　本実施形態に係る送信装置は、映像のソースに応じて、３Ｄと２Ｄの映像を適宜切り換えて送信する。例えば、番組の本編については３Ｄ映像で送信し、本編の間に挿入されるＣＭについては２Ｄ映像で送信される。また、送信装置は、３Ｄ映像を送信する場合に、フォーマット（方式）の異なる３Ｄ映像を適宜切り換えて送信する場合がある。ここで、３Ｄ映像のフォーマットとしては、例えばサイドバイサイド方式、トップアンドボトム方式、フレームシーケンシャル方式等が挙げられる。
　このため、受信装置１００側では、送信装置からの映像の切り換えに応じて、受信処理を静的または動的に切り換える必要が生じる。このため、本実施形態では、３Ｄのフォーマット同士、あるいは３Ｄと２Ｄとの動的な切り替えを行う際に、コーデックのレイヤーのストリームシンタクスに切り換えのフォーマットを挿入し、また、切り換えまでの時間オフセットのパラメータを挿入する。これにより、受信装置１００側の画像プロセッサの処理系の切換えがターゲットタイミングに向けて、十分な時間的準備を確保することが可能となる。
　例えば、３Ｄと２Ｄとの間で動的な切換えがあると、余分にメモリが必要となる。また、切り換えが生じると、メモリを開放する必要が生じる場合がある。後述するが、メモリの開放、初期化には１秒単位の時間を要する場合がある。
　この場合において、タイムスタンプ（ＴＳ）などのコンテナレイヤで切り替えまでの時間情報を入れると、その時間情報はタイムスタンプに依存してしまうため、ビデオのＶ同期との直接的な時間関係を直接関連付けることができなかった。また、タイムスタンプは全てのピクチャに付されているとは限らないため、映像のフレームと同期して切り換えを精度良く制御することは困難である。
　このため、本実施形態では、切り換えまでの時間オフセットのパラメータを、コーデックのレイヤーにおいて、ピクチャーのヘッダーに相当する位置に挿入することを基本とする。これにより、映像信号のフレーム毎にパラメータが挿入されるため、各フレーム毎に映像信号のタイミングを処理することが可能となる。また、他のパラメータとして、左目用画像Ｌ、右目用画像Ｒのタイミング、位置（Ｐｏｓｉｔｉｏｎ）を挿入する。これにより、デコードされたピクチャを正しい順番で表示することができる。以下の説明では、ＭＰＥＧ－４　ＡＶＣ（Ｈ．２６４／ＭＰＥＧ－４　ＡＶＣ）の規格において、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ　ｅｎｈａｎｃｅｍｅｎｔ　ｉｎｆｏｒｍａｔｉｏｎ；ユーザデータ）として定義し、ピクチャー単位相当の箇所に挿入するものとする。これにより、フレーム毎に識別情報が挿入されるため、３Ｄのビデオフォーマットとの直接的な関連性がとられ、ビデオ周期での切換えタイミング管理を容易に行うことができる。なお、これらの情報は、ビットストリームのピクチャヘッダに挿入されるが、例えばＭＰＥＧ－４　ＡＶＣの場合、シーケンスのパラメータ（シーケンスヘッダー）、ＧＯＰ単位に相当するピクチャー・パラメータなどに付加的に挿入しても良い。これにより、より上位のレイヤーの情報を見ることなく時間オフセット等のパラメータを取得することができる。以上は、コーデックがMPEG4　AVCのみならず、MPEG2　video、VC-1、MPEG4　Visualの際にも同様の内容になる。
　また、後述するが、本実施形態では、２Ｄと３Ｄのコンテンツが一本のストリームに混在しており、２Ｄを３Ｄフォーマットに変換して送る場合に、表示側で返還前のフォーマットが２Ｄなのか３Ｄなのか違いが識別できるようにするフラグを設ける。
　図１に示すように、受信装置１００は、ヘッダーパーサ（Header　Parser）１０２、エレメンタリーデコーダ(Elementary　Decoder)１０４、バックエンドプロセッサー(Back　End　Processor)１０６、制御部(System　Control)１１０を備える。図１に示す構成は、回路（ハードウェア）または、ＣＰＵ（中央演算処理装置）とこれを機能されるためのプログラム（ソフトウェア）によって構成されることができる。この場合に、プログラムは、受信装置１００が備えるメモリ、または外部の記憶媒体に記憶されることができる。
　図１において、ヘッダーパーサ１０２は、送信装置から受信したストリーム中に３Ｄが含まれることを検知し、制御部１１０へ通知する。エレメンタリーデコーダ１０４は、送信装置から受信したストリームのビデオデータを復号して、バックエンドプロセッサー１０６へ出力する。また、エレメンタリーデコーダ１０４は、ビオオストリーム中の３Ｄ＿Ｔｙｐｅの情報を検知し、画サイズ、フレーム構造、フレーム周波数をＰｉｃｔｕｒｅ＿ｔｙｐｅ情報とともに制御部１１０へ通知する。また、エレメンタリーデコーダ１０４は、ビデオデータにタイムスタンプがある場合は、上記の情報にタイムスタンプを付加して制御部１１０へ通知する。
　制御部１１０では、タイムスタンプ順、あるいはＰｉｃｔｕｒｅ＿Ｔｙｐｅに応じて、デコーダの出力バッファから表示すべきピクチャを指定し、バックエンドプロセッサー１０６へ通知する。バックエンドプロセッサー１０６は、制御部１１０からの通知に応じて、デコードされたデータを蓄積したバッファから取り出された各ピクチャの出力順を定めて後段に出力する。例えばＭＰＥＧ－４　ＡＶＣのＢピクチャがデコードされるとリオーダが発生するため、バックエンドプロセッサー１０６は、制御部１１０の指示により各フレームの出力順序を指定する。
　この際、制御部１１０は、該当するビデオデータの３Ｄ＿Ｔｙｐｅ、画サイズ、フレーム構造の情報をバックエンドプロセッサー１０６へ通知し、必要な空間スケーリング、あるいは、デインターレーシング(Deinterlacing)などの時間的な処理の指定をする。そして、フレームカウントダウン(FrameCountDown)によるカウントダウン中には、その値に応じて、切り換えまでの時間（フレーム数）と新たに切り換わる３Ｄ＿Ｔｙｐｅを指定する。
　バックエンドプロセッサー１０６の内部では、３Ｄ＿Ｔｙｐｅの切り替わりが発生するタイミングでスムーズな処理の切換えが可能なように準備し、切り替わり時点に同期して処理系を切り替える。後で詳細に説明するが、バックエンドプロセッサー１０６は、スムーズな処理の切り換えが可能となるように、主として３Ｄ＿Ｔｙｐｅ、２Ｄ＿Ｔｙｐｅに応じた空間的、時間的なスケーリング処理と、メモリの構成を準備する。
　また、バックエンドプロセッサー１０６は、３Ｄ映像に特有の処理として、デコード後の左目用画像Ｌと右目用画像Ｒの画像データを時間方向にインターリーブ（interleave）し、３Ｄ表示系に適するように処理を行う。あるいは、バックエンドプロセッサー１０６は、画面垂直方向に左目用画像Ｌと右目用画像Ｒとをラインごとにインターリーブし、３Ｄ表示系に適するように処理を行う。なお、この両者の表示方式は、いずれも３Ｄメガネを必要とするものだが、既に公知のように裸眼での表示デバイスも存在する。
［（２）３Ｄタイプが切り換わる例］
　図２は、３Ｄ＿Ｔｙｐｅの切り換わり(Switching)が発生する例を示す模式図であって、３Ｄ＿Ｔｙｐｅがトップアンドボトム方式からフレームシーケンシャル方式に切り換わる場合を示している。また、図２は、フレームが＃１から＃７へ時系列に推移する様子を示している。各フレームには、フレームカウントダウン値(FrameCountDown)、３Ｄタイプリセットフラグ(3D_Type_Reset_flag)、３Ｄタイプ（３Ｄ＿Ｔｙｐｅ）、切り換わった後の次の３Ｄタイプ（Next_3D_type_after_reset）の情報が、コーデックレイヤーのストリームシンクタクスに付加されている。従って、受信装置１００は各フレーム毎にこれらの情報を取得する。
　フレームカウントダウン値は、切り換えまでのフレーム数を示す値である。図２の例では、＃１のフレームでは切り換えが指定されておらず、＃１のフレームのフレームカウントダウン値は０ｘＦＦとされている。従って、＃１のデータを受け取った時点では、切り換えが行われることは認識されない。次の＃２のフレームでは、カウントダウン値が２とされている。これにより、＃２のフレームからから２フレームが経過すると切り換えが行われることが示される。フレームカウントダウン値は、以降のフレーム＃３，＃４で１ずつ減少し、切り換えの直前のフレーム＃４で０となる。
　３Ｄタイプリセットフラグは、３Ｄタイプのリセットが行われることを示すフラグである。３Ｄタイプリセットフラグが０に設定されている場合は、３Ｄタイプのリセットは行われず、次のフレームでも同じ３Ｄタイプであることが示される。一方、３Ｄタイプリセットフラグが１に設定されている場合は、そのフレームで３Ｄタイプのリセットが行われ、現フレームまでの３Ｄタイプは終了し、次のフレームでは異なる３Ｄタイプとなる。
　３Ｄタイプは、現フレームの３Ｄタイプを表す情報である。フレーム＃１では、３Ｄタイプが０００１００であり、後述するが、この３Ｄタイプにより現フレームの３Ｄ方式がトップアンドボトム方式であることが示されている。また、３Ｄタイプが切り換えられた後のフレーム＃５では、３Ｄタイプが００００００であり、この３Ｄタイプにより現フレームの３Ｄ方式が従来の２Ｄ方式であることが示されている。
　ネクストフレームタイプは、リセット後のフレームタイプを示す情報である。３Ｄタイプのリセットが行われる場合は、ネクストフレームタイプに切り換え後の３Ｄタイプが示される。例えば、フレーム＃２でフレームカウントダウン値が２に設定されると、２フレーム後にフレームリセットが行われるため、ネクストフレームタイプとして従来の２Ｄを表す００００００が指定される。なお、フレーム＃１の段階では、フレームカウントダウン値が０ｘ００であり、以後に３Ｄタイプの切り換えが生じることは示されていないため、ネクストフレームタイプはｘｘｘｘとされる。
　従って、図２の例では、フレーム＃１では、３Ｄタイプの切り換えが行われることは示されていない状態で、トップアンドボトム方式によりデータが送られる。フレーム＃２では、フレームカウントダウン値が２に設定されているため、２フレーム後に現在の３Ｄタイプ（トップアンドボトム方式）がリセットされて、ネクストフレームタイプであるフレームシーケンシャル方式に切り換わることが示される。フレーム＃３では、フレームカウントダウン値が１に設定されているため、次のフレームで現在の３Ｄタイプがリセットされて、ネクストフレームタイプである従来の２Ｄに切り換わることが示される。そして、フレーム＃４では、フレームカウントダウン値が０に設定され、３Ｄタイプリセットフラグが１に設定されているため、現フレームで現在の３Ｄタイプがリセットされて、次のフレームからはネクストフレームタイプである従来の２Ｄ方式に切り換わることが示される。
　フレーム＃５では、３Ｄタイプが００００００に指定されており、現フレームの３Ｄデータが従来の２Ｄ方式であることが示される。また、フレームカウントダウン値が０ｘＦＦに設定され、３Ｄタイプリセットフラグが０に設定されているため、以後に３Ｄタイプの切り換えが生じることは示されていない。そして、次に切り換えが発生することが示されていないため、ネクストフレームタイプはｘｘｘｘｘｘとされる。
　以上のように、図２の例では、フレームカウントダウン値、３Ｄタイプリセットフラグ、３Ｄタイプ、ネクスト３Ｄタイプの情報が各フレームのコーデックレイヤーのストリームシンクタクスに付加される。従って、受信装置１００において、現フレームの３Ｄタイプを取得することができ、次に３Ｄタイプの切り換えが行われるか否か、および３Ｄタイプの切り換えまでのタイミングを予め取得することができる。これにより、切り換えに応じてスケーラの処理の準備と、メモリの構成変更の準備を事前に行うことができる。
［（３）コーデックレイヤーに付加される識別情報について］
　図３は、各フレームのコーデックレイヤーのストリームシンクタクスに付加される識別情報の概略を示す模式図である。図３に示すように、ストリームシンクタクスには、ユーザデータとして、８ビットの３ＤフォーマットシグナリングＩＤが付加され、３Ｄタイプリセットフラグ（１ｂｉｔ）、変換禁止フラグ（１ｂｉｔ）、リザーブド（６ｂｉｔｓ）、フレームカウントダウン値（Frame_Countdown_to_reset;　８ｂｉｔｓ）、３Ｄタイプ（６ｂｉｔｓ）、ビューコピー（View_copy；　１ｂｉｔ）、Ｌ＿Ｆｉｒｓｔ＿ｆｌａｇ（１ｂｉｔ）、ネクスト３Ｄタイプ（６ｂｉｔｓ）、Ｒｅｆｅｒｅｎｃｅ＿Ｄｅｐｅｎｄｅｎｃｙ（２ｂｉｔ）が付加される。
　なお、３ＤフォーマットシグナリングＩＤは、一般的にはユーザデータであり、ＭＰＥＧ４－ＡＶＣではＳＥＩでのユーザ定義に該当する。上記各データは、ＭＰＥＧで規定されたバッファリングピリオドＳＥＩ、ピクチャタイミングＳＥＩなどと同様な扱いで付加することができ、全フレームのそれぞれに付加されるものである。以下、これらの情報について詳細に説明する。
　図４、図５、図６及び図７は、各フレームのコーデックレイヤーのストリームシンクタクスに付加される情報の詳細を示す模式図である。図４に示すように、３Ｄタイプリセットフラグが１の場合は、現フレームにて現在の３Ｄタイプがリセットされ、３Ｄタイプリセットフラグが０の場合は、現在の３Ｄタイプが維持される。また、フレームカウントダウン値は、３Ｄタイプのリセットまでのタイムオフセット値を示しており、その値が０ｘ００になると、３Ｄタイプリセットフラグが１にセットされる。また、直近にフレームリセットが行われず、フレームカウントダウン値が使用されない場合は、その値は０ｘＦＦとされる。
　図５及び図６は、３Ｄタイプを詳細に説明するための模式図である。図５及び図６に示すように、３Ｄタイプの情報としては、図２に示したサイドバイサイド方式、フレームシーケンシャル方式の他にも様々な方式が指定される。以下に説明すると、１０００００，１００００１は、３Ｄデータがフィールドシーケンシャル方式のプログレッシブの場合を示しており、１０００００は１ｓｔビュー、１００００１は２ｎｄビューであることを示している。基本的に１ｓｔビュー、２ｎｄビューの一方は左目用画像Ｌであり、他方は右目用画像Ｒである。なお、１ｓｔビューおよび２ｎｄビューが左目用画像Ｌ、右用画像Ｒのいずれであるかは、後述するＬ＿Ｆｉｒｓｔ＿Ｆｌａｇによって指定される。
　また、１１００００，１１０００１，１１００１０，１１００１１は、３Ｄデータがフレームベースのフィールドシーケンシャル方式のインターレースの場合を示している。１１０００は、トップフィールドがフレームペアの第１フィールドの第１ビューであり、ボトムフィールドが第１フィールドの第２ビューであることを示している。１１００００は、図１４（Ａ）に対応する。また、１１０００１は、トップフィールドがフレームペアの第２フィールドの第１ビューであり、ボトムフィールドが第２フィールドの第２ビューであることを示している。１１０００１は、図１４（Ｂ）に対応する。また、１１００１０は、トップフィールドがフレームペアの第１フィールドの第１ビューであり、ボトムフィールドが第２フィールドの第２ビューであることを示している。１１００１０は、図１４（Ｃ）に対応する。また、１１００１１は、トップフィールドがフレームペアの第２フィールドの第１ビューであり、ボトムフィールドが第１フィールドの第２ビューであることを示している。１１００１１は、図１４（Ｄ）に対応する。
　また、０１００００，０１０００１は、３Ｄデータがフィールドシーケンシャル方式の場合であり、０１００００は１ｓｔフィールドの１ｓｔビューであることを示している。また、０１０００１は１ｓｔフィールドの２ｎｄビューであることを示している。
　また、０１００１０，０１００１１は、３Ｄデータがフィールドシーケンシャル方式の場合であり、０１００００は２ｎｄフィールドの１ｓｔビューであることを示している。また、０１００１１は２ｎｄフィールドの２ｎｄビューであることを示している。０１００００，０１０００１，０１００１０，０１００１１は、それぞれ図１５（Ａ）、図１５（Ｂ）、図１５（Ｃ）、図１５（Ｄ）にそれぞれ対応する。
　このように、フィールドシーケンシャル（Field　Sequential）の場合は、トップフィールド（Top　Field）／ボトムフィールド（Bottom　Field）への１ｓｔビュー（1st　view）／２ｎｄビュー（2nd　view）のアロケートの方法において、１ｓｔビュー（1st　view）／２ｎｄビュー（2nd　view）のそれぞれのソース画像に対して、2つのビュー（２　view）の双方で同じタイミングのfieldをとるか、あるいは異なるタイミングのfieldをとるかを指定できるようにする。このことで、ソース画の視差特性に応じて適応的な構成が可能となる。ここで、１ｓｔビューは、ソース画のトップフィールドを採り、２ｎｄビューもソース画のトップフィールドを採るケースと、１ｓｔビューはソース画のトップフィールドを採り、２ｎｄビューはソース画のボトムフィールドを採るケースがある。
　また、００１０００，００１００１は、サイドバイサイド方式を示しており、レフトサイドが１ｓｔビューであり、ライトサイドが２ｎｄビューであることを示している。このうち、００１０００は、レフトサイドとライトサイドが同じサンプリングポジション（same　sampling　position）であり、サンプリングポジションが偶数行のピクセル（even　pixels）であることを示している。００１００１は、レフトサイドとライトサイドが同じサンプリングポジションであり、サンプリングポジションが奇数行のピクセル（odd　pixels）であることを示している。００１０００，００１００１は、図１６（Ａ）、図１６（Ｂ）にそれぞれ対応する。また、００１０１０，００１０１１は、サイドバイサイド方式を示しており、レフトサイドが１ｓｔビューであり、ライトサイドが２ｎｄビューであることを示している。このうち、００１０１０は、レフトサイドとライトサイドが異なるサンプリングポジション（alternative　sampling　position）であり、１ｓｔビューが偶数行のピクセルであり、２ｎｄビューが奇数行のピクセルであることを示している。００１０１１は、レフトサイドとライトサイドが異なるサンプリングポジションであり、１ｓｔビューが奇数行のピクセルであり、２ｎｄビューが偶数行のピクセルであることを示している。００１０００，００１００１は、図１６（Ｃ）、図１６（Ｄ）にそれぞれ対応する。
　また、０００１００，０００１０１は、トップアンドボトム方式を示しており、アッパーサイドが１ｓｔビューであり、ロワーサイドが２ｎｄビューであることを示している。このうち、０００１００は、アッパーサイドとロワーサイドが同じサンプリングポジション（same　sampling　position）であり、１ｓｔビューと２ｎｄビューが共に偶数行（even　lines）でサンプリングされたものである。０００１０１は、アッパーサイドとロワーサイドが別のサンプリングポジション（alternative　sampling　position）であることを示しており、１ｓｔビューが偶数行でサンプリングされ、２ｎｄビューが奇数行（odd　lines）でサンプリングされたものである。０００１００，０００１０１は、図１７（Ａ）、図１７（Ｂ）にそれぞれ対応する。
　また、０００１１０，０００１１１は、トップアンドボトム方式を示しており、アッパーサイドが１ｓｔビューであり、ロワーサイドが２ｎｄビューであることを示している。このうち、０００１１０は、アッパーサイドとロワーサイドが異なるサンプリングポジション（alternative　sampling　position）であり、１ｓｔビューが奇数行でサンプリングされ、２ｎｄビューが偶数行でサンプリングされたものである。０００１１１は、アッパーサイドとロワーサイドが別のサンプリングポジションであることを示しており、１ｓｔビューと２ｎｄビューが共に奇数行でサンプリングされたものである。０００１１０，０００１１１は、図１７（Ｃ）、図１７（Ｄ）にそれぞれ対応する。
　以上のように３Ｄタイプを決定することで、１ｓｔビュー、２ｎｄビューをインタリーブする際に、２つのビューに関して、時間的な位相を同一とするか、あるいは別位相として割り当てるかを明示することができる。時間的な位相を別位相とすることにより、フレームシーケンシャル、あるいはフィールドシーケンシャル方式で時系列的にインターリーブする際に、別位相とすることで視差に応じた画質の時間精度を高めることが可能となる。
　また、空間的な位相、特に水平方向のサブサンプルにおいて、サンプル位相を同一とするかあるいは別位相として割り当てるかを明示することができる。これにより、例えばサイドバイサイド方式で空間的に二つのビューをインターリーブする際に、空間的な位相を別位相とすることで、視差が少ない部分の水平空間解像度を高めることが可能となる。また、垂直方向のサブサンプルにおいて、サンプル位相を同一とするかあるいは別位相として割り当てるかを明示することができる。これにより、トップアンドボトム方式で空間的に二つのviewをインターリーブする際に、空間的な位相を別位相とすることで、視差が少ない部分の垂直空間解像度を高めることが可能となる。以上のような３Ｄタイプの設定によれば、各フォーマット伝送時に３Ｄタイプを選択的に指定、符号化することでより画質改善効果を実現することが可能となる。
　また、３Ｄタイプが００００００の場合、３Ｄフォーマットが指定されておらず、映像データが２Ｄであることが示される。なお、図４に示す３Ｄタイプ（６　ｂｉｔｓ）の情報が付加されていない場合は、受信装置１００側では２Ｄのデータとして扱う。
　以上のような３Ｄタイプの情報によれば、６ビットのうち、最初に”1”が立つビットを見れば、３Dフォーマットとしてフレームシーケンシャル（Frame Sequential）か、フィールドシーケンシャル（Field
Sequential）か、サイドバイサイド（SideBySide）か、あるいはトップアンドボトム（Top&Bottom）か、２Ｄなのかを判断することが可能である。なお、受信側において上記以外の３Ｄタイプは受け付けないようにしても良い。
　図４に示すビューコピーの情報は、３Ｄのフレームペア（１ｓｔビュー、２ｎｄビュー）がコピーにより作成されたものであるか否かを示す情報である。ビューコピーが１の場合、２ｎｄビューは１ｓｔビューをコピーしたものであることが示される。この場合、１ｓｔビューと２ｎｄビューが同一であるため、受信装置１００側で２Ｄのデータとして扱われる。また、ビューコピーが０の場合、１ｓｔビューと２ｎｄビューが独立したデータであることが示され、この場合、受信装置側では３Ｄのデータであることを認識できる。
　図７は、シンクタクスに付加される他の情報を示す模式図である。Ｌ＿Ｆｉｒｓｔ＿Ｆｌａｇは、１ｓｔビュー、２ｎｄビューのいずれが左目用画像Ｌ、右目用画像Ｒのいずれかであるかを示すフラグである。Ｌ＿Ｆｉｒｓｔ＿Ｆｌａｇが１の場合、１ｓｔビューが左目用画像Ｌであることが示され、Ｌ＿Ｆｉｒｓｔ＿Ｆｌａｇが０の場合、１ｓｔビューが右目用画像Ｒであることが示される。ネクスト３Ｄタイプは、上述したように切り換え後の３Ｄタイプを示す情報であり、３Ｄタイプと同様に指定される。
　Ｒｅｆｅｒｅｎｃｅ＿Ｄｅｐｅｎｄｅｎｃｙは、ＭＰＥＧ等による動き補償の参照データがフレーム間に跨っているか否かを示すデータである。Ｒｅｆｅｒｅｎｃｅ＿Ｄｅｐｅｎｄｅｎｃｙが１０の場合、１ｓｔビューのフレームは他の１ｓｔビューのフレームのみを参照データとし、１ｓｔビューのフレームは２ｎｄビューのフレームを参照データとしない。この場合、２ｎｄビューについては制約がなく、２ｎｄビューのフレームは、１ｓｔビュー、または他の２ｎｄビューのフレームを参照データとすることができる。
　Ｒｅｆｅｒｅｎｃｅ＿Ｄｅｐｅｎｄｅｎｃｙが０１の場合、２ｎｄビューは、他の２ｎｄビューのみを参照データとし、１ｓｔビューを参照しない。この場合、１ｓｔビューについては制約がなく、１ｓｔビューのフレームは、他の１ｓｔビュー、または２ｎｄビューのフレームを参照データとすることができる。
　また、Ｒｅｆｅｒｅｎｃｅ＿Ｄｅｐｅｎｄｅｎｃｙが１１の場合、１ｓｔビューは他の１ｓｔビューのみを参照データとし、２ｎｄビューは他の２ｎｄビューのみを参照データとする。Ｒｅｆｅｒｅｎｃｅ＿Ｄｅｐｅｎｄｅｎｃｙが００の場合は、いずれのビューにおいても参照データの制限はない。
　以上のようなＲｅｆｅｒｅｎｃｅ＿Ｄｅｐｅｎｄｅｎｃｙの取り決めにより、例えば左目用画像Ｌである１ｓｔビューは左目用画像のみを参照することにより、受信した左右の画像のうち、左目用画像Ｌのみで２Ｄ画像を表示する場合は、１ｓｔビューのみをデコードすればよく、処理の効率化を図ることができる。
　なお、本実施形態では、図３～図７の情報をＭＰＥＧ４　ＡＶＣのＳＥＩに挿入する。一方、他のコーデック規格においても同様に映像信号の各フレーム単位に対応する箇所に挿入することができる。例えば、ＭＰＥＧ２ビデオ、ＶＣ１、MPEG4　Visual等においても、映像信号のレイヤーおいて各フレーム単位で情報を挿入することにより映像信号と同期した切り換えが可能である。
　例えばMPEG2　video(H.262　ISO/IEC　IS 13818.2　Information　Technology－Generic　Coding　of　Moving　Picture　and　Associated　Audio　Information:　Video)の場合、同フォーマットで定義されるpicture　headerのUser　dataエリアに入れることができる。この場合においても、シーケンスヘッダ、スライスヘッダ、またはマクロブロックヘッダに更にデータを挿入しても良い。
［（４）３Ｄタイプの切り換えについて］
　次に、３Ｄタイプの切り換えについて詳細に説明する。図８は、映像が３Ｄから２Ｄに切り換わる場合を示す模式図である。図８の上段は、受信装置が受信したフレーム毎のデータを模式的に示したものであり、＃１～＃６のフレームは、３Ｄタイプとして１０００００及び１００００１が交互に指定され、フレームシーケンシャル方式によるプログレッシブのデータが６０［Ｈｚ］の周波数で送られる。そして、＃７のフレームで２Ｄのデータに切り換わると、３０Ｈｚの周波数で２Ｄのデータが送られる。＃７以降のフレームでは、３Ｄタイプが００００００（Ｎｏｎ－３Ｄ　ｆｏｒｍａｔ）に指定される。
　図８の下段では、デコーダ１０４から出力された各フレームのデータ（Ｄｅｃｏｄｅｄ　Ｆｒａｍｅｓ）と、バックエンドプロセッサー１０６から出力されたフレームのデータ（ＢａｃｋＥｎｄ　Ｐｒｏｃ　ｏｕｔ）を模式的に示している。なお、図８の下段は、フレームの上側から見た状態を模式的に示している。デコーダ１０４からは、＃６のフレームまでは６０［Ｈｚ］の周波数で各フレームのデータが出力され、＃７以降のフレームは３０［Ｈｚ］の周波数で出力される。
　バックエンドプロセッサー１０６は、デコーダ１０４の出力を受けて、＃１～＃６のフレームは１２０［Ｈｚ］の周波数で表示パネルへ出力する。また、バックエンドプロセッサー１０８は、＃７以降のフレームについては、時間的なスケーリングを行い、１２０［Ｈｚ］のデータに変換して表示パネルへ出力する。具体的には、例えば＃７と＃８のフレーム間で補間処理を行うことにより、＃７－８のフレームを生成し、＃８と＃９のフレーム間で補間処理を行うことにより、＃８－９のフレームを生成する。また、他の方法として、＃７－８のフレームは＃７のフレームをコピーし、＃８－９のフレームは＃８のフレームをコピーしても良い。なお、ビューコピーにより＃７－８，＃８－９のフレームが送信装置１００側で予め生成されている場合は、受信装置１００は受信した２Ｄのデータをそのまま表示することができる。ビューコピーの場合、２Ｄのデータは１２０［Ｈｚ］の周波数で送信される。
　図８の例において、受信装置１００は、各フレームに付加されたフレームカウントダウン値に基づいて、３Ｄから２Ｄへの切り換えタイミングを取得することができる。従って、バックエンドプロセッサー１０８では、＃７のフレームにおける切り換えタイミングを予め認識することができ、２Ｄデータのスケーリングに必要な準備を予め行うことができる。従って、３Ｄから２Ｄに映像が切り換わった場合に、タイムラグを生じさせることなく、表示を連続して行うことが可能となる。
　図９は、映像が３Ｄから２Ｄに切り換わり、その後、２Ｄから３Ｄに切り換わる場合を示す模式図である。図９の上段に示すように、＃１～＃４のフレームは、１９２０×１０８０ピクセルの６０［Ｈｚ］のインターレース（６０ｉ）のデータであり、各フレームの３Ｄフラグは“３Ｄ”を示すものとなっている。そして、＃５のフレームで２Ｄのデータに切り換わると、６０Ｈｚの１９２０×１０８０ピクセルのインターレース（６０ｉ）のデータが受信される。その後、＃１１のフレームで再び３Ｄのデータに切り換わり、１９２０×１０８０ピクセルの６０［Ｈｚ］のインターレース（６０ｉ）のデータとなる。
　図９の下段では、デコーダ１０６から出力された各フレームのデータ（Ｄｅｃｏｄｅｄ　Ｆｒａｍｅｓ）と、バックエンドプロセッサー１０６から出力されたフレームのデータ（ＢａｃｋＥｎｄ　Ｐｒｏｃ　ｏｕｔ）を模式的に示している。なお、図９の下段は、フレームの上側から見た状態を模式的に示しており、３Ｄのデータについては、サイドバイサイド方式であるため、Ｌ，Ｒのデータが画面水平方向に並べて配置されている。デコーダ１０４からは、＃４のフレームまでは６０［Ｈｚ］の周波数でサイドバイサイド方式の各フレームのデータが出力され、＃５～＃１０のフレームでは２Ｄのデータが６０［Ｈｚ］の周波数で出力される。また、＃１１以降のフレームでは、６０［Ｈｚ］の周波数でサイドバイサイド方式の各フレームのデータが出力される。
　バックエンドプロセッサー１０６は、デコーダ１０４の出力を受けて、＃１～＃４及び＃１０～＃１４のフレームでは、サイドバイサイド方式のＬ，Ｒのデータ（それぞれ９６０×１０８０ピクセル）を画面水平方向にそれぞれフィルタ処理（補完処理）して１９２０×１０８０ピクセルのデータに引き伸ばし、時間軸方向にスケーリングして１２０［Ｈｚ］のデータとして表示パネルへ送る。また、バックエンドプロセッサー１０８は、＃５～＃１０の２Ｄのフレームについては、時間軸方向にスケーリング（補間処理）して１２０［Ｈｚ］に変換し、表示パネルへ出力する。
　図９の例においても、受信装置１００は、各フレームに付加されたフレームカウントダウン値から３Ｄ⇔２Ｄの切り換えタイミングを取得することができる。従って、バックエンドプロセッサー１０８は、＃４のフレームにおける切り換えタイミングを予め認識することができ、２Ｄの補間処理に必要な準備を予め行うことができる。また、バックエンドプロセッサー１０８は、＃１０のフレームにおける切り換えタイミングを予め認識することができ、３Ｄの処理に必要な準備を予め行うことができる。従って、３Ｄと２Ｄの間で映像が切り換わった場合に、タイムラグを生じさせることなく、表示を連続して行うことが可能となる。
　図８において、フレームシーケンシャルによる左目用画像Ｌ、右目用画像Ｒ、または２Ｄの画像のデータは、デコード後にメモリの異なる領域に記憶される。同様に、図９において、サイドバイサイドの１フレームの左目用画像Ｌ、右目用画像Ｒ、または２Ｄの画像のデータは、デコード後にメモリの異なる領域に記憶される。従って、切り換えの前後でメモリの領域が異なるため、切り換えのタイミングでは予め初期化を行う必要がある。本実施形態では、切り換えまでのタイムオフセットが予めタイムオフセット値により判るため、メモリ初期化のための準備を切り換え前から行うことができる。
　また、図９の例では、バックエンドプロセッサー１０６の処理において、３Ｄの場合と２Ｄの場合とで補間処理のアルゴリズムが相違する。この場合においても、切り換えまでのタイムオフセットが予めタイムオフセット値により判るため、アルゴリズム切り換えの準備を事前に行うことができる。
［（５）バックエンドプロセッサーにおける切り換えの前後のパラメータ］
　図１０は、上述した切り換えが行われる際に、バックエンドプロセッサー１０８における切り換えの前後のパラメータを示す模式図である。ここで、図１０の１列目は、映像データがフィールドシーケンシャル（ＦＳ）方式で送られてきた場合に、３Ｄと２Ｄの間で映像が切り換わる場合のパラメータの変化を示している。この例では、３Ｄのデータが１２８０×７２０ピクセルであり、左右映像の周波数が３０×２＝６０［Ｈｚ］とされている。すなわち、Ｌ，Ｒのデータはそれぞれ３０Ｈｚの周波数でデコーダ１０４から出力され、左右映像の周波数は３０×２＝６０［Ｈｚ］である。一方、２Ｄのデータも１２８０×７２０ピクセルであるが、３０［Ｈｚ］の周波数でデコーダ１０４から出力される。従って、バックエンドプロセッサー１０８は３Ｄと２Ｄの間で切り換えが発生した場合は、時間方向のスケーリングを行い、２Ｄのデータを補完処理して６０［Ｈｚ］の周波数で出力する。これにより、３Ｄと２Ｄの間で映像が切り換わる場合に、双方の映像の周波数を同一にすることができ、表示パネルの処理は同一に行うことができるとともに、切り換わりの際にユーザに違和感を与えることを抑止できる。
　図１０の２列目は、３Ｄのデータがサイドバイサイド方式（ＳＢＳ）で送られてきた場合に、３Ｄと２Ｄの間で映像が切り換わる場合のパラメータの変化を示している。この例では、３ＤのデータがＬ、Ｒのそれぞれで９６０×５４０ピクセルであり、Ｌ、Ｒが画面水平方向に並べて配置された１フレームが６０［Ｈｚ］の周波数でデコーダ１０４から出力される。一方、２Ｄのデータは１９２０×５４０ピクセルであり、６０［Ｈｚ］の周波数でデコーダ１０４から出力される。従って、バックエンドプロセッサー１０８は、３Ｄ映像については、Ｌ，Ｒのそれぞれについて空間方向のスケーリングを行って、１９２０×５４０ピクセルのデータとして出力する。具体的には、フレームの画面水平方向の画素数を９６０×２＝１９２０とするフィルタリング（補完処理）を行う。一方、周波数については３Ｄ、２Ｄのいずれもデコーダ１０４の出力は６０［Ｈｚ］であるため、スケーリングは行わない。これにより、３Ｄと２Ｄの間で映像が切り換わる場合に、双方の画素数を同一にすることができる。
　図１０の３列目は、３Ｄのデータがトップアンドボトム方式（ＴＡＢ）で送られてきた場合に、３Ｄと２Ｄの間で映像が切り換わる場合のパラメータの変化を示している。この例では、３ＤのデータがＬ、Ｒのそれぞれで１９２０×２７０ピクセルであり、Ｌ、Ｒが画面水平方向に並べて配置された１フレームが６０［Ｈｚ］の周波数でデコーダ１０４から出力される。一方、２Ｄのデータは１９２０×５４０ピクセルであり、６０［Ｈｚ］の周波数でデコーダ１０４から出力される。従って、バックエンドプロセッサー１０８は、３Ｄ映像については、Ｌ，Ｒのそれぞれについて空間方向のスケーリングを行って、１９２０×５４０ピクセルのデータとして出力する。具体的には、フレームの画面垂直方向の画素数を２７０×２＝５４０とする補完処理を行う。一方、フレーム周波数については３Ｄ、２Ｄのいずれもデコーダ１０４の出力は６０［Ｈｚ］であるため、スケーリングは行わない。これにより、３Ｄと２Ｄの間で映像が切り換わる場合に、双方の画素数を同一にすることができる。
　以上のような画像データの空間的および時間的なスケーリングは、予め変換後のパラメータが判っていないと、切り換え直後からスケーリングされた適正な画像を表示することはできない。このため、本実施形態では、変換前にフレームカウントダウン値と、変換後のネクスト３Ｄタイプを取得できるため、切り換えのタイミングまでの間に空間的および時間的なスケーリングの切り換えの準備を行うことができる。従って、切り換え直後から、スケーリングが適正に行われた画像を表示することが可能である。
　図１１は、ビューコピーの概念を説明するための模式図である。ビューコピーは、送信装置側で３Ｄ映像のＬ，Ｒの一方を他方にコピーすることで、Ｌ，Ｒを同一の映像データとし、２Ｄデータとして受信側に送るものである。図１１に示すように、元のフレームのデータ（Ｏｒｉｇｉｎａｌ　Ｆｒａｍｅ）に対して、トップアンドボトムの場合は、垂直方向にデータが圧縮され（Ｓｃａｌｉｎｇ　Ｖｅｒｔｉｃａｌｌｙ）、トップアンドボトムの上下のＬ，Ｒのそれぞれの領域に圧縮後の同一データが配置される。例えば元のフレームが左目用画像Ｌであり、ビューコピーにより左目用画像Ｌのみで２Ｄ表示を行う場合、垂直方向に圧縮された左目用画像Ｌのデータがトップアンドボトムの左目用画像Ｌの領域に配置され、右目用画像Ｒの領域（下側の領域）には左目用画像Ｌがコピーされる。
　また、サイドバイサイド方式の場合は、元のフレームのデータに対して、水平方向にデータが圧縮され（Ｓｃａｌｉｎｇ　Ｈｏｒｉｚｏｎｔａｌｌｙ）、サイドバイサイドの左右のＬ，Ｒのそれぞれの領域に圧縮後の同一データが配置される。例えば元のフレームが左目用画像Ｌであり、ビューコピーにより左目用画像Ｌのみで２Ｄ表示を行う場合、水平方向に圧縮された左目用画像Ｌのデータがサイドバイサイドの左目用画像Ｌの領域に配置され、右目用画像Ｒの領域（右側の領域）には左目用画像Ｌがコピーされる。
　また、フレームシーケンシャル方式の場合は、元のフレームのデータに対して、所定のスケーリング（圧縮）が行われた後、左目用画像ＬであるフレームＮのデータが時間軸方向の次のフレームＮ＋１にコピーされる。これにより、３Ｄの場合の本来のフレームＮ＋１は右目用画像Ｒのデータであるが、左目用画像Ｌをコピーすることにより、左右の映像が同一となり、左目用画像Ｌのみで２Ｄ映像を表示することができる。
　図４で説明したビューコピー（Ｖｉｅｗ＿Ｃｏｐｙ）が１の場合、２ｎｄビューは１ｓｔビューのコピーであり、図１１に示すようなビューコピーが行われている。従って、受信装置１００は、ビューコピー（Ｖｉｅｗ＿Ｃｏｐｙ）のデータを参照することにより、２Ｄのデータが送られてきた場合に、２Ｄのデータが元々３Ｄのデータであり、元のデータのＬ，Ｒの一方を他方にコピーしたものであることを認識することができる。
　［（７）メモリの設定変更について］
　図１２は、メモリの設定変更を説明するための模式図である。図１２の上段に示すように、デコーダ１０４の後段には、デインターレーサー１０６ａ、スケーラ１０６ｂ、フレームインターリーバ１０６ｃが配置され、これらの機能ブロックは主にバックエンドプロセッサー１０６によって構成される。図１２の下段は、デコーダ１０４からの出力を示しており、映像データがインターレースのフレームの場合と、プログレッシブのフレームの場合をそれぞれ示している。インターレースの場合、（Ｎ－１）番目のフレーム、Ｎ番目のフレームのそれぞれは、Ｅｖｅｎ　ＦｉｅｌｄとＯｄｄ　Ｆｉｅｌｄのフレームペアから構成され、１フレームのＬ，Ｒのデータはフレームペアにより構成される。一方、プログレッシブの場合、フレーム数はインターレースの２倍となり、２＊Ｎ番目のフレームと２＊Ｎ＋１番目のフレームのそれぞれは、Ｌ，Ｒのデータが１フレームに配置されて構成される。
　これらのデータを保持するために必要なメモリは、制御部１１０によってメモリ空間にアロケートされる。ここで、３Ｄ＿ｔｙｐｅによって必要なメモリ構成は異なり、３Ｄ＿Ｔｙｐｅの切換え時点でコントローラはメモリのアロケートを初期化する。このメモリの初期化は、オペレーティング・システムに依存したタイミングで行われることが多く、初期化に要するタイミングは十ミリ秒～数十ミリ秒単位の間隔となる場合がある。また、一方で、デインターレーサー１０６ａやスケーラ１０６ｂでのフィルタの切換えは、通常の処理を一旦停止させた上で行われる。
　これらの要因から、３Ｄ＿Ｔｙｐｅの切換えを行うには、複数のビデオフレーム数あるいは複数のビデオ垂直期間から、数秒単位の期間までの間の切換え準備期間が必要となる。このため、切換え後の新たな３Ｄ＿Ｔｙｐｅを最初のビデオフレームから表示させるためには、送信側から受信側へ、３Ｄ＿Ｔｙｐｅの切換えタイミングまでの時間差の情報を伝送する必要がある。
　本実施形態では、上述のように、切り換えが行われる場合は、切り換えタイミングよりも以前から、フレームカウントダウン値によって切り換えのタイミングが事前に示される。従って、受信装置１００側では、予めメモリの初期化に係る準備を行うことで、切換え後の新たな３Ｄ＿Ｔｙｐｅを切り換え直後のビデオフレームから表示させることが可能である。
［（８）変換禁止フラグに基づく変換禁止の動作について］
　次に、変換禁止フラグによる変換禁止の動作について説明する。図３で説明したように、各フレームのコーデックレイヤーのストリームシンクタクスに付加される識別情報には、変換禁止フラグ（Ｐｒｏｈｉｂｉｔ＿Ｃｏｎｖｅｒｔ＿ｆｌａｇ）が含まれる。変換禁止フラグは、送信側から送られたコンテンツについて、送信側の意図により変換を禁止する場合に“１”に設定される。一方、送信側の意図により変換が許可される場合、変換禁止フラグは“０”に設定される。
　例えば、送信されたコンテンツがプレミアムな３Ｄ映像である場合のように、送信側で２Ｄ映像としての映像表示を想定していないコンテンツが配信される場合がある。このような場合、送信側で変換禁止フラグを“１”に設定しておくことで、受信装置１００による２Ｄへの変換を禁止する。同様に、送信側されたコンテンツが２Ｄ映像であり、送信側では３Ｄ映像への変換を想定していない場合、送信側で変換禁止フラグを“１”に設定しておくことで、受信装置１００による３Ｄへの変換を禁止する。
　図１８、図１９及び図２０は、変換禁止フラグに基づく受信装置１００の動作を示す模式図である。ここで、図１８及び図１９は、送信側から送信されたコンテンツが３Ｄ映像の場合を示しており、図１８はフレームシーケンシャル方式の場合を、図１９はサイドバイサイド方式の場合を示している。また、図２０は、送信されたコンテンツが２Ｄ映像の場合を示している。
　図１８に示すフィールドシーケンシャル方式の場合、図８と同様に、デコーダ１０６からはフレームシーケンシャルによる左目用画像Ｌのフレームと右眼用画像Ｒのフレームが交互に出力される。図１８に示すように、変換禁止フラグが“０”
の場合（［ｉ］Ｐｒｏｈｉｂｉｔ＿Ｃｏｎｖｅｒｔ＿ｆｌａｇ＝０）、変換が許可されているため、受信装置１００では、受信したコンテンツを通常に３Ｄ再生（Ｎｏｒｍａｌ　３Ｄ再生）することができる。また、変換禁止フラグが“０”
の場合、受信装置１００では、３Ｄ映像を２Ｄ映像に変換して２Ｄ変換再生（２Ｄ　Ｃｏｎｖｅｒｔ再生）することもできる。Ｎｏｒｍａｌ　３Ｄ再生の場合、デコーダ１０４から出力されたデータ（図１８に示すＤｅｃｏｄｅｄ　Ｆｒａｍｅｓ）は、バックエンドプロセッサー１０６にて所定の３Ｄ処理がなされ、図１８に示す３Ｄ　Ｐｒｏｃ　ｏｕｔのデータとして出力される。この場合、バックエンドプロセッサー１０６では、空間方向、時間方向のスケーリングを行うことなく出力することもできる。また、２Ｄ　Ｃｏｎｖｅｒｔ再生の場合、デコーダ１０４から出力されたデータ（図１８に示すＤｅｃｏｄｅｄ　Ｆｒａｍｅｓ）は、バックエンドプロセッサー１０６にて左目用画像Ｌのフレームのみが抽出されて出力される。従って、３Ｄ映像を左目用画像Ｌのみによる２Ｄ映像に変換して再生することができる。なお、２Ｄ　Ｃｏｎｖｅｒｔ再生の場合、右目用画像Ｒのフレームのみを抽出して、３Ｄ映像を右目用画像Ｒのみによる２Ｄ映像に変換して再生しても良い。
　一方、図１８において、変換禁止フラグが“１” の場合（［ｉｉ］Ｐｒｏｈｉｂｉｔ＿Ｃｏｎｖｅｒｔ＿ｆｌａｇ＝１）、変換が禁止されているため、受信装置１００では、受信したコンテンツを通常に３Ｄ再生（Ｎｏｒｍａｌ　３Ｄ再生）することはできるが、２Ｄ映像に変換することはできない。このため、受信装置１００では、３Ｄ映像から２Ｄ映像への変換は機能しない。３Ｄ再生については、変換禁止フラグが“０”
の場合と同様に行われる。
　また、図１９に示すサイドバイサイド方式の場合、デコーダ１０４から左目用画像Ｌ及び右眼用画像Ｒが１フレームに集約された画像データが出力される。図１９に示すように、変換禁止フラグが“０”
の場合（［ｉ］Ｐｒｏｈｉｂｉｔ＿Ｃｏｎｖｅｒｔ＿ｆｌａｇ＝０）、変換が許可されているため、受信装置１００では、受信したコンテンツを通常に３Ｄ再生（Ｎｏｒｍａｌ　３Ｄ再生）することができる。また、変換禁止フラグが“０”
の場合、受信装置１００では、３Ｄ映像を２Ｄ映像に変換して２Ｄ変換再生（２Ｄ　Ｃｏｎｖｅｒｔ再生）することもできる。Ｎｏｒｍａｌ　３Ｄ再生の場合、デコーダ１０４から出力されたデータ（図１９に示すＤｅｃｏｄｅｄ　Ｆｒａｍｅｓ）は、バックエンドプロセッサー１０６にて左右の画像が水平方向にスケーリング処理（補間処理）されて、図１９に示す３Ｄ　Ｐｒｏｃ　ｏｕｔのデータとして、時系列に左目用画像Ｌと右眼用画像Ｒがフレーム毎に交互に出力される。また、２Ｄ　Ｃｏｎｖｅｒｔ再生の場合、デコーダ１０４から出力されたデータ（図１９に示すＤｅｃｏｄｅｄ　Ｆｒａｍｅｓ）は、バックエンドプロセッサー１０６にて左目用画像Ｌのみが水平方向にスケーリング処理されて、左目用画像Ｌのみがフレーム毎に出力される。従って、３Ｄ映像を左目用画像Ｌのみによる２Ｄ映像に変換して再生することができる。なお、２Ｄ　Ｃｏｎｖｅｒｔ再生の場合、右目用画像Ｒのみを水平方向にスケーリング処理して、３Ｄ映像を右目用画像Ｒのみによる２Ｄ映像に変換して再生しても良い。
　一方、図１９において、変換禁止フラグが“１” の場合（［ｉｉ］Ｐｒｏｈｉｂｉｔ＿Ｃｏｎｖｅｒｔ＿ｆｌａｇ＝１）、変換が禁止されているため、受信装置１００では、受信したコンテンツを通常に３Ｄ再生（Ｎｏｒｍａｌ　３Ｄ再生）することはできるが、２Ｄ映像に変換することはできない。このため、受信装置１００における３Ｄ映像から２Ｄ映像への変換は機能しない。３Ｄ再生については、変換禁止フラグが“０”
の場合と同様に行われる。
　また、図２０に示すように、送信されたコンテンツが２Ｄ映像であり、変換禁止フラグが“０”
の場合（［ｉ］Ｐｒｏｈｉｂｉｔ＿Ｃｏｎｖｅｒｔ＿ｆｌａｇ＝０）、変換が許可されているため、受信装置１００では、受信したコンテンツを通常に２Ｄ再生（Ｎｏｒｍａｌ　２Ｄ再生）することができる。また、変換禁止フラグが“０”
の場合、受信装置１００では、２Ｄ映像を３Ｄ映像に変換して３Ｄ変換再生（３Ｄ　Ｃｏｎｖｅｒｔ再生）することもできる。Ｎｏｒｍａｌ　２Ｄ再生の場合、デコーダ１０４から出力された左目用画像Ｌのデータ（図２０に示すＤｅｃｏｄｅｄ　Ｆｒａｍｅｓ）は、バックエンドプロセッサー１０６にて３Ｄの処理は行われずに、２Ｄのデータフレームとして出力される。これにより、左目用画像Ｌによる２Ｄの映像を表示することができる。なお、送信側から右眼用画像Ｒのデータにより２Ｄ映像が送られている場合、右眼用画像Ｒによる２Ｄの映像を表示できる。
　また、図２０において、２Ｄ　Ｃｏｎｖｅｒｔ再生を行う場合、デコーダ１０４から出力された左目用画像Ｌのデータ（図２０に示すＤｅｃｏｄｅｄ　Ｆｒａｍｅｓ）は、バックエンドプロセッサー１０６にて視差分だけ映像をずらす処理が行われる。この処理によって、元の左目用画像Ｌと対になる右目用画像Ｒが生成されて、左目用画像Ｌと右眼用画像Ｒが交互に出力される。なお、左目用画像Ｌを視差分だけずらす処理を行う際には、左目用画像Ｌに含まれるオブジェクト毎に視差量を相違させることにより、よりリアルな３Ｄ映像を生成することができる。この場合において、オブジェクトの検出は、輪郭のエッジを検出する方法、輝度あるいはコントラストの相違を検出する方法など、様々な手法を用いることができる。
　一方、図２０において、変換禁止フラグが“１” の場合（［ｉｉ］Ｐｒｏｈｉｂｉｔ＿Ｃｏｎｖｅｒｔ＿ｆｌａｇ＝１）、変換が禁止されているため、受信装置１００では、受信したコンテンツを通常に２Ｄ再生（Ｎｏｒｍａｌ　２Ｄ再生）することはできるが、３Ｄ映像に変換することはできない。このため、受信装置１００における２Ｄ映像から３Ｄ映像への変換は機能しない。２Ｄ再生については、変換禁止フラグが“０”
の場合と同様に行われる。
［（８）送信装置の構成例］
　図１３は、本実施形態に係る送信装置２００の構成を示す模式図である。送信装置２００は、３Ｄ映像または２Ｄ映像をエンコードして、有線または無線の伝送路を介して受信装置１００へ送信するものである。
　図１３に示すように、送信装置２００は、ＣＰＵ２０２、カウンタ２０４、スイッチ２０６、ビデオエンコーダ２０８を備える。スイッチ２０６には、データベース２１０、及びデータベース２１２が接続されている。データベース２１０、及びデータベース２１２は、送信装置２００と一体に構成されていても良いし、別体に構成されていても良い。図１３に示す構成は、回路（ハードウェア）または、ＣＰＵ（中央演算処理装置）とこれを機能されるためのプログラム（ソフトウェア）によって構成されることができる。この場合に、プログラムは、受信装置１００が備えるメモリ、または外部の記憶媒体に記憶されることができる。
　データベース２１０には、３Ｄの映像Ａのデータが格納されている。また、データベース２１２には、２Ｄの映像Ｂのデータが格納されている。データベース２１０に格納された映像Ａのデータと、データベース２１２に格納された映像Ｂのデータは、スイッチ２０６へ送られる。スイッチ２０６は、映像Ａと映像Ｂのいずれか一方を選択してビデオエンコーダ２０８へ送る。スイッチ２０６は、カウンタ２０４でのフレームのカウント数に応じて、映像Ａと映像Ｂのいずれか一方のデータをビデオエンコーダ２０８へ送る。
　カウンタ２０４は、ＣＰＵ２０２からの指令に基づいて、ビデオエンコーダ２０８へ送られる映像データのフレーム数をカウントし、切り換えまでのカウント数をスイッチ２０６へ送る。例えば、３Ｄの映像Ａが番組本編のデータであり、２Ｄの映像ＢがＣＭのデータである場合、ＣＰＵ２０２は、番組本編の映像ＡからＣＭの映像Ｂに切り換えるまでのタイムオフセットに相当するフレームのカウント数をスイッチ２０６へ送る。
　スイッチ２０６は、カウンタ２０４から送られた切り換えまでのカウント数に基づいて、切り換えが発生するタイミングでビデオエンコーダ２０８へ送る映像を切り換える。これにより、番組本編の映像ＡとＣＭの映像Ｂとの間で相互に映像を切り換えることができる。
　ビデオエンコーダ２０８は、スイッチ２０６から送られた映像Ａまたは映像Ｂのデータに対して、例えばＭＰＥＧ－４　ＡＶＣ、ＭＰＥＧ－２　Ｖｉｄｅｏ、VC-1、MPEG4　Visuaなどのビットストリームで受信装置１００に送信するため、エンコードする。
　また、カウンタ２０４は、切り換えまでのカウント数をビデオエンコーダ２０８へ送る。ビデオエンコーダ２０８は、カウンタ２０４から送られたカウント数を、エンコードした各フレームのコーデックレイヤーのストリームシンクタクスに対して、フレームカウントダウン値として付加する。また、ビデオエンコーダ２０８は、ＣＰＵ２０２からの指令に基づいて、映像Ａまたは映像Ｂのデータに対して、図３～図７で説明した各種データを付加する。ビデオエンコーダ２０８でエンコードされたビットストリームは、送信部２１４から受信装置１００へ送信される。
　以上のような構成によれば、送信装置２００は、ＣＰＵ２０２の指示に基づいて、３Ｄの映像Ａと２Ｄの映像Ｂとを切り換えることができる。また、送信装置２００は、ＣＰＵ２０２の指示に基づいて、切り換えまでのフレーム数を示すカウントダウン値をビデオデータに付加することができる。また、送信装置２００は、図３～図７の各種情報をビデオデータに付加することができる。従って、受信装置１００側では、送信装置２００で付加されたこれらの情報に基づいて、切り換え前後の処理を行うことができ、切り換えに関する各種処理を事前に準備することが可能となる。
　以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
　１００　　受信装置
　１０４　　デコーダ
　１０６　　バックエンドプロセッサー
　２００　　送信装置
　２０２　　ＣＰＵ
　２０８　　ビデオエンコーダ
　２０６　　フレーミング部

Claims (15)

  1. 　外部から受信した映像信号を復号する復号処理部と、
    　前記映像信号の各フレームに対応するレイヤーから、映像の２次元または３次元に関するフォーマットを含む識別情報を取得する識別情報取得部と、
    　前記識別情報に基づいて、前記映像信号による画像表示のための処理を行う処理部と、
    　を備える、受信装置。
  2. 　前記処理部は、前記識別信号に基づいて前記映像信号による映像データの空間的または時間的なスケーリングを行い、映像のフォーマットが切り換わった場合は、切り換わりのタイミングに合わせて前記スケーリングのためのパラメータを切り換えるスケーリング部を含む、請求項１に記載の受信装置。
  3. 　前記識別情報は、映像の３次元フォーマットの切り換わりが生じるタイミング、又は３次元映像と２次元映像の切り換わりが生じるタイミングを示すオフセット情報を含み、
    　前記スケーリング部は、前記オフセット情報に基づいて、前記切り換わりが生じるタイミングの前に前記パラメータを切り換えるための処理を開始する、請求項２に記載の受信装置。
  4. 　前記識別情報は、映像の３次元フォーマットの切り換わりが生じるタイミング、又は３次元映像と２次元映像の切り換わりが生じるタイミングを示すオフセット情報を含み、
    　前記スケーリング部は、前記オフセット情報に基づいて、前記切り換わりが生じるタイミングの前に、復号された映像信号を保持する一時バッファの設定を切り換える処理を開始する、請求項２に記載の受信装置。
  5. 　前記識別情報は、前記３次元フォーマットとして、サイドバイサイド方式、トップアンドボトム方式及びフレームシーケンシャル方式の少なくとも１つを表す情報を含む、請求項２に記載の受信装置。
  6. 　前記識別情報は、前記３次元フォーマットによる左目用と右眼用の２つのビューのそれぞれについて、空間的又は時間的な位相が同位相であるか別位相であるかを示す情報を含む、請求項２に記載の受信装置。
  7. 　前記識別情報は、映像信号が３次元の左右映像の一方を他方にコピーすることにより２次元の映像とされている旨を示す信号を含む、請求項２に記載の受信装置。
  8. 　前記スケーリング部は、前記空間的なスケーリングとして、前記復号処理部により復号された映像を画面垂直方向又は画面水平方向に伸張する処理を行う、請求項２に記載の受信装置。
  9. 　前記スケーリング部は、前記時間的なスケーリングとして、時系列に配置される映像フレームのコピー又は補間処理を行う、請求項２に記載の受信装置。
  10. 　前記識別情報は、映像のフォーマットの変換を禁止するための情報を含む、請求項１に記載の受信装置。
  11. 　映像信号を符号化する符号化処理部と、
    　映像信号の各フレームに対応するレイヤーに、少なくとも映像の２次元または３次元に関するフォーマットを含む識別情報を挿入する識別情報挿入部と、
    　前記識別情報が挿入された映像信号を送信する送信部と、
    　を備える送信装置。
  12. 　映像信号を符号化する符号化処理部と、映像信号の各フレームに対応するレイヤーに映像の２次元または３次元に関するフォーマットを含む識別情報を挿入する識別情報挿入部と、前記識別情報が挿入された映像信号を送信する送信部と、を有する送信装置と、
    　前記送信装置から受信した映像信号を復号する復号処理部と、
    　前記映像信号の各フレームに対応するレイヤーから、映像の２次元または３次元に関するフォーマットを含む識別情報を取得する識別情報取得部と、前記識別信号に基づいて、前記映像信号による画像表示のための処理を行う処理部と、を有する受信装置と、
    　を備える、通信システム。
  13. 　外部から受信した映像信号を復号するステップと、
    　前記映像信号の各フレームに対応するレイヤーから、映像の２次元または３次元に関するフォーマットを含む識別情報を取得するステップと、
    　前記識別信号に基づいて、前記映像信号による画像表示のための処理を行うステップと、
    　を備える、画像表示方法。
  14. 　外部から受信した映像信号を復号する手段、
    　前記映像信号の各フレームに対応するレイヤーから、映像の２次元または３次元に関するフォーマットを含む識別情報を取得する手段、
    　前記識別信号に基づいて、前記映像信号による画像表示のための処理を行う手段、
    　としてコンピュータを機能させるためのプログラム。
  15. 　放送するコンテンツに係る映像信号を含むデジタル放送信号のデータ構造であって、
    　前記映像信号の各フレームに対応するレイヤーには映像の２次元または３次元に関するフォーマットを含む識別情報が挿入され、
    　前記識別情報に基づいて、前記映像信号による画像表示のための処理を行う手段として受信装置を機能させるためのデジタル放送信号のデータ構造。
PCT/JP2010/069154 2009-11-05 2010-10-28 受信装置、送信装置、通信システム、表示制御方法、プログラム、及びデータ構造 WO2011055674A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
BRPI1006042A BRPI1006042A2 (pt) 2009-11-05 2010-10-28 receptor, transmissor, sistema de comunicacao, metodo de exibicao de imagem, programa, e, estrutura de dados de um sinal de radiodifusao digital
ES10828234T ES2868358T3 (es) 2009-11-05 2010-10-28 Receptor, transmisor, sistema de comunicación, método de control de visualización, programa y estructura de datos
EP10828234.4A EP2498500B1 (en) 2009-11-05 2010-10-28 Receiver, transmitter, communication system, display control method, program, and data structure
US13/142,336 US8872890B2 (en) 2009-11-05 2010-10-28 Method and receiver for enabling switching involving a 3D video signal
CN2010800067393A CN102308588A (zh) 2009-11-05 2010-10-28 接收器、发送器、通信系统、显示控制方法、程序和数据结构
US14/484,915 US10051226B2 (en) 2009-11-05 2014-09-12 Transmitter for enabling switching involving a 3D video signal

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009254471 2009-11-05
JP2009-254471 2009-11-05
JP2010-022240 2010-02-03
JP2010022240A JP5482254B2 (ja) 2009-11-05 2010-02-03 受信装置、送信装置、通信システム、表示制御方法、プログラム、及びデータ構造

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/142,336 A-371-Of-International US8872890B2 (en) 2009-11-05 2010-10-28 Method and receiver for enabling switching involving a 3D video signal
US14/484,915 Continuation US10051226B2 (en) 2009-11-05 2014-09-12 Transmitter for enabling switching involving a 3D video signal

Publications (1)

Publication Number Publication Date
WO2011055674A1 true WO2011055674A1 (ja) 2011-05-12

Family

ID=43969914

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/069154 WO2011055674A1 (ja) 2009-11-05 2010-10-28 受信装置、送信装置、通信システム、表示制御方法、プログラム、及びデータ構造

Country Status (7)

Country Link
US (2) US8872890B2 (ja)
EP (1) EP2498500B1 (ja)
JP (1) JP5482254B2 (ja)
CN (1) CN102308588A (ja)
BR (1) BRPI1006042A2 (ja)
ES (1) ES2868358T3 (ja)
WO (1) WO2011055674A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130038687A1 (en) * 2011-08-12 2013-02-14 Renesas Electronics Corporation Video decoding device and image display device
JPWO2011086653A1 (ja) * 2010-01-14 2013-05-16 パナソニック株式会社 映像出力装置、映像表示システム

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5585047B2 (ja) * 2009-10-28 2014-09-10 ソニー株式会社 ストリーム受信装置、ストリーム受信方法、ストリーム送信装置、ストリーム送信方法及びコンピュータプログラム
KR101289269B1 (ko) * 2010-03-23 2013-07-24 한국전자통신연구원 영상 시스템에서 영상 디스플레이 장치 및 방법
JP2011216965A (ja) * 2010-03-31 2011-10-27 Sony Corp 情報処理装置、情報処理方法、再生装置、再生方法、およびプログラム
KR101329506B1 (ko) * 2010-08-12 2013-11-13 엘지디스플레이 주식회사 영상표시장치
US20120206568A1 (en) * 2011-02-10 2012-08-16 Google Inc. Computing device having multiple image capture devices and image modes
JP6033529B2 (ja) 2011-05-30 2016-11-30 株式会社東海理化電機製作所 検出装置および電流センサ
CA2815106A1 (en) 2011-07-22 2013-01-31 Panasonic Corporation Content playback device, content playback method, content playback program and content distribution system
US20150002624A1 (en) * 2012-01-20 2015-01-01 Panasonic Corporation Video signal processing device and video signal processing method
CN102547353A (zh) * 2012-03-07 2012-07-04 山东泰信电子有限公司 一种识别及播放2d与3d节目的方法
WO2013154029A1 (ja) * 2012-04-13 2013-10-17 ソニー株式会社 復号装置および復号方法、並びに、符号化装置および符号化方法
CN103428463B (zh) * 2012-05-19 2016-10-12 腾讯科技（深圳）有限公司 3d视频源存储方法和装置及3d视频播放方法和装置
TWI510055B (zh) * 2012-11-13 2015-11-21 Realtek Semiconductor Corp 立體影像格式轉換器及其立體影像格式轉換方法
CN103888839B (zh) * 2012-12-20 2017-03-29 深圳市快播科技有限公司 一种视频播放方法和设备
CN104284191B (zh) * 2013-07-03 2018-12-18 乐金电子(中国)研究开发中心有限公司 视频编解码方法及视频编解码器
BR112015030894B1 (pt) 2013-09-12 2023-03-14 Sony Corporation Dispositivo codificador, transmissor e receptor
CN104125452A (zh) * 2014-08-08 2014-10-29 北京行云时空科技有限公司 一种面向立体眼镜的2d及3d图像显示和操作控制系统
CN106303493B (zh) * 2015-05-27 2018-06-29 深圳超多维光电子有限公司 图像处理方法及装置
US20180213216A1 (en) * 2015-06-16 2018-07-26 Lg Electronics Inc. Media data transmission device, media data reception device, media data transmission method, and media data rececption method
CN109792503A (zh) * 2016-09-29 2019-05-21 松下知识产权经营株式会社 编辑方法、生成方法、编辑装置、生成装置以及记录介质
TW201834455A (zh) * 2016-12-05 2018-09-16 晨星半導體股份有限公司 立體影像串流處理裝置與立體影像串流處理處理方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09138384A (ja) 1995-11-15 1997-05-27 Sanyo Electric Co Ltd 立体画像観察用眼鏡の制御方法
JPH1173376A (ja) * 1997-08-29 1999-03-16 Canon Inc 記録再生装置、ファイル変換装置および情報のファイル変換禁止システム
JP2000036969A (ja) 1998-07-21 2000-02-02 Nippon Hoso Kyokai <Nhk> 立体画像表示方法および装置
JP2003045343A (ja) 2001-08-03 2003-02-14 Nippon Hoso Kyokai <Nhk> 立体画像表示装置
JP2005094168A (ja) * 2003-09-12 2005-04-07 Sharp Corp ファイル構造及びそれを用いる画像記録装置並びに画像再生装置
JP2006140618A (ja) * 2004-11-10 2006-06-01 Victor Co Of Japan Ltd ３次元映像情報記録装置及びプログラム
US20090096864A1 (en) 2007-10-13 2009-04-16 Samsung Electronics Co. Ltd. Apparatus and method for providing stereoscopic three-dimensional image/video contents on terminal based on lightweight application scene representation

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6108047A (en) * 1997-10-28 2000-08-22 Stream Machine Company Variable-size spatial and temporal video scaler
JP2003333624A (ja) * 2002-05-10 2003-11-21 Sharp Corp 電子機器
JP2004357156A (ja) * 2003-05-30 2004-12-16 Sharp Corp 映像受信装置および映像再生装置
US7650036B2 (en) * 2003-10-16 2010-01-19 Sharp Laboratories Of America, Inc. System and method for three-dimensional video coding
KR100813961B1 (ko) * 2005-06-14 2008-03-14 삼성전자주식회사 영상 수신장치
KR100828358B1 (ko) * 2005-06-14 2008-05-08 삼성전자주식회사 영상 디스플레이 모드 전환 방법, 장치, 및 그 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
JP4630149B2 (ja) * 2005-07-26 2011-02-09 シャープ株式会社 画像処理装置
JP2007067686A (ja) * 2005-08-30 2007-03-15 Toshiba Corp 映像表示装置及び映像表示方法
US8538134B2 (en) * 2007-10-04 2013-09-17 Samsung Electronics Co., Ltd. Method and apparatus for receiving and generating image data stream including parameters for displaying local three dimensional image
KR101506217B1 (ko) * 2008-01-31 2015-03-26 삼성전자주식회사 스테레오스코픽 영상의 부분 데이터 구간 재생을 위한스테레오스코픽 영상 데이터스트림 생성 방법과 장치, 및스테레오스코픽 영상의 부분 데이터 구간 재생 방법과 장치
CN201215988Y (zh) 2008-06-30 2009-04-01 泰德富华科技(深圳)有限公司 显示装置
JP4792127B2 (ja) * 2008-07-24 2011-10-12 パナソニック株式会社 立体視再生が可能な再生装置、再生方法、プログラム
US20100026783A1 (en) * 2008-08-01 2010-02-04 Real D Method and apparatus to encode and decode stereoscopic video data
EP2360935A4 (en) * 2008-09-30 2012-06-20 Panasonic Corp REPRODUCTION DEVICE, RECORDING MEDIUM, AND INTEGRATED CIRCUIT
US8947504B2 (en) * 2009-01-28 2015-02-03 Lg Electronics Inc. Broadcast receiver and video data processing method thereof
WO2010089995A1 (ja) * 2009-02-04 2010-08-12 パナソニック株式会社 記録媒体、再生装置、及び集積回路
WO2010126227A2 (en) * 2009-04-27 2010-11-04 Lg Electronics Inc. Broadcast receiver and 3d video data processing method thereof
KR20100128233A (ko) * 2009-05-27 2010-12-07 삼성전자주식회사 영상 처리 방법 및 장치
US9124874B2 (en) * 2009-06-05 2015-09-01 Qualcomm Incorporated Encoding of three-dimensional conversion information with two-dimensional video sequence
US20110013888A1 (en) * 2009-06-18 2011-01-20 Taiji Sasaki Information recording medium and playback device for playing back 3d images
WO2011049519A1 (en) * 2009-10-20 2011-04-28 Telefonaktiebolaget Lm Ericsson (Publ) Method and arrangement for multi-view video compression

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09138384A (ja) 1995-11-15 1997-05-27 Sanyo Electric Co Ltd 立体画像観察用眼鏡の制御方法
JPH1173376A (ja) * 1997-08-29 1999-03-16 Canon Inc 記録再生装置、ファイル変換装置および情報のファイル変換禁止システム
JP2000036969A (ja) 1998-07-21 2000-02-02 Nippon Hoso Kyokai <Nhk> 立体画像表示方法および装置
JP2003045343A (ja) 2001-08-03 2003-02-14 Nippon Hoso Kyokai <Nhk> 立体画像表示装置
JP2005094168A (ja) * 2003-09-12 2005-04-07 Sharp Corp ファイル構造及びそれを用いる画像記録装置並びに画像再生装置
JP2006140618A (ja) * 2004-11-10 2006-06-01 Victor Co Of Japan Ltd ３次元映像情報記録装置及びプログラム
US20090096864A1 (en) 2007-10-13 2009-04-16 Samsung Electronics Co. Ltd. Apparatus and method for providing stereoscopic three-dimensional image/video contents on terminal based on lightweight application scene representation

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2011086653A1 (ja) * 2010-01-14 2013-05-16 パナソニック株式会社 映像出力装置、映像表示システム
US20130038687A1 (en) * 2011-08-12 2013-02-14 Renesas Electronics Corporation Video decoding device and image display device
US9838666B2 (en) * 2011-08-12 2017-12-05 Renesas Electronics Corporation Video decoding device and image display device

Also Published As

Publication number Publication date
JP2011120195A (ja) 2011-06-16
ES2868358T3 (es) 2021-10-21
CN102308588A (zh) 2012-01-04
US8872890B2 (en) 2014-10-28
JP5482254B2 (ja) 2014-05-07
US10051226B2 (en) 2018-08-14
US20140375780A1 (en) 2014-12-25
EP2498500B1 (en) 2021-04-28
US20120026287A1 (en) 2012-02-02
EP2498500A4 (en) 2016-12-14
EP2498500A1 (en) 2012-09-12
BRPI1006042A2 (pt) 2016-05-10

Similar Documents

Publication Publication Date Title
JP5482254B2 (ja) 受信装置、送信装置、通信システム、表示制御方法、プログラム、及びデータ構造
US10341636B2 (en) Broadcast receiver and video data processing method thereof
US9756380B2 (en) Broadcast receiver and 3D video data processing method thereof
EP2327226B1 (en) Encoding and decoding architecture of checkerboard multiplexed image data
US8730303B2 (en) Broadcast transmitter, broadcast receiver and 3D video data processing method thereof
KR101797495B1 (ko) 디지털 수신기 및 디지털 수신기에서의 캡션 데이터 처리 방법
AU2011241841A1 (en) Method for generating and rebuilding a stereoscopic-compatible video stream and related coding and decoding devices
WO2011089982A1 (ja) 受信装置、送信装置、通信システム、受信装置の制御方法、及びプログラム
CA2777016C (en) Broadcast receiver and 3d video data processing method thereof
JP5238528B2 (ja) 符号化装置および方法、ならびに、復号装置および方法
US20120281075A1 (en) Broadcast signal receiver and method for processing video data
JP2011077599A (ja) 送信装置、受信装置、通信システム及びプログラム
WO2010133852A2 (en) An apparatus and method of transmitting three- dimensional video pictures via a two dimensional monoscopic video channel
JP5250158B2 (ja) 符号化装置・方法
KR20100043419A (ko) 다시점 화상 처리 장치

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080006739.3

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2010828234

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10828234

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13142336

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: PI1006042

Country of ref document: BR

ENP Entry into the national phase

Ref document number: PI1006042

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20110628