WO2010143820A2 - 3차원 pip 영상 제공 장치 및 그 방법 - Google Patents

3차원 pip 영상 제공 장치 및 그 방법 Download PDF

Info

Publication number
WO2010143820A2
WO2010143820A2 PCT/KR2010/003100 KR2010003100W WO2010143820A2 WO 2010143820 A2 WO2010143820 A2 WO 2010143820A2 KR 2010003100 W KR2010003100 W KR 2010003100W WO 2010143820 A2 WO2010143820 A2 WO 2010143820A2
Authority
WO
WIPO (PCT)
Prior art keywords
image
pip
main
video
dimensional
Prior art date
Application number
PCT/KR2010/003100
Other languages
English (en)
French (fr)
Other versions
WO2010143820A3 (ko
Inventor
장준영
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US13/376,654 priority Critical patent/US9185328B2/en
Priority to EP10786303.7A priority patent/EP2442561A4/en
Publication of WO2010143820A2 publication Critical patent/WO2010143820A2/ko
Publication of WO2010143820A3 publication Critical patent/WO2010143820A3/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs

Definitions

  • the present invention relates to a 3D image providing apparatus and a method thereof, and more particularly, to a 3D PIP image providing apparatus and a method thereof.
  • a stereoscopic 3D display device provides a user with a 3D image that enables depth perception to stereovision.
  • PIP picture in picture
  • Another object of the present invention is to provide a 3D PIP image determination method capable of determining whether a 2D PIP image or a 3D PIP image is included in image content.
  • Another object of the present invention is to provide an image encoding and decoding reference method capable of increasing image encoding and decoding efficiency in a reference method of a main image and a PIP image.
  • 3D PIP image providing apparatus for solving the first technical problem of the present invention, a three-dimensional main image and a two-dimensional or three-dimensional PIP image from a broadcast signal, an external device or a recording medium
  • An image acquisition unit for acquiring an image, a PIP synthesis unit for synthesizing the main image and the PIP image, and a three-dimensional formatter for formatting an image obtained by synthesizing the main image and the PIP image in a stereoscopic manner Include.
  • the main picture and the PIP picture may be included in one media file by multi-view video coding.
  • the main image and the PIP image may be different programs included in one transport stream.
  • the PIP synthesis unit may synthesize a left image and a right image of the 3D PIP image into a left image and a right image of the 3D main image, respectively.
  • the PIP synthesis unit may synthesize any one of a left image and a right image of the 3D PIP image into a left image and a right image of the 3D main image.
  • the PIP synthesis unit may synthesize the 2D PIP image into a left image and a right image of the 3D main image.
  • the PIP synthesizing unit includes a frame time comparator for analyzing a time relationship between two images from the time information of the main image and the PIP image, and a frame correction for synchronizing the main image with the PIP image corresponding to the main image in time. It may include wealth.
  • the 3D formatter may include a frame time comparator and the left image that analyze a temporal relationship between two images based on time information of a left image and a right image constituting the synthesized image of the main image and the PIP image. And a frame correction unit configured to synchronize the right image corresponding to the left image.
  • the 3D PIP image providing apparatus reads setting information included in the broadcast signal, setting information provided from the external device, or setting information stored in the recording medium to determine whether the PIP image is a 3D image or a 2D image.
  • the apparatus may further include a PIP image determiner.
  • the apparatus for providing 3D PIP images may further include a user input unit configured to receive whether to display the 3D PIP image as a 3D image or a 2D image.
  • the apparatus for providing 3D PIP images may further include an output interface unit configured to output the synthesized image of the main image and the PIP image to a 3D image display device.
  • the apparatus for providing a 3D PIP image may further include a display unit configured to display a synthesized image of the main image and the PIP image in a stereoscopic manner.
  • an apparatus for providing a 3D PIP image including an optical drive for reading a transport stream stored in a 3D Blu-ray disc, and the transport.
  • a transport stream analyzer which demultiplexes the main video program and the PIP video program included in the stream, and decodes the video bit stream and the audio bit stream of the main video and the PIP video, and synthesizes the main video and the PIP video as one
  • a PIP synthesizer for overlaying an image, a 3D formatter for formatting the synthesized image in a stereoscopic manner, and an output interface unit for outputting the formatted composite image to a 3D image display device.
  • the main image and the PIP image may be stored in the 3D Blu-ray disc in the form of a media file by multi-view video coding.
  • the PIP synthesis unit synthesizes a left image and a right image of a 3D PIP image into a left image and a right image of a 3D main image, respectively, or combines one of the left and right images of the 3D PIP image into the 3D main image.
  • the left and right images of the image may be synthesized, or the 2D PIP image may be synthesized into the left and right images of the 3D main image.
  • a method of providing a 3D PIP image including determining whether a PIP image is a 2D image or a 3D image, and the PIP image.
  • determining whether the user selects the 2D PIP or the 3D PIP and sets the left and right images of the 3D PIP image to the left and right images of the 3D main image, respectively.
  • a method for determining a 3D PIP image includes reading a database file stored in a 3D Blu-ray disc, and including the same in the database file. And reading the PIP image information and determining whether the PIP image is a 3D image or a 2D image based on the PIP image information.
  • the database file is an index.bdmv file, and the PIP image information may be stored in an ExtensionData area or a reserved_for_future_use area.
  • any one image frame constituting the three-dimensional main image comprises the three-dimensional main image.
  • Designating to refer to at least one other video frame designating that any one video frame constituting the PIP image refers to at least one other video frame constituting the PIP image, and the three-dimensional main image and And encoding or decoding the PIP image, wherein the image frame constituting the 3D main image does not refer to the image frame constituting the PIP image, and the image frame constituting the PIP image is the 3D main image. It does not refer to the image frame constituting the image.
  • the main image and the PIP image may be stored in the form of one media file by multi-view video coding.
  • the main image and the PIP image existing in one multi-view video coding file do not refer to each other, thereby increasing the 3D image encoding and decoding efficiency.
  • 1 is a conceptual diagram illustrating multi-view video coding.
  • FIG. 2 is a conceptual diagram illustrating a reference method of a 3D main image and a 2D PIP image.
  • 3 is a conceptual diagram illustrating a reference method of a 3D main image and a 3D PIP image.
  • FIG. 4 is an exemplary diagram for describing an example of a directory structure of a 3D Blu-ray disc.
  • FIG. 5 is an exemplary diagram for describing an example of a structure of an index.bdmv file stored in a 3D Blu-ray disc.
  • FIG. 6 is an exemplary diagram for describing an example of the structure of ExtensionData in the configuration of the index.bdmv file stored in the 3D Blu-ray disc.
  • FIG. 7 is a conceptual diagram illustrating an overlay of a 3D main image and a 2D PIP image in a 3D PIP image providing apparatus according to an embodiment of the present invention.
  • FIG. 8 is a conceptual diagram illustrating an overlay of a 3D main image and a 3D PIP image in a 3D PIP image providing apparatus according to an embodiment of the present invention.
  • 9 to 11 are block diagrams illustrating a configuration of a 3D PIP image providing apparatus according to an embodiment of the present invention.
  • FIG. 12 is a flowchart illustrating a 3D PIP image providing method according to an embodiment of the present invention.
  • an image encoding and decoding reference method for improving image encoding and decoding efficiency of a 3D main image and a 2D or 3D PIP image, and whether the 2D PIP image or 3D PIP image is included in the image content Apparatus and method for determining a 3D PIP image capable of determining, and providing a 3D main image and a 2D PIP image, or an image overlaying the 3D main image and the 3D PIP image, and a method thereof
  • Embodiments of the present invention will be described in detail with reference to FIGS. 1 to 12.
  • the stereoscopic image consists of a left image (left eye image) and a right image (right eye image).
  • the stereoscopic image is composed of a top-down arrangement of a left image and a right image up and down within a frame. down) method, L-to-R (left-to-right, side by side) method that arranges left and right images left and right within a frame, and checker board that arranges pieces of left and right images in tile form (checker board) method, interlaced method for arranging left and right images alternately by column or row unit, and time sequential (frame by frame) method for displaying left and right images alternately by time Etc. Therefore, one stereoscopic scene is composed of two frames in the time division scheme and one frame in the non-time division scheme.
  • Multi-view video is images captured at various viewpoints at the same time through one or more cameras, and the user may be provided with images of various viewpoints.
  • the multi-view video system acquires multi-view images captured by multiple cameras, corrects the captured images by using geometric features of the photographing camera, encodes them, and transmits them.
  • the synthesized image is reproduced using a three-dimensional display apparatus or a multi-view three-dimensional display apparatus to reproduce a three-dimensional image having a three-dimensional effect.
  • the viewer can watch the video of his or her desired view using the multi-view video system, and can also view more screens by synthesizing the video of the mid-view.
  • Multi-view video processing technology has unique features in image acquisition, image processing and encoding, and image display because it receives images from multiple cameras.
  • MVC multi-view video coding
  • 1 is a conceptual diagram illustrating multi-view video coding.
  • multi-view video coding uses video frames (1-1) by photographing an object or a scene at the same time zone (T1, T2, T3) with several cameras (Cam1, Cam2, Cam3). , 2-1, 3-1, 1-2, 2-2, 3-2, 1-3, 2-3), multiplexed the acquired video frames into one video stream, and then It is encoded and stored or transmitted using an encoding method.
  • the video stream is reconstructed using a multi-view video decoding method and demultiplexed to reconstruct the video frame for each camera viewpoint (View1, View2, View3).
  • the multiview video encoding method and the multiview video decoding method may be methods based on the H.264 / AVC standard.
  • reference between image frames is performed as follows.
  • video streams exist for each view point, and not only reference is made between temporal and subsequent frames in each video stream, but also between frames in the same or near time zone even between video streams having different view points.
  • Image encoding and decoding are performed by reference. This is because, as described above, in the case of a multi-view image, images are taken at different positions adjacent to the same time zone, and thus the redundancy between images and the relevance between images are high.
  • the 3D image includes a left image and a right image, and requires more storage space or transmission capacity than the existing image unless the screen resolution of the left image and the right image is lowered to less than half.
  • the time-division method of maintaining the screen resolution requires at least twice as much storage space or transmission capacity.
  • additional space is required.
  • the multi-view video coding (MVC) technique described above may be used to generate, store, and transmit such a 3D image.
  • the left image and the right image of the main image may be stored in a recording medium as one MVC file.
  • the PIP image may be stored as a separate MVC file or may be stored as one MVC file together with the main image. That is, when a multiview video coding technique is used to generate, store, and transmit a 3D image, a PIP image (left and right images in the case of a 3D PIP image), a left image constituting the 3D main image, The right image may be treated as an image acquired at different viewpoints and processed.
  • the main video and the PIP video in a single MVC file, it is preferable in that the synchronization problem in reproducing the main video and the PIP video can be alleviated.
  • the main video and the PIP video are stored as separate MVC files, it is difficult to synchronize the main video and the PIP video because the synchronization information between the main video and the PIP video must be maintained and managed separately.
  • the present invention can be applied to the case where the main image and the PIP image are stored as separate MVC files, in which case, means for synchronizing between the reproduction of the main image and the PIP image is added. It may be provided as an enemy.
  • FIGS. 2 and 3 are conceptual views illustrating an image encoding and decoding reference method according to an embodiment of the present invention.
  • FIG. 2 is a conceptual diagram for describing a reference method of a 3D main image and a 2D PIP image.
  • a reference object of frames 2-3 of a 3D main image and frames 3-3 of a 2D PIP image will be described as an example.
  • the image frames 2-3 at the time T3 of the left image of the 3D main image are the same time frames 1-1 in the right image as well as the preceding frames 2-1 and 2-2 in the left image. Reference may also be made to 3, preceding frames 1-1 and 1-2. Similarly, the image frame 3-3 at the time T3 of the 2D PIP image may refer to the preceding frames 3-1 and 3-2 in the PIP image.
  • image frames 2-3 of the 3D main image do not refer to the image frame of the 2D PIP image
  • image frames 3-3 of the 2D PIP image do not refer to the image frame of the 3D main image.
  • This reference relationship is maintained even in multiplexing to a single video stream or demultiplexing from a single video stream. That is, multiplexing and demultiplexing are performed in the time domain, but the image frame reference is made inside each main picture reference group and the PIP picture reference group.
  • FIG. 3 is a conceptual diagram illustrating a reference method of a 3D main image and a 3D PIP image.
  • reference objects of frames 2-3 of a 3D main image and frames 4-3 of a 3D PIP image will be described as an example.
  • the image frames 2-3 at the T3 time of the left image of the 3D main image are the same time frames 1-1 in the right image as well as the preceding frames 2-1 and 2-2 in the left image. Reference may also be made to 3, preceding frames 1-1 and 1-2.
  • the image frame 4-3 at the time T3 of the left image of the 3D PIP image is not only the preceding frames 4-1 and 4-2 in the left image, but also the same time frame 3-3 and the preceding frame 3- in the right image. See also 1, 3-2.
  • image frames 2-3 of the 3D main image do not refer to the image frame of the 3D PIP image
  • image frames 4-3 of the 3D PIP image do not refer to the image frame of the 3D main image.
  • This reference relationship is maintained even in multiplexing to a single video stream or demultiplexing from a single video stream. That is, multiplexing and demultiplexing are performed in the time domain, but the image frame reference is made inside each main picture reference group and the PIP picture reference group.
  • the number of video streams included in the MVC file is three when the PIP image is a two-dimensional image and four when the PIP image is a three-dimensional image.
  • the number of video streams included in the MVC file, or information on whether the PIP image is a 2D or 3D image, may be stored in a memory in which the MVC file is stored or in a predetermined region of a recording medium or a predetermined region in a configuration file. Can be.
  • the information may be predetermined when the 3D image content is produced and stored in a recording medium or the like, and the type of the PIP image is read by the reproducing apparatus or the display apparatus of the 3D image content (2D image or 3D). Video) can be determined.
  • the case where the information is stored in the index.bdmv file of the 3D Blue-ray Disc will be described as an example.
  • the configuration using the 3D Blu-ray Disc and the index.bdmv file is only for explaining an embodiment of the present invention, and the technical spirit of the present invention is not limited to this embodiment.
  • the method of determining a 3D PIP image according to an embodiment of the present invention may be applied to all possible recording media or memories capable of storing 3D image content in addition to a 3D Blu-ray disc, and the information may be applied to a 3D image. It can be stored in any kind of file or recording area that can be read by the playback apparatus.
  • FIG. 4 is an exemplary diagram for describing an example of a directory structure of a 3D Blu-ray disc.
  • 5 is an exemplary diagram for describing an example of a structure of an index.bdmv file stored in a 3D Blu-ray disc.
  • FIG. 6 is an exemplary diagram for describing an example of the structure of ExtensionData in the configuration of the index.bdmv file stored in the 3D Blu-ray disc.
  • ExtensionData is stored in the index.bdmv file among the database files for the 3D Blu-ray Disc, and the index.bdmv file is stored in the BDMV folder under the root file system of the 3D Blu-ray Disc.
  • the information (information on whether a PIP image exists or information on whether a PIP image is a 2D or 3D image) may be stored in a data_block region of ExtensionData.
  • the 3D Blu-ray Disc player may read the offset information starting with the ExtensionData region from the ExtensionData_start_address field of the index.bdmv file, check the information stored in the ExtensionData region, and perform 3D image content reproduction accordingly.
  • FIG. 7 and 8 are conceptual views for explaining the overlay of the main image and the PIP image in the 3D PIP image providing apparatus according to an embodiment of the present invention.
  • FIG. 7 is a conceptual diagram illustrating an overlay of a 3D main image and a 2D PIP image in a 3D PIP image providing apparatus according to an embodiment of the present invention.
  • 8 is a conceptual diagram illustrating an overlay of a 3D main image and a 3D PIP image in a 3D PIP image providing apparatus according to an embodiment of the present invention.
  • the method for determining whether the PIP image is a 2D image or a 3D image may use the 3D PIP image determination method according to an embodiment of the present invention described above.
  • the overlay of the main image and the PIP image is composed of the synthesis of the main image and the PIP image, the merging of the main image and the PIP image, the rendering combining the main image and the PIP image, and the image of the combination of the main image and the PIP image. May be referred to or understood as generation, or the like.
  • an apparatus for providing a 3D PIP image overlays the same 2D PIP image frame on the same region on the left image frame and the right image frame of the main image, or among the left image frame or right image frame constituting the 3D PIP image frame. Any one may be overlaid on the same area on the left image frame and the right image frame of the main image. As a result, the main image is displayed as a 3D image and a PIP image as a 2D image.
  • the PIP image is a 2D image
  • the PIP image is overlaid on the left and right images of the main image, respectively.
  • This overlay process may be performed using a video overlay, a hardware overlay, and the like, and as a result, the PIP image may be disposed on the main image.
  • the left and right images of the main image overlaid with the PIP image form a three-dimensional main image overlaid with the two-dimensional PIP image through a three-dimensional formatting process.
  • the apparatus for providing a three-dimensional PIP image When a three-dimensional PIP image is provided (that is, four video streams included in the MVC file) and the user wants to watch the three-dimensional PIP image, the apparatus for providing a three-dimensional PIP image according to an embodiment of the present invention
  • the left image frame and the right image frame of the 3D PIP image frame may be overlaid on the same region on the left image frame and the right image frame of the main image, respectively.
  • the main image and the PIP image are displayed as a 3D image.
  • the left image of the PIP image is overlaid on the left image of the main image
  • the right image of the PIP image is overlaid on the right image of the main image.
  • the left and right images of the main image overlaid with the PIP image form a three-dimensional main image overlaid with the three-dimensional PIP image through a three-dimensional formatting process.
  • 9 to 11 are block diagrams illustrating a configuration of a 3D PIP image providing apparatus according to an embodiment of the present invention.
  • FIG. 9 is a block diagram illustrating a configuration of a 3D PIP image providing apparatus according to an embodiment of the present invention.
  • the 3D PIP image providing apparatus 100 is a 3D image content provided from an external device 200 such as a 3D broadcast signal, a 3D image set-top box, or a 3D Blu-ray disc 300.
  • a 3D stereoscopic image may be provided from 3D image contents stored in a recording medium such as the 2D PIP image or a 3D PIP image.
  • the 3D PIP image providing apparatus 100 may be implemented in various forms.
  • the 3D PIP image providing apparatus 100 may be a 3D Blu-ray Disc player, a 3D television, a 3D image set-top box, or the like.
  • the 3D Blu-ray Disc player receives a 3D broadcast signal through a wired or wireless network such as terrestrial, cable network, Internet, mobile communication, satellite communication, or from a recording medium 300 such as a 3D Blu-ray disc.
  • the 3D image data may be provided and a 3D stereoscopic image corresponding thereto may be output.
  • the apparatus 100 for providing a 3D PIP image includes a tuner 111, a demodulation and channel decoder 113, a transport demultiplexer 115, a voice decoder 117a and 117b, Image decoders 119a and 119b, speakers 121, image reinforcers 123a and 123b, pull-down processors 125a and 125b, PIP synthesizer 127, 3D formatter 129, output data generation
  • the unit 131, the output interface unit 133, the display unit 135, the UI unit 137, the controller 139, the input interface unit 141, and the optical drive 143 may be included. Not all components of the 3D PIP image providing apparatus 100 illustrated in FIG. 9 are essential components, and the 3D PIP image providing apparatus 100 is implemented by more components than those illustrated in FIG. 9.
  • the 3D PIP image providing apparatus 100 may be implemented using fewer components.
  • the tuner 111 selects and outputs a broadcast signal of one channel among a plurality of broadcast signals.
  • the demodulation and channel decoder 113 demodulates the broadcast signal from the tuner 111 and performs error correction decoding on the demodulated signal to output a transport stream (TS).
  • the demodulation and channel decoder 113 may include an analog-digital converter (ADC) to output a TS.
  • ADC analog-digital converter
  • the input interface unit 141 receives a TS including a main image program and a PIP image program from an external device 200 such as a 3D image set-top box and outputs the TS to the transport demultiplexer 115.
  • the optical drive 143 reads a TS including a 3D image program and a PIP image program from a recording medium 300 such as a 3D Blu-ray disc and outputs the TS to the transport demultiplexer 115.
  • the transport demultiplexer 115 demultiplexes the TS to separate the video packetized elementary stream (PES) from the audio PES. Additionally, the transport demultiplexer 115 may extract program specific information (PSI) / program and system information protocol (PSIP) information.
  • PSI program specific information
  • PSIP program and system information protocol
  • the packet release unit releases packets with respect to the video PES and the audio PES to restore the video elementary stream (ES) and the audio ES.
  • the PSI / PSIP processing unit receives the PSI / PSIP information from the transport demultiplexer 115, parses it, and stores it in a memory or a register, thereby decoding and reproducing the broadcast signal based on the stored information. I can lose it.
  • the transport demultiplexer 115 may perform filtering and parsing to select a packet of a program to be reproduced among programs included in the TS.
  • main video and the PIP video are stored in the recording medium 300 as one MVC file, and the main video program and the PIP video program are included in one TS will be described as an example.
  • the configuration in which the main image and the PIP image are stored in the recording medium 300 as one MVC file, and the configuration in which the main image program and the PIP image program are included in one TS are for explaining an embodiment of the present invention. It should be noted that the technical idea of the present invention is not limited to these embodiments.
  • the present invention can be applied to the case where the main image and the PIP image are stored as separate MVC files, in which case, means for synchronizing between the reproduction of the main image and the PIP image is added. It may be provided as an enemy.
  • the present invention can be applied to the case where the main image and the PIP image are provided in the form of a 3D broadcast signal or 3D image data from the external device 200, in which case the recording medium 300 is It can be understood in a similar way as used.
  • the present invention can also be applied to a case where the main video program and the PIP video program are included in separate TSs, and in this case, a plurality of transports for demultiplexing and decoding the main video program and the PIP video program, respectively.
  • the demultiplexer and a plurality of audio / video decoders may be provided.
  • the video ES and the audio ES corresponding to the main video program, the video ES corresponding to the PIP video program, and Audio ES is provided to different audio / video decoders.
  • the packet release unit may provide the video ES corresponding to the main image program to the image decoder 119a and the video ES corresponding to the PIP image program to the image decoder 119b.
  • the packet release unit may provide the audio ES corresponding to the main video program to the audio decoder 117a and the audio ES corresponding to the PIP video program to the audio decoder 119b. have.
  • the voice decoders 117a and 117b decode the audio ES and output an audio bit stream.
  • the audio bit stream may be converted into an analog voice signal by a digital-to-analog converter (not shown), amplified by an amplifier (not shown), and then output through the speaker 121.
  • the audio synthesizer 118 decodes the audio bit stream of the main video program decoded by the voice decoder 117a and the PIP video program decoded by the voice decoder 117b.
  • the audio bit streams of the synthesizer can be synthesized appropriately and output through the speaker 121.
  • the image decoders 119a and 119b decode the video ES to reconstruct the video bit stream.
  • the reconstructed video bit stream includes a left video signal and a right video signal constituting the 3D main picture, a left video signal and a right video signal constituting the 3D PIP picture, or a 2D video signal constituting the 2D PIP picture. can do.
  • the demultiplexer 122 separates the video bit stream corresponding to the 3D main image into a left image stream and a right image stream to provide to the image reinforcement units 123a and 123b. Can be.
  • the demultiplexer 122 may separately provide a video bit stream corresponding to the 3D PIP image.
  • the image enhancers 123a and 123b may perform image quality improvement such as de-interlacing and image enhancement on the video bit stream.
  • the pull-down processors 125a and 125b may perform a pull-down or telecine operation on the video bit stream.
  • Pull-down work or telecine work refers to the work of adjusting the aspect ratio and the like to fit a movie for a theater movie to a television or a monitor.
  • the PIP synthesizing unit 127 synthesizes (overlays) the PIP image frame on the main image frame.
  • the PIP synthesis unit 127 may synthesize the same 2D PIP image frame in the same region on the left image frame and the right image frame of the main image.
  • the PIP synthesizing unit 127 may include either the left image frame or the right image frame constituting the 3D PIP image frame in the same region on the left image frame and the right image frame of the main image. Can be synthesized.
  • the PIP synthesizing unit 127 may synthesize the left image frame and the right image frame of the 3D PIP image frame to the same region on the left image frame and the right image frame of the main image, respectively. have.
  • the PIP synthesis unit 127 may place the PIP image on the main image using a video overlay, a hardware overlay, or the like.
  • the PIP synthesizing unit 127 synthesizes a main image frame and a PIP image frame that are synchronized or synchronized in time, and may include a frame time comparator (not shown) and a frame corrector (not shown).
  • the frame time comparison unit (not shown) of the PIP synthesis unit 127 may analyze the time relationship between the two images from the time information of the main image and the PIP image, and the frame correction unit (not shown) of the PIP synthesis unit 127. ) May synchronize the main image with the PIP image corresponding to the main image in time.
  • the frame time comparison unit (not shown) and the frame correction unit (not shown) may be understood in a similar manner to the frame time comparison unit 129a and the frame correction unit 129b of the 3D formatter 129 which will be described later. Therefore, the following description is omitted.
  • the method of determining a 3D PIP image according to an embodiment of the present invention described above may be used to determine whether the PIP image is a 2D image or a 3D image.
  • the PIP synthesis unit 127 may check information on whether the PIP image is a 2D image or a 3D image from a configuration file stored in the 3D Blu-ray disc.
  • the controller 139 or the transport demultiplexer 115 may check the information from the configuration file and provide it to the PIP synthesizer 127.
  • the PIP synthesis unit 127 determines whether the PIP image is a 2D image or a 3D image for ease of description.
  • the configuration of the PIP synthesis unit 127 to perform the determination is only for explaining an embodiment of the present invention, and the technical spirit of the present invention is not limited to this embodiment.
  • the 3D formatter 129 converts the synthesized image (overlay image) into 3D image data or 3D image signal form that the 3D display panel can display.
  • the 3D formatter 129 may A top-down composite image may be converted into a time division composite image.
  • the 3D formatter 129 may convert the left image positioned at the top of the composite image into the left image frame, and convert the right image positioned at the bottom into the right image frame.
  • an external 3D image display device or a 3D image frame displayed on the display unit 135 of the 3D PIP image providing apparatus 100 corresponds to the same view point on the time axis. It consists of a pair of the left image and the right image. Therefore, the 3D image providing apparatus 100 may provide an accurate 3D image by synchronizing the left image with the right image.
  • the 3D formatter 129 may include a frame time comparator 129a, a frame corrector 129b, a 3D format synthesizer 129c, and the like.
  • the frame time comparison unit 129a analyzes a time relationship (eg, temporal and backward relationship) between both frames from the time information of the left image frame and the right image frame constituting the composite image. For example, the frame time comparison unit 129a checks time stamp information of the left image and the right image, or based on time information separately stored during a TS process performed previously, You can check the time information.
  • a time relationship eg, temporal and backward relationship
  • the frame correction unit 129b synchronizes the left image frame constituting the composite image with the right image frame corresponding to the left image frame in time. That is, the frame correction unit 129b may time-correct the delayed or advanced left image frame or right image frame to output a composite image in which time-corrected pairing is performed.
  • the frame correction unit 129b may include a left image frame queue and a right image frame queue for receiving and outputting image frames on a first-in first-out basis.
  • the frame correction unit 129b inputs an image frame that corresponds to a predetermined time or is time-corrected to the left image frame queue or the right image frame queue, and therefore simultaneously outputs from the left image frame queue and the right image frame queue.
  • the paired frames are then paired correctly. That is, the left image frame and the right image frame having the same time stamp are output.
  • the 3D format synthesizing unit 129c merges the synchronized left and right images of the synthesized image to generate 3D image data or 3D image signal, and outputs the 3D image data or the 3D image signal to the output data generator 131 or the display 135. .
  • the output data generator 131 receives the 3D image data output by the 3D formatter 129 and the audio bit stream output by the audio decoders 117a and 117b, and outputs a data form suitable for output to the outside or
  • the display unit 135 converts the data into a data format suitable for displaying a 3D image, and converts the data into an external 3D image reproducing apparatus 400, an external 3D image display apparatus, or the display unit 135 through the output interface unit 133.
  • the external 3D image reproducing apparatus 400 may be a 3D television or the like.
  • the output data generator 131 may include a 3D image provided from the 3D formatter 129 and another 2D image or another 3D image provided from the external device 200 through the input interface unit 141. May be synthesized (overlay).
  • the output interface unit 133 is an input / output device such as a high definition multimedia interface (HDMI) terminal, a DisplayPort terminal, a digital visual interface (DVI) terminal, or a video graphics array (VGA) terminal.
  • HDMI high definition multimedia interface
  • DVI digital visual interface
  • VGA video graphics array
  • Port or local area network (LAN), wireless LAN such as IEEE 802.11 a / b / g / n, Bluetooth, universal serial bus (USB), IEEE 1394 ( Wired or wireless network interface such as FireWire, i.Link).
  • the 3D PIP image providing apparatus does not include the speaker 121 and the display unit 135, the video data and the audio data for the 3D composite image are external 3D image reproducing apparatus 400. ) Can be played.
  • the apparatus for providing a 3D PIP image includes the speaker 121 and the display unit 135, the video data and the audio data for the 3D composite image are transmitted from the speaker 121 and the display unit 135.
  • the output data generation unit 131 or the output interface unit 133 may be omitted.
  • the image signal separator may separate the image data and the synchronization signal from the three-dimensional image signal between the three-dimensional formatter 129 and the display unit 135.
  • Image data is information about brightness, saturation, and color of each pixel constituting the screen.RGB, CMYK, YCbCr (color space used as part of color image pipeline in video and digital photography system), YIQ ( Color space of an NTSC color television system), and HSI (hue, saturation and lightness).
  • the synchronization signal is reference information or control information for allowing the target image formed from the image data to be displayed normally, so that the target image does not swing or break on the screen.
  • the synchronization signal includes a vertical synchronization signal (VSYNC), a horizontal synchronization signal (HSYNC), a pixel clock, a dot clock, and the like.
  • the display unit 135 includes a panel and a panel driving circuit suitable for converting left and right image signals to be displayed on the panel and generating control signals such as various timing control signals and driving signals.
  • the display unit 135 may include a liquid crystal display, a plasma display panel, a thin film transistor-liquid crystal display, an organic light-emitting diode, and an electric field.
  • the display device may include at least one of a field emission display and a flexible display.
  • two or more display units 135 may exist according to an implementation form of the 3D PIP image providing apparatus 100.
  • an upper display unit (not shown) and a lower display unit (not shown) may be simultaneously provided in the 3D PIP image providing apparatus 100.
  • the display unit 135 may display a 3D image according to a polarization method or a time division method as a 3D image display method.
  • the polarization display unit 135 may additionally include a polarizing film or a polarizing plate.
  • the time division display unit 135 may additionally include a synchronization signal generator such as an emitter for synchronizing the left and right images with the shuttered glasses.
  • the polarizing plate transmits only light in a specific polarization direction among the light emitted from the display unit 135 so that all transmitted light has only the same polarization direction.
  • the polarizing plate is an iodine polarizing film, a dye polarizing film, a phase polarization film, a semi-transmissive polarizing film, a highly reflective semi-transmissive polarizing film, an anti-glare / anti-reflection film, a reflective polarizing film It may include at least one of a liquid crystal (LC) film.
  • the polarizer may change the polarization direction in a specific direction according to the electrical control signal.
  • the polarizing plate can switch between a polarization direction of -45 degrees and a polarization direction of +45 degrees, in which case light having a polarization direction of -45 degrees and a polarization direction of +45 degrees is alternately passed.
  • the UI unit may provide the control unit 139 with various operation commands or information input by the user.
  • the UI unit 137 is a wireless receiver for receiving an infrared signal or an RF signal transmitted from a remote controller, a keypad provided on the front or side of the 3D PIP image providing apparatus 100 according to an embodiment of the present invention, and a pointer on a screen. It may include a receiving unit for receiving a radio signal transmitted from the pointing device for supporting the operation of moving the and select the location of the pointer.
  • the UI unit 137 provides such a selection command to the control unit 139, and the control unit ( 139 may send a control command to the PIP synthesis unit 127 to synthesize a 2D PIP image or a 3D PIP image.
  • the controller 139 may control the overall operation of the 3D PIP image providing apparatus 100.
  • the controller 139 may receive a user input signal from the UI unit 137 and generate a control signal for controlling an operation of the 3D PIP image providing apparatus 100 in response to the user input signal.
  • the controller 139 may generate a control signal including a play, stop, and a speed command for the image decoders 119a and 119b.
  • the controller 139 may generate a control signal including an output data resolution, an interface mode control command, and the like, for the output data generator 131.
  • the control unit 139 and the 3D formatter 129 generate a 3D image data or a 3D image signal and control one block of the overall operation of the 3D PIP image providing apparatus 100 according to an exemplary embodiment of the present invention. Or it may be implemented in one device.
  • the controller 139 and the 3D formatter 129 may be implemented as one microprocessor.
  • each component applied to the 3D PIP image providing apparatus 100 may be implemented in a computer-readable recording medium using software, hardware, or a combination thereof.
  • Hardware implementations include application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs), processors, and controllers. may be implemented using at least one of controllers, micro-controllers, microprocessors, and electrical units for performing functions.
  • embodiments such as procedures or functions may be implemented with separate software modules that allow at least one function or operation to be performed.
  • the software code may be implemented by a software application written in a suitable programming language.
  • the software code may be stored in a memory (not shown) and executed by a processor (not shown).
  • FIG. 12 is a flowchart illustrating a 3D PIP image providing method according to an embodiment of the present invention. Not all components of the 3D PIP image providing method shown in FIG. 12 are essential components, and a 3D PIP image providing method may be implemented by more components than those shown in FIG. 3D PIP image providing method may also be implemented by the component.
  • a PIP image included in an MVC file is a 2D image or a 3D image (S510 and S520).
  • the PIP image is a 3D image
  • the PIP image is overlaid on the left and right images of the main image (S540). If the PIP image is a 3D image and the user selects the 2D PIP image, the image is overlaid on either the left image or the right image of the PIP image to the left image and the right image of the main image (S550). If the PIP image is a 3D image and the user selects the 3D PIP image, the left and right images of the PIP are overlaid on the left and right images of the main image, respectively (S560).
  • the synthesized image generated by the overlay is provided to the 3D image reproducing apparatus or the display unit (S570).
  • the method for providing a 3D PIP image according to an embodiment of the present invention may be similarly described with reference to FIGS. 1 to 11 with respect to the apparatus for providing a 3D PIP image according to an embodiment of the present invention. Omit the description.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

주 영상과 PIP 영상을 합성하여 출력하는 3차원 PIP 영상 제공 장치 및 그 방법을 제공한다. 본 발명의 일 실시예에 따른 3차원 PIP 영상 제공 장치는, 방송신호, 외부장치 또는 기록매체로부터 3차원 주 영상 및 2차원 또는 3차원 PIP 영상을 획득하는 영상 획득부와, 상기 주 영상과 상기 PIP 영상을 합성하는 PIP 합성부 및 상기 주 영상과 상기 PIP 영상이 합성된 영상을 스테레오스코픽 방식으로 표시될 수 있는 형태로 포맷팅하는 3차원 포맷터를 포함한다. 따라서 3차원 주 영상과 2차원 PIP 영상, 또는 3차원 주 영상과 3차원 PIP 영상을 오버레이한 영상을 제공할 수 있다.

Description

3차원 PIP 영상 제공 장치 및 그 방법
본 발명은 3차원 영상 제공 장치 및 그 방법에 관한 것으로서, 보다 상세하게는 3차원 PIP 영상 제공 장치 및 그 방법에 관한 것이다.
일반적으로, 종래 기술에 따른 스테레오스코픽 3차원 디스플레이 장치는 깊이지각(depth perception) 내지 입체시(stereovision)를 가능하게 하는 3차원 영상을 사용자에게 제공한다.
따라서 본 발명은 3차원 주(main) 영상 과 함께 2차원 또는 3차원 PIP(picture in picture) 영상을 제공하는 3차원 PIP 영상 제공 장치 및 그 방법을 제공하는 것을 제1 기술적 과제로 한다.
또한 본 발명은 영상 컨텐츠에 2차원 PIP 영상 또는 3차원 PIP 영상이 포함되어 있는지를 판단할 수 있는 3차원 PIP 영상 판단 방법을 제공하는 것을 제2 기술적 과제로 한다.
그리고 본 발명은 주 영상과 PIP 영상의 참조(reference) 방식에 있어서 영상 인코딩 및 디코딩 효율을 높일 수 있는 영상 부호화 및 복호화 참조 방법을 제공하는 것을 제3 기술적 과제로 한다.
상술한 본 발명의 제1 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 3차원 PIP 영상 제공 장치는, 방송신호, 외부장치 또는 기록매체로부터 3차원 주 영상 및 2차원 또는 3차원 PIP 영상을 획득하는 영상 획득부와, 상기 주 영상과 상기 PIP 영상을 합성하는 PIP 합성부 및 상기 주 영상과 상기 PIP 영상이 합성된 영상을 스테레오스코픽 방식으로 표시될 수 있는 형태로 포맷팅하는 3차원 포맷터를 포함한다.
상기 주 영상과 상기 PIP 영상은 다시점 비디오 코딩에 의하여 하나의 미디어 파일에 포함될 수 있다.
상기 주 영상과 상기 PIP 영상은 하나의 트랜스포트 스트림에 포함되는 서로 다른 프로그램일 수 있다.
상기 PIP 합성부는 상기 3차원 PIP 영상의 좌 영상 및 우 영상을 상기 3차원 주 영상의 좌 영상 및 우 영상에 각각 합성할 수 있다.
상기 PIP 합성부는 상기 3차원 PIP 영상의 좌 영상 및 우 영상 중 어느 하나를 상기 3차원 주 영상의 좌 영상 및 우 영상에 합성할 수 있다.
상기 PIP 합성부는 상기 2차원 PIP 영상을 상기 3차원 주 영상의 좌 영상 및 우 영상에 합성할 수 있다.
상기 PIP 합성부는, 상기 주 영상 및 상기 PIP 영상의 시간 정보로부터 두 영상 간의 시간 관계를 분석하는 프레임 타임 비교부 및 상기 주 영상과, 시간적으로 상기 주 영상에 대응하는 상기 PIP 영상을 동기화하는 프레임 보정부를 포함할 수 있다.
상기 3차원 포맷터는, 상기 주 영상과 상기 PIP 영상이 합성된 영상을 구성하는 좌 영상 및 우 영상의 시간 정보로부터 두 영상 간의 시간 관계를 분석하는 프레임 타임 비교부 및 상기 좌 영상과, 시간적으로 상기 좌 영상에 대응하는 상기 우 영상을 동기화하는 프레임 보정부를 포함할 수 있다.
상기 3차원 PIP 영상 제공 장치는, 상기 방송신호에 포함된 설정 정보, 상기 외부장치로부터 제공되는 설정 정보 또는 상기 기록매체에 저장된 설정 정보를 읽어 들여 상기 PIP 영상이 3차원 영상인지 2차원 영상인지를 판단하는 PIP 영상 판단부를 더 포함할 수 있다.
상기 3차원 PIP 영상 제공 장치는, 상기 3차원 PIP 영상을 3차원 영상으로 표시할지 2차원 영상으로 표시할지 여부를 입력 받는 사용자 입력부를 더 포함할 수 있다.
상기 3차원 PIP 영상 제공 장치는, 상기 주 영상과 상기 PIP 영상이 합성된 영상을 3차원 영상 표시 장치로 출력하는 출력 인터페이스부를 더 포함할 수 있다.
상기 3차원 PIP 영상 제공 장치는, 상기 주 영상과 상기 PIP 영상이 합성된 영상을 스테레오스코픽 방식으로 표시하는 표시부를 더 포함할 수 있다.
상술한 본 발명의 제1 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 3차원 PIP 영상 제공 장치는, 3차원 블루레이 디스크에 저장된 트랜스포트 스트림을 읽어 들이는 광 드라이브와, 상기 트랜스포트 스트림에 포함된 주 영상 프로그램과 PIP 영상 프로그램을 역다중화하고, 주 영상 및 PIP 영상의 비디오 비트 스트림 및 오디오 비트 스트림을 복호화하는 트랜스포트 스트림 분석부와, 상기 주 영상 및 상기 PIP 영상을 하나의 합성 영상으로 오버레이하는 PIP 합성부와, 상기 합성 영상을 스테레오스코픽 방식으로 표시될 수 있는 형태로 포맷팅하는 3차원 포맷터 및 포맷팅된 상기 합성 영상을 3차원 영상 표시 장치로 출력하는 출력 인터페이스부를 포함한다.
상기 주 영상과 상기 PIP 영상은 다시점 비디오 코딩에 의하여 하나의 미디어 파일의 형태로 상기 3차원 블루레이 디스크에 저장될 수 있다.
상기 PIP 합성부는, 3차원 PIP 영상의 좌 영상 및 우 영상을 3차원 주 영상의 좌 영상 및 우 영상에 각각 합성하거나, 상기 3차원 PIP 영상의 좌 영상 및 우 영상 중 어느 하나를 상기 3차원 주 영상의 좌 영상 및 우 영상에 합성하거나, 2차원 PIP 영상을 상기 3차원 주 영상의 좌 영상 및 우 영상에 합성할 수 있다.
상술한 본 발명의 제1 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 3차원 PIP 영상 제공 방법은, PIP 영상이 2차원 영상인지 3차원 영상인지 여부를 판단하는 단계와, 상기 PIP 영상이 3차원 영상인 경우 사용자가 2차원 PIP를 선택하였는지 3차원 PIP를 선택하였는지 여부를 판단하는 단계와, 3차원 PIP 영상의 좌 영상 및 우 영상을 3차원 주 영상의 좌 영상 및 우 영상에 각각 합성하거나, 상기 3차원 PIP 영상의 좌 영상 및 우 영상 중 어느 하나를 상기 3차원 주 영상의 좌 영상 및 우 영상에 합성하거나, 2차원 PIP 영상을 상기 3차원 주 영상의 좌 영상 및 우 영상에 합성하는 단계 및 상기 주 영상과 상기 PIP 영상이 합성된 영상을 3차원 영상 표시 장치에 제공하는 단계를 포함한다.
상술한 본 발명의 제2 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 3차원 PIP 영상 판단 방법은, 3차원 블루레이 디스크에 저장된 데이터베이스 파일을 읽어 들이는 단계와, 상기 데이터베이스 파일에 포함된 PIP 영상 정보를 읽어 들이는 단계 및 상기 PIP 영상 정보에 기초하여 PIP 영상이 3차원 영상인지 2차원 영상인지를 판단하는 단계를 포함한다.
상기 데이터베이스 파일은 index.bdmv 파일이고, 상기 PIP 영상 정보는 ExtensionData 영역 또는 reserved_for_future_use 영역에 저장될 수 있다.
상술한 본 발명의 제3 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 영상 부호화 및 복호화 참조 방법은, 3차원 주 영상을 구성하는 어느 하나의 영상 프레임이 상기 3차원 주 영상을 구성하는 적어도 하나의 다른 영상 프레임을 참조하도록 지정하는 단계와, PIP 영상을 구성하는 어느 하나의 영상 프레임이 상기 PIP 영상을 구성하는 적어도 하나의 다른 영상 프레임을 참조하도록 지정하는 단계 및 상기 3차원 주 영상 및 상기 PIP 영상을 부호화하거나 복호화하는 단계를 포함하되, 상기 3차원 주 영상을 구성하는 영상 프레임은 상기 PIP 영상을 구성하는 영상 프레임을 참조하지 않고, 상기 PIP 영상을 구성하는 영상 프레임은 상기 3차원 주 영상을 구성하는 영상 프레임을 참조하지 않는다.
상기 주 영상과 상기 PIP 영상은 다시점 비디오 코딩에 의하여 하나의 미디어 파일의 형태로 저장될 수 있다.
상기와 같은 3차원 PIP 영상 제공 장치 및 그 방법에 따르면, 3차원 주 영상과 2차원 PIP 영상, 또는 3차원 주 영상과 3차원 PIP 영상을 오버레이한 영상을 제공할 수 있는 효과가 있다.
또한 상기와 같은 3차원 PIP 영상 판단 방법에 따르면, 설정 파일 상의 소정 영역에 저장된 정보를 이용하여 영상 컨텐츠에 2차원 PIP 영상 또는 3차원 PIP 영상이 포함되어 있는지를 판단할 수 있는 효과가 있다.
그리고 상기와 같은 영상 부호화 참조 방법에 따르면, 하나의 다시점 비디오 코딩 파일 내에 존재하는 주 영상과 PIP 영상이 서로 간에는 참조(reference)하지 않음로써 3차원 영상 인코딩 및 디코딩 효율을 높일 수 있는 효과가 있다.
도 1은 다시점 비디오 코딩을 설명하기 위한 개념도이다.
도 2는 3차원 주 영상과 2차원 PIP 영상의 참조 방법을 설명하기 위한 개념도이다.
도 3은 3차원 주 영상과 3차원 PIP 영상의 참조 방법을 설명하기 위한 개념도이다.
도 4는 3차원 블루레이 디스크의 디렉토리 구조의 일 예를 설명하기 위한 예시도이다.
도 5는 3차원 블루레이 디스크에 저장되는 index.bdmv 파일의 구조의 일 예를 설명하기 위한 예시도이다.
도 6은 3차원 블루레이 디스크에 저장되는 index.bdmv 파일의 구성 중 ExtensionData의 구조의 일 예를 설명하기 위한 예시도이다.
도 7은 본 발명의 일 실시예에 따른 3차원 PIP 영상 제공 장치에서 3차원 주 영상과 2차원 PIP 영상의 오버레이를 설명하기 위한 개념도이다.
도 8은 본 발명의 일 실시예에 따른 3차원 PIP 영상 제공 장치에서 3차원 주 영상과 3차원 PIP 영상의 오버레이를 설명하기 위한 개념도이다.
도 9 내지 도 11은 본 발명의 일 실시예에 따른 3차원 PIP 영상 제공 장치의 구성을 나타내는 블록도이다.
도 12는 본 발명의 일 실시예에 따른 3차원 PIP 영상 제공 방법을 설명하기 위한 순서도이다.
이하에서, 3차원 주 영상과 2차원 또는 3차원 PIP 영상의 영상 인코딩 및 디코딩 효율을 높일 수 있는 영상 부호화 및 복호화 참조 방법과, 영상 컨텐츠에 2차원 PIP 영상 또는 3차원 PIP 영상이 포함되어 있는지를 판단할 수 있는 3차원 PIP 영상 판단 방법과, 3차원 주 영상과 2차원 PIP 영상, 또는 3차원 주 영상과 3차원 PIP 영상을 오버레이한 영상을 제공할 수 있는 3차원 PIP 영상 제공 장치 및 그 방법의 실시예들을 도 1 내지 도 12를 참조하여 상세히 설명한다.
우선 본 발명의 실시예들을 설명하는데 있어서 필요한 개념 또는 용어에 대해 설명한다.
스테레오스코픽 영상의 구성
스테레오스코픽 영상은 좌 영상(좌안용 영상)과 우 영상(우안용 영상)으로 구성되는데, 스테레오스코픽 영상을 구성하는 방식에는 좌 영상과 우 영상을 한 프레임 내 상하로 배치하는 탑-다운(top-down) 방식, 좌 영상과 우 영상을 한 프레임 내 좌우로 배치하는 L-to-R(left-to-right, side by side) 방식, 좌 영상과 우 영상의 조각들을 타일 형태로 배치하는 체커 보드(checker board) 방식, 좌 영상과 우 영상을 열 단위 또는 행 단위로 번갈아 배치하는 인터레이스드(interlaced) 방식, 그리고 좌 영상과 우 영상을 시간 별로 번갈아 표시하는 시분할(time sequential, frame by frame) 방식 등이 있다. 따라서 하나의 스테레오스코픽 장면은, 시분할 방식의 경우에는 2개 프레임, 시분할 방식이 아닌 경우에는 1개 프레임으로 구성된다.
다시점 비디오 코딩
다시점 비디오(multi-view video)는 한 대 이상의 카메라를 통해 동 시간대에 다양한 시점(視點)에서 촬영된 영상들로, 사용자는 이를 통해 다양한 시점(視點)의 영상을 제공받을 수 있다.
다시점 비디오 시스템은 여러 대의 카메라를 이용하여 촬영된 다시점 영상을 획득하고, 촬영 카메라의 기하학적인 특징을 이용하여 촬영된 영상을 교정하며, 이를 부호화한 후 전송하고, 수신단은 영상들의 공간적인 특징을 이용하여 합성된 영상을 3차원 디스플레이 장치나 다시점 입체 디스플레이 장치를 통해 입체감 있는 3차원 영상을 재현한다. 시청자는 다시점 비디오 시스템을 이용하여 자기가 원하는 시점(視點)의 영상을 시청할 수 있으며, 중간시점의 영상을 합성하여 보다 많은 화면을 자연스럽게 시청할 수도 있다.
다시점 비디오 처리 기술은 여러 대의 카메라를 통해 영상을 입력 받기 때문에 영상 획득, 영상 처리 및 부호화, 영상 디스플레이 등에서 고유한 특징을 가진다. 특히, 다시점 비디오 코딩(multi-view video coding; MVC)에 있어서 영상간의 중복성 제거가 압축 효율에 큰 영향을 미치는데, 다시점 영상의 경우 동 시간대에 다른 위치에서 촬영하기 때문에 영상간에 공간적 중복성을 가지기 때문이다.
도 1은 다시점 비디오 코딩을 설명하기 위한 개념도이다.
도 1에 나타난 바와 같이, 다시점 비디오 코딩은, 여러 대의 카메라들(Cam1, Cam2, Cam3)로 하나의 물체나 장면을 동 시간대(T1, T2, T3)에 촬영함으로써 비디오 프레임들(1-1, 2-1, 3-1, 1-2, 2-2, 3-2, 1-3, 2-3)을 획득하고, 획득한 비디오 프레임들을 하나의 비디오 스트림으로 다중화한 후, 다시점 비디오 인코딩 방법을 이용하여 부호화하여 저장 또는 전송한다. 재생 시에는 다시점 비디오 디코딩 방법을 이용하여 다시 비디오 스트림을 복원하고, 이를 역다중화하여 각각의 카메라 시점별(View1, View2, View3) 영상 프레임(1-1, 2-1, 3-1, 1-2, 2-2, 3-2, 1-3, 2-3)을 획득할 수 있다. 예를 들어, 상기 다시점 비디오 인코딩 방법 및 상기 다시점 비디오 디코딩 방법은 H.264/AVC 표준에 기반한 방법일 수 있다.
다시점 비디오 코딩에서 영상 프레임 간 참조(reference)가 이루어지는 방식은 다음과 같다. 다시점 비디오에서는 각 시점(視點)별로 비디오 스트림이 존재하는데, 각 비디오 스트림에서 시간적으로 선후를 이루는 프레임 간에 참조가 이루어질 뿐만 아니라, 시점(視點)을 달리하는 비디오 스트림 간에도 동일 또는 근접 시간대의 프레임 간 참조를 하여 영상 부호화 및 복호화를 수행한다. 그 이유는, 상술한 바와 같이, 다시점 영상의 경우 동 시간대에 인접한 서로 다른 위치에서 촬영하기 때문에 영상 간 중복성 내지 영상 간 관련성이 높기 때문이다.
한편, 상술한 바와 같이 3차원 영상은 좌 영상과 우 영상으로 구성되며, 좌 영상 및 우 영상의 화면 해상도를 절반 이하로 낮추지 않는 한 기존 영상보다 많은 저장 공간 또는 전송 용량을 필요로 한다. 특히, 화면 해상도를 유지하기 위해 시분할 방식을 채택하는 경우 최소 2배의 저장 공간 또는 전송 용량을 필요로 한다. 또한, PIP를 지원하는 경우에도 부가적인 공간을 필요로 한다.
이러한 3차원 영상의 생성, 저장 및 전송에 있어서 상술한 다시점 비디오 코딩(MVC) 기법을 이용할 수 있다. 이 경우 주 영상의 좌 영상 및 우 영상은 하나의 MVC 파일로 기록매체에 저장될 수 있는데, PIP 영상은 별도의 MVC 파일로 저장될 수도 있고 주 영상과 함께 하나의 MVC 파일로 저장될 수도 있다. 즉, 3차원 영상의 생성, 저장 및 전송에 다시점 비디오 코딩 기법이 이용되는 경우, PIP 영상(3차원 PIP 영상인 경우에는 좌 영상 및 우 영상)과, 3차원 주 영상을 구성하는 좌 영상 및 우 영상은 각각 서로 다른 시점(視點)에서 획득된 영상으로 취급되어 처리될 수 있다.
특히, 주 영상과 PIP 영상을 하나의 MVC 파일에 저장함으로써 주 영상과 PIP 영상 재생 시의 동기 문제를 완화시킬 수 있다는 점에서 바람직하다. 왜냐하면 주 영상과 PIP 영상이 별개의 MVC 파일로 저장되는 경우 주 영상과 PIP 영상 간의 동기 정보가 별도로 유지 및 관리되어야 하므로 주 영상과 PIP 영상의 동기를 맞추기 어렵기 때문이다.
이하에서는 설명의 용이를 위하여 주 영상과 PIP 영상이 하나의 MVC 파일에 저장되는 경우를 예로 들어 설명한다. 다만, 주 영상과 PIP 영상이 하나의 MVC 파일로 저장되는 구성은 본 발명의 일 실시예를 설명하기 위한 것일 뿐, 본 발명의 기술적 사상이 이러한 실시예에 한정되지 않음에 유의하여야 한다. 예를 들어, 상술한 바와 같이, 본 발명은 주 영상과 PIP 영상이 별개의 MVC 파일로 저장되는 경우에도 적용될 수 있으며, 이 경우 주 영상의 재생과 PIP 영상의 재생 간에 동기를 이루기 위한 수단이 부가적으로 구비될 수 있다.
이하에서, 3차원 주 영상과 2차원 또는 3차원 PIP 영상의 영상 인코딩 및 디코딩 효율을 높일 수 있는 영상 부호화 및 복호화 참조 방법을 설명한다.
상술한 바와 같이, 다시점 비디오 코딩에서는 시점(視點)을 달리 하는 비디오 스트림 간에도 참조를 함으로써 영상 부호화 및 복호화 효율을 높인다. 그러나 3차원 주 영상과 PIP 영상의 경우에는 이와 같은 참조 관계가 유리하지 않다. 즉, 3차원 주 영상 또는 3차원 PIP 영상에서 좌 영상 및 우 영상 간의 참조, 주 영상 또는 PIP 영상에서 시간적 선후관계를 이루는 영상 프레임 간의 참조는 영상 부호화 및 복호화 효율을 높일 수 있으나, 3차원 주 영상의 영상 프레임과 PIP 영상의 영상 프레임 간에는 영상 간 관련성이 낮으므로 이들 영상 간의 참조는 영상 부호화 및 복호화 효율을 크게 높일 수 없다. 따라서 3차원 주 영상과 2차원 또는 3차원 PIP 영상 간에는 서로 참조하지 않음으로써 참조 계산을 제거하고, 그 결과 영상 부호화 및 복호화의 속도를 향상시킬 수 있다.
도 2 및 도 3은 본 발명의 일 실시예에 따른 영상 부호화 및 복호화 참조 방법을 설명하기 위한 개념도이다.
먼저 도 2는 3차원 주 영상과 2차원 PIP 영상의 참조 방법을 설명하기 위한 개념도이다. 도 2에서는, 3차원 주 영상의 프레임 2-3과 2차원 PIP 영상의 프레임 3-3의 참조 대상을 예로 들어 설명한다.
도 2에 나타난 바와 같이, 3차원 주 영상의 좌 영상의 T3 시간에서의 영상 프레임 2-3은 좌 영상에서의 선행 프레임 2-1, 2-2뿐만 아니라, 우 영상에서의 동일시간 프레임 1-3, 선행 프레임 1-1, 1-2도 참조할 수 있다. 마찬가지로 2차원 PIP 영상의 T3 시간에서의 영상 프레임 3-3은 PIP 영상에서의 선행 프레임 3-1, 3-2를 참조할 수 있다.
그러나 3차원 주 영상의 영상 프레임 2-3은 2차원 PIP 영상의 영상 프레임을 참조하지 않으며, 마찬가지로 2차원 PIP 영상의 영상 프레임 3-3은 3차원 주 영상의 영상 프레임을 참조하지 않는다. 이러한 참조 관계는 단일 비디오 스트림으로의 다중화 또는 단일 비디오 스트림으로부터 역다중화에 있어서도 유지된다. 즉, 다중화 및 역다중화는 시간 도메인 상에서 진행되지만, 영상 프레임 참조는 각각의 주 영상 참조 그룹과 PIP 영상 참조 그룹 내부적으로 이루어진다.
다음으로 도 3은 3차원 주 영상과 3차원 PIP 영상의 참조 방법을 설명하기 위한 개념도이다. 도 2에서는, 3차원 주 영상의 프레임 2-3과 3차원 PIP 영상의 프레임 4-3의 참조 대상을 예로 들어 설명한다.
도 3에 나타난 바와 같이, 3차원 주 영상의 좌 영상의 T3 시간에서의 영상 프레임 2-3은 좌 영상에서의 선행 프레임 2-1, 2-2뿐만 아니라, 우 영상에서의 동일시간 프레임 1-3, 선행 프레임 1-1, 1-2도 참조할 수 있다. 마찬가지로 3차원 PIP 영상의 좌 영상의 T3 시간에서의 영상 프레임 4-3은 좌 영상에서의 선행 프레임 4-1, 4-2뿐만 아니라, 우 영상에서의 동일 시간 프레임 3-3, 선행 프레임 3-1, 3-2도 참조할 수 있다.
그러나 3차원 주 영상의 영상 프레임 2-3은 3차원 PIP 영상의 영상 프레임을 참조하지 않으며, 마찬가지로 3차원 PIP 영상의 영상 프레임 4-3은 3차원 주 영상의 영상 프레임을 참조하지 않는다. 이러한 참조 관계는 단일 비디오 스트림으로의 다중화 또는 단일 비디오 스트림으로부터 역다중화에 있어서도 유지된다. 즉, 다중화 및 역다중화는 시간 도메인 상에서 진행되지만, 영상 프레임 참조는 각각의 주 영상 참조 그룹과 PIP 영상 참조 그룹 내부적으로 이루어진다.
이하에서, 영상 컨텐츠에 2차원 PIP 영상 또는 3차원 PIP 영상이 포함되어 있는지를 판단할 수 있는 3차원 PIP 영상 판단 방법을 설명한다.
주 영상과 PIP 영상이 하나의 MVC 파일로 저장되는 경우, MVC 파일에 포함되는 비디오 스트림의 개수는 PIP 영상이 2차원 영상인 경우에는 3개, PIP 영상이 3차원 영상인 경우에는 4개가 된다. 이러한 MVC 파일에 포함되는 비디오 스트림의 개수, 또는 PIP 영상이 2차원 영상인지 3차원 영상인지에 대한 정보는 MVC 파일이 저장되는 메모리 또는 기록매체의 미리 정해진 영역 또는 설정 파일 내의 미리 정해진 영역 등에 저장될 수 있다. 상기 정보는 3차원 영상 컨텐츠의 제작 시에 미리 결정되어 기록매체 등에 저장될 수 있고, 상기 3차원 영상 컨텐츠의 재생 장치 또는 표시 장치가 상기 정보를 읽어 들여 PIP 영상의 종류(2차원 영상 또는 3차원 영상)를 판단할 수 있다.
이하에서는 설명의 용이를 위하여 3차원 블루레이 디스크(3D Blue-ray disc)의 index.bdmv 파일에 상기 정보가 저장되는 경우를 예로 들어 설명한다. 다만, 3차원 블루레이 디스크와 index.bdmv 파일을 이용하는 구성은 본 발명의 일 실시예를 설명하기 위한 것일 뿐, 본 발명의 기술적 사상이 이러한 실시예에 한정되지 않음에 유의하여야 한다. 예를 들어, 본 발명의 일 실시예에 따른 3차원 PIP 영상 판단 방법은 3차원 블루레이 디스크 이외에 3차원 영상 컨텐츠를 저장할 수 있는 가능한 모든 기록매체 또는 메모리에 적용될 수 있으며, 상기 정보는 3차원 영상 재생 장치가 판독할 수 있는 가능한 모든 종류의 파일 또는 기록 영역에 저장될 수 있다.
도 4 내지 도 6은 본 발명의 일 실시예에 따른 3차원 PIP 영상 판단 방법에 이용되는 설정 파일의 구성을 설명하기 위한 예시도이다. 구체적으로, 도 4는 3차원 블루레이 디스크의 디렉토리 구조의 일 예를 설명하기 위한 예시도이다. 도 5는 3차원 블루레이 디스크에 저장되는 index.bdmv 파일의 구조의 일 예를 설명하기 위한 예시도이다. 도 6은 3차원 블루레이 디스크에 저장되는 index.bdmv 파일의 구성 중 ExtensionData의 구조의 일 예를 설명하기 위한 예시도이다.
3차원 영상 컨텐츠가 기록매체 또는 메모리에 저장될 때, PIP 영상이 존재하는지 여부와, PIP 영상이 2차원 영상인지 3차원 영상인지에 대한 정보가 index.bdmv 파일의 ExtensionData 영역 또는 reserved_for_future_use 영역 등에 저장될 수 있다. 이하에서는 설명의 용이를 위하여 ExtensionData 영역에 PIP 영상이 존재하는지 여부와, PIP 영상이 2차원 영상인지 3차원 영상인지에 대한 정보가 저장되는 경우를 예로 들어 설명한다. 다만, index.bdmv 파일의 ExtensionData 영역을 이용하는 구성은 본 발명의 일 실시예를 설명하기 위한 것일 뿐, 본 발명의 기술적 사상이 이러한 실시예에 한정되지 않음에 유의하여야 한다.
도 4 내지 도 6에 나타난 바와 같이, ExtensionData는 3차원 블루레이 디스크를 위한 데이터베이스 파일 중 index.bdmv 파일에 저장되며, index.bdmv 파일은 3차원 블루레이 디스크의 루트 파일 시스템 아래의 BDMV 폴더에 저장될 수 있다. 예를 들어, ExtensionData의 data_block 영역에 상기 정보(PIP 영상이 존재하는지 여부에 대한 정보, PIP 영상이 2차원 영상인지 3차원 영상인지에 대한 정보)가 저장될 수 있다.
3차원 블루레이 디스크 플레이어는 index.bdmv 파일의 ExtensionData_start_address 필드에서 ExtensionData 영역이 시작되는 오프셋 정보를 읽어들이고, ExtensionData 영역에 저장된 상기 정보를 확인하여 그에 따라 3차원 영상 컨텐츠 재생 동작을 수행할 수 있다.
도 7 및 도 8은 본 발명의 일 실시예에 따른 3차원 PIP 영상 제공 장치에서 주 영상과 PIP 영상의 오버레이를 설명하기 위한 개념도이다. 구체적으로, 도 7은 본 발명의 일 실시예에 따른 3차원 PIP 영상 제공 장치에서 3차원 주 영상과 2차원 PIP 영상의 오버레이를 설명하기 위한 개념도이다. 도 8은 본 발명의 일 실시예에 따른 3차원 PIP 영상 제공 장치에서 3차원 주 영상과 3차원 PIP 영상의 오버레이를 설명하기 위한 개념도이다. 특히, PIP 영상이 2차원 영상인지 3차원 영상인지를 판단하는 방법으로서 상술한 본 발명의 일 실시예에 따른 3차원 PIP 영상 판단 방법을 이용할 수 있다.
여기서 주 영상과 PIP 영상의 오버레이는 주 영상과 PIP 영상의 합성, 주 영상과 PIP 영상의 병합(merge), 주 영상과 PIP 영상을 결합하는 렌더링(rendering), 주 영상과 PIP 영상을 결합한 영상의 생성(gerneration) 등으로 칭해지거나 이해될 수 있다.
2차원 PIP 영상이 제공되는 경우이거나(즉, MVC 파일에 포함된 비디오 스트림이 3개인 경우), 3차원 PIP 영상이 제공되지만 사용자가 2차원 PIP 영상을 시청하기를 원하는 경우, 본 발명의 일 실시예에 따른 3차원 PIP 영상 제공 장치는 동일한 2차원 PIP 영상 프레임을 주 영상의 좌 영상 프레임 및 우 영상 프레임 상의 동일한 영역에 오버레이하거나, 3차원 PIP 영상 프레임을 구성하는 좌 영상 프레임 또는 우 영상 프레임 중 어느 하나를 주 영상의 좌 영상 프레임 및 우 영상 프레임 상의 동일한 영역에 오버레이할 수 있다. 그 결과 주 영상은 3차원 영상으로 표시되고, PIP 영상으로 2차원 영상으로 표시된다.
도 7을 참조하면, PIP 영상이 2차원 영상인 경우, PIP 영상은 주 영상의 좌 영상 및 우 영상에 각각 오버레이(overlay)된다. 이러한 오버레이 과정은 비디오 오버레이(video overlay), 하드웨어 오버레이(hardware overlay) 등을 이용하여 수행될 수 있고, 그 결과 주 영상 상에 PIP 영상이 배치될 수 있다. PIP 영상이 오버레이된 주 영상의 좌 영상 및 우 영상은 3차원 포맷팅 과정을 거쳐 2차원 PIP 영상이 오버레이된 3차원 주 영상을 구성한다.
3차원 PIP 영상이 제공되고(즉, MVC 파일에 포함된 비디오 스트림이 4개인 경우) 사용자가 3차원 PIP 영상을 시청하기를 원하는 경우, 본 발명의 일 실시예에 따른 3차원 PIP 영상 제공 장치는 3차원 PIP 영상 프레임의 좌 영상 프레임 및 우 영상 프레임을 각각 주 영상의 좌 영상 프레임 및 우 영상 프레임 상의 동일한 영역에 오버레이할 수 있다. 그 결과 주 영상 및 PIP 영상이 3차원 영상으로 표시된다.
도 8을 참조하면, PIP 영상이 3차원 영상인 경우, PIP 영상의 좌 영상은 주 영상의 좌 영상에 오버레이되고, PIP 영상의 우 영상은 주 영상의 우 영상에 오버레이된다. 도 7의 경우와 마찬가지로, PIP 영상이 오버레이된 주 영상의 좌 영상 및 우 영상은 3차원 포맷팅 과정을 거쳐 3차원 PIP 영상이 오버레이된 3차원 주 영상을 구성한다.
도 9 내지 도 11은 본 발명의 일 실시예에 따른 3차원 PIP 영상 제공 장치의 구성을 나타내는 블록도이다.
구체적으로, 도 9는 본 발명의 일 실시예에 따른 3차원 PIP 영상 제공 장치의 구성을 나타내는 블록도이다. 3차원 PIP 영상 제공 장치(100)는 3차원 방송신호, 3차원 영상 셋탑 박스(set-top box) 등의 외부장치(200)로부터 제공되는 3차원 영상 컨텐츠, 또는 3차원 블루레이 디스크(300) 등의 기록매체에 저장된 3차원 영상 컨텐츠로부터 3차원 스테레오스코픽 영상을 제공하며, 이와 함께 2차원 PIP 영상 또는 3차원 PIP 영상을 제공할 수 있다.
3차원 PIP 영상 제공 장치(100)는 다양한 형태로 구현될 수 있다. 예를 들어, 3차원 PIP 영상 제공 장치(100)는 3차원 블루레이 디스크 플레이어, 3차원 텔레비전, 3차원 영상 셋탑 박스 등일 수 있다. 예를 들어, 3차원 블루레이 디스크 플레이어는 지상파, 케이블망, 인터넷, 이동통신, 위성통신 등의 유무선 네트워크를 통하여 3차원 방송신호를 수신하거나, 3차원 블루레이 디스크 등의 기록매체(300)로부터 3차원 영상 데이터를 제공받고, 이에 대응하는 3차원 스테레오스코픽 영상을 출력할 수 있다.
도 9에 도시된 바와 같이, 3차원 PIP 영상 제공 장치(100)는 튜너(111), 복조 및 채널복호화부(113), 트랜스포트 역다중화부(115), 음성 복호화부(117a, 117b), 영상 복호화부(119a, 119b), 스피커(121), 이미지 강화부(123a, 123b), 풀-다운 처리부(125a, 125b), PIP 합성부(127), 3차원 포맷터(129), 출력데이터 생성부(131), 출력 인터페이스부(133), 표시부(135), UI부(137), 제어부(139), 입력 인터페이스부(141), 광 드라이브(143) 등을 포함할 수 있다. 도 9에 도시된 3차원 PIP 영상 제공 장치(100)의 구성요소 모두가 필수 구성요소인 것은 아니며, 도 9에 도시된 구성요소보다 많은 구성요소에 의해 3차원 PIP 영상 제공 장치(100)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 3차원 PIP 영상 제공 장치(100)가 구현될 수도 있다.
튜너(111)는 다수의 방송신호들 중에서 어느 한 채널의 방송신호를 선택하여 출력한다.
복조 및 채널 복호화부(113)는 튜너(111)로부터의 방송신호를 복조하고 복조된 신호에 대하여 에러정정 복호화를 수행하여 트랜스포트 스트림(transport stream; TS)을 출력한다. 복조 및 채널 복호화부(113)는 TS를 출력하기 위해 아날로그-디지털 변환기(analog-digital converter; ADC)를 포함할 수 있다.
한편, 입력 인터페이스부(141)는 3차원 영상 셋탑 박스 등의 외부장치(200)로부터 주 영상 프로그램과 PIP 영상 프로그램을 포함하는 TS를 입력 받아, 이를 트랜스포트 역다중화부(115)로 출력한다.
한편, 광 드라이브(143)는 3차원 블루레이 디스크 등의 기록매체(300)로부터 3차원 영상 프로그램과 PIP 영상 프로그램을 포함하는 TS를 읽어 들여, 이를 트랜스포트 역다중화부(115)로 출력한다.
트랜스포트 역다중화부(115)는 TS를 역다중화하여 비디오 PES(packetized elementary stream)와 오디오 PES를 분리한다. 부가적으로 트랜스포트 역다중화부(115)는 PSI(program specific information)/PSIP(program and system information protocol) 정보를 추출할 수 있다. 패킷 해제부(미도시)는 비디오 PES와 오디오 PES에 대하여 패킷을 해제하여 비디오 ES(elementary stream)와 오디오 ES를 복원한다. PSI/PSIP 처리부(미도시)는 트랜스포트 역다중화부(115)로부터 PSI/PSIP 정보를 받아들이고, 이를 파싱(parsing)하여 메모리 또는 레지스터에 저장함으로써, 저장된 정보를 토대로 방송신호 복호화 및 방송재생이 이루어지게 할 수 있다.
또한, 트랜스포트 역다중화부(115)는 TS에 포함된 프로그램들 중 재생될 프로그램의 패킷을 골라내는 필터링(filtering) 및 파싱을 수행할 수 있다.
이하에서는 설명의 용이를 위하여 주 영상과 PIP 영상이 하나의 MVC 파일로 기록매체(300)에 저장되어 있고, 주 영상 프로그램과 PIP 영상 프로그램이 하나의 TS에 포함되는 경우를 예로 들어 설명한다. 다만, 주 영상과 PIP 영상이 하나의 MVC 파일로 기록매체(300)에 저장되는 구성 및 주 영상 프로그램과 PIP 영상 프로그램이 하나의 TS에 포함되는 구성은 본 발명의 일 실시예를 설명하기 위한 것일 뿐, 본 발명의 기술적 사상이 이러한 실시예에 한정되지 않음에 유의하여야 한다.
예를 들어, 상술한 바와 같이, 본 발명은 주 영상과 PIP 영상이 별개의 MVC 파일로 저장되는 경우에도 적용될 수 있으며, 이 경우 주 영상의 재생과 PIP 영상의 재생 간에 동기를 이루기 위한 수단이 부가적으로 구비될 수 있다.
또한, 예를 들어, 본 발명은 주 영상과 PIP 영상이 3차원 방송신호 또는 외부장치(200)로부터의 3차원 영상데이터의 형태로 제공되는 경우에도 적용될 수 있으며, 이 경우 기록매체(300)가 이용되는 경우와 유사한 방식으로 이해될 수 있다.
또한, 예를 들어, 본 발명은 주 영상 프로그램과 PIP 영상 프로그램이 별개의 TS에 포함되는 경우에도 적용될 수 있으며, 이 경우 주 영상 프로그램과 PIP 영상 프로그램을 각각 역다중화 및 복호화하기 위한 복수의 트랜스포트 역다중화부 및 복수의 음성/영상 복호화부가 구비될 수 있다.
트랜스포트 역다중화부(115) 및 패킷 해제부(미도시)를 거쳐 복원된 비디오 ES 및 오디오 ES에 대하여, 주 영상 프로그램에 해당하는 비디오 ES 및 오디오 ES와, PIP 영상 프로그램에 해당하는 비디오 ES 및 오디오 ES는 서로 다른 음성/영상 복호화부에 제공된다. 예를 들어, 패킷 해제부(미도시)는 주 영상 프로그램에 해당하는 비디오 ES는 영상 복호화부(119a)에, PIP 영상 프로그램에 해당하는 비디오 ES는 영상 복호화부(119b)에 제공할 수 있다. 또한, 예를 들어, 패킷 해제부(미도시)는 주 영상 프로그램에 해당하는 오디오 ES는 음성 복호화부(117a)에, PIP 영상 프로그램에 해당하는 오디오 ES는 음성 복호화부(119b)에 제공할 수 있다.
음성 복호화부(117a, 117b)는 오디오 ES를 복호화하여 오디오 비트 스트림을 출력한다. 오디오 비트 스트림은 디지털-아날로그 변환기(미도시)에 의해 아날로그 음성신호로 변환되고, 증폭기(미도시)에 의해 증폭된 후, 스피커(121)를 통해 출력될 수 있다. 이 때, 도 10에 나타난 바와 같이, 음성 합성부(118)가, 음성 복호화부(117a)에 의해 복호화된 주 영상 프로그램의 오디오 비트 스트림과, 음성 복호화부(117b)에 의해 복호화된 PIP 영상 프로그램의 오디오 비트 스트림을 적절히 합성하여 스피커(121)를 통해 출력할 수 있다.
영상 복호화부(119a, 119b)는 비디오 ES를 복호화하여 비디오 비트 스트림을 복원한다. 복원된 비디오 비트 스트림은 3차원 주 영상을 구성하는 좌 영상신호와 우 영상신호, 3차원 PIP 영상을 구성하는 좌 영상신호와 우 영상신호, 또는 2차원 PIP 영상을 구성하는 2차원 영상신호를 포함할 수 있다. 이 때, 도 11에 나타난 바와 같이, 역다중화부(122)가, 3차원 주 영상에 해당하는 비디오 비트 스트림을 좌 영상 스트림과 우 영상 스트림으로 분리하여 이미지 강화부(123a, 123b)에 제공할 수 있다. 역다중화부(122)는 3차원 PIP 영상에 해당하는 비디오 비트 스트림에 대하여도 마찬가지로 분리하여 제공할 수 있다.
이미지 강화부(123a, 123b)는 비디오 비트 스트림에 대해 디인터레이싱(de-interlacing), 이미지 보강(image enhancement) 등의 화질 개선 작업을 수행할 수 있다.
풀-다운 처리부(125a, 125b)는 비디오 비트 스트림에 대해 풀-다운 작업(pull down) 또는 텔레시네(telecine) 작업을 수행할 수 있다. 풀-다운 작업 또는 텔레시네 작업은 극장 영화용 영상을 텔레비전 또는 모니터에 맞도록 화면 비율 등을 조정하는 작업을 의미한다.
PIP 합성부(127)는 PIP 영상 프레임을 주 영상 프레임 상에 합성(오버레이)한다. 구체적으로, PIP 영상이 2차원 영상인 경우, PIP 합성부(127)는 동일한 2차원 PIP 영상 프레임을 주 영상의 좌 영상 프레임 및 우 영상 프레임 상의 동일한 영역에 합성할 수 있다. 또는, PIP 영상이 3차원 영상인 경우, PIP 합성부(127)는 3차원 PIP 영상 프레임을 구성하는 좌 영상 프레임 또는 우 영상 프레임 중 어느 하나를 주 영상의 좌 영상 프레임 및 우 영상 프레임 상의 동일한 영역에 합성할 수 있다. 또는, PIP 영상이 3차원 영상인 경우, PIP 합성부(127)는 3차원 PIP 영상 프레임의 좌 영상 프레임 및 우 영상 프레임을 각각 주 영상의 좌 영상 프레임 및 우 영상 프레임 상의 동일한 영역에 합성할 수 있다.
또한, PIP 합성부(127)는 비디오 오버레이(video overlay), 하드웨어 오버레이(hardware overlay) 등을 이용하여 주 영상 상에 PIP 영상을 배치할 수 있다.
또한, PIP 합성부(127)는 시간적으로 일치하거나 동기되는 주 영상 프레임과 PIP 영상 프레임을 합성하는데, 이를 위하여 프레임 타임 비교부(미도시) 및 프레임 보정부(미도시)를 포함할 수 있다. PIP 합성부(127)의 상기 프레임 타임 비교부(미도시)는 주 영상 및 PIP 영상의 시간 정보로부터 두 영상 간의 시간 관계를 분석할 수 있고, PIP 합성부(127)의 프레임 보정부(미도시)는 주 영상과, 시간적으로 상기 주 영상에 대응하는 PIP 영상을 동기화할 수 있다. 상기 프레임 타임 비교부(미도시) 및 상기 프레임 보정부(미도시)에 대하여는 후술할 3차원 포맷터(129)의 프레임 타임 비교부(129a) 및 프레임 보정부(129b)와 유사한 방식으로 이해될 수 있으므로 이하 설명을 생략한다.
한편, PIP 영상이 2차원 영상인지 3차원 영상인지를 판단하는 데에 상술한 본 발명의 일 실시예에 따른 3차원 PIP 영상 판단 방법을 이용할 수 있다. 예를 들어, PIP 합성부(127)는 3차원 블루레이 디스크에 저장된 설정 파일로부터 PIP 영상이 2차원 영상인지 3차원 영상인지에 대한 정보를 확인할 수 있다. 또는, 예를 들어, 도 9에 도시되지는 않았지만, 제어부(139) 또는 트랜스포트 역다중화부(115)가 상기 정보를 상기 설정 파일로부터 확인하고 이를 PIP 합성부(127)에 제공할 수 있다. 이하에서는 설명의 용이를 위하여 PIP 합성부(127)가 PIP 영상이 2차원 영상인지 3차원 영상인지를 판단하는 것으로 가정하고 설명한다. 다만, PIP 합성부(127)가 상기 판단을 수행하는 구성은 본 발명의 일 실시예를 설명하기 위한 것일 뿐, 본 발명의 기술적 사상이 이러한 실시예에 한정되지 않음에 유의하여야 한다.
3차원 포맷터(129)는 합성 영상(오버레이 영상)을 3차원 디스플레이 패널이 표시할 수 있는 3차원 영상 데이터 또는 3차원 영상신호 형태로 변환한다. 예를 들어, 상기 합성 영상의 포맷이 탑-다운 방식이고 본 발명의 3차원 PIP 영상 제공 장치(100)에 구비되거나 연결된 3차원 디스플레이 패널이 시분할 방식만을 지원하는 경우, 3차원 포맷터(129)는 탑-다운 방식의 합성 영상을 시분할 방식의 합성 영상으로 변환할 수 있다. 이 경우 3차원 포맷터(129)는 합성 영상의 상단에 위치하는 좌 영상을 좌 영상 프레임으로 변환하고, 하단에 위치하는 우 영상을 우 영상 프레임으로 변환할 수 있다.
한편, 외부의 3차원 영상 표시 장치나 본 발명의 일 실시예에 따른 3차원 PIP 영상 제공 장치(100)의 표시부(135)에서 표시되는 3차원 영상 프레임은 시간 축 상에서 동일 시점(時點)에 대응하는 좌 영상 및 우 영상의 쌍(pair)으로 구성된다. 따라서 3차원 영상 제공 장치(100)는 좌 영상과 우 영상의 동기를 맞추어야 정확한 3차원 영상을 제공할 수 있다. 이를 위하여, 3차원 포맷터(129)는 프레임 타임 비교부(129a), 프레임 보정부(129b), 3차원 포맷 합성부(129c) 등을 포함할 수 있다.
프레임 타임 비교부(129a)는 합성 영상을 구성하는 좌 영상 프레임 및 우 영상 프레임의 시간 정보로부터 양 프레임 간의 시간 관계(예를 들어, 시간적 선후 관계)를 분석한다. 예를 들어, 프레임 타임 비교부(129a)는 좌 영상 및 우 영상의 타임 스탬프(time stamp) 정보를 확인하거나, 이전에 수행되는 TS 처리 과정 중에 별도로 저장된 시간 정보에 기반하여 좌 영상 및 우 영상의 시간 정보를 확인할 수 있다.
프레임 보정부(129b)는 합성 영상을 구성하는 좌 영상 프레임과, 시간적으로 상기 좌 영상 프레임에 대응하는 우 영상 프레임을 동기화한다. 즉, 프레임 보정부(129b)는 지연되거나 앞서는 좌 영상 프레임 또는 우 영상 프레임을 시간 보정함으로써 시간적으로 정확한 페어링(pairing)이 이루어진 합성 영상이 출력될 수 있도록 한다.
이를 위하여 프레임 보정부(129b)는 영상 프레임을 선입선출식으로 입력 받았다가 출력하는 좌 영상 프레임 큐(queue) 및 우 영상 프레임 큐를 포함할 수도 있다. 이 경우 프레임 보정부(129b)는 정해진 시점(時點)에 정확히 대응하거나 시간 보정된 영상 프레임을 좌 영상 프레임 큐 또는 우 영상 프레임 큐에 입력하고, 따라서 좌 영상 프레임 큐 및 우 영상 프레임 큐로부터 동시에 출력되는 프레임 쌍은 정확한 페어링을 이루게 된다. 즉, 타임 스탬프가 일치하는 좌 영상 프레임과 우 영상 프레임이 출력된다.
3차원 포맷 합성부(129c)는 합성영상의 동기화된 좌 영상과 우 영상을 병합하여 3차원 영상 데이터 또는 3차원 영상신호를 생성하고 이를 출력데이터 생성부(131) 또는 표시부(135)로 출력한다.
출력데이터 생성부(131)는, 3차원 포맷터(129)가 출력한 3차원 영상 데이터와 음성 복호화부(117a, 117b)가 출력한 오디오 비트 스트림을 입력 받아, 외부로 출력하기에 적절한 데이터 형태 또는 표시부(135)가 3차원 영상을 표시하기에 적절한 데이터 형태로 변환하고, 이를 출력 인터페이스부(133)를 통하여 외부 3차원 영상 재생 장치(400), 외부 3차원 영상 표시 장치 또는 표시부(135)에 제공할 수 있다. 예를 들어, 상기 외부 3차원 영상 재생 장치(400)는 3차원 텔레비전 등일 수 있다.
또한, 출력데이터 생성부(131)는, 3차원 포맷터(129)로부터 제공되는 3차원 영상과, 외부장치(200)로부터 입력 인터페이스부(141)를 통하여 제공되는 다른 2차원 영상 또는 다른 3차원 영상을 합성(오버레이)할 수도 있다.
출력 인터페이스부(133)는 고선명 멀티미디어 인터페이스(high definition multimedia interface; HDMI) 단자, 디스플레이 포트(DisplayPort) 단자, 디지털 비주얼 인터페이스(digital visual interface; DVI) 단자, 또는 VGA(video graphics array) 단자 등과 같은 입출력용 포트, 또는 랜(local area network; LAN), IEEE 802.11 a/b/g/n 등의 무선 랜(wireless LAN), 블루투스(Bluetooth), 범용 직렬 버스(universal serial bus; USB), IEEE 1394(FireWire, i.Link) 등과 같은 유선 또는 무선 네트워크 인터페이스를 구비할 수 있다.
본 발명의 일 실시예에 따른 3차원 PIP 영상 제공 장치가 스피커(121) 및 표시부(135)를 포함하지 않는 경우, 3차원 합성 영상에 대한 비디오 데이터 및 오디오 데이터는 외부 3차원 영상 재생 장치(400)에서 재생될 수 있다.
본 발명의 일 실시예에 따른 3차원 PIP 영상 제공 장치가 스피커(121) 및 표시부(135)를 포함한 경우, 3차원 합성 영상에 대한 비디오 데이터 및 오디오 데이터는 스피커(121) 및 표시부(135)에서 재생될 수 있고, 이 경우 출력데이터 생성부(131) 또는 출력 인터페이스부(133)는 생략될 수 있다.
영상신호 분리부(미도시)는, 3차원 포맷터(129)와 표시부(135) 사이에서, 3차원 영상신호로부터 영상데이터와 동기신호를 분리할 수 있다. 영상데이터는 화면을 구성하는 각 픽셀(pixel)의 명도, 채도 및 색상에 대한 정보로서, RGB, CMYK, YCbCr(비디오 및 디지털 사진 시스템에서 컬러 이미지 파이프라인의 일부로서 사용되는 색채공간), YIQ(NTSC 컬러 텔레비전 시스템의 색채공간), HSI(hue, saturation and lightness) 등의 영상 포맷에 맞게 구성될 수 있다. 동기신호는 영상데이터로부터 형성되는 목적 영상이 정상적으로 표시될 수 있도록 하는 참조 정보 또는 제어정보로서, 목적 영상이 화면 상에서 요동하거나 깨지지 않도록 한다. 동기신호에는 수직동기신호(vertical synchronization signal; VSYNC), 수평동기신호(horizontal synchronization signal; HSYNC), 픽셀 클럭(pixel clock), 도트 클럭(dot clock) 등이 있다.
표시부(135)는 패널과, 좌우 영상신호를 상기 패널에 표시하기에 적합하게 변환하고 각종 타이밍 제어신호 및 구동신호 등 제어신호를 발생하는 패널 구동 회로를 포함한다.
한편, 표시부(135)는 액정 디스플레이(liquid crystal display), 플라즈마 디스플레이 패널(plasma display panel), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 전계방출 디스플레이(field emission display), 플렉시블 디스플레이(flexible display) 중에서 적어도 하나를 포함할 수 있다.
또한, 3차원 PIP 영상 제공 장치(100)의 구현 형태에 따라 표시부(135)가 2개 이상 존재할 수도 있다. 예를 들어, 3차원 PIP 영상 제공 장치(100)에 상단 표시부(미도시)와 하단 표시부(미도시)가 동시에 구비될 수 있다.
또한, 표시부(135)는 3차원 영상 표시 방식으로서 편광 방식 또는 시분할 방식에 따라 3차원 영상을 표시할 수 있다. 편광 방식의 표시부(135)는 편광 필름 또는 편광판을 부가적으로 포함할 수 있다. 시분할 방식의 표시부(135)는 셔터 안경(shuttered glasses)과의 좌우 영상 동기를 맞추기 위한 에미터(emitter) 등의 동기 신호 발생기를 부가적으로 포함할 수 있다.
편광판은 표시부(135)에서 방출되는 빛 중에서 특정 편광방향의 빛만을 투과시킴으로써 투과된 빛이 모두 동일한 편광방향만을 갖게 한다. 편광판은 요오드계 편광필름, 염료계 편광필름, 위상차 편광(phase polarization) 필름, 반투과 편광필름, 고반사 반투과 편광필름, 표면반사방지(anti-glare/anti-reflection) 필름, 반사형 편광필름, LC(liquid crystal) 필름 중에서 적어도 하나를 포함할 수 있다. 편광판은 전기적 제어신호에 따라 편광방향을 특정 방향으로 전환시킬 수 있다. 예를 들어, 편광판은 -45도의 편광방향과 +45도의 편광방향으로 전환할 수 있고, 이 경우 -45도의 편광방향과 +45도의 편광방향을 갖는 빛이 번갈아 통과된다.
UI부(사용자 인터페이스부, 137)는 사용자가 입력하는 각종 조작 명령 또는 정보를 제어부(139)에 제공할 수 있다. UI부(137)는 리모트 컨트롤러로부터 발신되는 적외선 신호 또는 RF 신호를 수신하는 무선 수신부, 본 발명의 일 실시예에 따른 3차원 PIP 영상 제공 장치(100)의 전면 또는 측면에 마련된 키패드, 화면 상의 포인터를 이동시키고 포인터가 위치한 지점을 선택하는 동작을 지원하는 포인팅 장치로부터 발신되는 무선 신호를 수신하는 수신부 등을 포함할 수 있다. 예를 들어, 사용자가 리모트 컨트롤러를 이용하여 2차원 PIP 영상이 표시되도록 선택하거나 3차원 PIP 영상이 표시되도록 선택하면, UI부(137)가 그러한 선택 명령을 제어부(139)에 제공하고, 제어부(139)가 PIP 합성부(127)에 2차원 PIP 영상 또는 3차원 PIP 영상이 합성되도록 제어명령을 보낼 수 있다.
제어부(139)는 3차원 PIP 영상 제공 장치(100)의 전체적인 동작을 제어할 수 있다. 제어부(139)는 UI부(137)로부터 사용자 입력 신호를 받아들이고, 사용자 입력 신호에 응답하여 3차원 PIP 영상 제공 장치(100)의 동작을 제어하는 제어신호를 발생시킬 수 있다. 예를 들어, 제어부(139)는 영상 복호화부(119a, 119b)에 대한 재생, 정지, 배속 명령 등을 포함하는 제어신호를 발생시킬 수 있다. 또는, 예를 들어, 제어부(139)는 출력데이터 생성부(131)에 대한 출력데이터 해상도, 인터페이스 모드 제어 명령 등을 포함하는 제어신호를 발생시킬 수 있다.
제어부(139)와 3차원 포맷터(129)는 3차원 영상 데이터 또는 3차원 영상신호를 생성하고 본 발명의 일 실시예에 따른 3차원 PIP 영상 제공 장치(100)의 전체적인 동작을 제어하는 하나의 블록 또는 하나의 소자로 구현될 수 있다. 예를 들어, 제어부(139)와 3차원 포맷터(129)는 하나의 마이크로 프로세서로 구현될 수 있다.
3차원 PIP 영상 제공 장치(100)에 적용된 각 구성요소의 기능은 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터로 읽을 수 있는 기록매체 내에서 구현될 수도 있다. 하드웨어적인 구현에 의하면, ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 소프트웨어적인 구현에 의하면, 절차나 기능과 같은 실시예들은 적어도 하나의 기능 또는 작동을 수행하게 하는 별개의 소프트웨어 모듈과 함께 구현될 수 있다. 소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션에 의해 구현될 수 있다. 또한, 소프트웨어 코드는 메모리(미도시)에 저장되고, 프로세서(미도시) 등에 의해 실행될 수도 있다.
도 12는 본 발명의 일 실시예에 따른 3차원 PIP 영상 제공 방법을 설명하기 위한 순서도이다. 도 12에 도시된 3차원 PIP 영상 제공 방법의 구성요소 모두가 필수 구성요소인 것은 아니며, 도 12에 도시된 구성요소보다 많은 구성요소에 의해 3차원 PIP 영상 제공 방법이 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 3차원 PIP 영상 제공 방법이 구현될 수도 있다.
도 12를 참조하면, 먼저 MVC 파일에 포함된 PIP 영상이 2차원 영상인지 3차원 영상인지 여부를 판단한다(S510, S520). 그리고 PIP 영상이 3차원 영상인 경우 사용자가 2차원 PIP 영상을 선택하였는지 3차원 PIP 영상을 선택하였는지 여부를 판단한다(S530).
다음으로 PIP 영상이 2차원 영상인 경우, PIP 영상을 주 영상의 좌 영상 및 우 영상에 오버레이한다(S540). PIP 영상이 3차원 영상이고, 사용자가 2차원 PIP 영상을 선택한 경우, PIP 영상의 좌 영상 또는 우 영상 중 어느 하나의 영상을 주 영상의 좌 영상 및 우 영상에 오버레이한다(S550). PIP 영상이 3차원 영상이고, 사용자가 3차원 PIP 영상을 선택한 경우, PIP의 좌 영상 및 우 영상을 주 영상의 좌 영상 및 우 영상에 각각 오버레이한다(S560).
마지막으로 오버레이에 의해 생성된 합성 영상을 3차원 영상 재생 장치 또는 표시부에 제공한다(S570).
본 발명의 일 실시예에 따른 3차원 PIP 영상 제공 방법에 대하여는 상기 본 발명의 일 실시예에 따른 3차원 PIP 영상 제공 장치에 대하여 도 1 내지 도 11을 참조하여 설명한 바와 유사하게 이해될 수 있으므로 이하 설명을 생략한다.
본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (20)

  1. 방송신호, 외부장치 또는 기록매체로부터 3차원 주 영상 및 2차원 또는 3차원 PIP 영상을 획득하는 영상 획득부;
    상기 주 영상과 상기 PIP 영상을 합성하는 PIP 합성부; 및
    상기 주 영상과 상기 PIP 영상이 합성된 영상을 스테레오스코픽 방식으로 표시될 수 있는 형태로 포맷팅하는 3차원 포맷터를 포함하는 3차원 PIP 영상 제공 장치.
  2. 제1항에 있어서
    상기 주 영상과 상기 PIP 영상은 다시점 비디오 코딩에 의하여 하나의 미디어 파일에 포함되는 것을 특징으로 하는 3차원 PIP 영상 제공 장치.
  3. 제1항에 있어서,
    상기 주 영상과 상기 PIP 영상은 하나의 트랜스포트 스트림에 포함되는 서로 다른 프로그램인 것을 특징으로 하는 3차원 PIP 영상 제공 장치.
  4. 제1항에 있어서,
    상기 PIP 합성부는 상기 3차원 PIP 영상의 좌 영상 및 우 영상을 상기 3차원 주 영상의 좌 영상 및 우 영상에 각각 합성하는 것을 특징으로 하는 3차원 PIP 영상 제공 장치.
  5. 제1항에 있어서,
    상기 PIP 합성부는 상기 3차원 PIP 영상의 좌 영상 및 우 영상 중 어느 하나를 상기 3차원 주 영상의 좌 영상 및 우 영상에 합성하는 것을 특징으로 하는 3차원 PIP 영상 제공 장치.
  6. 제1항에 있어서,
    상기 PIP 합성부는 상기 2차원 PIP 영상을 상기 3차원 주 영상의 좌 영상 및 우 영상에 합성하는 것을 특징으로 하는 3차원 PIP 영상 제공 장치.
  7. 제1항에 있어서,
    상기 PIP 합성부는,
    상기 주 영상 및 상기 PIP 영상의 시간 정보로부터 두 영상 간의 시간 관계를 분석하는 프레임 타임 비교부; 및
    상기 주 영상과, 시간적으로 상기 주 영상에 대응하는 상기 PIP 영상을 동기화하는 프레임 보정부를 포함하는 것을 특징으로 하는 3차원 PIP 영상 제공 장치.
  8. 제1항에 있어서,
    상기 3차원 포맷터는,
    상기 주 영상과 상기 PIP 영상이 합성된 영상을 구성하는 좌 영상 및 우 영상의 시간 정보로부터 두 영상 간의 시간 관계를 분석하는 프레임 타임 비교부; 및
    상기 좌 영상과, 시간적으로 상기 좌 영상에 대응하는 상기 우 영상을 동기화하는 프레임 보정부를 포함하는 것을 특징으로 하는 3차원 PIP 영상 제공 장치.
  9. 제1항에 있어서,
    상기 방송신호에 포함된 설정 정보, 상기 외부장치로부터 제공되는 설정 정보 또는 상기 기록매체에 저장된 설정 정보를 읽어 들여 상기 PIP 영상이 3차원 영상인지 2차원 영상인지를 판단하는 PIP 영상 판단부를 더 포함하는 3차원 PIP 영상 제공 장치.
  10. 제1항에 있어서,
    상기 3차원 PIP 영상을 3차원 영상으로 표시할지 2차원 영상으로 표시할지 여부를 입력 받는 사용자 입력부를 더 포함하는 3차원 PIP 영상 제공 장치.
  11. 제1항에 있어서,
    상기 주 영상과 상기 PIP 영상이 합성된 영상을 3차원 영상 표시 장치로 출력하는 출력 인터페이스부를 더 포함하는 3차원 PIP 영상 제공 장치.
  12. 제1항에 있어서,
    상기 주 영상과 상기 PIP 영상이 합성된 영상을 스테레오스코픽 방식으로 표시하는 표시부를 더 포함하는 3차원 PIP 영상 제공 장치.
  13. 3차원 블루레이 디스크에 저장된 트랜스포트 스트림을 읽어 들이는 광 드라이브;
    상기 트랜스포트 스트림에 포함된 주 영상 프로그램과 PIP 영상 프로그램을 역다중화하고, 주 영상 및 PIP 영상의 비디오 비트 스트림 및 오디오 비트 스트림을 복호화하는 트랜스포트 스트림 분석부;
    상기 주 영상 및 상기 PIP 영상을 하나의 합성 영상으로 오버레이하는 PIP 합성부;
    상기 합성 영상을 스테레오스코픽 방식으로 표시될 수 있는 형태로 포맷팅하는 3차원 포맷터; 및
    포맷팅된 상기 합성 영상을 3차원 영상 표시 장치로 출력하는 출력 인터페이스부를 포함하는 3차원 블루레이 디스크 플레이어.
  14. 제13항에 있어서
    상기 주 영상과 상기 PIP 영상은 다시점 비디오 코딩에 의하여 하나의 미디어 파일의 형태로 상기 3차원 블루레이 디스크에 저장되는 것을 특징으로 하는 3차원 블루레이 디스크 플레이어.
  15. 제13항에 있어서,
    상기 PIP 합성부는, 3차원 PIP 영상의 좌 영상 및 우 영상을 3차원 주 영상의 좌 영상 및 우 영상에 각각 합성하거나, 상기 3차원 PIP 영상의 좌 영상 및 우 영상 중 어느 하나를 상기 3차원 주 영상의 좌 영상 및 우 영상에 합성하거나, 2차원 PIP 영상을 상기 3차원 주 영상의 좌 영상 및 우 영상에 합성하는 것을 특징으로 하는 3차원 블루레이 디스크 플레이어.
  16. PIP 영상이 2차원 영상인지 3차원 영상인지 여부를 판단하는 단계;
    상기 PIP 영상이 3차원 영상인 경우 사용자가 2차원 PIP를 선택하였는지 3차원 PIP를 선택하였는지 여부를 판단하는 단계;
    3차원 PIP 영상의 좌 영상 및 우 영상을 3차원 주 영상의 좌 영상 및 우 영상에 각각 합성하거나, 상기 3차원 PIP 영상의 좌 영상 및 우 영상 중 어느 하나를 상기 3차원 주 영상의 좌 영상 및 우 영상에 합성하거나, 2차원 PIP 영상을 상기 3차원 주 영상의 좌 영상 및 우 영상에 합성하는 단계; 및
    상기 주 영상과 상기 PIP 영상이 합성된 영상을 3차원 영상 표시 장치에 제공하는 단계를 포함하는 3차원 PIP 영상 제공 방법.
  17. 3차원 블루레이 디스크에 저장된 데이터베이스 파일을 읽어 들이는 단계;
    상기 데이터베이스 파일에 포함된 PIP 영상 정보를 읽어 들이는 단계; 및
    상기 PIP 영상 정보에 기초하여 PIP 영상이 3차원 영상인지 2차원 영상인지를 판단하는 단계를 포함하는 3차원 PIP 영상 판단 방법.
  18. 제17항에 있어서,
    상기 데이터베이스 파일은 index.bdmv 파일이고, 상기 PIP 영상 정보는 ExtensionData 영역 또는 reserved_for_future_use 영역에 저장되는 것을 특징으로 하는 3차원 PIP 영상 판단 방법.
  19. 3차원 주 영상을 구성하는 어느 하나의 영상 프레임이 상기 3차원 주 영상을 구성하는 적어도 하나의 다른 영상 프레임을 참조하도록 지정하는 단계;
    PIP 영상을 구성하는 어느 하나의 영상 프레임이 상기 PIP 영상을 구성하는 적어도 하나의 다른 영상 프레임을 참조하도록 지정하는 단계; 및
    상기 3차원 주 영상 및 상기 PIP 영상을 부호화하거나 복호화하는 단계를 포함하되,
    상기 3차원 주 영상을 구성하는 영상 프레임은 상기 PIP 영상을 구성하는 영상 프레임을 참조하지 않고, 상기 PIP 영상을 구성하는 영상 프레임은 상기 3차원 주 영상을 구성하는 영상 프레임을 참조하지 않는 것을 특징으로 하는 영상 부호화 및 복호화 참조 방법.
  20. 제19항에 있어서,
    상기 주 영상과 상기 PIP 영상은 다시점 비디오 코딩에 의하여 하나의 미디어 파일의 형태로 저장되는 것을 특징으로 하는 영상 부호화 및 복호화 참조 방법.
PCT/KR2010/003100 2009-06-08 2010-05-17 3차원 pip 영상 제공 장치 및 그 방법 WO2010143820A2 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/376,654 US9185328B2 (en) 2009-06-08 2010-05-17 Device and method for displaying a three-dimensional PIP image
EP10786303.7A EP2442561A4 (en) 2009-06-08 2010-05-17 DEVICE AND METHOD FOR DISPLAYING A THREE-DIMENSIONAL PIP IMAGE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US18484909P 2009-06-08 2009-06-08
US61/184,849 2009-06-08

Publications (2)

Publication Number Publication Date
WO2010143820A2 true WO2010143820A2 (ko) 2010-12-16
WO2010143820A3 WO2010143820A3 (ko) 2011-02-24

Family

ID=43309317

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2010/003100 WO2010143820A2 (ko) 2009-06-08 2010-05-17 3차원 pip 영상 제공 장치 및 그 방법

Country Status (3)

Country Link
US (1) US9185328B2 (ko)
EP (1) EP2442561A4 (ko)
WO (1) WO2010143820A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018066788A1 (ko) * 2016-10-05 2018-04-12 엘지전자 주식회사 디스플레이 장치
US10091495B2 (en) 2012-12-24 2018-10-02 Thomson Licensing Apparatus and method for displaying stereoscopic images

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8854531B2 (en) 2009-12-31 2014-10-07 Broadcom Corporation Multiple remote controllers that each simultaneously controls a different visual presentation of a 2D/3D display
US8823782B2 (en) 2009-12-31 2014-09-02 Broadcom Corporation Remote control with integrated position, viewer identification and optical and audio test
US20110157322A1 (en) 2009-12-31 2011-06-30 Broadcom Corporation Controlling a pixel array to support an adaptable light manipulator
US9247286B2 (en) 2009-12-31 2016-01-26 Broadcom Corporation Frame formatting supporting mixed two and three dimensional video data communication
US8537201B2 (en) * 2010-10-18 2013-09-17 Silicon Image, Inc. Combining video data streams of differing dimensionality for concurrent display
JP5302285B2 (ja) * 2010-10-28 2013-10-02 シャープ株式会社 立体映像出力装置、立体映像出力方法、立体映像出力プログラムおよびコンピュータ読み取り可能な記録媒体、ならびに、立体映像表示装置
US20120154559A1 (en) * 2010-12-21 2012-06-21 Voss Shane D Generate Media
IT1403450B1 (it) * 2011-01-19 2013-10-17 Sisvel S P A Flusso video costituito da frame video combinati, e procedimento e dispositivi per la sua generazione, trasmissione, ricezione e riproduzione
US20130169755A1 (en) * 2011-12-28 2013-07-04 Samsung Electronics Co., Ltd. Signal processing device for processing plurality of 3d content, display device for displaying the content, and methods thereof
US9106894B1 (en) * 2012-02-07 2015-08-11 Google Inc. Detection of 3-D videos
GB2507731B (en) * 2012-11-07 2015-08-12 Nds Ltd A system and method for providing a private mosaic
KR102262086B1 (ko) * 2014-05-28 2021-06-09 삼성전자 주식회사 이미지 처리 방법 및 장치
US10097785B2 (en) * 2014-10-01 2018-10-09 Sony Corporation Selective sign language location
US9697630B2 (en) 2014-10-01 2017-07-04 Sony Corporation Sign language window using picture-in-picture
US10204433B2 (en) * 2014-10-01 2019-02-12 Sony Corporation Selective enablement of sign language display
CN108881877B (zh) * 2017-05-12 2020-07-24 京东方科技集团股份有限公司 显示处理装置及其显示处理方法以及显示装置
US10701421B1 (en) * 2017-07-19 2020-06-30 Vivint, Inc. Embedding multiple videos into a video stream
US11016788B2 (en) * 2018-11-28 2021-05-25 Hisense Visual Technology Co., Ltd. Application launching method and display device

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000058837A (ko) 1999-07-01 2000-10-05 조인호 픽처 인 픽처 타입 동영상 광고데이터가 수록된 영상물의제조방법 및 그 제조장치와 그 영상물의 전송시스템 및전송방법
AU2004246683B2 (en) 2003-06-02 2008-12-18 Disney Enterprises, Inc. System and method of programmatic window control for consumer video players
KR20070022892A (ko) * 2005-08-22 2007-02-27 삼성전자주식회사 피아이피를 이용한 줌 기능을 갖는 영상표시장치 및 그방법
KR20070022580A (ko) * 2005-08-22 2007-02-27 엘지전자 주식회사 데이터 재생방법 및 재생장치, 기록매체와 데이터 기록방법및 기록장치
US20070247477A1 (en) * 2006-04-21 2007-10-25 Lowry Gregory N Method and apparatus for processing, displaying and viewing stereoscopic 3D images
KR101362647B1 (ko) 2007-09-07 2014-02-12 삼성전자주식회사 2ｄ 영상을 포함하는 3ｄ 입체영상 파일을 생성 및재생하기 위한 시스템 및 방법
US8660402B2 (en) * 2007-12-14 2014-02-25 Koninklijke Philips N.V. 3D mode selection mechanism for video playback
BRPI0822032A2 (pt) * 2007-12-20 2015-07-21 Koninkl Philips Electronics Nv Método de codificação de imagem que permite renderização estereoscópica, portador de dados, codificador de imagem, decodificador de imagem, e, produto de programa de computador
KR101419979B1 (ko) * 2008-01-29 2014-07-16 톰슨 라이센싱 2ｄ 이미지 데이터를 스테레오스코픽 이미지 데이터로 변환하기 위한 방법 및 시스템
MX2009010856A (es) * 2008-02-15 2009-11-02 Panasonic Corp Dispositivo de reproduccion, dispositivo de grabacion, metodo de reproduccion y metodo de grabacion.
TWI462585B (zh) * 2008-10-27 2014-11-21 Wistron Corp 具有立體顯示功能的子母畫面顯示裝置及子母畫面顯示方法
US20100201879A1 (en) * 2009-02-12 2010-08-12 Echostar Technologies L.L.C. Customizable Picture-in-Picture

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None
See also references of EP2442561A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10091495B2 (en) 2012-12-24 2018-10-02 Thomson Licensing Apparatus and method for displaying stereoscopic images
WO2018066788A1 (ko) * 2016-10-05 2018-04-12 엘지전자 주식회사 디스플레이 장치

Also Published As

Publication number Publication date
WO2010143820A3 (ko) 2011-02-24
EP2442561A2 (en) 2012-04-18
US20120081515A1 (en) 2012-04-05
EP2442561A4 (en) 2013-10-16
US9185328B2 (en) 2015-11-10

Similar Documents

Publication Publication Date Title
WO2010143820A2 (ko) 3차원 pip 영상 제공 장치 및 그 방법
JP4179387B2 (ja) 伝送方法、伝送システム、送信方法、送信装置、受信方法及び受信装置
US8810563B2 (en) Transmitting apparatus, stereoscopic image data transmitting method, receiving apparatus, and stereoscopic image data receiving method
JP5448558B2 (ja) 送信装置、立体画像データの送信方法、受信装置、立体画像データの受信方法、中継装置および立体画像データの中継方法
US20110149034A1 (en) Stereo image data transmitting apparatus and stereo image data transmittimg method
WO2010143759A1 (ko) 포즈 모드 시의 입체영상 재생방법 및 이를 이용한 입체영상 재생장치
WO2010071291A1 (ko) 3차원 영상신호 처리 방법과 이를 구현하기 위한 영상표시 장치
WO2010134665A1 (ko) 입체영상에 대한 3d 모드 선택이 가능한 입체영상 재생 장치 및 방법
US20110141238A1 (en) Stereo image data transmitting apparatus, stereo image data transmitting method, stereo image data receiving data receiving method
US20110141233A1 (en) Three-dimensional image data transmission device, three-dimensional image data transmission method, three-dimensional image data reception device, and three-dimensional image data reception method
US20110050850A1 (en) Video combining device, video display apparatus, and video combining method
WO2011005025A2 (en) Signal processing method and apparatus therefor using screen size of display device
US20120050476A1 (en) Video processing device
WO2010085074A2 (en) Three-dimensional subtitle display method and three-dimensional display device for implementing the same
WO2016006970A1 (ko) 방송 신호 송수신 방법 및 장치
US9438895B2 (en) Receiving apparatus, transmitting apparatus, communication system, control method of the receiving apparatus and program
WO2010147311A2 (en) 3d display device and selective image display method thereof
WO2010150961A1 (ko) 3차원 영상 제공 장치, 표시 장치 및 그 방법
WO2016017961A1 (ko) 방송 신호 송수신 방법 및 장치
WO2016006971A1 (ko) 방송 신호 송수신 방법 및 장치
JP5957769B2 (ja) 映像処理装置及び映像処理方法
KR20150013392A (ko) 수신장치, 송신장치, 수신방법 및 송신방법
WO2012169694A1 (ko) 3차원 그래픽 콘텐츠 재생 방법 및 장치
US20130215222A1 (en) Stereoscopic image data transmission device, stereoscopic image data transmission method, and stereoscopic image data reception device
WO2010143819A2 (ko) 3차원 영상 표시 장치 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10786303

Country of ref document: EP

Kind code of ref document: A2

WWE Wipo information: entry into national phase

Ref document number: 13376654

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2010786303

Country of ref document: EP