WO2010064774A1 - 3차원 영상신호 전송 방법과, 3차원 영상표시 장치 및 그에 있어서의 신호 처리 방법 - Google Patents

3차원 영상신호 전송 방법과, 3차원 영상표시 장치 및 그에 있어서의 신호 처리 방법 Download PDF

Info

Publication number
WO2010064774A1
WO2010064774A1 PCT/KR2009/004619 KR2009004619W WO2010064774A1 WO 2010064774 A1 WO2010064774 A1 WO 2010064774A1 KR 2009004619 W KR2009004619 W KR 2009004619W WO 2010064774 A1 WO2010064774 A1 WO 2010064774A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
floating window
images
data
image signal
Prior art date
Application number
PCT/KR2009/004619
Other languages
English (en)
French (fr)
Inventor
양정휴
서종열
Original Assignee
(주)엘지전자
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)엘지전자 filed Critical (주)엘지전자
Priority to KR1020117012716A priority Critical patent/KR101667723B1/ko
Priority to EP09830512.1A priority patent/EP2357823A4/en
Priority to US13/132,239 priority patent/US9288470B2/en
Publication of WO2010064774A1 publication Critical patent/WO2010064774A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation

Definitions

  • the present invention relates to a video signal encoding method, and more particularly, to a method for encoding a stereoscopic video signal for implementing a three-dimensional image.
  • the present invention relates to an image display device and a signal processing method thereof, and more particularly, to a stereoscopic display device for implementing a three-dimensional image, and a stereoscopic image signal processing method in such a device.
  • Physiological depth cues include Accommodation, Convergence or Vergence, Binocular Disparity and Motion Parallax.
  • Psychological depth cues include linear perspectives, shadows, shades of perspective, occlusion by other objects, texture gradients, and colors.
  • accommodation refers to changing the focal length of the lens when the eye tries to focus on a specific area of the three-dimensional scene. Changes in the thickness of the lens are caused by changes in the tension of the ciliary muscles.
  • perspective control is normally used with convergence.
  • Convergence or Vergence means that when the observer looks at a finite distance, both eyes rotate inward and the two eyes intersect at the viewpoint.
  • Binocular disparity is due to the fact that the left and right eyes are about 65 millimeters apart to accept different images, and the difference between the images projected onto the left and right retinas when viewing a 3D scene.
  • Such binocular parallax becomes the critical depth cue that the visual system uses in depth sense or stereopsis.
  • Motion parallax refers to the difference in relative displacement of each point in the 3D scene (ie, the near point moves more than the far point) when relative motion exists between the observer and the 3D scene.
  • the binocular parallax is simulated by capturing different images with two image sensors about 65 millimeters away from the human eye, and inputting the two images separately to the left and right eyes of the person on the display device. Depth perception to stereoscopic vision.
  • the two image sensors are aligned in the horizontal direction with the same optical characteristics, focal length and zoom ratio.
  • stereoscopic three-dimensional images differ in some aspects from images that humans can actually perceive in the field.
  • a different situation occurs when watching a stereoscopic image.
  • the camera that captures the image focuses on a specific object and thus two stereoscopic image pairs are focused on the virtual stereoscopic window plane on which the object is located.
  • the stereoscopic image pair is focused on the physical image display surface (hereinafter referred to as a "stereoscopic screen"). Accordingly, the convergence stimulus naturally varies with depth, while the focusing stimulus tends to remain fixed on the stereoscopic screen.
  • the human eye always focuses on the stereoscopic screen, while the gaze point is in front of or behind the stereoscopic screen, depending on the position of the object being viewed, so that both eyes converge in a different depth plane than the stereoscopic screen.
  • the human eye should focus on the object in front of or behind the stereoscopic screen that is not in focus. Attempt to focus.
  • a more serious problem due to negative parallax is a clash of clues that can occur when an object with negative parallax values partially obscures near the left and right edges of a stereoscopic image pair.
  • a first camera having a lens 10 and an image sensor 12 captures a left image projected onto the first stereoscopic window 14, and includes a lens 20 and an image sensor 22.
  • the situation in which the second camera captures the right image projected on the second stereoscopic window 24 is depicted.
  • the first and second stereoscopic windows 14 and 24 include first to third objects 30, 32, and 34.
  • 5 shows an example of left and right images 14a and 24a displayed on a stereoscopic surface.
  • the first and second objects 30 and 32 each having a zero parallax and a positive parallax value may be synthesized and displayed to have a stereoscopic depth effect by binocular parallax.
  • the third object 34 having a negative parallax two images are synthesized by stereoscopic cues to provide a stereoscopic image to the viewer. However, because the third object 34 is cut by the left edge of the right image, another depth clue called 'occlusion' is activated, which causes the user to stereoscopic In other words, it can be recognized as if it is located behind the display device.
  • Such a collision of clues is called an "edge violation", which causes discomfort and confusion for the viewer and can significantly degrade the quality of the 3D image.
  • the collision of the clue due to the partial obstruction of the object may be attributed to the fact that the second camera does not cover a part of the left side of the first camera's field of view, resulting in some blind spots.
  • the same problem appears when the object is covered by the edge of the right image.
  • the present invention is to solve the above problems, when reducing the collision of depth cues that can occur near the left and right edges of the three-dimensional image when displaying a plurality of images for implementing the three-dimensional image in the remote receiver It is a technical problem to provide a three-dimensional image signal transmission method that allows to be made.
  • the present invention is to provide a video display device for displaying a plurality of images for realizing a three-dimensional image, so that the collision of the depth clue that can occur near the left and right corners of the three-dimensional image can be reduced It is another technical problem.
  • the present invention provides a video signal processing method that can reduce the collision of depth cues that may occur near the left and right edges of the three-dimensional image in displaying a plurality of images for implementing the three-dimensional image; It is another technical problem.
  • a plurality of video signals respectively representing a plurality of images having different viewpoints are prepared.
  • floating window information including at least one floating window application field, position and size, transparency, and color of each floating window is generated for each of the plurality of images.
  • the floating window information is inserted into a video picture header region to encode and transmit the video signal.
  • the floating window is a region set inside a left or right corner of each of a plurality of images, and refers to a region in which the display of an image obtained from a broadcast signal is suppressed, and the size of each floating window.
  • 'inhibition' includes a case where the image of the corresponding area is completely invalidated and replaced with a specific color, as well as a case where the image is blurred by alpha blending with a specific color and a specific transparency value. I use it to mean.
  • the size of each floating window is determined based on a camera parameter of an image sensor that picked up the image, a displacement between corresponding points in the plurality of images, or a combination of camera parameter and the displacement. .
  • the present invention defines syntax and data structure for transmitting and including floating window information in a picture header of an image signal encoded as metadata, and defines a method of interpreting and reflecting floating window information on a screen at a receiver side.
  • a data structure is generated by including the floating window information and a second field having a value corresponding to the floating window information.
  • the user data structure is generated by including the data structure and a first field having a predetermined value.
  • the second field is 'user_data_type_code', and this field is '0x09'.
  • the floating window information is represented by the value of.
  • the first field is a 'user_data_identifier' field, and this field may have a value of "0x4741 3934" for the data structure including floating window information.
  • the user data structure thus generated is inserted into the picture header.
  • a video display device including a decoder and a composite display.
  • the decoder decodes the encoded video signal, reconstructs a plurality of video signals, and extracts floating window information from the picture header region of the encoded video signal.
  • the composite display unit suppresses the image in the left and / or right corner inner region according to the floating window information for each of the plurality of images corresponding to the plurality of image signals, and locally suppresses the images in a stereoscopic manner. Display.
  • the floating window information preferably includes the position and size of each floating window, transparency, and color data.
  • the plurality of image signals include a left image signal for a left image and a right image signal for a right image.
  • the composite display includes an on-screen display generator, first and second mixing units, and a formatter.
  • the on-screen display generator generates a left floating window image signal and a right floating window image signal according to position, size data, and color data.
  • the first and second mixing units synthesize the left image signal and the left floating window image signal, respectively, and synthesize the right image signal and the right floating window image signal.
  • the formatter formats the output signals of the first and second mixing units according to the stereoscopic output scheme.
  • the composite display unit includes a first formatter, an on-screen display generator, a second formatter, and a mixing unit.
  • the first formatter formats the left video signal and the right video signal according to the stereoscopic output method.
  • the on-screen display generator generates a left floating window image signal and a right floating window image signal according to position, size data, and color data.
  • the second formatter formats the left floating window image signal and the right floating window image signal according to a stereoscopic output method.
  • the mixing section synthesizes the output signals of the first and second formatters.
  • the video display device of the present invention is implemented in the form of a 3D television receiver.
  • the tuner / demodulator receives and demodulates a broadcast signal through a predetermined channel and outputs a channel-coded transport stream.
  • the channel decoding unit receives the channel encoded transport stream, performs error correction decoding, and outputs the decoded transport stream.
  • the demultiplexing / packet canceling unit demultiplexes the decoded transport stream and releases the packet to output the encoded video signal.
  • the first encoded video signal is obtained.
  • the encoded video signal is decoded to reconstruct a plurality of video signals, and the floating window information of each floating window is extracted from the picture header region of the encoded video signal.
  • the image is suppressed in the inner region of the left and / or right corners according to the floating window information, and the locally suppressed images are displayed in stereoscopic manner. Done.
  • a picture header is extracted from the encoded video signal.
  • a user data structure in which the first field has a predetermined value is extracted from the picture header.
  • a data structure having a value representing a floating window in a second field of the user data structure is extracted as the floating window information.
  • the first field is a 'user_data_identifier' field, and this field is " A user data structure having a value of 0x4741 3934 "is extracted as a data structure containing floating window information.
  • the second field is 'user_data_type_code', and a data structure in which this field has a value of "0x09" is extracted as floating window information.
  • a floating window in processing the floating window, is set according to position and size data of at least one of the left and right edges of each of the plurality of images, and the image corresponds to the floating window. Will invalidate the part.
  • the image portion corresponding to the floating window position may be filled with a specific color.
  • the image portion corresponding to the floating window position may be filled with the color specified in the floating window information.
  • an on-screen display image is generated for the image portion corresponding to the floating window position, and the on-screen display image is superimposed on the image portion. By doing so, it is possible to invalidate the video portion.
  • a floating window in processing the floating window, is set according to position and size data in at least one of the left and right corners of each of the plurality of images, and the image corresponds to the floating window.
  • the image portion may be suppressed by alpha blending the color specified in the floating window information according to the transparency data.
  • the floating window information includes color and transparency data in addition to the size data for each floating window.
  • the floating window may be set inside at least one of the left and right edges of each of the plurality of images, and the image portion corresponding to the floating window position may be suppressed based on the color and transparency data specified in the floating window information. .
  • suppressing the image of the floating window position may be performed according to a user operation command. For example, it is preferable to activate the floating window only when the user manipulation command does not prohibit the asymmetrical suppression by referring to the manipulation command input through the remote controller or in the past. It is also desirable to be able to adjust the size of the floating window in response to a user manipulation command.
  • the present invention asymmetrically suppresses a region inside the left, right, or both corners of the left and right images for a stereoscopic 3D image by a floating window. Accordingly, near the left and right edges of the stereoscopic image pair, it is possible to prevent or reduce the collision of the clues that may occur when the object having the negative parallax value partially overlaps, that is, the edge violation problem. Accordingly, it is possible to realize an optical illusion effect in which an object having a negative parallax reliably emerges in front of the display surface. Therefore, the present invention can reduce the discomfort and confusion caused by the edge violation, and improve the quality of the 3D image by increasing the three-dimensional feeling and the realism.
  • FIG. 1 is a diagram illustrating a viewing point having a horizontal parallax of zero in a stereoscopic 3D image
  • 3 exemplarily illustrates a gaze point having a negative parallax value in a stereoscopic 3D image
  • FIG. 4 shows an example of an arrangement form of a camera for generating a stereoscopic image pair
  • FIG. 5 is a diagram showing examples of left and right images to illustrate collisions of depth cues that may occur near left and right edges of a stereoscopic image pair;
  • FIG. 6 is a block diagram of an embodiment of a broadcast program production and delivery system according to the present invention.
  • FIG. 7 shows one embodiment of a method for calculating the size of a floating window
  • FIG. 11 shows the syntax of a SEI RBSP Payload bitstream suitable for transmitting floating window information in a modified embodiment where stereoscopic image pairs are encoded by the H.264 / AVC standard;
  • FIG. 12 is a block diagram of one embodiment of a television receiver in accordance with the present invention.
  • FIG. 13 is a flowchart illustrating a process of extracting floating window information and synthesizing the left and right images by the television receiver of FIG. 12.
  • FIG. 14 is a flowchart illustrating a process of extracting floating window information in FIG. 12 in detail
  • FIGS. 15 to 21 are screen shots for explaining a process of synthesizing a floating window into left and right images, and FIGS. 15 and 16 show left and right images before synthesis of floating windows, respectively.
  • FIGS. 19 to 21 are views illustrating examples of a screen in which a floating window is synthesized and displayed with the left and right images overlapping each other;
  • FIG. 22 is a block diagram of another embodiment of a television receiver according to the present invention.
  • FIG. 23 is a block diagram of another embodiment of a television receiver according to the present invention.
  • a broadcast program production and delivery system includes a binocular camera 100, a preprocessor 102, an image encoder 104, a user data inserter 106, and a flow. Chat window information generating unit 108, a plurality of microphones 110a to 110f, voice encoding unit 112, packet generation unit 114, transmission multiplexer 116, PSI / PSIP generation unit 118, channel encoding unit 120, a modulator 122, and a transmitter 124.
  • the binocular camera 100 includes two lenses and corresponding image pickup devices, and captures a pair of two-dimensional images of a front scene. Like the human eye, the two lenses are disposed to have a distance of 65 millimeters (mm). Accordingly, the camera 100 acquires two two-dimensional images having binocular parallax.
  • the image acquired by the left lens of the two two-dimensional images constituting the stereoscopic image pair will be referred to as the left image and the image obtained by the right lens will be referred to as a right image.
  • the preprocessor 102 removes noise that may exist in the left and right original images, corrects the image, and solves an imbalancing phenomenon of luminance components. Images may be stored or edited in the storage device before or after the preprocessing by the preprocessing unit 102, such that there may be a significant time difference between the imaging by the binocular camera 100 and the encoding by the image coding unit 104. Of course.
  • the image encoder 104 compresses a video signal by removing temporal and spatial redundancy from pre-processed left and right images, and performs the MPEG-2 standard of ISO / IEC 13818-2 and the A / 53 Part 4 Create a video elementary stream (ES) according to the ATSC digital television standard.
  • the image encoder 104 encodes an image used as a base view among left and right images, for example, a left image based on a frame based on the MPEG-2 standard, and has a high spatial correlation between the left and right images.
  • the difference image between the left and right images is calculated for the right image, the motion vector is estimated, and the difference image is encoded.
  • the image encoder 104 may encode the right image in the same manner as the left image.
  • the image encoder 104 is not a block-based scheme, but a pixel-based scheme, a feature-based scheme, and an object-based scheme.
  • other coding schemes such as the "
  • the image encoder 104 encodes a plurality of images according to the H.264 / AVC standard drafted by the Joint Video Team (JVT) of ISO / IEC JTC1 / SC29 / WG11 and ITU-T SG16 Q.6. can do.
  • JVT Joint Video Team
  • extended data and user data can be inserted at a sequence level, a GOP level, or a picture level.
  • the user data inserter 106 provides the image encoder 104 with extended data and user data to be inserted at the sequence level, the GOP level, or the picture level when the image encoder 104 encodes the image signal.
  • the user data inserting unit 106 provides the video encoding unit 104 with floating window information from the floating window information generating unit 108 as one type of user data.
  • the insertion unit 106 may include floating window information in the picture header to encode an image signal.
  • the floating window information generator 108 receives the corrected left and right images from the preprocessor 102 and compares the left and right images to calculate the size of the floating window.
  • the floating window may include a left edge of a left image or a left edge of the left image to reduce collisions of depth cues that may occur near left and right edges when displaying stereoscopic image pairs at the receiver side. In the vicinity of the right edge of the right image, it refers to a top-to-bottom strip region of a specific background color set to replace a part of the image.
  • the floating window may be formed at the right edge of the left image or the left edge of the right image.
  • the floating window information generation unit 108 converts the information about the size, width, and transparency of each floating window, and transparency and color information into the image encoding unit 104 through the user data inserting unit 106 as floating window information. ).
  • the floating window information generation unit 108 selects one object 154b among the objects leftmost in the right image 150b, and in the left image 150a. The position of the corresponding object 154a is searched. In addition, the floating window information generator 108 calculates a displacement, that is, a position difference DIST, between the objects 154a and 154b and determines the displacement as the width of the floating window. Whether the floating window is applied to the right image and the size are also determined in the same manner as the floating window for the left image.
  • the floating window information generation unit 108 receives camera parameters such as zoom, focal length, viewing angle, gaze point, lens distortion, etc. from the camera 100, and based on these parameters, the floating window information generation unit 108 adjusts the size of the floating window in the left and right images. I can regulate it. For example, when the focal length of the camera 100 is longer than a predetermined reference, the width of the floating window may be reduced, and when the focal length is shorter than the reference, the width of the floating window may be increased.
  • whether the floating window is applied or the adjustable range may vary depending on the property of the program image or the location of the photographing.
  • the cameraman may directly determine whether or not the floating window is applied or the adjustable range, or the editor may determine this during the image editing process. Of course, the work of these cameramen or editors may be performed by a computer program.
  • the plurality of microphones 110a to 110f respectively installed at appropriate positions in the photographing scene acquire sound at the photographing site and convert the sound into an electrical voice signal.
  • the speech encoder 112 encodes the speech signal received from each of the microphones 110a to 110f according to a predetermined standard, for example, the AC-3 standard, to generate an audio elementary stream ES.
  • the packet generator 114 receives the video ES and the audio ES from the video encoder 104 and the audio encoder 112, respectively, and packetizes each stream to generate a packetized elementary stream (PES).
  • the PSI / PSIP generation unit 118 generates program specification information (PSI) and program and system information protocol (PSIP) information.
  • PSI program specification information
  • PSIP program and system information protocol
  • the multiplexer 118 adds a header to the PES and PSI / PSIP information to generate a transport stream (TS).
  • TS transport stream
  • the system of FIG. 6 transmits one channel through terrestrial waves, for example, in a system for transmitting a broadcast signal through a cable network or a satellite network, a separate transmission multiplexer may multiplex broadcast signals of multiple channels to generate a multi-program TS. It may be.
  • the channel encoder 120 error-corrects the TS so that the receiver can detect and correct an error that may be caused by noise in the transmission channel.
  • the modulator 122 modulates the channel-coded TS by a modulation scheme adopted by the system, for example, an 8-VSB modulation scheme.
  • the transmitter 124 transmits the modulated broadcast signal according to channel characteristics, for example, through the antenna 126.
  • an extension_and_user_data () structure is provided for defining extension data or user data in the header. Can be inserted.
  • the floating window information is included and transmitted as picture user data at the picture level, that is, in extension_and_user_data (), which can be placed after the picture header in the video ES.
  • extension_and_userdata (2) corresponding to the syntax name means that the syntax is at the picture level.
  • extension_start_code or user_data_start_code when the next bits in the picture header are extension_start_code or user_data_start_code, the following bit strings show the extension_and_user_data (2) structure. Accordingly, the receiver recognizes bit strings following extension_start_code or user_data_start_code as extension_data (2) or user_data (), respectively.
  • picture user data user_data includes 'user_data_start_code' and 'user_data_identifier' fields, which are followed by user_structure ().
  • the value of 'user_data_start_code' is set to "0x0000 01B2" by the ISO / IEC 13818-2 standard.
  • the 'user_data_identifier' field is a 32-bit code representing the syntax and meaning of user_structure (), and is defined as the value of 'format_identifier' as defined in the ISO / IEC 13818-1 standard.
  • ATSC_user_data () as in the present invention It is set to a value of "0x4741 3934".
  • user_structure is a variable length data structure defined by the 'user_data_identifier' field and includes 'user_data_type_code' and user_data_type_structure () as shown in the lower part of FIG.
  • 'user_data_type_code' is an 8-bit value indicating the type of ATSC user data, and is set to a value of "0x09" when indicating floating window data.
  • the floating window data syntax is a variable-length data structure that includes four flags indicating the presence or absence of a floating window at the left and right corners of the left and right images, the size and transparency of each flagged window. , Include color information.
  • the 'number_pixels_of_LL_window' field has an unsigned integer value of 14 bits and indicates the number or coordinates of the last luminance sample in the left floating window of the left image, thereby indicating the width of the left floating window of the left image.
  • the 'transparency_LL_window' field has a 24-bit unsigned integer value and specifies the transparency of the left floating window of the left image.
  • the 'color_LL_window' field specifies the color of the left floating window of the left image.
  • 'Market bits' having a value of '11' indicates that information about each window is started. Meanwhile, the width data of the floating window may be directly displayed instead of the 'number_pixels_of_LL_window' field. The same applies to other windows.
  • the 'number_pixels_of_LR_window' field has an unsigned integer value of 14 bits and represents the number or coordinate of the first luminance sample in the right floating window of the left image, thereby indicating the width of the right floating window of the left image.
  • the 'transparency_LR_window' field has a 24-bit unsigned integer value and specifies the transparency of the right floating window of the left image.
  • the 'color_LR_window' field specifies the color of the right floating window of the left image.
  • the 'number_pixels_of_RL_window' field has an unsigned integer value of 14 bits and indicates the number or coordinate of the last luminance sample in the left floating window of the right image, thereby indicating the width of the left floating window of the right image.
  • the 'transparency_RL_window' field has a 24-bit unsigned integer value and specifies the transparency of the left floating window of the right image.
  • the 'color_RL_window' field specifies the color of the left floating window of the right image.
  • the 'number_pixels_of_RR_window' field has an unsigned integer value of 14 bits and indicates the number or coordinate of the first luminance sample in the right floating window of the right image, thereby indicating the width of the right floating window of the right image.
  • the 'transparency_RR_window' field has a 24-bit unsigned integer value and specifies the transparency of the right floating window of the right image.
  • the 'color_RR_window' field specifies the color of the right floating window of the right image.
  • two two-dimensional images constituting a stereoscopic image pair are encoded by the MPEG-2 standard, and the floating window information is included in the picture header in the video ES as user data.
  • the left and right images are different coding techniques, such as H.264, which is drafted by (JVT) of ISO / IEC JTC1 / SC29 / WG11 and ITU-T SG16 Q.6.
  • JVT Joint Photographic Expertsts
  • the floating window information may be included in the Supplemental Enhancement Information (SEI) region and transmitted. .
  • SEI Supplemental Enhancement Information
  • FIG. 11 shows the syntax of a SEI RBSP Payload bitstream suitable for transmitting floating window information in this modified embodiment in which a stereoscopic image pair is encoded by the H.264 / AVC standard.
  • 'itu_t_t35_country_code' is an 8-bit country code defined in Annex A of ITU-T T35 and has a value of "0x61" in Korea.
  • 'itu_t_t35_provider_code' is a 16-bit code with a value of 0x0031.
  • 'user_identifier' is a 32-bit code and can indicate that the syntax of user_structure () is defined in ATSC A / 53 using the value "0x4741 3934".
  • user_structure () can be used in the same way as defined in the ATSC digital television standard, ie A / 53 Part 4 Section 6.2.3, thus the user data syntax at the bottom of Fig. 9 and the floating window data of Fig. 10.
  • the syntax makes it possible to display floating window information.
  • the television receiver according to the present embodiment is suitable for receiving an over-the-air broadcast signal and playing back an image.
  • the tuner 202 selects and outputs a broadcast signal of one channel selected by a user from among a plurality of broadcast signals input through an antenna.
  • the demodulator 204 demodulates the broadcast signal from the tuner 202 and outputs a demodulated transport stream.
  • the channel decoding unit 206 performs error correction decoding on the demodulated signal.
  • the demultiplexer 208 demultiplexes the error correction-decoded TS, separates the video PES and the audio PES, and extracts PSI / PSIP information.
  • the PSI / PSIP processing unit 210 stores the PSI / PSIP information in a memory (not shown) or provides the main control unit 200 so that the broadcast is reproduced according to this information.
  • the packet release unit 212 restores the video ES and the audio ES by releasing packets for the video PES and the audio PES.
  • the speech decoding unit 214 decodes the audio ES and outputs an audio bitstream.
  • the audio bitstream is converted into an analog voice signal by a digital-to-analog converter (not shown), amplified by an amplifier (not shown), and then output through a speaker (not shown).
  • the image decoding unit 216 decodes the video ES and outputs a video bitstream, that is, picture data.
  • the left and right image separator 218 separates the left image signal and the right image signal from the picture data. Meanwhile, in the decoding process, the image decoding unit 216 extracts the header and the extension / user data in the video ES and provides them to the main control unit 200 so that the main control unit 200 extracts the header and the extension / user data.
  • the floating window data fw_data () is extracted to restore the floating window information.
  • the main control unit 200 determines whether there is a left or right flow in the left or right image based on four flags, that is, 'left_view_left_float_window_flag', 'left_view_right_float_window_flag', 'right_view_left_float_window_flag', and 'right_view_right_float_window_flag' among the floating window data of FIG. 10. do.
  • the main controller 200 checks the size, width, and width of the floating window through the 'number_pixels_of_LL_window', 'number_pixels_of_LR_window', 'number_pixels_of_RL_window', and 'number_pixels_of_RR_window' fields with respect to the floating window having the flag set to "1".
  • the main controller 200 checks a color to be used when outputting each floating window based on the fields 'color_LL_window', 'color_LR_window', 'color_RL_window', and 'color_RR_window'.
  • the main control unit 200 checks the alpha blending value for each floating window based on the 'transparency_LL_window', 'transparency_LR_window', 'transparency_RL_window', and 'transparency_RR_window' fields.
  • the main controller 200 provides the floating window information to the graphics engine 220 in a suitable form, while the graphics engine 220, the first and second OSD generators 222 and 224, and the first and second mixers ( 226 and 228 and the formatter 230 to control image processing based on the floating window information.
  • the graphics engine 220 receives floating window information such as window size, transparency, color, etc. in a suitable form, and generates OSD data for the floating window in the left and right images based on this.
  • the first OSD generator 222 generates an OSD signal for the left image based on the OSD data for the left image floating window.
  • the first mixer 226 mixes the left image OSD signal from the first OSD generation unit 222 with the left image signal from the left and right image separator 218 to display the left image OSD in the floating window region for the left image.
  • the signal replaces the left image or causes alpha blending into the left image signal.
  • the second OSD generator 224 generates an OSD signal for the right image based on the OSD data for the right image floating window.
  • the second mixer 228 mixes the right image OSD signal from the second OSD generation unit 224 with the right image signal from the left and right image separator 218 to display the left image OSD in the floating window region for the left image.
  • the signal replaces the left image or causes alpha blending into the left image signal.
  • the formatter 230 compares the frame time with respect to the overlapping left and right image signals, and formats the paired left and right images to be displayed on the display surface 232 in pairs, thereby reconstructing the 3D image.
  • image synthesis by the first and second mixers 226 and 228 may be selectively performed in response to a user's command. That is, the viewer may apply a manipulation command so that the floating window is not applied by manipulating a remote controller (not shown).
  • the main control unit 200 may store the command in a memory and control the composition of the floating window with reference to the command.
  • the generation of the floating window by the graphic engine 220 may also be modified according to a user's manipulation command. For example, the user may apply a command to arbitrarily reduce the width of each floating window within a range of the window size specified in the floating window information received through the broadcast signal, and accordingly, the main controller 200 may flow the flow.
  • the floating window is adjusted to provide the floating window information to the graphics engine 220.
  • FIG. 13 is a flowchart illustrating a process of extracting floating window information and compositing the left and right images.
  • the main controller 200 extracts the floating window data fw_data () from the header and extension / user data extracted by the image decoder 216 during the decoding of the video ES (step 250).
  • the floating window data may be extracted from the SEI (Supplemental Enhancement Information) region.
  • whether a floating window that invalidates a part of a left image or a right image is applied may be determined in response to a user's operation command. Accordingly, the main control unit 200 continuously checks whether an operation command for applying a floating window is applied from a remote controller (not shown), and stores it in a memory when the command is applied, and refers to the floating command. Controls the composition of windows. In operation 252, the main controller 200 checks whether a user command for operating the floating window is stored in the memory or whether an operation command for applying the floating window is applied from the remote controller. In operation 254, the main controller 200 determines whether the floating window should be activated.
  • the main controller 200 may include the graphic engine 220, the first and second OSD generators 222 and 224, and the first and second mixers. 226 and 228 are controlled so that the floating window is applied to the left image and the right image (step 256).
  • the formatter 230 formats the left and right images with the OSD superimposed on the stereoscopic display method in the corresponding receiver to display the 3D image (step 258).
  • FIG. 14 illustrates in detail the extraction of floating window information (operation 250) from FIG. 12.
  • the image decoding unit 216 decodes the video ES to output picture data or a video coding layer (VCL) and extracts headers and extension / user data in the video ES (step 270)
  • the main control unit 200 performs the picture.
  • the picture user data user_data () is extracted by decoding extension_and_user_data (2) in the header (step 272).
  • SEI Supplemental Enhancement Information
  • the main control unit 200 parses the AVC NAL unit, extracts SEI data having a value of 'nal_unit_type' of '6', and reads a user_data_registered_itu_t_t35 () message having a value of '4' of 'payloadType'.
  • the main controller 200 detects ATSC_user_data () having a value of “user_data_identifier” of “0x4741 3934” in the picture user data user_data ().
  • the main control unit 200 detects user_data_type_structure () having 'user_data_type_code' of “0x09” from the ATSC_user_data () (step 276).
  • the main control unit 200 reads the floating window data fw_data () from the user_data_type_structure (), and extracts information such as size, transparency, and color of each window for which a flag indicating that the floating window exists is set. (Step 278).
  • FIGS. 15 to 21 are screenshots for explaining a process of synthesizing the floating window to the left and right images.
  • the left and right images before the floating window synthesis are as shown in FIGS. 15 and 16, respectively, and the floating window information is as follows.
  • the main control unit 200 determines that the left floating window for the left image and the right floating window for the right image should be activated. . Meanwhile, since the 'right_view_left_float_window_flag' and 'right_view_right_float_window_flag' flags are set to "0", the main control unit 200 determines that the right floating window for the left image and the left floating window for the right image should not be activated. .
  • the graphics engine 220 uses the 'number_pixels_of_LL_window', 'transparency_LL_window', and 'color_LL_window' fields for the left floating window for the left image based on the width and color of the floating window and transparency values for alpha blending. Generate OSD data for the floating window. In addition, the graphics engine 220 uses the 'number_pixels_of_RR_window', 'transparency_RR_window', and 'color_RR_window' fields on the right floating window for the right image based on the width and color of the floating window and transparency values for alpha blending. Generates OSD data for the floating window in the image.
  • the left floating window for the left image has a vertical strip shape in which the width is 2 pixels, the transparency is 0, and the color is "0x 505050".
  • the right floating window for the right image has a vertical strip shape in which the width is 3 pixels, the transparency is 0, and the color is "0x 000000”.
  • the first mixer 226 superimposes the OSD image on the left image of FIG. 15, and generates a left image signal representing the left image in which the floating window is overlapped as shown in FIG. 17.
  • the second mixer 228 overlaps the OSD image of FIG. 18 with the right image of FIG. 16, and generates a right image signal representing the right image in which the floating window is overlapped as shown in FIG. 18.
  • the formatter 230 synthesizes left and right images in which an OSD image is superimposed.
  • 19 to 21 illustrate examples of a screen in which a left and right image in which a floating window is superimposed is displayed.
  • FIG. 19 illustrates an example of synthesis using a horizontal interleaving method, in which left and right images are alternately displayed while changing lines in a horizontal direction.
  • FIG. 20 shows an example in which a left image and a right image are synthesized by a vertical interleaving method. Accordingly, the left image and the right image are alternately displayed by changing the vertical lines one by one.
  • 21 shows an example in which a left image and a right image are synthesized in a checkerboard pattern.
  • the left image or the right image replaced by the floating window is not displayed, and only the left image or the right image that is not affected by the floating window is displayed.
  • the displayed left and right images are input to the viewer's left eye and right eye through polarized glasses.
  • FIGS. 19 to 21 are suitable for receiver systems using polarized glasses.
  • the present invention can also be applied to a receiver system using shutter glasses.
  • the images of FIGS. 17 and 18 may be alternately displayed on the display surface.
  • the shutter glasses synchronized with the switching of the displayed image deliver the left image and the right image only to the viewer's left eye and right eye, respectively.
  • the graphics engine 220 generates the OSD data for the floating window based on the floating window information
  • the first and second OSD generators 222 and 224 generate the OSD image signal.
  • the graphic engine 220 and the first and second OSD generators 222 and 224 may be integrated into one. 22 shows such an embodiment.
  • the graphics engine 320 receives the floating window information from the main controller 200 in a suitable form, and generates an OSD signal for implementing the left and right floating windows based on the information. Output to the second mixers 226 and 228. Since other features of the present embodiment are similar to those of FIG. 12, a detailed description thereof will be omitted.
  • Figure 23 shows another modified embodiment of a television receiver according to the present invention.
  • the broadcast payload data that is, the left and right picture data to the video coding layer (VCL)
  • VCL video coding layer
  • the first formatter 410 formats the left image signal and the right image signal from the left and right image separators 218 according to the stereoscopic output method.
  • the graphics engine 420 receives the floating window information from the main controller 200 in a suitable form, and generates OSD data for the floating window in the left and right images based on the information.
  • the first OSD generator 422 generates an OSD signal for the left image based on the OSD data for the left image floating window.
  • the second OSD generator 424 generates an OSD signal for the right image based on the OSD data for the right image floating window.
  • the second formatter 426 formats the left image OSD signal and the right image OSD signal according to the stereoscopic output method.
  • the mixer 428 synthesizes the output signals of the first and second formatters 410 and 426 so that the synthesized image signals are displayed on the display surface 232.
  • the OSD images are generated based on the floating window information and the OSD images are synthesized with the broadcast images.
  • the floating window information Correspondingly, broadcast images may be directly manipulated.
  • the above description focuses on an embodiment of erasing or invalidating the broadcast video portion by replacing the broadcast video portion corresponding to the position of the floating window with the color specified in the floating window information.
  • the broadcast video portion corresponding to the position of the floating window is not completely invalidated but may be suppressed by alpha blending.
  • the present invention has been described with reference to over-the-air digital broadcasting, but the present invention can be equally applied to broadcasting transmitted through a cable network.
  • the same may be applied to the storage of the image and the reproduction of the stored image through a storage medium such as a DVD, a Blu-ray disc, or a personal video recorder (PVR).
  • the present invention can be applied to video transmission on a network.
  • the present invention asymmetrically suppresses the area inside the left, right, or both corners of the left and right images for the stereoscopic 3D image by the floating window. Accordingly, near the left and right edges of the stereoscopic image pair, it is possible to prevent or reduce the collision of the clues that may occur when the object having the negative parallax value partially overlaps, that is, the edge violation problem. Accordingly, it is possible to realize an optical illusion effect in which an object having a negative parallax reliably emerges in front of the display surface. Therefore, the present invention can reduce the discomfort and confusion caused by the edge violation, and improve the quality of the 3D image by increasing the three-dimensional feeling and the realism.
  • the present invention can be applied to a stereoscopic 3D TV as well as to a multiview 3D TV in a similar manner.
  • the present invention can be applied to lenticular, integral imaging, holography or other three-dimensional TV.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

3차원 영상의 재생 과정에서 좌우 양측 모서리 근처에서 발생할 수 있는 깊이 단서의 충돌을 감소시킬 수 있게 해주는 3차원 영상신호 전송 방법과, 영상표시 장치, 및 이와 같은 장치에서의 영상신호 처리 방법. 본 발명의 영상신호 처리 방법에 있어서는, 먼저 부호화된 비디오 신호를 획득한다. 이어서, 부호화된 비디오 신호를 복호화하여, 복수의 영상신호를 복원하고, 부호화된 비디오 신호의 픽쳐 헤더 영역으로부터 각 플로우팅 윈도우의 플로우팅 윈도우 정보를 추출한다(제250단계). 그 다음, 복수의 영상신호에 대응하는 복수의 영상들 각각에 대해 상기 플로우팅 윈도우 정보에 따라 좌측 또는 우측의 모서리 내측 영역에서 영상을 억제하고, 국부적으로 억제된 영상들을 스테레오스코픽 방식으로 표시하게 된다(제258단계).

Description

3차원 영상신호 전송 방법과, 3차원 영상표시 장치 및 그에 있어서의 신호 처리 방법
본 발명은 영상신호 부호화 방법에 관한 것으로서, 보다 상세하게는, 3차원 영상을 구현하기 위한 스테레오스코픽 영상 신호를 부호화하는 방법에 관한 것이다. 아울러, 본 발명은 영상표시 장치와 그에 있어서의 신호 처리 방법에 관한 것으로서, 특히, 3차원 영상을 구현하는 스테레오스코픽 디스플레이 장치와, 이와 같은 장치에서의 스테레오스코픽 영상신호 처리 방법에 관한 것이다.
인간의 시각 시스템은 많은 깊이 단서(depth cue)를 사용하여 가시공간 내에서 물체들의 상대적인 위치를 파악한다. 이러한 단서는 크게 두 가지 카테고리 즉, 생리학적(physiological) 요소와 심리적(psychological) 요소로 구분될 수 있다. 생리학적 깊이 단서는 원근조절(Accommodation), 수렴(Convergence 또는 Vergence), 양안시차(Binocular Disparity) 및 운동시차(Motion Parallax)를 포함한다. 심리적 깊이 단서는 선형원근, 음영, 농담원근, 다른 물체에 의한 가림, 텍스쳐 구배, 색상을 포함한다.
생리학적 깊이 단서들 중에서, 원근조절(Accommodation)이란 눈이 3차원 장면의 특정 영역에 초점을 맞추고자 할 때 수정체의 초점거리를 변화시키는 것을 말한다. 수정체의 두께 변화는 모양체 근육의 장력 변화로 인하여 발생된다. 인간의 시각 시스템에서 원근조절은 수렴과 함께 사용되는 것이 정상이다. 수렴(Convergence 또는 Vergence)은 관찰자가 유한의 거리에 있는 점을 주시할 때 두 눈이 모두 안쪽으로 회전하여 두 시선이 주시점에서 교차하는 것을 말한다. 양안시차(Binocular disparity)는 좌우측 눈이 약 65 밀리미터 떨어져 있어서 서로 다른 영상을 받아들인다는 사실에서 기인하는 것으로서, 3차원 장면을 볼 때 좌우측 망막에 투사되는 영상들의 차이를 말한다. 이와 같은 양안시차는 시각 시스템이 깊이 감각 내지 입체시(Stereopsis)에서 사용하는 결정적인 깊이 단서가 된다. 운동시차(Motion parallax)는 관찰자와 3차원 장면 사이에 상대 운동이 존재할 때 3차원 장면 내에 있는 각 점들의 상대적인 변위 차이(즉, 가까운 점이 멀리 있는 점보다 많이 움직이는 현상)를 말한다.
이와 같은 인간의 시각 인지 메커니즘을 활용하여 3차원 영상을 표시하기 위한 3차원 텔레비전에 대한 연구가 한창 진행되어 왔다. 다양한 3차원 영상 표시 방식이 제시된 바 있는데, 본 출원이 행해지는 시점에서 기술적 실현가능성과 입체감 표시능력 측면에서 가장 부각되고 있는 것은 스테레오스코픽 방식이라 할 수 있다. 스테레오스코픽 3D 디스플레이 시스템에 있어서는, 사람의 눈과 마찬가지로 약 65 밀리미터 떨어진 두 개의 이미지 센서로 서로 다른 영상을 캡쳐하고, 표시 장치에서 두 영상이 사람의 좌안과 우안에 별도로 입력하도록 함으로써, 양안시차를 시뮬레이션하여 깊이 지각 내지 입체시를 가능하게 해준다. 두 개의 이미지 센서는 동일한 광학적 특성과 초점거리, 및 줌배율을 가지고 수평 방향으로 정렬된다.
그런데, 스테레오스코픽 3차원 영상은 인간이 현장에서 실제로 지각할 수 있는 영상과 몇 가지 측면에서 차이가 있다.
이러한 차이 중 하나는 초점조절과 수렴의 불일치이다. 구체적으로 설명하면, 사람이 실제로 어떤 객체를 주시할 때에는, 주시하는 객체 상의 주시점에 양쪽 눈의 시선을 수렴시키고 상기 주시점에 초점을 맞추게 된다. 이에 반하여, 입체영상을 시청할 때는 이와 다른 상황이 발생한다. 영상을 촬영하는 카메라는 특정 객체에 초점을 맞추게 되고 이에 따라 두 개의 스테레오스코픽 이미지 쌍은 상기 객체가 위치하고 있는 가상의 스테레오스코픽 윈도우 면을 기준으로 초점조절이 된다. 디스플레이 장치에서 표시될 때, 스테레오스코픽 이미지 쌍은 물리적인 영상표시면(이하, "스테레오스코픽 화면"이라 한다)에서 초점이 맞추어져 있게 된다. 이에 따라, 수렴 자극은 깊이에 따라 자연스럽게 변동하는 반면에, 초점조절 자극은 스테레오스코픽 화면에 고정된 상태를 유지하려는 경향을 보이게 된다.
이에 따라, 사람의 눈은 항상 스테레오스코픽 화면에 초점을 맞추고 있는 반면, 주시하는 대상의 위치에 따라 주시점은 스테레오스코픽 화면의 앞 또는 뒤가 되어 두 눈이 스테레오스코픽 화면과는 다른 깊이 평면에서 수렴하는 상황이 발생한다. 사람에 따라서는, 스테레오스코픽 이미지 쌍이 스트레오그래픽 화면상의 점들을 기준으로 초점이 맞추어져 제작되어 있음에도, 사람의 눈은 초점이 정확하게 맞추어져 있지 않은 스테레오스코픽 화면의 앞 또는 뒤의 대상을 주시점으로 하여 초점을 맞추고자 시도하게 된다.
인간은 약간의 초점조절-수렴 불일치에 대해서는 감내할 수 있지만, 이것이 지나치게 커지면 영상의 초점이 맞지 않게 되거나 스테레오 합성이 이루어지지 않게 된다. 보다 구체적으로, 도 1과 같이 주시점이 스트레오그래픽 화면 상에 위치하여 좌영상 및 우영상에서의 대응하는 점(PL, PR)이 일치하여 수평시차가 영(0)일 때에는, 단서의 충돌이 전혀 야기되지 않는다. 도 2와 같이 주시점이 스트레오그래픽 화면 뒤에 위치하여 수평시차가 양의 값을 갖는 때에는, 약간의 단서의 충돌이 존재하기는 하지만 큰 긴장 없이 양안시차에 의해 스테레오스코픽 깊이효과를 가지도록 스테레오스코픽 영상을 합성할 수 있다. 한편, 도 3과 같이 주시점이 스트레오그래픽 화면 앞에 위치하여 수평시차가 음의 값을 가지고 시선이 화면 앞쪽에서 교차하는 때에는, 상당한 눈의 긴장이 초래된다. 사람의 눈은 일정 범위까지는 음의 시차 값을 감내하고 스테레오스코픽 이미지 쌍을 융합할 수 있지만, 어떤 값을 넘어서면 영상이 붕괴되거나 영상이 둘로 보이고 불편함이 느껴지게 되는 것으로 알려져 있다.
음의 시차로 인한 문제 중 보다 심각한 것은 스테레오스코픽 이미지 쌍의 좌우 양측 모서리 근처에서 음의 시차 값을 갖는 객체가 부분적으로 가릴 때 발생할 수 있는 단서의 충돌이다.
도 4에는, 렌즈(10)와 이미지 센서(12)를 구비하는 제1 카메라가 제1 스테레오스코픽 윈도우(14)에 투사되는 좌영상을 캡쳐하고, 렌즈(20)와 이미지 센서(22)를 구비하는 제2 카메라가 제2 스테레오스코픽 윈도우(24)에 투사되는 우영상을 캡쳐하는 상황이 묘사되어 있다. 제1 및 제2 스테레오스코픽 윈도우(14, 24)에는 제1 내지 제3 객체(30, 32, 34)가 포함되는 것을 가정하였다. 도 5는 스테레오스코픽 면에 표시되는 좌영상 및 우영상(14a, 24a)의 일 예를 보여준다. 영의 시차와 양의 시차 값을 각각 가지는 제1 및 제2 객체(30, 32)는 양안시차에 의해 스테레오스코픽 깊이효과를 가지도록 합성되어 표시될 수 있다. 음의 시차를 가지는 제3 객체(34)도 스테레오스코픽 단서에 의해 두 영상이 합성되어 관찰자에게 입체영상을 제공하게 된다. 그런데, 제3 객체(34)가 우영상의 좌측 모서리에 의해 잘려짐으로 말미암아, '물체에 의한 가림(occlusion)'이라고 하는 또 하나의 깊이 단서가 동작하게 되고, 이로 인하여 사용자는 물체가 스테레오스코픽 면 즉, 디스플레이 장치의 뒤에 위치한 것처럼 인식할 수 있게 된다.
이와 같은 단서의 충돌은 "edge violation"이라 칭해지는데, 시청자로 하여금 불편함과 혼란을 야기하게 되고, 3차원 영상의 품질을 현저히 저하시킬 수 있다. 객체가 부분적 가림으로 인한 단서의 충돌은 한편으로는 제1 카메라의 시야각 중 좌측 일부를 제2 카메라가 커버하지 못하여, 일부 사각지대가 발생하는데서 비롯된다고 볼 수도 있다. 한편, 위와 같은 문제점은 우영상의 모서리에 의해 객체가 가릴 때에도 동일하게 나타나게 된다.
본 발명은 이와 같은 문제점을 해결하기 위한 것으로서, 원격지에 위치하는 수신기에서 3차원 영상을 구현하기 위한 복수의 영상을 표시할 때 3차원 영상의 좌우 양측 모서리 근처에서 발생할 수 있는 깊이 단서의 충돌을 감소시킬 수 있게 해주는 3차원 영상신호 전송 방법을 제공하는 것을 기술적 과제로 한다.
또한, 본 발명은 3차원 영상을 구현하기 위한 복수의 영상을 표시함에 있어서, 3차원 영상의 좌우 양측 모서리 근처에서 발생할 수 있는 깊이 단서의 충돌이 감소될 수 있게 표시하는 영상 표시 장치를 제공하는 것을 다른 기술적 과제로 한다.
아울러, 본 발명은 3차원 영상을 구현하기 위한 복수의 영상을 표시함에 있어서, 3차원 영상의 좌우 양측 모서리 근처에서 발생할 수 있는 깊이 단서의 충돌을 감소시킬 수 있는 영상신호 처리 방법을 제공하는 것을 또 다른 기술적 과제로 한다.
상기 기술적 과제를 달성하기 위한 본 발명의 3차원 영상신호 전송 방법에 있어서는, 먼저 서로 다른 뷰포인트를 갖는 복수 영상을 각각 나타내는 복수의 비디오 신호를 마련한다. 이어서, 상기 복수 영상 각각에 대해 적어도 하나의 플로팅 윈도우 적용 여부 필드, 각 플로팅 윈도우의 위치와 크기, 투명도, 색을 포함한 플로우팅 윈도우 정보를 생성한다. 그 다음, 상기 플로우팅 윈도우 정보를 비디오 픽쳐 헤더 영역에 삽입하여 상기 비디오 신호를 부호화하여 전송한다.
상기 플로우팅 윈도우는, 영상 재생 과정에 있어서, 복수 영상 각각에서 좌측 또는 우측 모서리 내측에 설정되는 영역으로서 방송신호에서 획득한 영상의 표출이 억제되는(suppressed) 영역을 말하며, 각 플로우팅 윈도우의 크기는 개별적으로 결정된다. 청구범위를 포함한 본 명세서에 있어서, ‘억제’란 해당 영역의 영상을 완전히 무효화하여 특정 색상으로 대체하는 경우는 물론, 특정 색상 및 특정 투명도 값으로 알파블렌딩하여 영상이 희미하게 표시되게 하는 경우도 포함하는 의미로 사용한다.
바람직한 실시예에 있어서, 각 플로우팅 윈도우의 크기는, 영상을 촬상한 이미지 센서의 카메라 파라미터, 상기 복수의 영상들 내에서 대응하는 점들 사이의 변위, 또는 카메라 파라미터와 상기 변위의 조합을 토대로 결정된다.
본 발명은 플로우팅 윈도우 정보를 메타 데이터로써 부호화된 영상 신호의 픽쳐 헤더 내에 포함시켜 전송하기 위한 구문과 데이터 구조를 정의하며, 수신기 측에서 플로우팅 윈도우 정보를 해석하고 화면에 반영하는 방법을 정의한다. 이와 관련하여, 본 발명에 따르면, 상기 플로우팅 윈도우 정보와, 플로우팅 윈도우 정보에 상응하는 값을 가지는 제2 필드를 포함시켜, 데이터 구조를 생성한다. 이어서, 상기 데이터 구조와, 소정의 값을 가지는 제1 필드를 포함시켜 유저 데이터 구조를 생성한다. A/53 Part 4의 ATSC 디지털 텔레비전 표준과 ISO/IEC 13818-2의 MPEG-2 표준에 따라 영상 신호를 부호화하는 실시예에 있어서, 상기 제2 필드는 'user_data_type_code'이며, 이 필드는 "0x09"의 값에 의해 플로우팅 윈도우 정보를 나타낸다. 또한, 위와 같은 실시예에 있어서, 제1 필드는 'user_data_identifier' 필드이며, 플로우팅 윈도우 정보를 포함하는 상기 데이터 구조에 대하여 이 필드는 "0x4741 3934"의 값을 가질 수 있다. 이와 같이 생성된 유저 데이터 구조는 상기 픽쳐 헤더에 삽입된다.
상기 다른 기술적 과제를 달성하기 위한 본 발명의 영상표시 장치는 복호화부와 합성 표시부를 구비한다. 복호화부는 부호화된 비디오 신호를 복호화하여, 복수의 영상신호를 복원하고, 부호화된 비디오 신호의 픽쳐 헤더 영역으로부터 플로우팅 윈도우 정보를 추출한다. 합성 표시부는 상기 복수의 영상신호에 대응하는 복수의 영상들 각각에 대해 상기 플로우팅 윈도우 정보에 따라 좌측 및/또는 우측의 모서리 내측 영역에서 영상을 억제하고, 국부적으로 억제된 영상들을 스테레오스코픽 방식으로 표시한다.
상기 플로우팅 윈도우 정보는 각 플로우팅 윈도우의 위치 및 크기와, 투명도와, 색 데이터를 포함하는 것이 바람직하다.
바람직한 실시예에 있어서, 상기 복수의 영상신호는 좌영상에 대한 좌영상 신호와 우영상에 대한 우영상 신호를 포함한다.
일 실시예에 있어서, 합성 표시부는 온스크린디스플레이 생성부, 제1 및 제2 혼합부, 및 포맷터를 포함한다. 온스크린디스플레이 생성부는 위치 및 크기 데이터와 색상 데이터에 따라 좌측 플로우팅 윈도우 영상 신호와 우측 플로우팅 윈도우 영상 신호를 생성한다. 제1 및 제2 혼합부는 각각 좌영상 신호와 좌측 플로우팅 윈도우 영상 신호를 합성하고, 우영상 신호와 우측 플로우팅 윈도우 영상 신호를 합성한다. 포맷터는 제1 및 제2 혼합부의 출력 신호들을 스테레오스코픽 출력 방식에 맞게 포맷팅한다.
다른 실시예에 있어서, 합성 표시부는 제1 포맷터, 온스크린디스플레이 생성부, 제2 포맷터, 및 혼합부를 포함한다. 제1 포맷터는 좌영상 신호와 우영상 신호를 스테레오스코픽 출력 방식에 맞게 포맷팅한다. 온스크린디스플레이 생성부는 위치 및 크기 데이터와 색상 데이터에 따라 좌측 플로우팅 윈도우 영상 신호와 우측 플로우팅 윈도우 영상 신호를 생성한다. 제2 포맷터는 좌측 플로우팅 윈도우 영상 신호와 우측 플로우팅 윈도우 영상 신호를 스테레오스코픽 출력 방식에 맞게 포맷팅한다. 혼합부는 제1 및 제2 포맷터의 출력 신호들을 합성한다.
바람직한 실시예에 있어서, 본 발명의 영상표시 장치는 3D 텔레비전 수신기 형태로 구현된다. 이와 같은 3D 텔레비전 수신기에 있어서, 튜너/복조기는 소정의 채널을 통해 방송신호를 받아들이고 복조하여, 채널부호화된 트랜스포트 스트림을 출력한다.
채널복호화부는 채널부호화된 트랜스포트 스트림을 받아들이고, 에러정정복호화를 수행하여 복호화된 트랜스포트 스트림을 출력한다. 역다중화/패킷해제부는 복호화된 트랜스포트 스트림을 역다중화하고 패킷을 해제하여 상기 부호화된 비디오 신호를 출력한다.
상기 다른 기술적 과제를 달성하기 위한 본 발명의 영상신호 처리 방법에 있어서는, 먼저 부호화된 비디오 신호를 획득한다. 이어서, 부호화된 비디오 신호를 복호화하여, 복수의 영상신호를 복원하고, 부호화된 비디오 신호의 픽쳐 헤더 영역으로부터 각 플로우팅 윈도우의 플로우팅 윈도우 정보를 추출한다. 그 다음, 복수의 영상신호에 대응하는 복수의 영상들 각각에 대해 상기 플로우팅 윈도우 정보에 따라 좌측 및/또는 우측의 모서리 내측 영역에서 영상을 억제하고, 국부적으로 억제된 영상들을 스테레오스코픽 방식으로 표시하게 된다.
플로우팅 윈도우 정보를 추출함에 있어서는, 먼저 상기 부호화된 비디오 신호로부터 픽쳐 헤더를 추출한다. 이어서, 상기 픽쳐 헤더로부터 제1 필드가 소정의 값을 가지는 유저 데이터 구조를 추출한다. 그리고, 상기 유저 데이터 구조에서 제2 필드가 플로우팅 윈도우를 나타내는 값을 가지는 데이터 구조를 상기 플로우팅 윈도우 정보로서 추출하게 된다. A/53 Part 4의 ATSC 디지털 텔레비전 표준과 ISO/IEC 13818-2의 MPEG-2 표준에 따라 영상 신호가 부호화되어 있는 실시예에 있어서, 상기 제1 필드는 'user_data_identifier' 필드이며, 이 필드가 "0x4741 3934"의 값을 가지는 유저 데이터 구조가 플로우팅 윈도우 정보를 포함하는 데이터 구조로서 추출된다. 또한, 상기 제2 필드는 'user_data_type_code'이며, 이 필드가 "0x09"의 값을 가지는 데이터 구조가 플로우팅 윈도우 정보로서 추출된다.
바람직한 실시예에 있어서 플로우팅 윈도우를 처리함에 있어서는, 상기 복수의 영상들 각각에서 좌우측 모서리 중 적어도 어느 하나의 내측 영역에 위치 및 크기 데이터에 따라 플로우팅 윈도우를 설정하고, 플로우팅 윈도우에 해당하는 영상 부분을 무효화시키게 된다.
영상 부분을 무효화시킴에 있어서는, 플로우팅 윈도우 위치에 해당하는 상기 영상 부분을 특정 색상을 채울 수 있다. 여기서, 플로우팅 윈도우 정보에서 지정된 색상으로 플로우팅 윈도우 위치에 해당하는 영상 부분을 채울 수도 있다.
또한, 플로우팅 윈도우 위치에 해당하는 상기 영상 부분을 상기 색상으로 직접 채우는 대신에, 플로우팅 윈도우 위치에 해당하는 영상 부분에 대한 온스크린디스플레이 영상을 생성하고, 상기 온스크린디스플레이 영상을 영상 부분에 중첩시킴으로써, 영상 부분을 무효화할 수도 있다.
다른 바람직한 실시예에 있어서 플로우팅 윈도우를 처리함에 있어서는, 복수의 영상들 각각에서 좌우측 모서리 중 적어도 어느 하나의 내측 영역에 위치 및 크기 데이터에 따라 플로우팅 윈도우를 설정하고, 플로우팅 윈도우에 해당하는 영상 부분에 플로우팅 윈도우 정보에서 지정된 색상을 투명도 데이터에 따라 알파 블렌딩함으로써 영상 부분을 억제할 수도 있다.
한편, 다른 실시예에 있어서는, 플로우팅 윈도우 정보에 각 플로우팅 윈도우에 대한 크기 데이터 이외에, 색상 및 투명도 데이터가 포함된다. 여기서, 복수의 영상들 각각에서 좌우측 모서리 중 적어도 어느 하나의 내측에 플로우팅 윈도우를 설정하고, 플로우팅 윈도우 정보에서 지정된 색상과 투명도 데이터를 토대로 플로우팅 윈도우 위치에 해당하는 영상 부분을 억제할 수 있다. 이와 같은 경우, 상기 영상 부분에 상기 색상을 상기 투명도에 따라 알파 블렌딩하는 것이 바람직하다.
바람직한 실시예에 있어서는, 플로우팅 윈도우 위치의 영상을 억제하는 것을 사용자 조작명령에 따라 수행할 수도 있다. 예컨대, 리모콘을 통해 입력되거나 과거에 입력된 조작명령을 참조하여, 사용자 조작명령이 상기 비대칭적 억제를 금지하지 않는 경우에만 플로우팅 윈도우를 활성화시키는 것이 바람직하다. 또한, 사용자 조작명령에 응답하여 플로우팅 윈도우의 크기를 조절할 수 있게 하는 것도 바람직하다.
본 발명은 스테레오스코픽 3차원 영상을 구현하기 위한 좌우 영상 각각에 대하여 좌측, 우측, 또는 양쪽의 모서리 내측의 영역을 플로우팅 윈도우에 의해 비대칭적으로 억제시킨다. 이에 따라 스테레오스코픽 이미지 쌍의 좌우 양측 모서리 근처에서, 음의 시차 값을 갖는 객체가 부분적으로 가릴 때 발생할 수 있는 단서의 충돌 즉, edge violation 문제를 방지하거나 감소시킬 수 있게 된다. 이에 따라 음의 시차를 갖는 물체가 확실하게 표시면 전방으로 나와보이는 착시 효과를 구현할 수 있다. 그러므로, 본 발명은 edge violation으로 인한 불편함과 혼란을 감소시키고, 입체감과 현장감이 높여서 3차원 영상의 품질을 제고할 수 있다.
이하, 첨부된 도면을 참조하여, 본 발명의 특징과 바람직한 실시예를 구체적으로 설명한다. 도면 중,
도 1은 스테레오스코픽 3차원 영상에서 수평시차가 영(0)인 주시점을 예시적으로 보여주는 도면;
도 2는 스테레오스코픽 3차원 영상에서 양의 시차 값을 가지는 주시점을 예시적으로 보여주는 도면;
도 3은 스테레오스코픽 3차원 영상에서 음의 시차 값을 가지는 주시점을 예시적으로 보여주는 도면;
도 4는 스테레오스코픽 이미지 쌍을 생성하기 위한 카메라의 배치 형태의 일 예를 보여주는 도면;
도 5는 스테레오스코픽 이미지 쌍의 좌우 양측 모서리 근처에서 발생할 수 있는 깊이 단서의 충돌을 예시하기 위하여 좌영상 및 우영상의 일 예를 보여주는 도면;
도 6은 본 발명에 의한 방송 프로그램 제작 및 송출 시스템의 일 실시예의 블록도;
도 7은 플로우팅 윈도우의 크기를 계산하는 방법의 일 실시예를 보여주는 도면;
도 8은 플로우팅 윈도우의 일 예를 보여주는 도면;
도 9는 본 발명의 바람직한 실시예에서 전송하기 위한 유저 데이터 비트스트림의 구문을 보여주는 도면;
도 10은 플로우팅 윈도우 데이터의 구문을 보여주는 도면;
도 11은 스테레오스코픽 이미지 쌍이 H.264/AVC 표준에 의해 부호화되는 변형된 실시예에서 플로우팅 윈도우 정보를 전송하기에 적합한 SEI RBSP Payload 비트스트림의 구문을 보여주는 도면;
도 12는 본 발명에 의한 텔레비전 수신기의 일 실시예의 블록도;
도 13은 도 12의 텔레비전 수신기에서 플로우팅 윈도우 정보를 추출하여 좌우영상에 합성하는 과정을 전체적으로 보여주는 흐름도;
도 14는 도 12에서 플로우팅 윈도우 정보를 추출하는 과정을 상세하게 보여주는 흐름도;
도 15 내지 도 21은 플로우팅 윈도우를 좌우영상에 합성하는 과정을 설명하기 위한 스크린샷으로서, 도 15 및 도 16은 플로우팅 윈도우 합성 이전의 좌우영상을 각각 보여주는 도면이고, 도 17 및 도 18은 플로우팅 윈도우가 중첩된 좌영상 및 우영상을 각각 보여주는 도면이며, 도 19 내지 도 21은 플로우팅 윈도우가 중첩된 좌영상 및 우영상을 합성하여 표시한 화면의 예들을 보여주는 도면;
도 22는 본 발명에 의한 텔레비전 수신기의 다른 실시예의 블록도; 그리고
도 23은 본 발명에 의한 텔레비전 수신기의 또 다른 실시예의 블록도이다.
도 6을 참조하면, 본 발명의 바람직한 실시예에 따른 방송 프로그램 제작 및 송출 시스템은 양안식 카메라(100), 전처리부(102), 영상 부호화부(104), 유저 데이터 삽입부(106), 플로우팅 윈도우 정보 생성부(108), 복수의 마이크(110a~110f), 음성 부호화부(112), 패킷생성부(114), 전송 멀티플렉서(116), PSI/PSIP 발생부(118), 채널부호화부(120), 변조부(122) 및 송신부(124)를 포함한다.
양안식 카메라(100)는 2개의 렌즈들과 이에 상응한 촬상소자들을 구비하며, 전방 장면에 대한 2차원 영상을 쌍으로 촬상한다. 상기 2개의 렌즈들은 사람의 눈과 마찬가지로 거리가 65 밀리미터(mm)가 되도록 배치되어 있으며, 이에 따라 카메라(100)는 양안 시차를 갖는 2개의 2차원 영상을 획득하게 된다. 이하의 설명에서는, 스테레오스코픽 이미지 쌍을 구성하는 2개의 2차원 영상 중 좌측 렌즈에 의해 획득된 영상을 좌영상, 우측 렌즈에 의해 획득된 영상을 우영상이라 칭하기로 한다.
전처리부(102)는 좌우 원본영상에 존재할 수 있는 노이즈를 제거하고, 영상을 교정하며, 휘도 성분의 불일치(imbalancing) 현상을 해결한다. 전처리부(102)에 의한 전처리 전후에 영상이 저장장치에 저장되거나 편집될 수 있으며, 이에 따라 양안식 카메라(100)에 의한 촬상과 영상 부호화부(104)에 의한 부호화 사이에 상당한 시차가 존재할 수 있음은 물론이다.
본 실시예에 있어서, 영상 부호화부(104)는 전처리된 좌우 영상에서 시간적, 공간적 중복도를 제거하여 영상 신호를 압축하고, ISO/IEC 13818-2의 MPEG-2 표준과 A/53 Part 4의 ATSC 디지털 텔레비전 표준에 따른 비디오 엘리멘터리 스트림(ES)을 생성한다. 일 실시예에 있어서, 영상 부호화부(104)는 좌우 영상 중 베이스뷰로 사용되는 영상, 예컨대 좌영상을 MPEG-2 표준에 입각하여 프레임 기반으로 부호화하고, 좌우영상의 공간적 상관성이 매우 높다는 점을 이용하여 데이터량을 감소시킬 수 있도록 우영상에 대해서는 좌우영상간의 차영상을 계산하고 움직임 벡터를 추정하여 차영상과 움직임 벡터를 부호화한다. 그렇지만, 영상 부호화부(104)가 좌영상과 동일한 방식으로 우영상을 부호화할 수도 있다. 한편, 다른 실시예에 있어서는, 영상 부호화부(104)가 블록 기반(block-based) 방식이 아니라, 화소 기반(pixel-based) 방식, 특징 기반(feature-based) 방식, 객체 기반(object-based) 방식 등 여타의 부호화 방식을 사용할 수도 있음은 물론이다. 특히, 영상 부호화부(104)는 ISO/IEC JTC1/SC29/WG11과 ITU-T SG16 Q.6의 Joint Video Team(JVT)이 드래프팅하고 있는 H.264/AVC 표준에 따라서 복수의 영상을 부호화할 수 있다.
A/53 Part 4의 ATSC 디지털 텔레비전 표준에 따르면, 시퀀스 레벨, GOP 레벨, 또는 픽쳐 레벨에서 확장 데이터 및 유저 데이터가 삽입될 수 있다. 유저 데이터 삽입부(106)는 영상 부호화부(104)가 영상 신호를 부호화함에 있어서 시퀀스 레벨, GOP 레벨, 또는 픽쳐 레벨에서 삽입하게 될 확장 데이터 및 유저 데이터를 영상 부호화부(104)에 제공한다. 특히, 본 실시예에 따르면, 유저 데이터 삽입부(106)는 유저 데이터의 한 유형으로써 플로우팅 윈도우 정보 생성부(108)로부터의 플로우팅 윈도우 정보를 영상 부호화부(104)에 제공함으로써, 유저 데이터 삽입부(106)가 픽쳐 헤더 내에 플로우팅 윈도우 정보를 포함시켜 영상 신호를 부호화하도록 하게 된다.
플로우팅 윈도우 정보 생성부(108)는 전처리부(102)로부터 교정된 좌우 영상을 받아들이고, 좌영상과 우영상을 비교하여 플로우팅 윈도우의 크기를 계산한다. 도 7에 도시된 바와 같이, 본 발명에 있어서 플로우팅 윈도우는 수신기 측에서 스테레오스코픽 이미지 쌍을 디스플레이할 때 좌우 양측 모서리 근처에서 발생할 수 있는 깊이 단서의 충돌을 감소시키기 위하여, 좌영상의 좌측 모서리 또는 우영상의 우측 모서리 부근에서, 영상 일부를 대체하도록 설정되는 특정 바탕색상의 상하방향 스트립(top-to-bottom strip) 영역을 의미한다. 좌영상의 우측 모서리 또는 우영상의 좌측 모서리에도 마찬가지로 이러한 플로우팅 윈도우가 형성될 수 있다. 플로우팅 윈도우 정보 생성부(108)는 각 플로우팅 윈도우의 크기 즉 폭에 대한 정보와, 투명도(transparency) 및 색상 정보를 플로우팅 윈도우 정보로써 유저 데이터 삽입부(106)를 통해 영상 부호화부(104)에 제공하게 된다.
도 8을 참조하면, 일 실시예에 있어서, 플로우팅 윈도우 정보 생성부(108)는 우영상(150b)에서 가장 좌측에 있는 객체들 중 한 객체(154b)를 선택하고, 좌영상(150a)에서 그에 상응한 객체(154a)의 위치를 탐색한다. 그리고, 플로우팅 윈도우 정보 생성부(108)는 객체들(154a, 154b)간의 변위 즉, 위치차이(DIST)를 계산하고, 이 변위를 플로우팅 윈도우의 폭으로서 결정한다. 우영상에 대한 플로우팅 윈도우의 적용 여부와 크기도 좌영상에 대한 플로우팅 윈도우와 같은 방식으로 결정된다.
나아가, 플로우팅 윈도우 정보 생성부(108)는 카메라(100)로부터 줌, 초점거리, 주시각, 주시점, 렌즈 디스토션 등의 카메라 파라미터를 받아들이고, 이들 파라미터를 토대로 좌우영상에서 플로우팅 윈도우의 크기를 조절할 수 있다. 예컨대, 카메라(100)의 초점거리가 일정 기준보다 긴 경우에는 플로우팅 윈도우의 폭을 감소시키고, 초점거리가 상기 기준보다 짧은 경우에는 플로우팅 윈도우의 폭을 증가시킬 수 있다. 아울러, 프로그램 영상의 속성이나 촬영장소에 따라 플로우팅 윈도우의 적용 여부 또는 조절가능 범위를 달리할 수도 있다. 또한, 변형된 실시예에 있어서는, 카메라맨이 직접 플로우팅 윈도우의 적용 여부 또는 조절가능 범위를 결정하거나 영상 편집 과정에서 편집담당자가 이를 결정할 수도 있다. 이들 카메라맨 또는 편집담당자의 작업이 컴퓨터 프로그램에 의해 수행될 수도 있음은 물론이다.
다시 도 6을 참조하면, 촬영 장면에서 적절한 위치에 각각 설치되는 복수의 마이크(110a~110f)는 촬영 현장의 소리를 획득하여 전기적 음성 신호로 변환한다. 음성 부호화부(112)는 각 마이크(110a~110f)로부터 받아들인 음성 신호를 일정한 표준, 예컨대 AC-3 표준에 맞게 부호화하여, 오디오 엘리멘터리 스트림(ES)을 생성한다.
패킷생성부(114)는 영상 부호화부(104) 및 음성 부호화부(112)로부터 비디오 ES와 오디오 ES를 각각 받아들이고, 각 스트림을 패킷화하여 패킷화된 엘리멘터리 스트림(PES)을 생성한다. PSI/PSIP 발생부(118)는 프로그램 사양 정보(PSI) 및 프로그램 및 시스템 정보 프로토콜(PSIP) 정보를 발생한다. 멀티플렉서(118)는 PES와 PSI/PSIP 정보에 헤더를 부가하여 트랜스포트 스트림(TS)를 생성한다. 도 6의 시스템은 예컨대 지상파를 통해 하나의 채널을 전송하지만, 예컨대 케이블망 또는 위성망을 통해 방송신호를 송출하는 시스템에 있어서는 별도의 전송 멀티플렉서가 복수 채널의 방송신호를 멀티플렉싱하여 다중 프로그램 TS를 생성할 수도 있다. 채널부호화부(120)는 전송 채널에서 잡음으로 인하여 야기될 수 있는 오류를 수신기에서 검출하고 정정할 수 있도록 TS를 에러정정부호화한다. 변조부(122)는 시스템이 채택하고 있는 변조방식 예컨대 8-VSB 변조방식에 의해 채널부호화된 TS를 변조한다. 송신부(124)는 변조된 방송신호를 채널 특성에 맞게 예컨대 안테나(126)를 통해 송출하게 된다.
도 9 내지 도 11을 참조하여 도 6의 시스템이 플로우팅 윈도우 정보를 송신하는 방법을 구체적으로 설명한다. ISO/IEC 13818-2의 MPEG-2 표준과 A/53 Part 4의 ATSC 디지털 텔레비전 표준에 따르면, 비디오 시퀀스, GOP 또는 픽쳐 레벨에서, 헤더에 확장 데이터 또는 유저 데이터를 정의하기 위한 extension_and_user_data() 구조가 삽입될 수 있다. 본 발명의 바람직한 실시예에 있어서, 플로우팅 윈도우 정보는 픽쳐 레벨에서 즉, 비디오 ES에서 픽쳐 헤더에 뒤이어 배치될 수 있는 extension_and_user_data() 내에서, 유저 데이터(Picture User Data)로서 포함되어 전송된다.
도 9의 상부에는 픽쳐 확장 및 유저 데이터(Picture Extension and User Data) 구문이 표시되어 있다. 구문 명칭에 해당하는 extension_and_userdata(2)에서 괄호 안에 있는 숫자 '2'는 이 구문이 픽쳐 레벨에 있다는 것을 의미한다. 'do while' 문장의 실행 조건에서 보듯이, 픽쳐 헤더 내에서 다음에 나타나는 비트들이 extension_start_code 또는 user_data_start_code인 경우, 그 이하의 비트열들은 extension_and_user_data(2) 구조를 나타내게 된다. 이에 따라 수신기는 extension_start_code 또는 user_data_start_code를 뒤따르는 비트열들을 각각 extension_data(2) 또는 user_data()로 인식하게 된다.
도 9의 중앙 부분에 표시된 바와 같이, 픽쳐 유저 데이터 user_data()는 'user_data_start_code'와 'user_data_identifier' 필드를 포함하며, 이 필드들에는 user_structure()가 뒤따르게 된다. 'user_data_start_code'의 값은 ISO/IEC 13818-2 표준에 의하여 "0x0000 01B2"로 설정되어 있다. 'user_data_identifier' 필드는 user_structure()의 구문과 의미를 나타내는 32비트 코드로서, ISO/IEC 13818-1 표준에서 정의된 바에 따라 'format_identifier'의 값으로 정해지게 되는데, 본 발명과 같이 ATSC_user_data()의 경우 "0x4741 3934"의 값으로 정해진다.
user_structure()는 상기 'user_data_identifier' 필드에 의하여 정의되는 가변장 데이터 구조로서, 도 9의 하부에 표시된 바와 같이 'user_data_type_code'와 user_data_type_structure()를 포함한다. 'user_data_type_code'는 ATSC 유저 데이터의 종류를 나타내는 8비트 값으로서, 플로우팅 윈도우 데이터를 나타내는 경우 "0x09"의 값으로 정해진다.
도 10은 플로우팅 윈도우 데이터 fw_data()의 구문을 보여준다. 플로우팅 윈도우 데이터 구문은 가변장 데이터 구조로서, 좌영상 및 우영상 각각에 있어서의 좌측 모서리와 우측 모서리에서의 플로우팅 윈도우의 존재 유무를 나타내는 네 개의 플래그와, 플래그가 설정된 각 윈도우의 크기, 투명도, 색상 정보를 포함한다.
도면에서, 'left_view_left_float_window_flag'는 "1"로 세팅이 되면, 좌영상에서 좌측 플로우팅 윈도우가 존재함을 나타낸다. 'left_view_right_float_window_flag'는 "1"로 세팅이 되면, 좌영상에서 우측 플로우팅 윈도우가 존재함을 나타낸다. 'right_view_left_float_window_flag'는 "1"로 세팅이 되면, 우영상에서 좌측 플로우팅 윈도우가 존재함을 나타낸다. 'right_view_right_float_window_flag'는 "1"로 세팅이 되면, 우영상에서 우측 플로우팅 윈도우가 존재함을 나타낸다.
'number_pixels_of_LL_window' 필드는 14비트의 부호없는 정수 값을 가지며, 좌영상의 좌측 플로우팅 윈도우 내에서의 마지막 휘도 샘플의 번호 내지 좌표를 나타냄으로써, 좌영상의 좌측 플로우팅 윈도우의 폭을 나타내게 된다. 'transparency_LL_window' 필드는 24비트의 부호없는 정수 값을 가지며, 좌영상의 좌측 플로우팅 윈도우의 투명도를 지정한다. 'color_LL_window' 필드는 좌영상의 좌측 플로우팅 윈도우의 색상을 지정한다. "11"의 값을 가지는 'market bits'는 각 윈도우에 대한 정보가 시작됨을 나타낸다. 한편, 'number_pixels_of_LL_window' 필드 대신에 플로우팅 윈도우의 폭 데이터가 직접 표시될 수도 있는데, 이하 다른 윈도우에 대해서도 마찬가지이다.
'number_pixels_of_LR_window' 필드는 14비트의 부호없는 정수 값을 가지며, 좌영상의 우측 플로우팅 윈도우 내에서의 최초 휘도 샘플의 번호 내지 좌표를 나타냄으로써, 좌영상의 우측 플로우팅 윈도우의 폭을 나타내게 된다. 'transparency_LR_window' 필드는 24비트의 부호없는 정수 값을 가지며, 좌영상의 우측 플로우팅 윈도우의 투명도를 지정한다. 'color_LR_window' 필드는 좌영상의 우측 플로우팅 윈도우의 색상을 지정한다.
'number_pixels_of_RL_window' 필드는 14비트의 부호없는 정수 값을 가지며, 우영상의 좌측 플로우팅 윈도우 내에서의 마지막 휘도 샘플의 번호 내지 좌표를 나타냄으로써, 우영상의 좌측 플로우팅 윈도우의 폭을 나타내게 된다. 'transparency_RL_window' 필드는 24비트의 부호없는 정수 값을 가지며, 우영상의 좌측 플로우팅 윈도우의 투명도를 지정한다. 'color_RL_window' 필드는 우영상의 좌측 플로우팅 윈도우의 색상을 지정한다.
'number_pixels_of_RR_window' 필드는 14비트의 부호없는 정수 값을 가지며, 우영상의 우측 플로우팅 윈도우 내에서의 최초 휘도 샘플의 번호 내지 좌표를 나타냄으로써, 우영상의 우측 플로우팅 윈도우의 폭을 나타내게 된다. 'transparency_RR_window' 필드는 24비트의 부호없는 정수 값을 가지며, 우영상의 우측 플로우팅 윈도우의 투명도를 지정한다. 'color_RR_window' 필드는 우영상의 우측 플로우팅 윈도우의 색상을 지정한다.
위에서 설명한 바와 같이, 바람직한 실시예에 따르면, 스테레오스코픽 이미지 쌍을 구성하는 두 개의 2차원 영상을 MPEG-2 표준에 의해 부호화하며, 플로우팅 윈도우 정보를 유저 데이터로써 비디오 ES에서의 픽쳐 헤더에 포함시킨다. 그렇지만, 위에서 언급한 바와 같이 좌영상 및 우영상이 다른 부호화 기법, 예컨대 (ISO/IEC JTC1/SC29/WG11과 ITU-T SG16 Q.6의 Joint Video Team(JVT)이 드래프팅하고 있는 H.264/AVC 표준에 따라서 부호화될 수도 있다. 이와 같이 좌영상 및 우영상이 H.264/AVC 표준에 따라 부호화되는 경우에는, 플로우팅 윈도우 정보가 SEI(Supplemental Enhancement Information) 영역에 포함되어 전송될 수 있다.
도 11은 이와 같이 스테레오스코픽 이미지 쌍이 H.264/AVC 표준에 의해 부호화되는 변형된 실시예에서 플로우팅 윈도우 정보를 전송하기에 적합한 SEI RBSP Payload 비트스트림의 구문을 보여준다. 도시된 구문에서, 'itu_t_t35_country_code'는 ITU-T T35의 Annex A에 정의되어 있는 8비트의 국가 코드로서, 한국의 경우 "0x61" 값을 가진다. 'itu_t_t35_provider_code'는 0x0031" 값을 가지는 16비트 코드이다. 'user_identifier'는 32비트 코드로서, "0x4741 3934" 값을 사용하여 user_structure()의 구문구조가 ATSC A/53에서 정의한 것임을 나타낼 수 있다. 이와 같은 경우 user_structure()는 ATSC 디지털텔레비전 표준 즉, A/53 Part 4 Section 6.2.3에서 정의한 바와 동일한 방식으로 사용할 수 있다. 따라서, 도 9의 하단에 있는 유저 데이터 구문과 도 10의 플로우팅 윈도우 데이터 구문에 의하여, 플로우팅 윈도우 정보를 표시할 수 있게 된다.
도 12는 본 발명에 의한 텔레비전 수신기의 일 실시예를 보여준다. 본 실시예에 따른 텔레비전 수신기는 공중파 방송신호를 수신하여 영상을 재생하기에 적합한 것이다.
튜너(202)는 안테나를 통해 입력되는 다수의 방송신호들 중에서 사용자가 선국한 어느 한 채널의 방송신호를 선택하여 출력한다. 복조부(204)는, 튜너(202)로부터의 방송신호를 복조하여, 복조된 트랜스포트 스트림을 출력한다. 채널복호화부(206)는 복조된 신호에 대하여 에러정정복호화를 수행한다. 역다중화부(208)는 에러정정복호화된 TS를 역다중화하여, 비디오 PES와 오디오 PES를 분리하고, PSI/PSIP 정보를 추출해낸다. PSI/PSIP 처리부(210)는 PSI/PSIP 정보를 메모리(미도시됨)에 저장하거나 주제어부(200)에 제공하여, 이 정보에 따라 방송이 재생되도록 한다. 패킷해제부(212)는 비디오 PES와 오디오 PES에 대하여 패킷을 해제하여 비디오 ES와 오디오 ES를 복원한다. 음성복호화부(214)는 오디오 ES를 복호화하여 오디오 비트스트림을 출력한다. 오디오 비트스트림은 디지털-아날로그 변환기(미도시됨)에 의해 아날로그 음성신호로 변환되고, 증폭기(미도시됨)에 의해 증폭된 후, 스피커(미도시됨)를 통해 출력된다.
영상복호화부(216)는 비디오 ES를 복호화하여 비디오 비트스트림 즉, 픽쳐 데이터를 출력한다. 좌우영상 분리부(218)는 픽쳐 데이터에서 좌영상 신호와 우영상 신호를 분리해낸다. 한편, 복호화 과정에서, 영상복호화부(216)는 비디오 ES 내에 있는 헤더와 확장/유저 데이터를 추출하여 주제어부(200)에 제공함으로써, 주제어부(200)가 추출된 헤더와 확장/유저 데이터에서 플로우팅 윈도우 데이터 fw_data()를 추출하여 플로우팅 윈도우 정보를 복원하도록 하게 된다.
주제어부(200)는 도 10의 플로우팅 윈도우 데이터 중에서, 4개의 플래그 즉, 'left_view_left_float_window_flag', 'left_view_right_float_window_flag', 'right_view_left_float_window_flag', 'right_view_right_float_window_flag'를 토대로 좌우영상에서 좌측 또는 우측 플로우팅 윈도우가 존재하는지를 판단한다. 그리고, 주제어부(200)는 플래그가 "1"로 설정된 플로우팅 윈도우에 대하여 'number_pixels_of_LL_window', 'number_pixels_of_LR_window', 'number_pixels_of_RL_window', 'number_pixels_of_RR_window' 필드들을 통하여 플로우팅 윈도우의 크기 즉, 폭을 확인한다. 또한, 주제어부(200)는 'color_LL_window', 'color_LR_window', 'color_RL_window', 'color_RR_window' 필드들을 토대로 각 플로우팅 윈도우를 출력할 때 사용할 색상을 확인한다. 아울러, 주제어부(200)는 'transparency_LL_window', 'transparency_LR_window', 'transparency_RL_window', 'transparency_RR_window' 필드들을 토대로 각 플로우팅 윈도우에 대한 알파 블렌딩 값을 확인한다.
주제어부(200)는 플로우팅 윈도우 정보를 적합한 형태로 그래픽 엔진(220)에 제공하면서, 그래픽 엔진(220)과 제1 및 제2 OSD 생성부(222, 224), 제1 및 제2 믹서(226, 228) 및 포맷터(230)를 제어하여 플로우팅 윈도우 정보에 따른 영상처리가 이루어지도록 하게 된다. 그래픽 엔진(220)은 윈도우 크기, 투명도, 색상 등의 플로우팅 윈도우 정보를 적합한 형태로 받아들이고, 이를 토대로 좌우 영상 내의 플로우팅 윈도우에 대한 OSD 데이터를 생성한다.
제1 OSD 생성부(222)는 좌영상 플로우팅 윈도우에 대한 OSD 데이터를 토대로 좌영상에 대한 OSD 신호를 발생시킨다. 제1 믹서(226)는 좌우영상 분리부(218)로부터의 좌영상 신호에 제1 OSD 생성부(222)로부터의 좌영상 OSD 신호를 믹싱하여, 좌영상에 대한 플로우팅 윈도우 영역에서 좌영상 OSD 신호가 좌영상를 대체하거나 좌영상 신호에 알파블렌딩되도록 한다. 한편, 제2 OSD 생성부(224)는 우영상 플로우팅 윈도우에 대한 OSD 데이터를 토대로 우영상에 대한 OSD 신호를 발생시킨다. 제2 믹서(228)는 좌우영상 분리부(218)로부터의 우영상 신호에 제2 OSD 생성부(224)로부터의 우영상 OSD 신호를 믹싱하여, 좌영상에 대한 플로우팅 윈도우 영역에서 좌영상 OSD 신호가 좌영상를 대체하거나 좌영상 신호에 알파블렌딩되도록 한다. 포맷터(230)는 OSD가 중첩된 좌우영상 신호에 대하여 프레임 타임을 비교하면서, 시간적으로 일치하는 좌우영상이 쌍을 이루어 표시면(232)에 표시되도록 포맷팅함으로써, 3D 영상이 복원되도록 하게 된다.
한편, 제1 및 제2 믹서(226, 228)에 의한 영상 합성은 사용자의 명령에 응답하여 선택적으로 수행될 수도 있다. 즉, 시청자는 리모콘(미도시됨)을 조작하여 플로우팅 윈도우가 적용되지 않도록 조작명령을 인가할 수 있다. 이와 같은 조작명령이 인가되는 경우, 주제어부(200)는 이 명령을 메모리에 저장해두고, 이를 참조하여 플로우팅 윈도우의 합성을 제어할 수 있다. 또한, 그래픽 엔진(220)에 의한 플로우팅 윈도우 생성 역시 사용자의 조작명령에 따라 변형될 수 있다. 예컨대, 사용자는 방송신호를 통해 수신된 플로우팅 윈도우 정보에서 지정된 윈도우 크기의 범위 내에서, 각 플로우팅 윈도우의 폭을 임의로 축소시키기 위한 명령을 인가할 수 있고, 이에 따라 주제어부(200)는 플로우팅 윈도우 크기가 조정된 플로우팅 윈도우 정보를 그래픽 엔진(220)에 제공하게 된다.
도 13 내지 도 21을 참조하여, 플로우팅 윈도우 정보를 추출하여 표시하는 과정을 보다 구체적으로 설명한다.
도 13은 플로우팅 윈도우 정보를 추출하여 좌우영상에 합성하는 과정을 전체적으로 보여준다. 먼저, 주제어부(200)는 비디오 ES의 복호화 과정에서 영상복호화부(216)에 의해 추출된 헤더와 확장/유저 데이터로부터 플로우팅 윈도우 데이터 fw_data()를 추출한다(제250단계). 여기서, 비디오 ES가 H.264/AVC 표준에 의하여 부호화된 경우에는 플로우팅 윈도우 데이터가 SEI(Supplemental Enhancement Information) 영역에서 추출될 수 있음은 위에서 언급한 바와 같다.
본 발명에 의하여 좌영상 또는 우영상 중에서 일부를 무효화하는 플로우팅 윈도우는 사용자의 조작명령에 응답하여 그 적용 여부가 결정될 수도 있다. 이에 따라, 주제어부(200)는 예컨대 리모콘(미도시됨)로부터 플로우팅 윈도우 적용에 대한 조작명령이 인가되는지를 지속적으로 체크하고, 명령이 인가되는 경우 이를 메모리에 저장해두고, 이를 참조하여 플로우팅 윈도우의 합성을 제어한다. 제252단계에서, 주제어부(200)는 메모리에 플로우팅 윈도우 조작에 대한 사용자 명령이 저장되어 있는지, 또는 리모콘로부터 플로우팅 윈도우 적용에 대한 조작명령이 인가되는지를 체크한다. 제254단계에서 주제어부(200)는 플로우팅 윈도우가 활성화되어야 하는지를 결정한다.
만약 제254단계에서 플로우팅 윈도우가 활성화되어야 하는 것으로 결정되는 경우, 주제어부(200)는 그래픽 엔진(220)과 제1 및 제2 OSD 생성부(222, 224)와 제1 및 제2 믹서(226, 228)를 제어하여, 플로우팅 윈도우가 좌영상 및 우영상에 적용되도록 하게 된다(제256단계). 이어서, 포맷터(230)는 OSD가 중첩된 좌우영상을 해당 수신기에서의 스테레오스코픽 디스플레이 방식에 맞게 포맷팅하여, 3D 영상이 표시되도록 하게 된다(제258단계).
도 14는 도 12에서 플로우팅 윈도우 정보를 추출하는 단계(제250단계)를 보다 상세하게 보여준다. 영상복호화부(216)가 비디오 ES를 복호화하여 픽쳐 데이터 내지 비디오 코딩 레이어(VCL)를 출력하고 비디오 ES 내에 있는 헤더와 확장/유저 데이터를 추출한 후에(제270단계), 주제어부(200)는 픽쳐 헤더 내에 있는 extension_and_user_data(2)를 복호화하여 픽쳐 유저 데이터 user_data()를 추출한다(제272단계). 한편, 비디오 ES가 H.264/AVC 표준에 의하여 부호화되어 있는 변형된 실시예에 있어서는, 이 단계에서 SEI(Supplemental Enhancement Information) 영역이 복호화된다. 즉, 주제어부(200)는 AVC NAL unit을 파싱하여, 'nal_unit_type' 값이 "6"인 SEI 데이터를 추출하고, 'payloadType'의 값이 "4"인 인 user_data_registered_itu_t_t35() 메시지를 읽는다.
제274단계에서, 주제어부(200)는 픽쳐 유저 데이터 user_data()에서 'user_data_identifier' 값이 "0x4741 3934"인 ATSC_user_data()를 검출한다. 그 다음, 주제어부(200)는 ATSC_user_data()에서 'user_data_type_code'가 "0x09"인 user_data_type_structure()를 검출한다(제276단계). 마지막으로, 주제어부(200)는 상기 user_data_type_structure()로부터 플로우팅 윈도우 데이터 fw_data()를 읽어서, 플로우팅 윈도우가 존재함을 나타내는 플래그가 설정된 각 윈도우에 대한 크기, 투명도, 색상 등의 정보를 추출한다(제278단계).
도 15 내지 도 21은 플로우팅 윈도우를 좌우영상에 합성하는 과정을 설명하기 위한 스크린샷이다. 여기에서, 플로우팅 윈도우 합성 이전의 좌우영상이 각각 도 15 및 도 16과 같고, 플로우팅 윈도우 정보가 다음과 같다고 가정한다.
- 'left_view_left_float_window_flag' = "1"
- 'left_view_right_float_window_flag' = "0"
- 'right_view_left_float_window_flag' = "0"
- 'right_view_right_float_window_flag' = "1"
- 'number_pixels_of_LL_window' = "2"
- 'transparency_LL_window' = "0"
- 'color_LL_window' = "0x 505050"
- 'number_pixels_of_LR_window' = "2"
- 'number_pixels_of_RL_window' = "2"
- 'number_pixels_of_RR_window' = "3"
- 'transparency_RR_window' = "0"
- 'color_RR_window' = "0x 000000"
이 예에서, 'left_view_left_float_window_flag'와 'left_view_right_float_window_flag'가 "1"로 설정되어 있으므로, 주제어부(200)는 좌영상에 대한 좌측 플로우팅 윈도우와 우영상에 대한 우측 플로우팅 윈도우가 활성화되어야 하는 것으로 판단한다. 한편, 'right_view_left_float_window_flag'와 'right_view_right_float_window_flag' 플래그가 "0"으로 설정되어 있으므로, 주제어부(200)는 좌영상에 대한 우측 플로우팅 윈도우와 우영상에 대한 좌측 플로우팅 윈도우가 활성화되지 않아야 하는 것으로 판단한다.
그래픽 엔진(220)은 좌영상에 대한 좌측 플로우팅 윈도우에 대하여 'number_pixels_of_LL_window', 'transparency_LL_window', 'color_LL_window' 필드를 통하여 플로우팅 윈도우의 폭과 색상, 그리고 알파 블렌딩을 위한 투명도 값을 토대로 좌영상 내의 플로우팅 윈도우에 대한 OSD 데이터를 생성한다. 그리고, 그래픽 엔진(220)은 우영상에 대한 우측 플로우팅 윈도우에 대하여 'number_pixels_of_RR_window', 'transparency_RR_window', 'color_RR_window' 필드를 통하여 플로우팅 윈도우의 폭과 색상, 그리고 알파 블렌딩을 위한 투명도 값을 토대로 좌영상 내의 플로우팅 윈도우에 대한 OSD 데이터를 생성한다.
이에 따라, 좌영상에 대한 좌측 플로우팅 윈도우는 폭이 2 화소이고 투명도가 0이면서 색상이 "0x 505050"인 상하방향 스트립 형태를 가진다. 또한, 우영상에 대한 우측 플로우팅 윈도우는 폭이 3 화소이고 투명도가 0이면서 색상이 "0x 000000"인 상하방향 스트립 형태를 가진다.
제1 믹서(226)는 도 15의 좌영상에 OSD 영상을 중첩시켜서, 도 17과 같이 플로우팅 윈도우가 중첩되어 있는 좌영상을 나타내는 좌영상 신호를 생성한다. 제2 믹서(228)는 도 16의 우영상에 도 18의 OSD 영상을 중첩시켜서, 도 18과 같이 플로우팅 윈도우가 중첩되어 있는 우영상을 나타내는 우영상 신호를 생성한다.
포맷터(230)는 OSD 영상이 중첩된 좌우영상을 합성시킨다. 도 19 내지 도 21은 플로우팅 윈도우가 중첩된 좌영상 및 우영상을 합성하여 표시한 화면의 예들을 보여준다. 구체적으로, 도 19는 수평 방향 인터리빙 방식으로 합성한 예를 보여주는데, 이에 따르면 가로 방향의 줄을 한줄씩 바꿔가며 좌영상 및 우영상이 교대로 표시된다. 도 20은 좌영상 및 우영상이 수직 방향 인터리빙 방식으로 합성한 예를 보여주는데, 이에 따르면 세로 방향의 줄을 한줄씩 바꿔가며 좌영상 및 우영상이 교대로 표시된다. 도 21은 좌영상 및 우영상이 체커보드 패턴으로 합성한 예를 보여준다. 도시된 바와 같이, 플로우팅 윈도우가 설정된 화면 영역에 있어서, 플로우팅 윈도우에 의해 대치된 좌영상 또는 우영상은 표시되지 않고, 플로우팅 윈도우의 영향을 받지 않는 좌영상 또는 우영상만이 표시된다. 표시된 좌영상과 우영상은 편광안경을 통해서 시청자의 왼쪽 눈과 오른쪽 눈에 각각 입력된다.
이와 같이 도 19 내지 도 21의 합성예는 편광안경을 사용하는 수신기 시스템에서 적합한 것이다. 그렇지만, 변형된 실시예에 있어서는, 본 발명이 셔터 안경을 사용하는 수신기 시스템에도 적용될 수 있다. 이와 같이 셔터 안경을 사용하는 수신기 시스템에 있어서는, 도 17과 도 18의 영상이 교대로 표시면에 표시될 수 있다. 표시되는 영상의 스위칭에 동기된 셔터 안경이 좌영상과 우영상을 각각 시청자의 왼쪽 눈과 오른쪽 눈에만 전달하게 된다.
이상에서 설명한 실시예에 있어서는 플로우팅 윈도우 정보를 토대로 그래픽 엔진(220)이 플로우팅 윈도우에 대한 OSD 데이터를 생성하고, 제1 및 제2 OSD 생성부(222, 224)가 OSD 영상신호를 발생하지만, 이와 같은 실시예가 변형된 실시예에 있어서는, 상기 그래픽 엔진(220)과 제1 및 제2 OSD 생성부(222, 224)가 하나로 통합될 수 있다. 도 22는 이와 같은 실시예를 보여준다. 도 22의 실시예에 있어서, 그래픽 엔진(320)은 주제어부(200)로부터 플로우팅 윈도우 정보를 적합한 형태로 받아들이고, 이 정보를 토대로 좌우 플로우팅 윈도우를 구현하기 위한 OSD 신호를 발생하여 제1 및 제2 믹서(226, 228)에 출력한다. 본 실시예의 다른 특징은 도 12의 실시예와 유사하므로 이에 대한 자세한 설명은 생략한다.
도 23은 본 발명에 의한 텔레비전 수신기의 다른 변형된 실시예를 보여준다. 본 실시예에 있어서, 방송 페이로드 데이터 즉, 좌우 픽쳐 데이터 내지 비디오 코딩 레이어(VCL)을 하나의 포맷터로 포맷팅하고, 좌우 OSD 신호를 별도의 포맷터로 포맷팅한 후, 포맷팅 신호들을 믹싱하게 된다. 제1 포맷터(410)는 좌우영상 분리부(218)로부터의 좌영상 신호와 우영상 신호를 스테레오스코픽 출력 방식에 맞게 포맷팅한다. 그래픽 엔진(420)은 주제어부(200)로부터 플로우팅 윈도우 정보를 적합한 형태로 받아들이고, 이를 토대로 좌우 영상 내의 플로우팅 윈도우에 대한 OSD 데이터를 생성한다. 제1 OSD 생성부(422)는 좌영상 플로우팅 윈도우에 대한 OSD 데이터를 토대로 좌영상에 대한 OSD 신호를 발생시킨다. 제2 OSD 생성부(424)는 우영상 플로우팅 윈도우에 대한 OSD 데이터를 토대로 우영상에 대한 OSD 신호를 발생시킨다. 제2 포맷터(426)는 좌영상 OSD 신호와 우영상 OSD 신호를 스테레오스코픽 출력 방식에 맞게 포맷팅한다. 믹서(428)는 제1 및 제2 포맷터(410, 426)의 출력 신호들을 합성하여, 합성된 영상신호들이 표시면(232)에 표시되도록 한다.
또 다른 한편으로, 이상에서 설명한 실시예에 있어서는 플로우팅 윈도우 정보를 토대로 OSD 영상들을 생성하고 이 OSD 영상들을 방송 영상들에 합성하게 되지만, 이러한 실시예가 변형된 실시예에 있어서는, 플로우팅 윈도우 정보에 상응하여 방송 영상들을 직접 조작할 수도 있다.
그밖에도, 본 발명은 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다양한 방식으로 변형될 수 있고 다른 구체적인 형태로 실시될 수 있다.
예컨대, 이상의 설명에서는, 플로우팅 윈도우의 위치에 상응한 방송 영상 부분을 플로우팅 윈도우 정보에서 지정된 색상으로 대치하여 방송 영상 부분을 소거 내지 무효화하는 실시예를 중심으로 설명하였지만, 변형된 실시예에 있어서는, 플로우팅 윈도우의 투명도에 따라 플로우팅 윈도우의 위치에 상응한 방송 영상 부분이 완전히 무효화되는 것이 아니라 알파 블렌딩에 의해 억제할 수도 있다.
한편, 이상의 설명에서는 공중파 디지털 방송을 기준으로 본 발명을 설명하였지만, 본 발명은 케이블망을 통해 전송되는 방송에 대해서도 동일하게 적용할 수 있다. 또한, DVD, 블루레이 디스크 등의 저장매체 또는 개인용 비디오 저장장치(PVR: Personal Video Recorde)를 통한 영상의 저장과 저장된 영상의 재생에 대해서도 동일하게 적용될 수 있다. 아울러, 본 발명은 네트워크 상의 동영상 전송에도 적용될 수 있다.
그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
위에서 설명한 바와 같이, 본 발명은 스테레오스코픽 3차원 영상을 구현하기 위한 좌우 영상 각각에 대하여 좌측, 우측, 또는 양쪽의 모서리 내측의 영역을 플로우팅 윈도우에 의해 비대칭적으로 억제시킨다. 이에 따라 스테레오스코픽 이미지 쌍의 좌우 양측 모서리 근처에서, 음의 시차 값을 갖는 객체가 부분적으로 가릴 때 발생할 수 있는 단서의 충돌 즉, edge violation 문제를 방지하거나 감소시킬 수 있게 된다. 이에 따라 음의 시차를 갖는 물체가 확실하게 표시면 전방으로 나와보이는 착시 효과를 구현할 수 있다. 그러므로, 본 발명은 edge violation으로 인한 불편함과 혼란을 감소시키고, 입체감과 현장감이 높여서 3차원 영상의 품질을 제고할 수 있다.
본 발명은 스테레오스코픽 3차원 TV는 물론, 멀티뷰 3차원 TV에도 유사한 방법으로 적용될 수 있다. 아울러, 본 발명은 lenticular, integral imaging, holography 방식이나 여타 방식의 3차원 TV에도 적용될 수 있다.

Claims (18)

  1. 서로 다른 뷰포인트를 갖는 복수 영상을 각각 나타내는 복수의 비디오 신호를 마련하는 단계;
    상기 복수 영상 각각에 대해 적어도 하나의 플로팅 윈도우 적용 여부 필드, 각 플로팅 윈도우의 위치와 크기, 투명도, 색을 포함한 플로우팅 윈도우 정보를 생성하는 단계; 및
    상기 플로우팅 윈도우 정보를 비디오 픽쳐 헤더 영역에 삽입하여 상기 비디오 신호를 부호화하여 전송하는 단계;
    를 포함하는 3차원 영상신호 전송 방법.
  2. 청구항 1에 있어서, 상기 플로우팅 윈도우가 상기 복수 영상 각각에서 좌우측 모서리 내측에 설정될 수 있으며,
    각 플로우팅 윈도우의 크기가 개별적으로 결정되는 3차원 영상신호 전송방법.
  3. 청구항 2에 있어서, 각 플로우팅 윈도우의 크기가, 상기 플로우팅 윈도우에 해당하는 영상을 촬상한 이미지 센서의 카메라 파라미터, 상기 복수의 영상들 내에서 대응하는 점들 사이의 변위, 및 상기 카메라 파라미터와 상기 변위의 조합으로 구성된 기준 그룹에서 선택되는 어느 하나를 토대로, 결정되는 3차원 영상신호 전송 방법.
  4. 부호화된 비디오 신호를 복호화하여, 복수의 영상신호를 복원하고, 상기 부호화된 비디오 신호의 픽쳐 헤더 영역으로부터 각 플로우팅 윈도우의 위치 및 크기와, 투명도와, 색 데이터를 포함하는 플로우팅 윈도우 정보를 추출하는 복호화부; 및
    상기 복수의 영상신호에 대응하는 복수의 영상들 각각에 대해 상기 플로우팅 윈도우 정보에 따라 좌측 또는 우측의 모서리 내측 영역에서 영상 표시를 제어하며 상기 복수의 영상들을 스테레오스코픽 방식으로 표시하는 합성 표시부;
    를 구비하는 3차원 영상표시 장치.
  5. 청구항 4에 있어서, 상기 합성 표시부가 상기 플로우팅 윈도우 정보에 따라 상기 영역에서 영상을 억제시켜, 국부적으로 억제된 영상들을 스테레오스코픽 방식으로 표시하는 3차원 영상표시 장치.
  6. 청구항 5에 있어서, 상기 복수의 영상신호가 좌영상에 대한 좌영상 신호와 우영상에 대한 우영상 신호를 포함하며,
    상기 합성 표시부가
    상기 위치 및 크기 데이터와 상기 색상 데이터에 따라 좌측 플로우팅 윈도우 영상 신호와 우측 플로우팅 윈도우 영상 신호를 생성하는 온스크린디스플레이 생성부;
    각각 상기 좌영상 신호와 상기 좌측 플로우팅 윈도우 영상 신호를 합성하고, 상기 우영상 신호와 상기 우측 플로우팅 윈도우 영상 신호를 합성하는 제1 및 제2 혼합부; 및
    상기 제1 및 제2 혼합부의 출력 신호들을 상기 스테레오스코픽 출력 방식에 맞게 포맷팅하는 포맷터;
    를 구비하는 3차원 영상표시 장치.
  7. 청구항 5에 있어서, 상기 복수의 영상신호가 좌영상에 대한 좌영상 신호와 우영상에 대한 우영상 신호를 포함하며,
    상기 합성 표시부가
    상기 좌영상 신호와 상기 우영상 신호를 상기 스테레오스코픽 출력 방식에 맞게 포맷팅하는 제1 포맷터;
    상기 위치 및 크기 데이터와 상기 색상 데이터에 따라 좌측 플로우팅 윈도우 영상 신호와 우측 플로우팅 윈도우 영상 신호를 생성하는 온스크린디스플레이 생성부;
    상기 좌측 플로우팅 윈도우 영상 신호와 상기 우측 플로우팅 윈도우 영상 신호를 상기 스테레오스코픽 출력 방식에 맞게 포맷팅하는 제2 포맷터; 및
    상기 제1 및 제2 포맷터의 출력 신호들을 합성하는 혼합부;
    를 구비하는 3차원 영상표시 장치.
  8. 청구항 5에 있어서, 상기 장치는 텔레비전 수신기로서,
    채널을 통해 방송신호를 받아들이고 복조하여, 채널부호화된 트랜스포트 스트림을 출력하는 튜너/복조기;
    상기 채널부호화된 트랜스포트 스트림을 받아들이고, 에러정정복호화를 수행하여 복호화된 트랜스포트 스트림을 출력하는 채널복호화부; 및
    상기 복호화된 트랜스포트 스트림을 역다중화하고 패킷을 해제하여 상기 부호화된 비디오 신호를 출력하는 역다중화/패킷해제부;
    를 더 구비하는 3차원 영상표시 장치.
  9. 3차원 영상표시 장치에 있어서,
    (a) 부호화된 비디오 신호를 획득하는 단계;
    (b) 상기 부호화된 비디오 신호를 복호화하여, 복수의 영상신호를 복원하고, 상기 부호화된 비디오 신호의 픽쳐 헤더 영역으로부터 각 플로우팅 윈도우의 위치 및 크기와, 투명도와, 색 데이터를 포함하는 플로우팅 윈도우 정보를 추출하는 단계; 및
    (c) 상기 복수의 영상신호에 대응하는 복수의 영상들 각각에 대해 상기 플로우팅 윈도우 정보에 따라 좌측 또는 우측의 모서리 내측 영역에서 영상 표시를 제어하며 상기 복수의 영상들을 스테레오스코픽 방식으로 표시하는 단계;
    를 포함하는 3차원 영상신호 처리 방법.
  10. 청구항 9에 있어서,
    상기 (c)단계에서, 상기 플로우팅 윈도우 정보에 따라 상기 영역에서 영상을 억제시켜, 국부적으로 억제된 영상들을 스테레오스코픽 방식으로 표시하는 3차원 영상신호 처리 방법.
  11. 청구항 10에 있어서, 상기 (b)단계가
    상기 부호화된 비디오 신호로부터 픽쳐 헤더를 추출하는 단계;
    상기 픽쳐 헤더로부터 제1 필드가 소정의 값을 가지는 유저 데이터 구조를 추출하는 단계; 및
    상기 유저 데이터 구조에서 제2 필드가 플로우팅 윈도우를 나타내는 값을 가지는 데이터 구조를 상기 플로우팅 윈도우 정보로써 추출하는 단계;
    를 포함하는 3차원 영상신호 처리 방법.
  12. 청구항 10에 있어서, 상기 (c)단계가
    상기 복수의 영상들 각각에서 좌우측 모서리 중 적어도 어느 하나의 내측 영역에 상기 위치 및 크기 데이터에 따라 플로우팅 윈도우를 설정하고, 상기 플로우팅 윈도우에 해당하는 영상 부분을 무효화시키는 단계;
    를 포함하는 3차원 영상신호 처리 방법.
  13. 청구항 12에 있어서, 상기 플로우팅 윈도우에 해당하는 상기 영상 부분을 특정 색상을 채움으로써 상기 영상 부분을 무효화하는 3차원 영상신호 처리 방법.
  14. 청구항 13에 있어서, 상기 플로우팅 윈도우에 해당하는 상기 영상 부분을 상기 플로우팅 윈도우 정보에서 지정된 색상으로 채우는 3차원 영상신호 처리 방법.
  15. 청구항 13에 있어서, 상기 (c)단계가
    상기 플로우팅 윈도우에 해당하는 영상 부분에 대한 온스크린디스플레이 영상을 생성하는 단계; 및
    상기 온스크린디스플레이 영상을 상기 영상 부분에 중첩시킴으로써, 상기 영상 부분을 무효화하는 단계;
    를 포함하는 3차원 영상신호 처리 방법.
  16. 청구항 10에 있어서, 상기 (c)단계가
    상기 복수의 영상들 각각에서 좌우측 모서리 중 적어도 어느 하나의 내측 영역에 상기 위치 및 크기 데이터에 따라 플로우팅 윈도우를 설정하고, 상기 플로우팅 윈도우에 해당하는 영상 부분에 상기 플로우팅 윈도우 정보에서 지정된 색상을 상기 투명도 데이터에 따라 알파 블렌딩함으로써 상기 영상을 억제시키는 단계;
    를 포함하는 3차원 영상신호 처리 방법.
  17. 청구항 10에 있어서,
    사용자 조작명령을 체크하는 단계;
    를 더 포함하며,
    상기 사용자 조작명령이 상기 억제를 금지하지 않는 경우에만 상기 (c)단계를 수행하는 3차원 영상신호 처리 방법.
  18. 청구항 10에 있어서, 상기 (c)단계가
    상기 사용자 조작명령에 응답하여 플로우팅 윈도우의 크기를 조절하는 단계;
    를 더 포함하는 3차원 영상신호 처리 방법.
PCT/KR2009/004619 2008-12-02 2009-08-19 3차원 영상신호 전송 방법과, 3차원 영상표시 장치 및 그에 있어서의 신호 처리 방법 WO2010064774A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020117012716A KR101667723B1 (ko) 2008-12-02 2009-08-19 3차원 영상신호 전송 방법과, 3차원 영상표시 장치 및 그에 있어서의 신호 처리 방법
EP09830512.1A EP2357823A4 (en) 2008-12-02 2009-08-19 3d image signal transmission method, 3d image display apparatus and signal processing method therein
US13/132,239 US9288470B2 (en) 2008-12-02 2009-08-19 3D image signal transmission method, 3D image display apparatus and signal processing method therein

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11935908P 2008-12-02 2008-12-02
US61/119,359 2008-12-02

Publications (1)

Publication Number Publication Date
WO2010064774A1 true WO2010064774A1 (ko) 2010-06-10

Family

ID=42233408

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2009/004619 WO2010064774A1 (ko) 2008-12-02 2009-08-19 3차원 영상신호 전송 방법과, 3차원 영상표시 장치 및 그에 있어서의 신호 처리 방법

Country Status (4)

Country Link
US (1) US9288470B2 (ko)
EP (1) EP2357823A4 (ko)
KR (1) KR101667723B1 (ko)
WO (1) WO2010064774A1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102572457A (zh) * 2010-12-31 2012-07-11 财团法人工业技术研究院 前景深度地图产生模块及其方法
EP2688303A1 (en) * 2011-05-30 2014-01-22 Sony Corporation Recording device, recording method, playback device, playback method, program, and recording/playback device
TWI469088B (zh) * 2010-12-31 2015-01-11 Ind Tech Res Inst 前景深度地圖產生模組及其方法
US9251564B2 (en) 2011-02-15 2016-02-02 Thomson Licensing Method for processing a stereoscopic image comprising a black band and corresponding device
US9392249B2 (en) 2011-01-25 2016-07-12 Lg Electronics Inc. Method and apparatus for transmitting/receiving a digital broadcasting signal
CN105933779A (zh) * 2016-06-27 2016-09-07 北京奇虎科技有限公司 利用寄生工具包实现的视频播放方法及装置
CN108508616A (zh) * 2018-05-17 2018-09-07 成都工业学院 一种3d显示系统及3d显示装置

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100045779A1 (en) * 2008-08-20 2010-02-25 Samsung Electronics Co., Ltd. Three-dimensional video apparatus and method of providing on screen display applied thereto
CN102293001B (zh) * 2009-01-21 2014-05-14 株式会社尼康 图像处理装置、图像处理方法及记录方法
JP5267886B2 (ja) * 2009-04-08 2013-08-21 ソニー株式会社 再生装置、記録媒体、および情報処理方法
KR20100128233A (ko) * 2009-05-27 2010-12-07 삼성전자주식회사 영상 처리 방법 및 장치
KR101719980B1 (ko) * 2010-06-22 2017-03-27 엘지전자 주식회사 3차원 컨텐츠를 출력하는 디스플레이 기기의 영상 처리 방법 및 그 방법을 채용한 디스플레이 기기
WO2011123509A1 (en) * 2010-03-31 2011-10-06 Design & Test Technology, Inc. 3d video processing unit
EP2553930B1 (en) * 2010-04-01 2024-01-17 InterDigital Madison Patent Holdings, SAS Method and system of using floating window in three-dimensional (3d) presentation
JP2011228862A (ja) * 2010-04-16 2011-11-10 Sony Corp データ構造、画像処理装置、画像処理方法、およびプログラム
KR20110124161A (ko) * 2010-05-10 2011-11-16 삼성전자주식회사 계층 부호화 영상의 송수신 방법 및 장치
KR101435594B1 (ko) * 2010-05-31 2014-08-29 삼성전자주식회사 디스플레이 장치 및 그 디스플레이 방법
KR20120088100A (ko) * 2011-01-31 2012-08-08 삼성전자주식회사 디스플레이 컨트롤러 및 디스플레이 시스템
US8665304B2 (en) * 2011-03-21 2014-03-04 Sony Corporation Establishing 3D video conference presentation on 2D display
GB2489931A (en) * 2011-04-08 2012-10-17 Sony Corp Analysis of 3D video to detect frame violation within cropped images
US9883172B2 (en) * 2011-10-03 2018-01-30 Echostar Technologies L.L.C. Active 3D to passive 3D conversion
AU2012318854B2 (en) * 2011-10-05 2016-01-28 Bitanimate, Inc. Resolution enhanced 3D video rendering systems and methods
US9791922B2 (en) * 2011-10-13 2017-10-17 Panasonic Intellectual Property Corporation Of America User interface control device, user interface control method, computer program and integrated circuit
CN104054333A (zh) * 2011-12-19 2014-09-17 富士胶片株式会社 图像处理装置、方法以及程序及其记录介质
WO2013122385A1 (en) 2012-02-15 2013-08-22 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transreceiving system, data transmitting method, data receiving method and data transreceiving method
WO2013122386A1 (en) 2012-02-15 2013-08-22 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transreceiving system, data transmitting method, data receiving method and data transreceiving method
WO2013122387A1 (en) 2012-02-15 2013-08-22 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transceiving system, data transmitting method, and data receiving method
US20140055564A1 (en) * 2012-08-23 2014-02-27 Eunhyung Cho Apparatus and method for processing digital signal
JP2014027448A (ja) * 2012-07-26 2014-02-06 Sony Corp 情報処理装置、情報処理方法、及びプログラム
WO2014065635A1 (ko) * 2012-10-25 2014-05-01 엘지전자 주식회사 다시점 3dtv 서비스에서 에지 방해 현상을 처리하는 방법 및 장치
WO2014089798A1 (en) 2012-12-13 2014-06-19 Thomson Licensing Method and apparatus for error control in 3d video transmission
US9986259B2 (en) 2013-07-18 2018-05-29 Lg Electronics Inc. Method and apparatus for processing video signal
US9591290B2 (en) * 2014-06-10 2017-03-07 Bitanimate, Inc. Stereoscopic video generation
CN106792089A (zh) * 2016-12-15 2017-05-31 腾讯科技（深圳）有限公司 视频播放方法和装置
RU2686576C1 (ru) 2017-11-30 2019-04-29 Самсунг Электроникс Ко., Лтд. Компактное устройство голографического дисплея
US10523912B2 (en) 2018-02-01 2019-12-31 Microsoft Technology Licensing, Llc Displaying modified stereo visual content
CN108600334B (zh) * 2018-04-03 2022-03-04 腾讯科技（深圳）有限公司 展示电子装置无线信号接入质量的方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060133493A1 (en) * 2002-12-27 2006-06-22 Suk-Hee Cho Method and apparatus for encoding and decoding stereoscopic video
KR20080039797A (ko) * 2006-11-01 2008-05-07 한국전자통신연구원 스테레오스코픽 콘텐츠 재생에 이용되는 메타 데이터의복호화 방법 및 장치

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6359658B1 (en) * 2000-03-06 2002-03-19 Philips Electronics North America Corporation Subjective noise measurement on active video signal
WO2002071764A1 (en) * 2001-01-24 2002-09-12 Vrex, Inc. Method and system for adjusting stereoscopic image to optimize viewing for image zooming
US20080177994A1 (en) * 2003-01-12 2008-07-24 Yaron Mayer System and method for improving the efficiency, comfort, and/or reliability in Operating Systems, such as for example Windows
TWI384413B (zh) * 2006-04-24 2013-02-01 Sony Corp An image processing apparatus, an image processing method, an image processing program, and a program storage medium
JP4737003B2 (ja) * 2006-08-10 2011-07-27 ソニー株式会社 編集装置、編集方法、編集プログラムおよび編集システム
EP2067360A1 (en) * 2006-09-25 2009-06-10 Nokia Corporation Supporting a 3d presentation
EP2153669B1 (en) * 2007-05-11 2012-02-01 Koninklijke Philips Electronics N.V. Method, apparatus and system for processing depth-related information

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060133493A1 (en) * 2002-12-27 2006-06-22 Suk-Hee Cho Method and apparatus for encoding and decoding stereoscopic video
KR20080039797A (ko) * 2006-11-01 2008-05-07 한국전자통신연구원 스테레오스코픽 콘텐츠 재생에 이용되는 메타 데이터의복호화 방법 및 장치

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102572457A (zh) * 2010-12-31 2012-07-11 财团法人工业技术研究院 前景深度地图产生模块及其方法
TWI469088B (zh) * 2010-12-31 2015-01-11 Ind Tech Res Inst 前景深度地圖產生模組及其方法
US9392249B2 (en) 2011-01-25 2016-07-12 Lg Electronics Inc. Method and apparatus for transmitting/receiving a digital broadcasting signal
DE112012000563B4 (de) * 2011-01-25 2021-06-24 Lg Electronics Inc. Verfahren und Vorrichtung zum Senden/Empfangen eines digitalen Übertragungssignals
GB2501035B (en) * 2011-01-25 2017-02-22 Lg Electronics Inc Method and apparatus for transmitting/receiving a digital broadcasting signal
US9251564B2 (en) 2011-02-15 2016-02-02 Thomson Licensing Method for processing a stereoscopic image comprising a black band and corresponding device
EP2688303A4 (en) * 2011-05-30 2014-11-05 Sony Corp RECORDING DEVICE, RECORDING METHOD, PLAYING DEVICE, PLAYING METHOD, PROGRAM AND RECORDING / REPLAYING DEVICE
CN103548345A (zh) * 2011-05-30 2014-01-29 索尼公司 记录设备和方法、再现设备和方法、程序和记录再现设备
EP2688303A1 (en) * 2011-05-30 2014-01-22 Sony Corporation Recording device, recording method, playback device, playback method, program, and recording/playback device
CN105933779A (zh) * 2016-06-27 2016-09-07 北京奇虎科技有限公司 利用寄生工具包实现的视频播放方法及装置
WO2018001218A1 (zh) * 2016-06-27 2018-01-04 北京奇虎科技有限公司 视频播放方法、装置、程序及介质
CN108508616A (zh) * 2018-05-17 2018-09-07 成都工业学院 一种3d显示系统及3d显示装置
CN108508616B (zh) * 2018-05-17 2024-04-16 成都工业学院 一种3d显示系统及3d显示装置

Also Published As

Publication number Publication date
KR101667723B1 (ko) 2016-10-19
KR20110106289A (ko) 2011-09-28
EP2357823A1 (en) 2011-08-17
US9288470B2 (en) 2016-03-15
EP2357823A4 (en) 2017-03-01
US20110234760A1 (en) 2011-09-29

Similar Documents

Publication Publication Date Title
WO2010064774A1 (ko) 3차원 영상신호 전송 방법과, 3차원 영상표시 장치 및 그에 있어서의 신호 처리 방법
US9491434B2 (en) Method for processing three dimensional (3D) video signal and digital broadcast receiver for performing the method
WO2010071291A1 (ko) 3차원 영상신호 처리 방법과 이를 구현하기 위한 영상표시 장치
KR101659026B1 (ko) 3차원 캡션 디스플레이 방법 및 이를 구현하기 위한 3차원 디스플레이 장치
CN104618708B (zh) 广播接收机及其视频数据处理方法
WO2010085074A2 (en) Three-dimensional subtitle display method and three-dimensional display device for implementing the same
US5661518A (en) Methods and apparatus for the creation and transmission of 3-dimensional images
KR101622688B1 (ko) 3차원 캡션 디스플레이 방법 및 이를 구현하기 위한 3차원 디스플레이 장치
WO2010079880A1 (ko) 3차원 캡션 신호 전송 방법 및 3차원 캡션 디스플레이 방법
WO2011084021A2 (ko) 방송 수신기 및 3d 이미지 디스플레이 방법
WO2010117129A2 (en) Broadcast transmitter, broadcast receiver and 3d video data processing method thereof
WO2011001857A1 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
WO2010093115A2 (en) Broadcast receiver and 3d subtitle data processing method thereof
WO2011005025A2 (en) Signal processing method and apparatus therefor using screen size of display device
JP2013502804A (ja) 付加データの三次元再生のための信号処理方法及びその装置
WO2011046271A1 (en) Broadcast receiver and 3d video data processing method thereof
WO2011118215A1 (ja) 映像処理装置
WO2014065635A1 (ko) 다시점 3dtv 서비스에서 에지 방해 현상을 처리하는 방법 및 장치
WO2013022315A2 (ko) 영상 제공 장치 및 방법, 그리고 영상 재생 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09830512

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13132239

Country of ref document: US

ENP Entry into the national phase

Ref document number: 20117012716

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2009830512

Country of ref document: EP