WO2010095838A2 - 그래픽 화면 처리 방법 및 장치 - Google Patents

그래픽 화면 처리 방법 및 장치 Download PDF

Info

Publication number
WO2010095838A2
WO2010095838A2 PCT/KR2010/000931 KR2010000931W WO2010095838A2 WO 2010095838 A2 WO2010095838 A2 WO 2010095838A2 KR 2010000931 W KR2010000931 W KR 2010000931W WO 2010095838 A2 WO2010095838 A2 WO 2010095838A2
Authority
WO
WIPO (PCT)
Prior art keywords
graphic
information
screen
stream
depth
Prior art date
Application number
PCT/KR2010/000931
Other languages
English (en)
French (fr)
Other versions
WO2010095838A3 (ko
Inventor
정길수
박성욱
이대종
전혜영
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020090014542A external-priority patent/KR101539232B1/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to CN201080008013.3A priority Critical patent/CN102318351B/zh
Priority to JP2011550061A priority patent/JP5789518B2/ja
Priority to BRPI1008575A priority patent/BRPI1008575A2/pt
Priority to EP10743913A priority patent/EP2400767A4/en
Publication of WO2010095838A2 publication Critical patent/WO2010095838A2/ko
Publication of WO2010095838A3 publication Critical patent/WO2010095838A3/ko
Priority to US13/210,434 priority patent/US8497858B2/en
Priority to US13/928,861 priority patent/US9035942B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion

Definitions

  • the present invention relates to a graphic screen processing method and apparatus, and more particularly, to a graphic screen processing method and apparatus for outputting a graphic screen including a subtitle, menu, and the like as a three-dimensional image.
  • 3D image technology is a technology that expresses more realistic image by giving depth information to 2D image, and it is applied in various fields such as communication, game, medical, and broadcasting by providing realism and reality as if seeing the real thing in the field. have.
  • Methods of implementing a 3D image using binocular disparity include a method of wearing glasses and a method of using a device having a lenticular lens, a barallax barrier, a barallax illumination, and the like without wearing the glasses.
  • the present invention is to provide a graphic screen processing method and apparatus for outputting graphic screens such as subtitles and menus in three dimensions.
  • FIG. 1 is a diagram illustrating metadata for a graphic stream according to an embodiment of the present invention.
  • FIG. 2 is an internal block diagram of a playback apparatus 200 according to an exemplary embodiment.
  • FIG. 3 is a diagram illustrating a player setting register, which is a memory inside the playback device 200 of FIG. 2.
  • FIG. 4 is a block diagram illustrating an apparatus for processing a graphics stream according to an exemplary embodiment.
  • FIG. 5 is a block diagram illustrating an apparatus for processing a graphics stream according to another exemplary embodiment.
  • FIG. 6 is a block diagram illustrating an apparatus for processing a graphics stream according to another exemplary embodiment.
  • FIG. 7 is a diagram for describing configuration information generated when the graphic screen generation reference information included in metadata is used.
  • FIG. 8 is a flowchart illustrating a graphic stream processing method according to an embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating a graphic stream processing method according to another embodiment of the present invention.
  • the method comprises extracting 3D Capability information from a player setting register in a playback device that performs the graphic stream processing method and having a separate depth value for each graphic object using the 3D Capability information. Determining whether 3D can be reproduced in 3D, or whether the graphic screen can be reproduced in 3D by having the same depth value on the graphic screen, wherein generating the 3D configuration information includes: Obtaining a position shift value for each graphic object by using the metadata when it is determined that the graphic screen can be reproduced in three dimensions by having a separate depth value for each graphic object using; Converting an object position value included in the two-dimensional configuration information into a value spaced to a left and a right by a predetermined distance using the position shift value; And generating left eye configuration information for generating a left eye graphic screen including the converted position value and right eye configuration information for generating a right eye graphic screen, respectively.
  • the calculating of the position shift value of the graphic object may include extracting an object depth value to be applied to each graphic object from the metadata and obtaining a position shift value of the graphic object using the object depth value. Can be.
  • the generating of the 3D configuration information may include generating the 3D configuration information by adding the hole compensation information included in the metadata to the left eye configuration information and the right eye configuration information, respectively. have.
  • the hole compensation information may include hole area identification information and color reference information.
  • the outputting of the graphic object on the 3D screen may be performed by arranging each of the graphic objects at the converted position using the 3D configuration information and applying the color referred to by the color reference information to the hole area. And generating the left eye graphic screen and the right eye graphic screen, respectively.
  • the hole compensation information may include one or more of hole area identification information and a hole graphic object to be inserted into the identified hole area.
  • the outputting of the graphic object on the 3D screen may include: arranging each of the graphic objects at the converted position and arranging the hole graphic object in the hole area by using the 3D configuration information. And generating a graphic screen for the right eye, respectively.
  • graphic screen generation reference information indicating whether the graphic stream is generated based on the video image of the left eye video image, the right eye video image, and the 2D video image from the metadata It may include the step of extracting.
  • generating the 3D configuration information may include obtaining a position shift value of the graphic object using the metadata and using the position shift value. And converting the object position value included in the 2D configuration information to a left or right by a predetermined distance, and generating right eye configuration information for generating a right eye graphic screen including the converted position value. .
  • generating the 3D configuration information may include obtaining a position shift value of the graphic object using the metadata, and using the position shift value. Converting an object position value included in the two-dimensional configuration information to a left or right by a predetermined distance, and generating left eye configuration information for generating a left eye graphic screen including the converted position value. .
  • the method may further include extracting 3D Capability information from a player setting register in a playback device that performs a graphics stream processing method; And determining whether the graphic screen can be reproduced in three dimensions by having a separate depth value for each graphic object using the 3D capability information, or whether the graphic screen can be reproduced in three dimensions by having the same depth value.
  • the method may further include generating the 3D configuration information. If it is determined that the graphic screen can be reproduced in 3D by using the 3D capability information, the graphic screen may have the same depth value.
  • the outputting of the graphic object to the 3D screen may include alternately outputting the graphic screen to the left or right position by using the 3D configuration information.
  • a graphics processor for decoding a graphics stream to generate a graphic object, two-dimensional configuration information and color information, and the three-dimensional configuration information from the two-dimensional configuration information using the metadata for the graphics stream.
  • the apparatus may include a graphic stream processing apparatus including a depth processing unit to generate, a graphic screen output unit configured to output the graphic object to a 3D screen using the 3D configuration information and the color information.
  • a graphic stream and metadata for the graphic stream includes a graphic object, two-dimensional configuration information and color information
  • the metadata is a graphic object identification information, One of a depth value and a position shift value of the graphic object, and hole compensation information
  • the metadata is used to generate three-dimensional configuration information for outputting the graphic object on a three-dimensional screen from the two-dimensional configuration information.
  • decoding the graphics stream to generate a graphic object decoding the graphics stream to generate two-dimensional configuration information and color information, using the metadata for the graphics stream Generating a 3D configuration information from the 2D configuration information and outputting the graphic object to a 3D screen using the 3D configuration information and the color information.
  • a computer-readable recording medium stored therein can be provided.
  • the 3D Capability information to have a separate depth value for each graphic object, whether the graphics screen can be reproduced in three dimensions, or to have the same depth value in the graphics screen three-dimensional
  • a computer-readable recording medium having stored thereon a program for executing a graphics stream processing method comprising the step of determining whether or not reproduction can be performed.
  • a graphics stream comprising: And metadata for the graphic stream for playing the graphic stream on a 3D graphic screen, wherein the metadata for the graphic stream includes depth information on a graphic object and depth information on a graphic screen,
  • the depth information of the graphic object may provide a computer-readable recording medium including a graphic object identifier, one of a depth value and a position movement value of the graphic object, and hole compensation information.
  • the 3D Capability information may provide a graphics stream processing method comprising the step of determining whether it can be played back.
  • the graphics stream processing apparatus including a graphics decoder for determining whether or not reproduction is possible.
  • the metadata according to an embodiment of the present invention includes information on a graphic stream.
  • a depth In order to give a 3D effect to a 2D image, a depth must be given to the 2D image.
  • Parallax is divided into positive parallax, zero parallax, and negative parallax.
  • Positive parallax refers to the parallax when the image is inside the screen and when the parallax is less than or equal to the distance between eyes. The larger the parallax value, the more stereoscopic the image appears to be than the screen.
  • the parallax is zero when the image is formed in two dimensions on the screen plane. If the parallax is zero, the image is formed on the screen plane so that the user does not feel a three-dimensional effect.
  • Negative parallax refers to the parallax when the image is in front of the screen and occurs when the line of sight intersects, giving a stereoscopic feeling as if an object is popping out.
  • the video stream can be played along with the graphics stream.
  • the graphics stream includes a presentation graphic stream for providing subtitles, an interactive graphic stream for providing a menu comprising buttons for interacting with a user, and Java. It may include one or more of the graphical overlay displayed by the same program element.
  • the graphic stream reproduced together with the video stream may also be reproduced in 3D.
  • the present invention discloses data containing information for reproducing a graphic stream in three dimensions as a stream separate from the graphic stream, which can be metadata for the graphic stream.
  • the metadata about the graphic stream may include object output time information indicating a time when graphic objects included in the graphic stream should be output and depth information on the graphic object.
  • the graphic object represents one button or subtitle included in the graphic screen displayed by the graphic stream.
  • the graphic object output time information may indicate a menu or subtitle, that is, a time when the graphic object should be output, and may be represented by a presentation time stamp (PTS) value such as ICS, PCS, or DPS.
  • PTS presentation time stamp
  • the graphic screen displayed by the graphic stream includes one or more graphic objects representing menus, buttons, subtitles, and the like.
  • a separate depth value may be assigned to each of the plurality of graphic objects, or one same depth value may be assigned to the graphic screen itself including the graphic object. May be granted.
  • information for assigning a separate depth value to each of the plurality of graphic objects included in the graphic screen is called depth information for the graphic object, and differently, the same depth value is used for the graphic screen including the graphic object.
  • Information for assigning the symbol to the graphics screen is called depth information.
  • the metadata about the graphic stream may include one or more of depth information on the graphic object and depth information on the graphic screen.
  • the depth information about the graphic object includes an object identifier for identifying the graphic object, a depth value / position shift value to be applied to the graphic object, and hole compensation information.
  • the object identifier is information for identifying a specific graphic object among graphic objects generated by decoding the graphic stream.
  • the depth value / position moving value is a value for moving the position of the graphic object on the screen according to the depth value or the depth value to be given to the object identified by the object identifier.
  • the hole compensation information is information for compensating for holes in the original object position when the position of the graphic object is changed by the position shift value in order to give a three-dimensional effect to the graphic object.
  • Hole area identification information for identifying the area of the hole
  • color reference information indicating a type of color to fill the identified area.
  • the hole compensation information may include information about a picture to be inserted into the hole area instead of the color reference information.
  • the hole compensation information may include a hole object to be inserted into the hole area and hole configuration information for indicating a position or an output time of the hole object.
  • the metadata for the graphic stream may further include graphic screen generation reference information.
  • graphic screen generation reference information In order to reproduce one 2D image as a 3D image, a left eye image and a right eye image in which left and right images are biased by a distance according to a depth value from one 2D image, and the two images are alternately displayed. Should be printed on If the graphic stream is generated for the 2D image, there is no problem. However, if the graphic stream is generated for the left eye image or the right eye image, the image processing apparatus (not shown) may generate the graphic for the left eye image. Only the left eye image may be generated using the stream or the left eye image may be generated using the graphic stream generated for the right eye image.
  • the metadata should inform the image processing apparatus whether the graphic stream is generated for a 2D image, a left eye image, or a right eye image.
  • the metadata may include graphic screen generation reference information, which is information indicating whether a graphic stream is for generating a left eye graphic screen, a right eye graphic screen, or a flat graphic screen.
  • the playback apparatus 200 includes a first read buffer 210, a second read buffer 220, a first video decoder 230, a second video decoder 240, a graphic decoder 250, A left eye video screen buffer 260, a right eye video screen buffer 270, a left eye graphic screen buffer 280, a right eye graphic screen buffer 290, and a switch 300 are included.
  • the first read buffer 210 reads a video stream and a graphic stream from a medium such as a disc inserted in the playback device 200.
  • the graphics stream may include one or more of a presentation graphics stream, an interactive graphics stream, and a graphical overlay.
  • the first read buffer 210 also reads and stores the metadata for the graphics stream from the medium. If the metadata for the graphics stream is not multiplexed with the video stream, the graphics stream and is stored on the media as a separate stream, the second read buffer 220 reads the metadata for the graphics stream from the media and reproduces it. (200) It is preloaded into the internal storage memory.
  • the first video decoder 230 and the second video decoder 240 decode a stereoscopic video stream, respectively. That is, the first video decoder 230 decodes the left eye video stream, and the second video decoder 240 decodes the right eye video stream.
  • the left eye video screen buffer 260 stores the left eye video screen decoded from the left eye video stream
  • the right eye video screen buffer 270 stores the right eye video screen decoded from the right eye video stream. .
  • the graphics decoder 250 interprets metadata about the graphics stream to decode the graphics stream.
  • the graphic decoder 250 extracts one of the depth information of the graphic object and the depth information of the graphic screen from the metadata of the graphic stream. Whether the graphic decoder 250 extracts the depth information for the graphic object from the metadata for the graphic stream or the depth information for the graphic screen depends on how the playback apparatus 200 reproduces the graphic stream in three dimensions. Depends on.
  • the playback apparatus 200 may include a memory such as a register.
  • the memory may store information indicating whether the reproduction apparatus 200 can reproduce the graphic stream in three dimensions.
  • a flag indicating how the reproduction apparatus 200 reproduces the graphic stream in three dimensions may be stored.
  • 3D capability information when the reproduction apparatus 200 can reproduce the graphics stream in three dimensions, a flag indicating how the reproduction apparatus 200 reproduces the graphics stream in three dimensions will be referred to as 3D capability information.
  • the 3D Capability information may be reproduced in three dimensions by allowing the playback apparatus 200 to have a different depth value for each graphic object so that the graphics stream can be reproduced in three dimensions or the same depth value is assigned to the entire graphic screen. It contains a flag to indicate whether it is present.
  • the graphic decoder 250 reproduces the graphics stream in two dimensions. That is, the graphic decoder 250 draws the same graphic screen in the left eye graphic screen buffer 280 and the right eye graphic screen buffer 290 or among the left eye graphic screen buffer 280 and the right eye graphic screen buffer 290. The graphic screen is reproduced in two dimensions by drawing the graphic screen in only one buffer.
  • the reproduction apparatus 200 determines whether both the left eye graphics stream and the right eye graphics stream are included in a medium such as a disc. If the disc does not contain a graphic stream divided into a left eye graphic stream and a right eye graphic stream, and only one graphic stream is included, the graphic decoder 250 depths the graphic screen from metadata about the graphic stream. Information is extracted and a graphic screen having the depth of the extracted depth information is generated using the extracted depth information and the graphic stream. That is, the graphic decoder 250 obtains the position shift value corresponding to the depth value to be applied to the entire graphic screen using the depth information of the graphic screen, and the graphic screen for the left eye mapped to the position where the graphic screen is moved by the position shift value. And the right eye graphic screen are drawn in the left eye graphic screen buffer 280 and the right eye graphic screen buffer 290, respectively. In this case, the generated graphic screen has the same depth value in the entire graphic screen.
  • the graphics decoder 250 extracts 3D Capability information from the memory to determine how the reproduction apparatus 200 can reproduce the graphics stream in three dimensions. That is, the graphic decoder 250 reproduces the graphic stream in three dimensions by using the flag included in the 3D Capability information so that the playback device 200 applies a separate depth value to each of the plurality of graphic objects included in the graphic screen. Whether or not the graphics stream can be reproduced in three dimensions by applying the same depth value to the entire graphics screen.
  • the graphic decoder. 250 extracts depth information about a graphic object from metadata about the graphic stream and decodes the left eye graphic stream and the right eye graphic stream using the same to apply a separate depth value to each graphic object included in the graphic screen.
  • the graphic screen for the right eye and the graphic screen for the right eye are drawn in the left eye graphic screen buffer 280 and the right eye graphic screen buffer 290, respectively.
  • the graphic decoder 250 may determine the graphic stream. Depth information about the graphic screen is extracted from the metadata, and a position shift value for obtaining the same depth value is applied to the entire graphic screen using the same, and the left eye graphic screen mapped to the position where the graphic screen is moved by the position shift value And the right eye graphic screen are drawn in the left eye graphic screen buffer 280 and the right eye graphic screen buffer 290, respectively.
  • the switch 300 alternately continuously outputs the left eye video screen and the right eye video screen stored in the left eye video screen buffer 260 and the right eye video screen buffer 270. In addition, the switch 300 sequentially outputs the left eye graphic screen and the right eye graphic screen stored in the left eye graphic screen buffer 280 and the right eye graphic screen buffer 290.
  • 2 includes two graphic screen buffers, that is, a left eye graphic screen buffer 280 and a right eye graphic screen buffer 290, but the present invention is not limited thereto.
  • 200 may include only one graphic screen buffer. If the playback apparatus 200 does not have a function of playing a graphic stream in three dimensions, only one graphics screen buffer may be included in the playback apparatus 200. In this case, the graphic decoder 250 may draw the graphic screen in one graphic screen buffer so that the graphic screen is reproduced in two dimensions.
  • the playback apparatus 200 may reproduce the graphic screen in three dimensions by assigning the same depth value to the entire graphic screen.
  • the graphic decoder 250 obtains a position shift value to which the entire graphic screen should move left and right by using depth information of the graphic screen, and moves the position left and right of the graphic screen buffer by the calculated position shift value. Alternately draw graphic screens. At this time, the graphic screen reproduced by the reproduction device 200 is given the same depth value to the entire graphic screen.
  • the playback apparatus applies the same depth value to the entire graphic screen by using the 3D capability information stored in the player setting register inside the playback device to reproduce the graphic stream in three dimensions or to the graphic screen. It is possible to determine whether to reproduce the graphic stream in three dimensions by applying a separate depth value for each of a plurality of included objects.
  • FIG. 3 is a diagram illustrating a player setting register, which is a memory inside the playback device 200 of FIG. 2.
  • the memory inside the playback device 200 may include a player setting register and a playback status register.
  • the playback status register is a register whose value is stored in accordance with the playback state of the playback device 200.
  • the player setting register is a register whose contents in the register cannot be changed through a navigation command or an API command in the disk.
  • the player setting register stores values set when the playback apparatus 200 is released.
  • the player setting register inside the playback apparatus 200 may store information indicating whether the playback apparatus 200 can reproduce the graphic stream in three dimensions.
  • the player setting register may store 3D Capability information indicating how the playback apparatus 200 can play the graphic stream in three dimensions.
  • 3D capability information is set in 2 bits of all 32 bits of the player setting register, for example, "b0" and "b1" bits.
  • the 3D capability information may include flags indicating how the graphics stream is to be played in three dimensions, and how each graphics stream is played in three dimensions for each graphics stream, i.e. for each of the interactive graphics stream and the presentation graphics stream.
  • a flag may be included indicating whether or not.
  • the 3D capability information includes a flag indicating that the playback apparatus 200 can play the graphic stream in three dimensions by having a separate depth value for each of the plurality of graphic objects included in the graphics screen, and the playback apparatus 200 displays the graphics screen.
  • One of the flags indicating that the graphic stream can be reproduced in three dimensions by giving the same depth value to all of them may be included.
  • the playback device 200 can display the graphics screen from the metadata. Depth information about is extracted and the graphic screen is reproduced using the depth information.
  • the graphic decoder 250 may perform a meta Depth information about the graphic object is extracted from the data, and the graphic screen is reproduced in three dimensions using the depth information.
  • the graphic decoder 250 identifies each of the plurality of graphic objects included in the graphic stream by using the object identifier included in the depth information of the graphic object, and uses the depth value or the position shift value to be assigned to each identified object. The position where each graphic object is to be mapped on the left eye graphic screen and the right eye graphic screen is obtained.
  • the depth value or the position movement value may vary for each graphic object.
  • the graphic decoder 250 generates a left eye graphic screen and a right eye graphic screen by shifting positions to be separate for each graphic object, and outputs them alternately. At this time, the graphic screen reproduced by the reproduction device 200 is given a separate depth value for each object included in the graphic screen.
  • the player setting register inside the playback device includes information indicating whether the playback device supports the playback of the graphics stream in three dimensions, and / or in some way the graphics stream in three dimensions.
  • 3D capability information including a flag indicating whether to play is stored.
  • the graphic stream processing apparatus includes a graphic decoder 410, a left eye graphic screen buffer 420, a right eye graphic screen buffer 430, and a color look-up table (CLUT) 440.
  • the graphics decoder 410 may include a coded data buffer 411, a graphics processor 412, an object buffer 413, and a coded depth buffer 414. ), A depth processor 415, a composition buffer 416, and a graphics controller 417.
  • a graphic stream to be decoded is recorded.
  • the graphics processor 412 decodes the graphics stream recorded in the coded data buffer 411 to generate one or more graphic objects, two-dimensional configuration information, and color information.
  • the graphic processor 412 sends a graphic object for an image such as a button or a subtitle to the object buffer 413.
  • a graphic object for an image such as a button or a subtitle
  • the object buffer 413 stores two graphic objects, a smiley figure and a square figure.
  • the graphics processor 412 sends the two-dimensional configuration information and the color information to the configuration buffer 416.
  • the two-dimensional configuration information is information used when the graphic objects are arranged on the screen in two dimensions and is used to control the screen output of the graphic object.
  • the coded depth buffer 414 contains metadata for the graphics stream.
  • a player setting register is included in the graphic stream processing apparatus of FIG. 4, and the player setting register includes 3D capability information indicating how the graphic stream processing apparatus can reproduce the graphic stream in three dimensions. It is stored.
  • the graphic stream processing apparatus may apply the same depth value to the entire graphic screen using 3D capability information to reproduce the graphic stream in three dimensions, or apply a separate depth value to each object included in the graphic screen to implement the graphic stream. It is judged whether or not reproduction can be performed in three dimensions.
  • the graphic stream processing apparatus may determine the object from the metadata for the graphic stream.
  • the output stream information and the depth information of the graphic object are extracted to reproduce the graphic stream in three dimensions.
  • the depth processor 415 extracts and interprets the depth information of the graphic stream from metadata stored in the coded depth buffer 414.
  • the depth information for the graphic object includes an object identifier, a depth value to be assigned to the object identified by the object identifier, or a position shift value.
  • the depth processor 415 identifies one of the plurality of graphic objects included in the graphic stream using the object identifier included in the depth information about the graphic object.
  • the depth processor 415 uses the position shift value included in the depth information on the graphic object included in the metadata to determine the position value of the graphic object included in the two-dimensional configuration information on the identified graphic object. It converts to right by a predetermined distance.
  • the depth processor 415 uses the depth value to obtain a position to which the graphic object is to be mapped on the left eye graphic screen and the right eye graphic screen, and the position to be mapped and the current The position shift value of the graphic object is obtained using the difference in the position of the graphic object.
  • the depth processor 415 generates configuration information for the left eye in which the position value of the graphic object is converted by a predetermined distance to the left or right of the original position. In addition, the depth processor 415 generates configuration information for the right eye in which the position value of the graphic object is converted by a predetermined distance to the left or right of the original position.
  • the left eye configuration information and the right eye configuration information are configuration information for generating the left eye and right eye graphic screens and arranging them on the screen, respectively.
  • the depth processor 415 extracts and interprets the hole compensation information from the metadata to fill the hole area generated as the position of the graphic object changes.
  • the hole compensation information includes hole area identification information for identifying the hole area and color reference information indicating which color to fill the hole area with.
  • the depth processor 415 generates the 3D configuration information by including the hole compensation information in each of the left eye configuration information and the right eye configuration information.
  • the three-dimensional configuration information is information for arranging the graphic object on the screen in three dimensions, and is a value obtained by converting a position value of the graphic object in the two-dimensional configuration information and includes hole compensation information.
  • the depth processor 415 stores the generated 3D configuration information in the configuration buffer 416.
  • the graphic controller 417 detects a presentation time stamp (PTS) to which the graphic object is to be output using the object output time information included in the metadata.
  • PTS presentation time stamp
  • the graphic controller 417 reads the graphic object stored in the object buffer 413 and outputs it to the screen using the 3D configuration information stored in the configuration buffer 416.
  • the images are transferred to and arranged in the left eye graphic screen buffer 420 and the right eye graphic screen buffer 430.
  • the graphic controller 417 transmits the color information to the color look-up table (CLUT) 440 to construct a graphic object on the screen. At this time, the graphic controller 417 uses the hole compensation information to fill the hole area with the color referenced by the color reference information in the CLUT.
  • CLUT color look-up table
  • three-dimensional configuration information may be generated by using two-dimensional configuration information on the graphic object, and the graphic object may be output on the screen in three dimensions by using the three-dimensional configuration information. have.
  • the graphic stream processing apparatus includes a graphic decoder 510, a left eye graphic screen buffer 520, a right eye graphic screen buffer 530, and a color look-up table (CLUT) 540.
  • the graphic decoder 510 includes a coded data buffer 511, a graphics processor 512, an object buffer 513, and a coded depth buffer 514. ), A depth processor 515, a composition buffer 516, a graphics controller 517, and an occlusion buffer 518.
  • the graphic stream processing apparatus of FIG. 5 is distinguished from the graphic stream processing apparatus of FIG. 4 in that other components are the same but further include a hole compensation information buffer 518 in the graphic decoder 510. Since other blocks perform the same operations as those of the graphic stream processing apparatus of FIG. 4, the following description will focus on functions distinguishing from the graphic stream processing apparatus of FIG. 4.
  • a player setting register inside the graphic stream processing apparatus includes information indicating whether the graphic stream processing apparatus can play the graphic stream in three dimensions and / or play the graphic stream in three dimensions in some way.
  • 3D capability information indicating whether or not to be included is included.
  • the graphic stream processing apparatus may apply the same depth value to the entire graphic screen using 3D capability information to reproduce the graphic stream in three dimensions, or apply a separate depth value to each object included in the graphic screen to implement the graphic stream. It is judged whether or not reproduction can be performed in three dimensions.
  • the graphic stream processing apparatus may determine the object from the metadata for the graphic stream. Extraction time information and depth information about the graphic object are extracted.
  • the graphic stream processing apparatus of FIG. 5 uses metadata including the hole object and the hole configuration information as the hole compensation information.
  • the graphics processor 512 decodes the graphics stream recorded in the coded data buffer 511 to generate one or more graphic objects, two-dimensional configuration information, and color information, and stores the two-dimensional configuration information and color information in the configuration buffer 516. ) And the graphic object to the object buffer 513.
  • the depth processor 515 extracts and interprets the hole compensation information from the metadata to fill the hole area generated as the position of the graphic object changes. As described above, the hole compensation information in FIG. 5 includes a hole object and hole area information. The depth processor 515 sends the decoded hall object to the hole compensation information buffer 518.
  • the depth processor 515 analyzes the metadata to obtain an object identifier and a depth value / position shift value to be assigned to the identified object.
  • the depth processor 515 converts the position value of the object in the two-dimensional configuration information decoded by the graphics processor 512 using the depth value / position movement value.
  • the depth processor 515 generates left eye configuration information and right eye configuration information, respectively, including two-dimensional configuration information and hole region identification information obtained by converting a position value of an object.
  • the graphic controller 517 reads the graphic object and the hole object from the object buffer 513 and the hole compensation information buffer 518 in order to display the left / right eye image when the 3D graphic object is to be outputted.
  • the left eye configuration information and the right eye configuration information are applied to the graphic object and the hole object, respectively, and are arranged in the graphic screen buffers 520 and 530 for the left eye and the right eye, respectively, and then the specified color is applied through the CLUT 540. .
  • the graphic stream processing apparatus includes a graphic decoder 610, a graphic picture buffer 620, a color look-up table (CLUT) 630, and a switch 640.
  • a graphic decoder 610 e.g., a graphic picture buffer 620, a color look-up table (CLUT) 630, and a switch 640.
  • coded data buffers 611 e.g., graphics processors 612, object buffers 613, coded depth buffers 614, depth processors.
  • (Depth Processor) 615, Composition Buffer (616) and Graphics Controller (Graphics Controller) 617 e.g., Composition Buffer (616)
  • Graphics Controller Graphics Controller
  • 3D capability information indicating whether or not to be included is included.
  • the graphic stream processing apparatus may apply the same depth value to the entire graphic screen using 3D capability information to reproduce the graphic stream in three dimensions, or apply a separate depth value to each object included in the graphic screen to implement the graphic stream. It is judged whether or not reproduction can be performed in three dimensions.
  • the graphic stream processing apparatus of FIG. 6 includes only one graphic screen buffer 620, the graphic stream processing apparatus applies the same depth value to the entire graphic screen to the 3D capability information stored in the placer setting register inside the graphic stream processing apparatus. To include a flag indicating that the graphic stream can be reproduced in three dimensions.
  • the graphic stream processing apparatus extracts depth information of a graphic screen instead of depth information of a graphic object from metadata and reproduces the graphic stream in three dimensions.
  • the depth information on the graphic screen is information for giving the same depth value to the entire screen on which the graphic object is output.
  • the metadata may include both depth information about the graphic object and depth information about the graphic screen.
  • the metadata stream processing apparatus of FIG. Likewise, the left eye graphic screen and the right eye graphic screen cannot be generated and stored in the graphic screen buffer. Instead, the graphic stream processing apparatus of FIG.
  • the graphics processor 612 decodes a graphics stream recorded in the coded data buffer 611 to generate graphic objects, two-dimensional configuration information, and color information, and the two-dimensional configuration information and color information to the configuration buffer 616. And a graphic object to the object buffer 613.
  • the depth processor 615 extracts depth information about a graphic screen instead of depth information about a graphic object and sends it to the configuration buffer 616.
  • depth information of a graphic screen is represented as Master Shift (Depth).
  • the depth processor 615 uses the depth value of the graphic screen or the position shift value of the graphic screen included in the depth information of the graphic screen to move the graphic screen to the left and right in order to reproduce the graphic screen in three dimensions. Find the distance.
  • the depth processor 615 generates three-dimensional configuration information including two-dimensional configuration information, depth information about a graphic screen, and color information, and stores the three-dimensional configuration information in the configuration buffer 616.
  • the graphic controller 617 reads the graphic object from the object buffer 613 when the 3D graphic object is to be output, and arranges the graphic information in the graphic screen buffer 620 by applying configuration information to the graphic object. Apply the specified color through 540.
  • the graphic controller 617 sends the graphic screen shift value obtained using the depth information on the graphic screen to the switch 640.
  • the switch 640 alternately outputs the left eye graphic screen and the right eye graphic screen so that the graphic screen is sprinkled alternately on the positions shifted to the left and right sides of the screen by the graphic screen shift value.
  • the display device must play the screen at a frame rate of at least 60 Hz so that the viewer recognizes that the images are played sequentially without interruption. Since the 3D image is generated by combining images input through both left and right eyes, the display device must output a screen at a frame rate of at least 120 Hz in order for the viewer to recognize that the 3D image is seamlessly reproduced. This means that when the left and right images are sequentially displayed in units of 1/120 second, the user sees the screen and recognizes the 3D image. Therefore, the switch 640 outputs the left eye graphic screen and the right eye graphic screen in units of 1/120 seconds, so that the graphic screen can be reproduced in three dimensions.
  • FIG. 7 is a diagram for describing configuration information generated when the graphic screen generation reference information included in metadata is used.
  • the description has been made on the assumption that the graphic stream has been produced based on the center of the video image as in the prior art, and thus generates the left and right eye graphic screens by the depth value or the position shift value.
  • the author may generate metadata for the graphic screen based on the left eye (or right eye) video image, that is, the metadata for the left eye graphic screen may be generated.
  • FIG. 7 a graphic indicating whether the graphic stream is a left eye graphic stream generated for a left eye video image, a right eye graphic stream generated according to a right eye video image, or is created based on a two-dimensional video image as in the related art.
  • the screen generation reference information is further included in the metadata and the configuration information is generated by using the graphic screen generation reference information included in the metadata.
  • FIG. 7A illustrates a case where a graphic stream is created based on the center of a 2D video image.
  • the depth processor Like the depth processor 415 of FIG. 4, the depth processor generates a left eye configuration information and a right eye configuration information by applying a position shift value or a depth value for each graphic object and stores them in a configuration buffer.
  • FIG. 7B illustrates a case where a graphic stream is created based on a left eye video image.
  • the depth processor since the two-dimensional configuration information of the graphic object included in the graphics stream is the same as the left eye configuration information, the depth processor only needs to generate the right eye configuration information.
  • the depth processor generates the right eye configuration information by applying the depth value / position shift value for each object and stores the right eye configuration information generated along with the left eye configuration information decoded by the graphics processor in the configuration buffer.
  • FIG. 7C illustrates a case where a graphic stream is created based on a right eye video image.
  • the depth processor since the two-dimensional configuration information of the graphic object included in the graphics stream is the same as the configuration information for the right eye, the depth processor only needs to generate the configuration information for the left eye.
  • the depth processor generates left eye configuration information by applying a depth value / position shift value for each object and stores the generated left eye configuration information together with the right eye configuration information decoded by the graphic processor in a configuration buffer.
  • FIG. 8 is a flowchart illustrating a graphic stream processing method according to an embodiment of the present invention.
  • the apparatus for processing a graphics stream decodes the graphics stream to generate a graphic object, two-dimensional configuration information, and color information (step 810).
  • the graphic stream processing apparatus generates 3D configuration information from the 2D configuration information by using metadata about the graphic stream (step 820). To this end, the graphic stream processing apparatus obtains the position shift value of the graphic object using metadata, and converts the position value obtained by converting the object position value included in the 2D configuration information to the left and right by a predetermined distance using the position shift value. Each configuration includes left eye configuration information and right eye configuration information. In addition, the graphic stream processing apparatus generates the 3D configuration information by adding the hole compensation information included in the metadata to each of the left eye configuration information and the right eye configuration information. The graphic stream processing apparatus outputs the graphic object to the 3D screen by using the 3D configuration information and the color information (step 830).
  • the graphics stream processing apparatus extracts 3D Capability information from the player setting resist (step 910).
  • the 3D Capability information is information indicating how the graphics stream processing apparatus reproduces the graphics stream in three dimensions.
  • the graphic stream processing apparatus has a different depth value for each graphic object so that a flag or a graphic stream processing apparatus is provided with the same depth value for the entire graphic screen, indicating that the graphic stream can be reproduced in three dimensions.
  • One of the flags indicating that the graphics stream can be reproduced in three dimensions may be included.
  • the graphic stream processing apparatus determines whether the 3D Capability information includes a flag indicating that the graphic stream processing apparatus can reproduce the graphic stream in three dimensions by having different depth values for each graphic object (step 920).
  • the graphic stream processing apparatus is determined from metadata about the graphic stream.
  • the left eye graphic screen and the right eye extracting depth information of the graphic object and using the object identifier, the depth value or the position shift value, and the hole compensation information included in the depth information of the graphic object to have different depth values for each graphic object.
  • a graphics screen is generated and alternately outputted so that the graphics stream is reproduced in three dimensions (step 930).
  • the graphic stream processing apparatus When the 3D Capability information does not include a flag indicating that the graphic stream processing apparatus can play the graphic stream in three dimensions by having different depth values for each graphic object, that is, the graphic stream processing apparatus is displayed on the entire graphic screen.
  • the graphic stream processing apparatus extracts depth information about the graphic screen from metadata about the graphic stream. Using this, the graphic screen is reproduced in three dimensions so as to have the same depth value (step 940). So far I looked at the center of the preferred embodiment for the present invention.
  • the present invention can be implemented in a modified form without departing from the essential features of the present invention. Therefore, the disclosed embodiments should be considered in descriptive sense only and not for purposes of limitation. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope will be construed as being included in the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

3D Capability정보를 이용하여 그래픽 오브젝트 별로 별개의 뎁쓰 값을 갖도록 하여 그래픽 화면을 3차원으로 재생할 수 있는지, 또는 그래픽 화면에 동일한 뎁쓰 값을 갖도록 하여 그래픽 화면을 3차원으로 재생할 수 있는지를 판단하는 그래픽 스트림 처리 방법이 개시된다.

Description

그래픽 화면 처리 방법 및 장치
본 발명은 그래픽 화면 처리 방법 및 장치에 대한 것으로, 보다 구체적으로 자막이나 메뉴 등을 포함하는 그래픽 화면을 3차원 영상으로 출력하는 그래픽 화면 처리 방법 및 장치에 대한 것이다.
디지털 기술의 발달로 3차원 영상 기술이 널리 보급되고 있다. 3차원 영상 기술은 2차원 영상에 깊이에 대한 정보를 부여하여 보다 사실적인 영상을 표현하는 기술로서 현장에서 실물을 보는 듯한 사실감, 현실감을 제공하여 통신, 게임, 의료, 방송 등 다양한 분야에서 응용되고 있다.
사람의 눈은 가로 방향으로 소정 거리만큼 떨어져 있으므로 좌안과 우안이 보는 2차원 영상이 서로 다른데 이를 양안시차라고 한다. 뇌는 서로 다른 두 개의 2차원 영상을 융합하여 원근감과 실재감이 있는 3차원 영상을 생성한다. 양안시차를 이용하여 3차원 영상을 구현하는 방법에는 안경을 착용하는 방법과, 안경을 착용하지 않고 렌티큘라 렌즈(lenticular lens), barallax barrier, barallax illumination 등이 구비된 장치를 이용하는 방법이 있다.
본 발명은 자막이나 메뉴 등의 그래픽 화면을 3차원으로 출력하기 위한 그래픽 화면 처리 방법 및 장치를 제공하기 위한 것이다.
본 발명에 따르면 자막이나 메뉴 등의 그래픽 화면을 3차원으로 출력할 수 있는 그래픽 화면 처리 방법 및 장치를 제공할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 그래픽 스트림에 대한 메타데이터를 도시한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 재생 장치(200)의 내부 블록도이다.
도 3은 도 2의 재생 장치(200) 내부의 메모리인 플레이어 세팅 레지스터(Player Setting Register)를 도시한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 그래픽 스트림 처리 장치를 나타낸 블록도이다.
도 5는 본 발명의 다른 실시 예에 따른 그래픽 스트림 처리 장치를 나타낸 블록도이다.
도 6은 본 발명의 또 다른 실시 예에 따른 그래픽 스트림 처리 장치를 나타낸 블록도이다.
도 7은 메타데이터에 포함된 그래픽 화면 생성 기준 정보를 이용할 경우 생성되는 구성 정보를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시 예에 따른 그래픽 스트림 처리 방법을 도시한 순서도이다.
도 9는 본 발명의 다른 실시 예에 따른 그래픽 스트림 처리 방법을 도시한 순서도이다.
상기 과제를 해결하기 위해 본 발명의 일 측면에 따르면, 그래픽 스트림을 디코딩하여 그래픽 오브젝트를 생성하는 단계, 상기 그래픽 스트림을 디코딩하여 2차원 구성 정보 및 색상 정보를 생성하는 단계, 상기 그래픽 스트림에 대한 메타데이터를 이용하여 상기 2차원 구성 정보로부터 3차원 구성 정보를 생성하는 단계 및 상기 3차원 구성 정보 및 상기 색상 정보를 이용하여 상기 그래픽 오브젝트를 3차원 화면으로 출력하는 단계를 포함하는 그래픽 스트림 처리 방법을 제공할 수 있다.
바람직한 실시 예에서, 상기 방법은 상기 그래픽 스트림 처리 방법을 수행하는 재생 장치 내의 플레이어 세팅 레지스터로부터 3D Capability 정보를 추출하는 단계 및 상기 3D Capability정보를 이용하여 그래픽 오브젝트 별로 별개의 뎁쓰 값을 갖도록 하여 그래픽 화면을 3차원으로 재생할 수 있는지, 또는 그래픽 화면에 동일한 뎁쓰 값을 갖도록 하여 그래픽 화면을 3차원으로 재생할 수 있는지를 판단하는 단계를 더 포함하고, 상기 3차원 구성 정보를 생성하는 단계는 상기 3D Capability정보를 이용하여 그래픽 오브젝트 별로 별개의 뎁쓰 값을 갖도록 하여 그래픽 화면을 3차원으로 재생할 수 있다고 판단되면, 상기 메타데이터를 이용하여 각각의 그래픽 오브젝트별로 위치 이동 값을 구하는 단계; 상기 위치 이동 값을 이용하여 상기 2차원 구성 정보에 포함된 오브젝트 위치 값을 좌측 및 우측으로 소정 거리만큼 떨어진 값으로 변환하는 단계; 및 상기 변환된 위치 값을 각각 포함하는 좌안용 그래픽 화면 생성을 위한 좌안용 구성 정보 및 우안용 그래픽 화면 생성을 위한 우안용 구성 정보를 생성하는 단계를 포함할 수 있다.
또한, 상기 그래픽 오브젝트의 위치 이동 값을 구하는 단계는 상기 메타데이터로부터 각 그래픽 오브젝트에 적용될 오브젝트 뎁쓰 값을 추출하는 단계 및 상기 오브젝트 뎁쓰 값을 이용하여 상기 그래픽 오브젝트의 위치 이동 값을 구하는 단계를 포함할 수 있다.
또한, 상기 3차원 구성 정보를 생성하는 단계는 상기 좌안용 구성 정보 및 상기 우안용 구성 정보에 상기 메타데이터에 포함된 홀 보상 정보를 각각 추가하여 상기 3차원 구성 정보를 생성하는 단계를 포함할 수 있다. 또한, 상기 홀 보상 정보는 홀 영역 식별 정보 및 색상 참조 정보를 포함할 수 있다. 또한, 상기 그래픽 오브젝트를 3차원 화면으로 출력하는 단계는 상기 3차원 구성 정보를 이용하여, 상기 그래픽 오브젝트 각각을 변환된 위치에 배열하고 상기 홀 영역에 상기 색상 참조 정보에 의해 참조된 색상을 적용하여 상기 좌안용 그래픽 화면 및 상기 우안용 그래픽 화면을 각각 생성하는 단계를 포함할 수 있다.
또한, 상기 홀 보상 정보는 홀 영역 식별 정보, 상기 식별된 홀 영역에 삽입될 홀 그래픽 오브젝트 중 하나 이상을 포함할 수 있다. 또한, 상기 그래픽 오브젝트를 3차원 화면으로 출력하는 단계는 상기 3차원 구성 정보를 이용하여, 상기 그래픽 오브젝트 각각을 변환된 위치에 배열하고 상기 홀 영역에 상기 홀 그래픽 오브젝트를 배열하여 상기 좌안용 그래픽 화면 및 우안용 그래픽 화면을 각각 생성하는 단계를 포함할 수 있다. 또한, 상기 3차원 구성 정보를 생성하는 단계는 상기 메타데이터로부터 상기 그래픽 스트림이 좌안용 비디오 영상, 우안용 비디오 영상, 2차원 비디오 영상 중 어느 비디오 영상을 기준으로 작성된 것인지를 나타내는 그래픽 화면 생성 기준 정보를 추출하는 단계를 포함할 수 있다.
또한, 상기 그래픽 스트림이 좌안용 비디오 영상을 기준으로 작성된 경우, 상기 3차원 구성 정보를 생성하는 단계는 상기 메타데이터를 이용하여 상기 그래픽 오브젝트의 위치 이동 값을 구하는 단계, 상기 위치 이동 값을 이용하여 상기 2차원 구성 정보에 포함된 오브젝트 위치 값을 좌 또는 우로 소정 거리만큼 변환하는 단계 및 상기 변환된 위치 값을 포함하는 우안용 그래픽 화면 생성을 위한 우안용 구성 정보를 생성하는 단계를 포함할 수 있다.
또한, 상기 그래픽 스트림이 우안용 비디오 영상을 기준으로 작성된 경우, 상기 3차원 구성 정보를 생성하는 단계는 상기 메타데이터를 이용하여 상기 그래픽 오브젝트의 위치 이동 값을 구하는 단계, 상기 위치 이동 값을 이용하여 상기 2차원 구성 정보에 포함된 오브젝트 위치 값을 좌 또는 우로 소정 거리만큼 변환하는 단계 및 상기 변환된 위치 값을 포함하는 좌안용 그래픽 화면 생성을 위한 좌안용 구성 정보를 생성하는 단계를 포함할 수 있다.
또한, 상기 방법은 그래픽 스트림 처리 방법을 수행하는 재생 장치 내의 플레이어 세팅 레지스터로부터 3D Capability 정보를 추출하는 단계; 및 상기 3D Capability정보를 이용하여 그래픽 오브젝트 별로 별개의 뎁쓰 값을 갖도록 하여 그래픽 화면을 3차원으로 재생할 수 있는지, 또는 그래픽 화면이 동일한 뎁쓰 값을 갖도록 하여 그래픽 화면을 3차원으로 재생할 수 있는지를 판단하는 단계를 더 포함하고, 상기 3차원 구성 정보를 생성하는 단계는 상기 3D Capability정보를 이용하여 그래픽 화면이 동일한 뎁쓰 값을 갖도록 하여 그래픽 화면을 3차원으로 재생할 수 있다고 판단되면, 상기 메타데이터를 이용하여 상기 그래픽 오브젝트 전체가 출력될 그래픽 화면의 위치 이동 값을 구하는 단계, 상기 그래픽 화면의 위치 이동 값을 이용하여 상기 2차원 구성 정보에 포함된 오브젝트 위치 값을 좌 또는 우로 소정 거리만큼 변환하는 단계 및 상기 변환된 위치 값을 포함하는 3차원 구성 정보를 생성하는 단계를 포함할 수 있다.
또한, 상기 그래픽 오브젝트를 3차원 화면으로 출력하는 단계는 상기 3차원 구성 정보를 이용하여 상기 그래픽 화면이 상기 좌 또는 우로 변환된 위치에 교대로 출력되도록 하는 단계를 포함할 수 있다.
본 발명의 다른 측면에 따르면, 그래픽 스트림을 디코딩하여 그래픽 오브젝트, 2차원 구성 정보 및 색상 정보를 생성하는 그래픽 처리부, 상기 그래픽 스트림에 대한 메타데이터를 이용하여 상기 2차원 구성 정보로부터 3차원 구성 정보를 생성하는 뎁쓰 처리부, 상기 3차원 구성 정보 및 상기 색상 정보를 이용하여 상기 그래픽 오브젝트를 3차원 화면으로 출력하는 그래픽 화면 출력부를 포함하는 그래픽 스트림 처리 장치를 제공할 수 있다.
본 발명의 또 다른 측면에 따르면, 그래픽 스트림 및 상기 그래픽 스트림에 대한 메타데이터를 포함하고, 상기 그래픽 스트림은 그래픽 오브젝트, 2차원 구성 정보 및 색상 정보를 포함하고, 상기 메타데이터는 그래픽 오브젝트 식별 정보, 그래픽 오브젝트의 뎁쓰 값 및 위치 이동 값 중 하나, 그리고 홀 보상 정보를 포함하고, 상기 메타데이터는 상기 2차원 구성 정보로부터 상기 그래픽 오브젝트를 3차원 화면으로 출력하기 위한 3차원 구성 정보를 생성하는 데 사용되는 컴퓨터로 읽을 수 있는 기록 매체를 제공할 수 있다.
본 발명의 또 다른 측면에 따르면, 그래픽 스트림을 디코딩하여 그래픽 오브젝트를 생성하는 단계, 상기 그래픽 스트림을 디코딩하여 2차원 구성 정보 및 색상 정보를 생성하는 단계, 상기 그래픽 스트림에 대한 메타데이터를 이용하여 상기 2차원 구성 정보로부터 3차원 구성 정보를 생성하는 단계 및 상기 3차원 구성 정보 및 상기 색상 정보를 이용하여 상기 그래픽 오브젝트를 3차원 화면으로 출력하는 단계를 포함하는 그래픽 스트림 처리 방법을 실행하기 위한 프로그램을 저장한 컴퓨터로 판독 가능한 기록 매체를 제공할 수 있다.
본 발명의 또 다른 측면에 따르면, 3D Capability정보를 이용하여 그래픽 오브젝트 별로 별개의 뎁쓰 값을 갖도록 하여 그래픽 화면을 3차원으로 재생할 수 있는지, 또는 그래픽 화면에 동일한 뎁쓰 값을 갖도록 하여 그래픽 화면을 3차원으로 재생할 수 있는지를 판단하는 단계를 포함하는 그래픽 스트림 처리 방법을 실행하기 위한 프로그램을 저장한 컴퓨터로 판독 가능한 기록 매체를 제공할 수 있다.
본 발명의 또 다른 측면에 따르면, 그래픽 스트림; 및 상기 그래픽 스트림을 3차원 그래픽 화면으로 재생하기 위한, 상기 그래픽 스트림에 대한 메타데이터를 포함하고, 상기 그래픽 스트림에 대한 메타데이터는 그래픽 오브젝트에 대한 뎁쓰 정보 및 그래픽 화면에 대한 뎁쓰 정보를 포함하고, 상기 그래픽 오브젝트에 대한 뎁쓰 정보는 그래픽 오브젝트 식별자, 그래픽 오브젝트의 뎁쓰 값 및 위치 이동 값 중 하나, 그리고 홀 보상 정보를 포함하는 컴퓨터로 판독 가능한 기록 매체를 제공할 수 있다.
본 발명의 또 다른 측면에 따르면, 3D Capability정보를 이용하여 그래픽 오브젝트 별로 별개의 뎁쓰 값을 갖도록 하여 그래픽 화면을 3차원으로 재생할 수 있는지, 또는 그래픽 화면에 동일한 뎁쓰 값을 갖도록 하여 그래픽 화면을 3차원으로 재생할 수 있는지를 판단하는 단계를 포함하는 그래픽 스트림 처리 방법을 제공할 수 있다.
본 발명의 또 다른 측면에 따르면, 3D Capability 정보를 이용하여, 그래픽 오브젝트 별로 별개의 뎁쓰 값을 갖도록 하여 그래픽 화면을 3차원으로 재생할 수 있는지 또는 그래픽 화면이 동일한 뎁쓰 값을 갖도록 하여 그래픽 화면을 3차원으로 재생할 수 있는지를 판단하는 그래픽 디코더를 포함하는 그래픽 스트림 처리 장치를 제공할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 그래픽 스트림에 대한 메타데이터를 도시한 도면이다. 본 발명의 일 실시 예에 따른 메타데이터에는 그래픽 스트림에 대한 정보가 포함되어 있다. 2차원 영상에 입체감을 주기 위해서는 2차원 영상에 깊이감을 부여해야 한다. 사람이 화면을 볼 때, 화면에 투사된 영상이 두 눈에 맺히는 데, 눈에 맺힌 영상의 두 점 사이의 거리를 시차라고 한다. 시차는 양의 시차(positive parallax), 영의 시차(zero parallax), 음의 시차(negative parallax)로 구분된다. 양의 시차는 영상이 화면 안쪽에 맺히는 경우의 시차를 말하며 시차가 눈 사이의 거리와 같거나 그보다 작을 때를 말한다. 시차 값이 커질수록 영상이 화면보다 더 깊게 위치한 듯한 입체감을 준다.
영상이 화면 평면에 2차원으로 맺힌 경우의 시차는 0이 된다. 시차가 0인 경우, 영상이 화면 평면에 맺히므로 사용자는 입체감을 느끼지 못하게 된다. 음의 시차는 영상이 화면보다 앞쪽에 있는 경우의 시차를 말하고 시선이 교차할 때 발생하여 마치 물체가 튀어나와있는 듯한 입체감을 준다.
비디오 스트림은 그래픽 스트림과 함께 재생될 수 있다. 그래픽 스트림은 서브 타이틀을 제공하기 위한 프리젠테이션 그래픽 스트림(presentation graphic stream), 사용자와의 상호작용을 위한 버튼 등으로 이루어진 메뉴를 제공하기 위한 인터랙티브 그래픽 스트림(interactive graphic stream), 및 자바(Java)와 같은 프로그램 요소에 의해 표시되는 그래픽컬 오버레이(graphical overlay) 중 하나 이상을 포함할 수 있다. 비디오 스트림이 3차원 영상으로 재생되는 경우, 비디오 스트림과 함께 재생되는 그래픽 스트림 또한 3차원으로 재생될 수 있다. 본 발명은 그래픽 스트림을 3차원으로 재생하기 위한 정보를 포함하는 데이터를 그래픽 스트림과는 별개의 스트림으로 개시하며, 그 별개의 스트림은 그래픽 스트림에 대한 메타데이터가 될 수 있다.
그래픽 스트림에 대한 메타데이터에는 그래픽 스트림에 포함된 그래픽 오브젝트들이 출력되어야 할 시간을 나타내는 오브젝트 출력 시간 정보 및 그래픽 오브젝트에 대한 뎁쓰 정보가 포함될 수 있다. 그래픽 오브젝트는 그래픽 스트림에 의해 표시되는 그래픽 화면에 포함되는 버튼이나 자막 하나 하나를 나타낸다. 그래픽 오브젝트 출력 시간 정보는 메뉴나 자막, 즉, 그래픽 오브젝트가 출력되어야 할 시각을 나타내며, ICS, PCS, DPS 등의 프리젠테이션 타임 스탬프(PTS) 값으로 표시될 수 있다. 그래픽 스트림에 의해 표시되는 그래픽 화면에는 메뉴나 버튼, 또는 자막 등을 나타내는 그래픽 오브젝트가 하나 이상 포함되어 있다. 그래픽 스트림에 의해 표시되는 그래픽 화면에 복수개의 그래픽 오브젝트가 포함되어 있는 경우, 복수개의 그래픽 오브젝트 각각에 대해 별개의 뎁쓰 값이 부여되도록 할 수도 있고 그래픽 오브젝트가 포함된 그래픽 화면 자체에 동일한 하나의 뎁쓰 값이 부여되도록 할 수도 있다. 본 발명에서는, 그래픽 화면에 포함된 복수개의 그래픽 오브젝트 각각에 대해 별개의 뎁쓰 값을 부여하기 위한 정보를 그래픽 오브젝트에 대한 뎁쓰 정보라 하고, 이와 구별되게, 그래픽 오브젝트가 포함된 그래픽 화면에 동일한 뎁쓰 값을 부여하기 위한 정보를 그래픽 화면에 대한 뎁쓰 정보라 부르기로 한다.
그래픽 스트림에 대한 메타데이터에는 그래픽 오브젝트에 대한 뎁쓰 정보 및 그래픽 화면에 대한 뎁쓰 정보 중 하나 이상이 포함될 수 있다.
그래픽 오브젝트에 대한 뎁쓰 정보는 그래픽 오브젝트를 식별하기 위한 오브젝트 식별자, 그래픽 오브젝트에 적용할 뎁쓰 값/위치 이동 값, 그리고 홀 보상 정보를 포함한다. 오브젝트 식별자는 그래픽 스트림이 디코딩되어 생성된 그래픽 오브젝트들 중 특정 그래픽 오브젝트를 식별하기 위한 정보이다.
뎁쓰 값/위치 이동 값은 오브젝트 식별자에 의해 식별된 오브젝트에 부여될 뎁쓰 값 또는 뎁쓰 값에 따라 화면에서의 그래픽 오브젝트의 위치를 이동하기 위한 값이다.
홀 보상 정보는 그래픽 오브젝트에 입체감을 부여하기 위해 그래픽 오브젝트의 위치를 위치 이동 값만큼 변경할 경우 원래의 오브젝트 위치에 생기는 홀(hole)을 보상하기 위한 정보로, 홀의 영역을 식별하기 위한 홀 영역 식별 정보 및 식별된 영역을 채울 색상의 종류를 나타내는 색상 참조 정보를 포함할 수 있다. 또 다른 실시 예로, 홀 보상 정보는 색상 참조 정보 대신 홀 영역에 삽입될 그림 등에 대한 정보가 포함될 수 있다. 홀 영역에 삽입될 그림 등을 나타내기 위해 홀 보상 정보에는 홀 영역에 삽입될 홀 오브젝트 및 홀 오브젝트의 위치나 출력 시각 등을 나타내기 위한 홀 구성 정보를 포함할 수 있다.
그래픽 스트림에 대한 메타데이터에는 그래픽 화면 생성 기준 정보가 더 포함될 수도 있다. 하나의 2차원 영상을 3차원 영상으로 재생하기 위해서는 하나의 2차원 영상으로부터 뎁쓰 값에 따른 거리만큼 좌, 또는 우로 영상이 치우쳐 있는 좌안용 영상 및 우안용 영상을 생성하고, 두 영상을 교대로 화면에 출력하여야 한다. 그래픽 스트림이 2차원 영상용으로 생성된 경우에는 별 문제가 없으나 그래픽 스트림이 좌안용 영상용으로 또는 우안용 영상용으로 생성된 경우, 영상 처리 장치(미도시)는 좌안용 영상용으로 생성된 그래픽 스트림을 이용하여 우안용 영상만 생성하거나 우안용 영상용으로 생성된 그래픽 스트림을 이용하여 좌안용 영상만 생성하면 된다. 이를 위해 메타데이터는 그래픽 스트림이 2차원 영상용으로 생성된 것인지, 좌안용 영상용으로 생성된 것인지, 또는 우안용 영상으로 생성된 것인지를 영상 처리 장치에 알려줘야 한다. 이를 위해 메타데이터에는 그래픽 스트림이 좌안용 그래픽 화면 생성을 위한 것인지, 우안용 그래픽 화면 생성을 위한 것인지, 평면 그래픽 화면 생성을 위한 것인지를 나타내는 정보인 그래픽 화면 생성 기준 정보가 포함될 수 있다.
도 2는 본 발명의 일 실시 예에 따른 재생 장치(200)의 내부 블록도이다. 도 2를 참조하면, 재생 장치(200)는 제1 리드 버퍼(210), 제2 리드 버퍼(220), 제1 비디오 디코더(230), 제2 비디오 디코더(240), 그래픽 디코더(250), 좌안용 비디오 화면 버퍼(260), 우안용 비디오 화면 버퍼(270), 좌안용 그래픽 화면 버퍼(280), 우안용 그래픽 화면 버퍼(290) 및 스위치(300)를 포함한다.
제1 리드 버퍼(210)는 재생 장치(200)에 삽입된 디스크 등의 매체로부터 비디오 스트림과 그래픽 스트림을 독출한다. 그래픽 스트림은 프리젠테이션 그래픽 스트림, 인터랙티브 그래픽 스트림, 그래피컬 오버레이 중 하나 이상을 포함할 수 있다. 그래픽 스트림에 대한 메타데이터가 비디오 스트림, 그래픽 스트림과 다중화되어 있는 경우, 제1 리드 버퍼(210)는 매체로부터 그래픽 스트림에 대한 메타데이터도 독출하여 저장한다. 그래픽 스트림에 대한 메타데이터가 비디오 스트림, 그래픽 스트림과 다중화되어 있지 않고 별개의 스트림으로 매체에 저장되어 있는 경우, 제2 리드 버퍼(220)는 매체로부터 그래픽 스트림에 대한 메타데이터를 독출하고 이를 재생 장치(200) 내부의 저장 메모리에 프리로딩한다.
제1 비디오 디코더(230)와 제2 비디오 디코더(240)는 스테레오 스코픽(stereoscopic) 비디오 스트림을 각각 디코딩한다. 즉, 제1 비디오 디코더(230)는 좌안용 비디오 스트림을 디코딩하고, 제2 비디오 디코더(240)는 우안용 비디오 스트림을 디코딩한다. 좌안용 비디오 화면 버퍼(260)는 좌안용 비디오 스트림으로부터 디코딩되어 생성된 좌안용 비디오 화면을 저장하고 우안용 비디오 화면 버퍼(270)는 우안용 비디오 스트림으로부터 디코딩되어 생성된 우안용 비디오 화면을 저장한다.
그래픽 디코더(250)는 그래픽 스트림에 대한 메타데이터를 해석하여 그래픽 스트림을 디코딩한다. 그래픽 디코더(250)는 그래픽 스트림에 대한 메타데이터로부터 그래픽 오브젝트에 대한 뎁쓰 정보나 그래픽 화면에 대한 뎁쓰 정보 중 하나를 추출한다. 그래픽 디코더(250)가 그래픽 스트림에 대한 메타데이터로부터 그래픽 오브젝트에 대한 뎁쓰 정보를 추출할 것인지, 또는 그래픽 화면에 대한 뎁쓰 정보를 추출할 것인지는 재생 장치(200)가 그래픽 스트림을 어떻게 3차원으로 재생하는지에 따라 달라진다.
도 2에는 도시하지 않았으나 재생 장치(200)에는 레지스터 등의 메모리가 포함될 수 있다. 메모리에는 재생 장치(200)가 그래픽 스트림을 3차원으로 재생할 수 있는지 여부를 표시하는 정보가 저장될 수 있다. 또한 메모리에는 재생 장치(200)가 그래픽 스트림을 3차원으로 재생할 수 있는 경우, 재생 장치(200)가 어떠한 방식으로 그래픽 스트림을 3차원으로 재생하는지를 나타내는 플래그가 저장될 수 있다. 이하, 재생 장치(200)가 그래픽 스트림을 3차원으로 재생할 수 있는 경우, 재생 장치(200)가 어떤 방식으로 그래픽 스트림을 3차원으로 재생하는지를 나타내는 플래그를 3D Capability정보라 부르기로 한다.
3D Capability정보는 재생 장치(200)가 각각의 그래픽 오브젝트별로 다른 뎁쓰 값을 갖도록 하여 그래픽 스트림을 3차원으로 재생할 수 있는지 또는 그래픽 화면 전체에 동일한 뎁쓰 값이 부여되도록 하여 그래픽 스트림을 3차원으로 재생할 수 있는지를 표시하는 플래그가 포함되어 있다.
재생 장치(200)가 그래픽 스트림을 3차원으로 재생할 수 있는 기능이 없는 경우, 그래픽 디코더(250)는 그래픽 스트림을 2차원으로 재생한다. 즉, 그래픽 디코더(250)는 좌안용 그래픽 화면 버퍼(280)와 우안용 그래픽 화면 버퍼(290)에 동일한 그래픽 화면을 그리거나 좌안용 그래픽 화면 버퍼(280)와 우안용 그래픽 화면 버퍼(290) 중 하나의 버퍼에만 그래픽 화면을 그려 그래픽 화면이 2차원으로 재생되도록 한다.
재생 장치(200)가 그래픽 스트림을 3차원으로 재생할 수 있는 경우, 재생 장치(200)는 디스크 등의 매체에 좌안용 그래픽 스트림과 우안용 그래픽 스트림이 모두 포함되어 있는지를 판단한다. 디스크에 그래픽 스트림이 좌안용 그래픽 스트림과 우안용 그래픽 스트림으로 나누어져 포함되어 있지 않고 하나의 그래픽 스트림만이 포함되어 있는 경우, 그래픽 디코더(250)는 그래픽 스트림에 대한 메타데이터로부터 그래픽 화면에 대한 뎁쓰 정보를 추출하고, 추출한 뎁쓰 정보와 그래픽 스트림을 이용하여, 추출한 뎁쓰 정보의 깊이를 갖는 그래픽 화면을 생성한다. 즉, 그래픽 디코더(250)는 그래픽 화면에 대한 뎁쓰 정보를 이용하여 그래픽 화면 전체에 적용할 뎁쓰 값에 대응하는 위치 이동 값을 구하고 그래픽 화면이 위치 이동 값 만큼 이동된 위치에 매핑된 좌안용 그래픽 화면과 우안용 그래픽 화면을 좌안용 그래픽 화면 버퍼(280)와 우안용 그래픽 화면 버퍼(290)에 각각 그린다. 이때 생성되는 그래픽 화면은 그래픽 화면 전체가 동일한 뎁쓰 값을 갖게 된다.
재생 장치(200)가 그래픽 스트림을 3차원으로 재생할 수 있고, 디스크 등의 매체에 좌안용 그래픽 스트림과 우안용 그래픽 스트림이 모두 포함되어 있는 경우, 즉, 매체에 스테레오 스코픽(stereoscopic) 그래픽 스트림이 포함되어 있는 경우, 그래픽 디코더(250)는 메모리로부터 3D Capability정보를 추출하여 재생 장치(200)가 그래픽 스트림을 어떠한 방식으로 3차원으로 재생할 수 있는지를 판단한다. 즉, 그래픽 디코더(250)는 3D Capability정보에 포함된 플래그를 이용하여 재생 장치(200)가 그래픽 화면에 포함되는 복수의 그래픽 오브젝트 별로 각각 별개의 뎁쓰 값이 적용되도록 하여 그래픽 스트림을 3차원으로 재생할 수 있는지 또는 그래픽 화면 전체에 동일한 뎁쓰 값이 적용되도록 하여 그래픽 스트림을 3차원으로 재생할 수 있는지를 판단한다.
3D Capability정보에, 재생 장치(200)가 그래픽 화면에 포함되는 복수의 그래픽 오브젝트 별로 각각 별개의 뎁쓰 값이 적용되도록 하여 그래픽 스트림을 3차원으로 재생할 수 있음을 나타내는 플래그가 포함되어 있는 경우, 그래픽 디코더(250)는 그래픽 스트림에 대한 메타데이터로부터 그래픽 오브젝트에 대한 뎁쓰 정보를 추출하고 이를 이용하여 좌안용 그래픽 스트림과 우안용 그래픽 스트림을 디코딩하여 그래픽 화면에 포함되는 그래픽 오브젝트 별로 별개의 뎁쓰 값이 적용되도록 좌안용 그래픽 화면과 우안용 그래픽 화면을 생성한다. 즉, 그래픽 디코더(250)는 그래픽 오브젝트에 대한 뎁쓰 정보로부터 오브젝트 식별자, 식별된 그래픽 오브젝트에 각각 적용할 뎁쓰 값 또는 위치 이동 값을 추출하고 각 그래픽 오브젝트가 위치 이동 값만큼 이동된 위치에 매핑된 좌안용 그래픽 화면과 우안용 그래픽 화면을 좌안용 그래픽 화면 버퍼(280)와 우안용 그래픽 화면 버퍼(290)에 각각 그린다.
3D Capability정보에, 재생 장치(200)가 그래픽 화면 전체에 동일한 뎁쓰 값이 적용되도록 하여 그래픽 스트림을 3차원으로 재생할 수 있음을 나타내는 플래그가 포함되어 있는 경우, 그래픽 디코더(250)는 그래픽 스트림에 대한 메타데이터로부터 그래픽 화면에 대한 뎁쓰 정보를 추출하고, 이를 이용하여 그래픽 화면 전체에 동일한 뎁쓰 값이 부여되도록 하기 위한 위치 이동 값을 구하고 그래픽 화면이 위치 이동 값만큼 이동된 위치에 매핑된 좌안용 그래픽 화면과 우안용 그래픽 화면을 좌안용 그래픽 화면 버퍼(280)와 우안용 그래픽 화면 버퍼(290)에 각각 그린다.
스위치(300)는 좌안용 비디오 화면 버퍼(260)와 우안용 비디오 화면 버퍼(270)에 저장된 좌안용 비디오 화면과 우안용 비디오 화면을 교대로 연속적으로 출력한다. 또한 스위치(300)는 좌안용 그래픽 화면 버퍼(280)와 우안용 그래픽 화면 버퍼(290)에 저장된 좌안용 그래픽 화면과 우안용 그래픽 화면을 교대로 시퀀셜하게 출력한다.
도 2에는 재생 장치(200)에 두 개의 그래픽 화면 버퍼, 즉, 좌안용 그래픽 화면 버퍼(280)와 우안용 그래픽 화면 버퍼(290)가 포함되어 있으나, 본 발명이 이에 한정되는 것은 아니며 재생 장치(200)에는 그래픽 화면 버퍼가 하나만 포함되어 있을 수 있다. 재생 장치(200)가 그래픽 스트림을 3차원으로 재생할 수 있는 기능이 없는 경우에는 재생 장치(200)에 그래픽 화면 버퍼가 하나만 포함되어 있을 수 있다. 이 경우, 그래픽 디코더(250)는 하나의 그래픽 화면 버퍼에 그래픽 화면을 그려 그래픽 화면이 2차원으로 재생되도록 할 수 있다.
또한, 재생 장치(200)가 그래픽 스트림을 3차원으로 재생할 수 있는 기능이 있는 경우라도 재생 장치(200)에 그래픽 화면 버퍼가 하나만 포함된 경우가 있을 수 있다. 그래픽 화면 버퍼가 하나만 포함되어 있는 경우에는 재생 장치(200)는 그래픽 화면 전체에 동일한 뎁쓰 값이 부여되도록 하여 그래픽 화면을 3차원으로 재생할 수 있게 된다. 이 경우, 그래픽 디코더(250)는 그래픽 화면에 대한 뎁쓰 정보를 이용하여 그래픽 화면 전체가 좌, 우로 이동해야 할 위치 이동 값을 구하고, 구한 위치 이동 값만큼 그래픽 화면 버퍼의 왼쪽 및 오른쪽으로 이동한 위치에 그래픽 화면을 교대로 그린다. 이 때 재생 장치(200)에 의해 재생되는 그래픽 화면은 그래픽 화면 전체에 동일한 뎁쓰 값이 부여되게 된다.
이와 같이 본 발명의 실시 예에 의하면, 재생 장치는 재생 장치 내부의 플레이어 세팅 레지스터에 저장된 3D capability 정보를 이용하여 그래픽 화면 전체에 동일한 뎁쓰 값을 적용하여 그래픽 스트림을 3차원으로 재생할 것인지 또는 그래픽 화면에 포함된 복수의 오브젝트별로 별개의 뎁쓰 값을 적용하여 그래픽 스트림을 3차원으로 재생할 것인지를 판단할 수 있다.
도 3은 도 2의 재생 장치(200) 내부의 메모리인 플레이어 세팅 레지스터(Player Setting Register)를 도시한 도면이다.
재생 장치(200) 내부의 메모리는 플레이어 세팅 레지스터와 플레이백 스테이터스 레지스터(Playback Status Register)를 포함할 수 있다. 플레이백 스테이터스 레지스터는 재생 장치(200)의 재생 상태에 따라 저장되는 값이 바뀌는 레지스터이다. 플레이어 세팅 레지스터는 디스크 내의 내비게이션 커맨드나 API 커맨드를 통해 레지스터 안의 내용을 바꿀 수 없는 레지스터로, 재생 장치(200)가 출시될 때 설정된 값들이 저장되어 있다.
본 발명에서 재생 장치(200) 내부의 플레이어 세팅 레지스터에는 재생 장치(200)가 그래픽 스트림을 3차원으로 재생할 수 있는지 여부를 표시하는 정보가 저장되어 있을 수 있다. 또한 플레이어 세팅 레지스터에는 재생 장치(200)가 그래픽 스트림을 어떤 방식으로 3차원으로 재생할 수 있는지를 표시하는 3D Capability정보가 저장되어 있을 수 있다.
도 3을 참조하면, 플레이어 세팅 레지스터의 전체 32비트중 2비트, 한 예로, "b0", “b1”비트에 3D capability 정보가 설정되어 있다. 3D capability 정보에는 그래픽 스트림을 어떤 방식으로 3차원으로 재생하는지를 표시하는 플래그가 포함될 수 있으며 그래픽 스트림 별로, 즉, 인터랙티브 그래픽 스트림과 프리젠테이션 그래픽 스트림 각각에 대해 각 그래픽 스트림을 어떤 방식으로 3차원으로 재생하는지를 표시하는 플래그가 포함될 수 있다.
3D capability 정보에는 재생 장치(200)가 그래픽 화면에 포함되는 복수의 그래픽 오브젝트 각각에 대해 별개의 뎁쓰 값을 갖도록 하여 그래픽 스트림을 3차원으로 재생할 수 있다는 것을 나타내는 플래그와 재생 장치(200)가 그래픽 화면 전체에 동일한 뎁쓰 값이 부여되도록 하여 그래픽 스트림을 3차원으로 재생할 수 있다는 것을 나타내는 플래그 중 하나가 포함될 수 있다.
3D capability 정보에 재생 장치(200)가 그래픽 화면 전체에 대해 동일한 뎁쓰 값이 부여되도록 하여 그래픽 스트림을 3차원으로 재생할 수 있다는 것을 나타내는 플래그가 포함된 경우, 재생 장치(200)는 메타데이터로부터 그래픽 화면에 대한 뎁쓰 정보를 추출하고 이를 이용하여 그래픽 화면을 재생한다.
3D capability 정보에 재생 장치(200)가 그래픽 화면에 포함된 그래픽 오브젝트 별로 별개의 뎁쓰 값이 부여되도록 하여 그래픽 스트림을 3차원으로 재생할 수 있다는 것을 나타내는 플래그가 포함된 경우, 그래픽 디코더(250)는 메타데이터로부터 그래픽 오브젝트에 대한 뎁쓰 정보를 추출하고 이를 이용하여 그래픽 화면을 3차원으로 재생한다. 그래픽 디코더(250)는 그래픽 오브젝트에 대한 뎁쓰 정보에 포함된 오브젝트 식별자를 이용하여 그래픽 스트림에 포함된 복수의 그래픽 오브젝트들을 각각 식별하고, 식별된 각 오브젝트에 부여할 뎁쓰 값 또는 위치 이동 값을 이용하여 좌안용 그래픽 화면 및 우안용 그래픽 화면에 각 그래픽 오브젝트들이 매핑될 위치를 구한다. 각 그래픽 오브젝트 별로 뎁쓰 값 또는 위치 이동 값은 달라질 수 있다. 그래픽 디코더(250)는 각 그래픽 오브젝트 별로 이동할 위치가 별개가 되도록 하여, 좌안용 그래픽 화면과 우안용 그래픽 화면을 생성하고, 이를 교대로 출력한다. 이 때 재생 장치(200)에 의해 재생되는 그래픽 화면은 그래픽 화면에 포함된 각 오브젝트 별로 별개의 뎁쓰 값이 부여되게 된다.
이와 같이 본 발명의 실시 예에 따르면, 재생 장치 내부의 플레이어 세팅 레지스터에는 재생 장치가 그래픽 스트림을 3차원으로 재생하는 것을 지원하는지 여부를 표시하는 정보, 및/또는 어떤 방식으로 그래픽 스트림을 3차원으로 재생하는지를 표시하는 플래그를 포함하는 3D capability 정보가 저장되어 있다.
도 4는 본 발명의 일 실시 예에 따른 그래픽 스트림 처리 장치를 나타낸 블록도이다. 도 4를 참조하면, 그래픽 스트림 처리 장치는 그래픽 디코더(410)와 좌안용 그래픽 화면 버퍼(420), 우안용 그래픽 화면 버퍼(430) 및 CLUT(Color Look-Up Table)(440)를 포함한다. 그래픽 디코더(410)는 코디드 데이터 버퍼(Coded Data Buffer)(411), 그래픽 프로세서(Graphics Processor)(412), 오브젝트 버퍼(Object Buffer)(413), 코디드 뎁쓰 버퍼(Coded Depth Buffer)(414), 뎁쓰 프로세서(Depth Processor)(415), 구성 버퍼(Composition Buffer)(416), 및 그래픽 컨트롤러(Graphics Controller)(417)를 포함한다.
코디드 데이터 버퍼(411)에는 디코딩될 그래픽 스트림이 기록되어 있다. 그래픽 프로세서(412)는 코디드 데이터 버퍼(411)에 기록되어 있는 그래픽 스트림을 디코딩하여 하나 이상의 그래픽 오브젝트, 2차원 구성 정보, 색상 정보를 생성한다.
그래픽 프로세서(412)는 버튼이나 자막 등의 이미지용 그래픽 오브젝트를 오브젝트 버퍼(413)로 보낸다. 도 2에서 오브젝트 버퍼(413)에는 웃는 얼굴 모양의 도형 및 정사각형 도형의 두 그래픽 오브젝트가 저장되어 있음을 알 수 있다.
그래픽 프로세서(412)는 2차원 구성 정보 및 색상 정보를 구성 버퍼(416)에 보낸다. 2차원 구성 정보는 그래픽 오브젝트가 2차원으로 화면에 배열될 때 사용되는 정보로 그래픽 오브젝트의 화면 출력을 제어하는데 사용된다.
코디드 뎁쓰 버퍼(414)에는 그래픽 스트림에 대한 메타데이터가 포함되어 있다.
도 4의 그래픽 스트림 처리 장치 내부에는 플레이어 세팅 레지스터(Player Setting Register)가 포함되어 있고, 플레이어 세팅 레지스터에는 그래픽 스트림 처리 장치가 어떤 방식으로 그래픽 스트림을 3차원으로 재생할 수 있는지를 표시하는3D capability 정보가 저장되어 있다. 그래픽 스트림 처리 장치는 3D capability 정보를 이용하여 그래픽 화면 전체에 동일한 뎁쓰 값을 적용하여 그래픽 스트림을 3차원으로 재생할 수 있는지 또는 그래픽 화면에 포함된 복수의 오브젝트별로 별개의 뎁쓰 값을 적용하여 그래픽 스트림을 3차원으로 재생할 수 있는지를 판단한다.
그래픽 스트림 처리 장치가 3D capability 정보를 이용하여 그래픽 화면에 포함된 오브젝트별로 별개의 뎁쓰 값을 적용하여 그래픽 스트림을 3차원으로 재생할 수 있다고 판단하면, 그래픽 스트림 처리 장치는 그래픽 스트림에 대한 메타데이터로부터 오브젝트 출력 시간 정보 및 그래픽 오브젝트에 대한 뎁쓰 정보를 추출하여 그래픽 스트림을 3차원으로 재생한다.
뎁쓰 프로세서(415)는 코디드 뎁쓰 버퍼(414)에 저장되어 있는 메타데이터로부터 그래픽 스트림에 대한 뎁쓰 정보를 추출하여 이를 해석한다. 그래픽 오브젝트에 대한 뎁쓰 정보는 오브젝트 식별자, 오브젝트 식별자에 의해 식별된 오브젝트에 부여할 뎁쓰 값 또는 위치 이동 값이 포함되어 있다. 뎁쓰 프로세서(415)는 그래픽 오브젝트에 대한 뎁쓰 정보에 포함된 오브젝트 식별자를 이용하여 그래픽 스트림에 포함된 복수의 그래픽 오브젝트들 중 하나를 식별한다.
*뎁쓰 프로세서(415)는 식별된 그래픽 오브젝트에 대한 2차원 구성 정보에 포함된 그래픽 오브젝트의 위치 값을 메타데이터에 포함된, 그래픽 오브젝트에 대한 뎁쓰 정보에 포함되어 있는 위치 이동 값을 이용하여 좌 또는 우로 소정 거리만큼 변환한다. 메타데이터에 위치 이동 값 대신 뎁쓰 값이 포함되어 있는 경우, 뎁쓰 프로세서(415)는 뎁쓰 값을 이용하여 좌안용 그래픽 화면 및 우안용 그래픽 화면에 그래픽 오브젝트가 매핑될 위치를 구하고, 매핑될 위치와 현재 그래픽 오브젝트의 위치의 차를 이용하여 그래픽 오브젝트의 위치 이동 값을 구한다.
뎁쓰 프로세서(415)는 그래픽 오브젝트의 위치 값이 원래 위치보다 좌 또는 우로 소정 거리만큼 변환된 좌안용 구성 정보를 생성한다. 또한, 뎁쓰 프로세서(415)는 그래픽 오브젝트의 위치 값이 원래 위치보다 좌 또는 우로 소정 거리만큼 변환된 우안용 구성 정보를 생성한다. 좌안용 구성 정보와 우안용 구성 정보는 각각 좌안용 및 우안용 그래픽 화면을 생성하여 이를 화면에 배열하기 위한 위한 구성 정보이다.
뎁쓰 프로세서(415)는 그래픽 오브젝트의 위치가 변함에 따라 발생되는 홀 영역을 메우기 위해 메타데이터로부터 홀 보상 정보를 추출하고 이를 해석한다. 도 4에서 홀 보상 정보는 홀 영역을 식별하기 위한 홀 영역 식별 정보 및 어느 색상으로 홀 영역을 메울 것인지를 나타내는 색상 참조 정보를 포함하는 경우를 가정한다. 뎁쓰 프로세서(415)는 좌안용 구성 정보 및 우안용 구성 정보 각각에 홀 보상 정보를 포함하여 3차원 구성 정보를 생성한다. 3차원 구성 정보는 그래픽 오브젝트를 3차원으로 화면에 배열하기 위한 정보로, 2차원 구성 정보 중 그래픽 오브젝트의 위치 값이 변환된 값이고, 홀 보상 정보를 포함하는 정보이다. 뎁쓰 프로세서(415)는 생성된 3차원 구성 정보를 구성 버퍼(416)에 저장시킨다.
그래픽 콘트롤러(417)는 메타데이터에 포함된 오브젝트 출력 시간 정보를 이용하여 그래픽 오브젝트가 출력되어야 할 PTS(Presentation Time Stamp)를 감지한다. 그래픽 콘트롤러(417)는 그래픽 오브젝트가 출력되어야 할 PTS 시간이 되면, 구성 버퍼(416)에 저장되어 있는 3차원 구성 정보를 이용하여 오브젝트 버퍼(413)에 저장되어 있는 그래픽 오브젝트를 읽고 화면에 출력할 이미지를 좌안용 그래픽 화면 버퍼(420) 및 우안용 그래픽 화면 버퍼(430)에 전송하여 배열한다.
그래픽 콘트롤러(417)는 색상 정보를 CLUT(Color Look-Up Table)(440)에 전송하여 화면상에 그래픽 오브젝트를 구성한다. 이 때, 그래픽 콘트롤러(417)는 홀 보상 정보를 이용하여 홀 영역이 CLUT 중 색상 참조 정보에 의해 참조된 색상으로 채워지도록 한다.
이와 같이, 본 발명의 일 실시 예에 따르면, 그래픽 오브젝트에 대한 2차원 구성 정보를 이용하여 3차원 구성 정보를 생성하고, 3차원 구성 정보를 이용하여 그래픽 오브젝트를 3차원으로 화면에 출력하도록 할 수 있다.
도 5는 본 발명의 다른 실시 예에 따른 그래픽 스트림 처리 장치를 나타낸 블록도이다. 도 5를 참조하면, 그래픽 스트림 처리 장치는 그래픽 디코더(510)와 좌안용 그래픽 화면 버퍼(520), 우안용 그래픽 화면 버퍼(530) 및 CLUT(Color Look-Up Table)(540)를 포함한다. 그래픽 디코더(510)는 코디드 데이터 버퍼(Coded Data Buffer)(511), 그래픽 프로세서(Graphics Processor)(512), 오브젝트 버퍼(Object Buffer)(513), 코디드 뎁쓰 버퍼(Coded Depth Buffer)(514), 뎁쓰 프로세서(Depth Processor)(515), 구성 버퍼(Composition Buffer)(516), 그래픽 컨트롤러(Graphics Controller)(517), 및 홀 보상 정보 버퍼(Occlusion Buffer)(518)를 포함한다.
도 5의 그래픽 스트림 처리 장치는 도 4의 그래픽 스트림 처리 장치와 다른 구성 요소는 동일하나 그래픽 디코더(510)에 홀 보상 정보 버퍼(518)를 더 포함한다는 점에서 구별된다. 다른 블록들은 도 4의 그래픽 스트림 처리 장치의 블록들과 수행하는 바가 동일하므로 이하, 도 4의 그래픽 스트림 처리 장치와 구별되는 기능을 중심으로 살펴보기로 한다.
도 5에서 그래픽 스트림 처리 장치 내부의 플레이어 세팅 레지스터(Player Setting Register)에는 그래픽 스트림 처리 장치가 그래픽 스트림을 3차원으로 재생할 수 있는지 여부를 표시하는 정보 및/또는 그래픽 스트림을 어떤 방식으로 3차원으로 재생하는지를 표시하는 3D capability 정보가 포함되어 있다. 그래픽 스트림 처리 장치는 3D capability 정보를 이용하여 그래픽 화면 전체에 동일한 뎁쓰 값을 적용하여 그래픽 스트림을 3차원으로 재생할 수 있는지 또는 그래픽 화면에 포함된 복수의 오브젝트별로 별개의 뎁쓰 값을 적용하여 그래픽 스트림을 3차원으로 재생할 수 있는지를 판단한다.
그래픽 스트림 처리 장치가 3D capability 정보를 이용하여 그래픽 화면에 포함된 오브젝트별로 별개의 뎁쓰 값을 적용하여 그래픽 스트림을 3차원으로 재생할 수 있다고 판단하면, 그래픽 스트림 처리 장치는 그래픽 스트림에 대한 메타데이터로부터 오브젝트 출력 시간 정보 및 그래픽 오브젝트에 대한 뎁쓰 정보를 추출한다.
도 5의 그래픽 스트림 처리 장치는 도 4의 그래픽 스트림 처리 장치와 다르게 홀 보상 정보로 홀 오브젝트 및 홀 구성 정보가 포함되어 있는 메타데이터를 이용한다.
그래픽 프로세서(512)는 코디드 데이터 버퍼(511)에 기록되어 있는 그래픽 스트림을 디코딩하여 하나 이상의 그래픽 오브젝트, 2차원 구성 정보, 색상 정보를 생성하고, 2차원 구성 정보 및 색상 정보를 구성 버퍼(516)에 보내고, 그래픽 오브젝트를 오브젝트 버퍼(513)에 보낸다.
뎁쓰 프로세서(515)는 그래픽 오브젝트의 위치가 변함에 따라 발생되는 홀 영역을 메우기 위해 메타데이터로부터 홀 보상 정보를 추출하고 이를 해석한다. 전술한 바와 같이, 도 5에서 홀 보상 정보는 홀 오브젝트 및 홀 영역 정보를 포함한다. 뎁쓰 프로세서(515)는 디코딩된 홀 오브젝트를 홀 보상 정보 버퍼(518)에 보낸다.
뎁쓰 프로세서(515)는 메타데이터를 해석하여 오브젝트 식별자와 식별된 오브젝트에 부여할 뎁쓰 값/위치 이동 값을 구한다. 뎁쓰 프로세서(515)는 그래픽 프로세서(512)에 의해 디코딩된 2차원 구성 정보 내의 오브젝트의 위치 값을 뎁쓰 값/위치 이동 값을 이용하여 변환한다. 뎁쓰 프로세서(515)는 오브젝트의 위치 값이 변환된 2차원 구성 정보 및 홀 영역 식별 정보를 포함하여 좌안용 구성 정보 및 우안용 구성 정보를 각각 생성한다.
그래픽 콘트롤러(517)는 3차원 그래픽 오브젝트가 출력되어야 할 PTS 시점이 되면, 좌/우안용 이미지를 표시하기 위하여 오브젝트 버퍼(513) 및 홀 보상 정보 버퍼(518)로부터 그래픽 오브젝트 및 홀 오브젝트를 읽어 내고, 그래픽 오브젝트 및 홀 오브젝트에 좌안용 구성 정보 및 우안용 구성 정보를 적용하여 각각 좌안용 및 우안 용 그래픽 화면 버퍼(520, 530)에 배치한 후 CLUT(540)를 통해 지정된 색상을 적용하여 출력한다.
도 6은 본 발명의 또 다른 실시 예에 따른 그래픽 스트림 처리 장치를 나타낸 블록도이다. 도 6을 참조하면, 그래픽 스트림 처리 장치는 그래픽 디코더((610)와 그래픽 화면 버퍼(620), CLUT(Color Look-Up Table)(630), 및 스위치(640)를 포함한다. 그래픽 디코더(610)는 코디드 데이터 버퍼(Coded Data Buffer)(611), 그래픽 프로세서(Graphics Processor)(612), 오브젝트 버퍼(Object Buffer)(613), 코디드 뎁쓰 버퍼(Coded Depth Buffer)(614), 뎁쓰 프로세서(Depth Processor)(615), 구성 버퍼(Composition Buffer)(616) 및 그래픽 컨트롤러(Graphics Controller)(617)를 포함한다.
도 6의 그래픽 스트림 처리 장치 내부의 플레이어 세팅 레지스터(Player Setting Register)에는 그래픽 스트림 처리 장치가 그래픽 스트림을 3차원으로 재생할 수 있는지 여부를 표시하는 정보 및/또는 그래픽 스트림을 어떤 방식으로 3차원으로 재생하는지를 표시하는 3D capability 정보가 포함되어 있다. 그래픽 스트림 처리 장치는 3D capability 정보를 이용하여 그래픽 화면 전체에 동일한 뎁쓰 값을 적용하여 그래픽 스트림을 3차원으로 재생할 수 있는지 또는 그래픽 화면에 포함된 복수의 오브젝트별로 별개의 뎁쓰 값을 적용하여 그래픽 스트림을 3차원으로 재생할 수 있는지를 판단한다.
도 6의 그래픽 스트림 처리 장치에는 그래픽 화면 버퍼(620)가 하나만 포함되어 있으므로, 그래픽 스트림 처리 장치 내부의 플레이서 세팅 레지스터에 저장된 3D capability 정보에는 그래픽 스트림 처리 장치가 그래픽 화면 전체에 동일한 뎁쓰 값을 적용하여 그래픽 스트림을 3차원으로 재생할 수 있음을 표시하는 플래그가 포함되어 있게 된다.
그래픽 스트림 처리 장치는 도 4 또는 도 5의 그래픽 스트림 처리와 다르게 메타데이터로부터 그래픽 오브젝트에 대한 뎁쓰 정보 대신 그래픽 화면에 대한 뎁쓰 정보를 추출하여 그래픽 스트림을 3차원으로 재생한다. 전술한 바와 같이, 그래픽 화면에 대한 뎁쓰 정보는 그래픽 오브젝트가 출력되는 화면 전체에 대해 동일한 뎁쓰 값을 부여하기 위한 정보이다. 메타데이터에는 그래픽 오브젝트에 대한 뎁쓰 정보와 그래픽 화면에 대한 뎁쓰 정보가 모두 포함될 수 있으나, 도 6의 그래픽 스트림 처리 장치와 같이 그래픽 화면 버퍼가 하나인 경우, 도 4나 도 5의 그래픽 스트림 처리 장치와 같이 좌안용 그래픽 화면 및 우안용 그래픽 화면을 각각 생성하여 그래픽 화면 버퍼에 저장할 수는 없다. 대신 도 6의 그래픽 스트림 처리 장치는 메타데이터로부터 그래픽 화면에 대한 뎁쓰 정보를 추출하여, 그래픽 화면에 적용할 뎁쓰 값에 대응하는 위치 이동 값을 구하고, 하나의 그래픽 플레인에서 이동 값만큼 좌측으로 떨어진 위치와 우측으로 떨어진 위치에 교대로 그래픽 화면을 뿌려 그래픽 화면이 3차원으로 재생되도록 한다.
그래픽 프로세서(612)는 코디드 데이터 버퍼(611)에 기록되어 있는 그래픽 스트림을 디코딩하여 그래픽 오브젝트, 2차원 구성 정보, 색상 정보를 생성하고, 2차원 구성 정보 및 색상 정보를 구성 버퍼(616)에 보내고, 그래픽 오브젝트를 오브젝트 버퍼(613)에 보낸다.
도 6의 그래픽 스트림 처리 장치에는 그래픽 플레인(620)이 하나이므로 뎁쓰 프로세서(615)는 그래픽 오브젝트에 대한 뎁쓰 정보 대신 그래픽 화면에 대한 뎁쓰 정보를 추출하고 이를 구성 버퍼(616)에 보낸다. 도 6에서 그래픽 화면에 대한 뎁쓰 정보는 Master Shift(Depth)로 표시되어 있다. 뎁쓰 프로세서(615)는 그래픽 화면에 대한 뎁쓰 정보에 포함된 그래픽 화면의 뎁쓰 값 또는 그래픽 화면의 위치 이동 값을 이용하여, 그래픽 화면이 3차원으로 재생되기 위해 그래픽 화면이 좌, 우로 이동해야 할 이동 거리를 구한다.
뎁쓰 프로세서(615)는 2차원 구성 정보 및 그래픽 화면에 대한 뎁쓰 정보, 그리고 색상 정보를 포함하는 3차원 구성 정보를 생성하고 이를 구성 버퍼(616)에 저장한다.
그래픽 콘트롤러(617)는 3차원 그래픽 오브젝트가 출력되어야 할 PTS 시점이 되면, 오브젝트 버퍼(613)로부터 그래픽 오브젝트를 읽어 내고, 그래픽 오브젝트에 구성 정보를 적용하여 그래픽 화면 버퍼(620)에 배치한 후 CLUT(540)를 통해 지정된 색상을 적용한다.
그래픽 콘트롤러(617)는 그래픽 화면에 대한 뎁쓰 정보를 이용하여 구해진 그래픽 화면 이동 값을 스위치(640)에 보낸다. 스위치(640)는 그래픽 화면이 그래픽 화면 이동 값만큼 화면의 왼쪽 및 오른쪽으로 이동한 위치에 교대로 뿌려지도록 하여 좌안용 그래픽 화면 및 우안용 그래픽 화면을 교대로 출력한다.
한 쪽 눈을 기준으로 디스플레이 장치가 최소 60Hz의 frame rate로 화면을 재생해야 시청자는 이미지가 끊기지 않고 순차적으로 재생된다고 인지한다. 3차원 영상은 좌/우 양안을 통해 입력된 이미지가 합쳐져서 생성되므로, 시청자가 3차원 영상이 끊김 없이 재생된다고 인지하기 위해서는 디스플레이 장치가 최소한 120Hz의 frame rate로 화면을 출력해야 한다. 이는 1/120초 단위로 좌/우 이미지가 순차적으로 표시되는 경우 사용자가 화면을 보고 3차원 영상을 인지하게 됨을 의미한다. 따라서, 스위치(640)는 1/120초 단위로 좌안용 그래픽 화면 및 우안용 그래픽 화면을 출력함으로써, 그래픽 화면이 3차원으로 재생되도록 할 수 있다.
도 7는 메타데이터에 포함된 그래픽 화면 생성 기준 정보를 이용할 경우 생성되는 구성 정보를 설명하기 위한 도면이다.
이전까지 설명은 그래픽 스트림이 종래와 같이 비디오 영상의 중심을 기준으로 제작되었을 것을 상정하여 뎁쓰 값, 또는 위치 이동 값에 의하여 좌안용 및 우안용 그래픽 화면을 생성하는 것을 살펴보았다. 그러나 저자가 좌안 용(혹은 우안 용) 비디오 영상을 기준으로, 그래픽 화면에 대한 메타데이터를 생성한 경우, 즉, 좌안용 그래픽 화면에 대한 메타데이터를 생성한 경우가 있을 수 있다.
도 7에서는 그래픽 스트림이 좌안용 비디오 영상을 위해 생성된 좌안용 그래픽 스트림인지, 우안용 비디오 영상에 맞게 생성된 우안용 그래픽 스트림인지, 또는 종래와 같이 2차원 비디오 영상을 기준으로 작성된 것인지를 나타내는 그래픽 화면 생성 기준 정보를 메타데이터에 더 포함시키고, 메타데이터에 포함된 그래픽 화면 생성 기준 정보를 이용하여 구성 정보를 생성하는 것을 설명한다.
도 7의 (a)는 그래픽 스트림이 2차원 비디오 영상의 중앙을 기준으로 작성된 경우를 나타낸다. 뎁쓰 프로세서는 도 4의 뎁쓰 프로세서(415)와 같이, 각 그래픽 오브젝트별로 위치 이동 값 또는 뎁쓰 값을 적용하여 좌안용 구성 정보 및 우안용 구성 정보를 생성하고 이를 구성 버퍼에 저장한다.
도 7의 (b)는 그래픽 스트림이 좌안용 비디오 영상을 기준으로 작성된 경우를 나타낸다. 이 경우, 그래픽 스트림에 포함된 그래픽 오브젝트에 대한 2차원 구성 정보는 좌안용 구성 정보와 동일하게 되므로, 뎁쓰 프로세서는 우안용 구성 정보만을 생성하면 된다. 뎁쓰 프로세서는 각 오브젝트 별로 뎁쓰 값/위치 이동 값을 적용하여 우안용 구성 정보를 생성하고 그래픽 프로세서에 의해 디코딩된 좌안용 구성 정보와 함께 생성된 우안용 구성 정보를 구성 버퍼에 저장한다.
도 7의 (c)는 그래픽 스트림이 우안용 비디오 영상을 기준으로 작성된 경우를 나타낸다. 이 경우, 그래픽 스트림에 포함된 그래픽 오브젝트에 대한 2차원 구성 정보는 우안용 구성 정보와 동일하게 되므로, 뎁쓰 프로세서는 좌안용 구성 정보만을 생성하면 된다. 뎁쓰 프로세서는 각 오브젝트 별로 뎁쓰 값/위치 이동 값을 적용하여 좌안용 구성 정보를 생성하고 생성된 좌안용 구성 정보를 그래픽 프로세서에 의해 디코딩된 우안용 구성 정보와 함께 구성 버퍼에 저장한다.
도 8은 본 발명의 일 실시 예에 따른 그래픽 스트림 처리 방법을 도시한 순서도이다. 도 8을 참조하면, 그래픽 스트림 처리 장치는 그래픽 스트림을 디코딩하여 그래픽 오브젝트, 2차원 구성 정보 및 색상 정보를 생성한다(단계 810).
그래픽 스트림 처리 장치는 그래픽 스트림에 대한 메타데이터를 이용하여 2차원 구성 정보로부터 3차원 구성 정보를 생성한다(단계 820). 이를 위해 그래픽 스트림 처리 장치는 메타데이터를 이용하여 그래픽 오브젝트의 위치 이동 값을 구하고, 위치 이동 값을 이용하여 2차원 구성 정보에 포함된 오브젝트 위치 값을 좌 및 우로 소정 거리만큼 변환한 위치 값을 각 각 포함하는 좌안용 구성 정보 및 우안용 구성 정보를 생성한다. 또한, 그래픽 스트림 처리 장치는 메타데이터에 포함된 홀 보상 정보를 좌안용 구성 정보 및 우안용 구성 정보 각각에 추가하여 3차원 구성 정보를 생성한다. 그래픽 스트림 처리 장치는 3차원 구성 정보 및 색상 정보를 이용하여 그래픽 오브젝트를 3차원 화면으로 출력한다(단계 830).
도 9는 본 발명의 다른 실시 예에 따른 그래픽 스트림 처리 방법을 도시한 순서도이다. 도 9를 참조하면, 그래픽 스트림 처리 장치는 플레이어 세팅 레지스트로부터 3D Capability정보를 추출한다(단계 910). 3D Capability정보는 그래픽 스트림 처리 장치가 어떤 방식으로 그래픽 스트림을 3차원으로 재생하는지를 나타내는 정보이다. 3D Capability정보에는 그래픽 스트림 처리 장치가 각각의 그래픽 오브젝트별로 다른 뎁쓰 값을 갖도록 하여 그래픽 스트림을 3차원으로 재생할 수 있다는 것을 나타내는 플래그나 그래픽 스트림 처리 장치가 그래픽 화면 전체에 대해 동일한 뎁쓰 값이 부여되도록 하여 그래픽 스트림을 3차원으로 재생할 수 있다는 것을 나타내는 플래그 중 하나가 포함될 수 있다.
그래픽 스트림 처리 장치는 3D Capability정보에, 그래픽 스트림 처리 장치가 그래픽 오브젝트별로 다른 뎁쓰 값을 갖도록 하여 그래픽 스트림을 3차원으로 재생할 수 있음을 표시하는 플래그가 포함되어 있는지를 판단한다(단계 920).
3D Capability정보에, 그래픽 스트림 처리 장치가 그래픽 오브젝트별로 다른 뎁쓰 값을 갖도록 하여 그래픽 스트림을 3차원으로 재생할 수 있음을 표시하는 플래그가 포함되어 있는 경우, 그래픽 스트림 처리 장치는 그래픽 스트림에 대한 메타데이터로부터 그래픽 오브젝트에 대한 뎁쓰 정보를 추출하고, 그래픽 오브젝트에 대한 뎁쓰 정보에 포함된 오브젝트 식별자, 뎁쓰 값 또는 위치 이동 값, 홀 보상 정보를 이용하여 그래픽 오브젝트별로 다른 뎁쓰 값을 갖도록 하는 좌안용 그래픽 화면 및 우안용 그래픽 화면을 생성하고 이를 교대로 출력하여 그래픽 스트림이 3차원으로 재생되도록 한다(단계 930).
3D Capability정보에, 그래픽 스트림 처리 장치가 그래픽 오브젝트별로 다른 뎁쓰 값을 갖도록 하여 그래픽 스트림을 3차원으로 재생할 수 있음을 표시하는 플래그가 포함되어 있지 않는 경우, 즉, 그래픽 스트림 처리 장치가 그래픽 화면 전체에 동일한 뎁쓰 값이 부여되도록 하여 그래픽 스트림을 3차원으로 재생할 수 있다는 것을 나타내는 플래그가 3D Capability정보에 포함되어 있는 경우, 그래픽 스트림 처리 장치는 그래픽 스트림에 대한 메타데이터로부터 그래픽 화면에 대한 뎁쓰 정보를 추출하고 이를 이용하여 그래픽 화면이 동일한 뎁쓰 값을 갖도록 하여 3차원으로 재생한다(단계 940). 이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (48)

  1. 그래픽 스트림을 디코딩하여 그래픽 오브젝트를 생성하는 단계;
    상기 그래픽 스트림을 디코딩하여 2차원 구성 정보 및 색상 정보를 생성하는 단계;
    상기 그래픽 스트림에 대한 메타데이터를 이용하여 상기 2차원 구성 정보로부터 3차원 구성 정보를 생성하는 단계; 및
    상기 3차원 구성 정보 및 상기 색상 정보를 이용하여 상기 그래픽 오브젝트를 3차원 화면으로 출력하는 단계를 포함하는 것을 특징으로 하는 그래픽 스트림 처리 방법.
  2. 제1 항에 있어서, 상기 그래픽 스트림 처리 방법을 수행하는 재생 장치 내의 플레이어 세팅 레지스터로부터 3D Capability 정보를 추출하는 단계; 및
    상기 3D Capability정보를 이용하여 그래픽 오브젝트 별로 별개의 뎁쓰 값을 갖도록 하여 그래픽 화면을 3차원으로 재생할 수 있는지, 또는 그래픽 화면에 동일한 뎁쓰 값을 갖도록 하여 그래픽 화면을 3차원으로 재생할 수 있는지를 판단하는 단계를 더 포함하고,
    상기 3차원 구성 정보를 생성하는 단계는 상기 3D Capability정보를 이용하여 그래픽 오브젝트 별로 별개의 뎁쓰 값을 갖도록 하여 그래픽 화면을 3차원으로 재생할 수 있다고 판단되면, 상기 메타데이터를 이용하여 각각의 그래픽 오브젝트별로 위치 이동 값을 구하는 단계;
    상기 위치 이동 값을 이용하여 상기 2차원 구성 정보에 포함된 오브젝트 위치 값을 좌측 및 우측으로 소정 거리만큼 떨어진 값으로 변환하는 단계; 및
    상기 변환된 위치 값을 각각 포함하는 좌안용 그래픽 화면 생성을 위한 좌안용 구성 정보 및 우안용 그래픽 화면 생성을 위한 우안용 구성 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 그래픽 스트림 처리 방법.
  3. 제2 항에 있어서, 상기 그래픽 오브젝트의 위치 이동 값을 구하는 단계는
    상기 메타데이터로부터 각 그래픽 오브젝트에 적용될 오브젝트 뎁쓰 값을 추출하는 단계; 및
    상기 오브젝트 뎁쓰 값을 이용하여 상기 그래픽 오브젝트의 위치 이동 값을 구하는 단계를 포함하는 것을 특징으로 하는 그래픽 스트림 처리 방법.
  4. 제2 항에 있어서, 상기 3차원 구성 정보를 생성하는 단계는
    상기 좌안용 구성 정보 및 상기 우안용 구성 정보에 상기 메타데이터에 포함된 홀 보상 정보를 각각 추가하여 상기 3차원 구성 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 그래픽 스트림 처리 방법.
  5. 제4 항에 있어서, 상기 홀 보상 정보는
    홀 영역 식별 정보 및 색상 참조 정보를 포함하는 것을 특징으로 하는 그래픽 스트림 처리 방법.
  6. 제5 항에 있어서, 상기 그래픽 오브젝트를 3차원 화면으로 출력하는 단계는
    상기 3차원 구성 정보를 이용하여, 상기 그래픽 오브젝트 각각을 변환된 위치에 배열하고 상기 홀 영역에 상기 색상 참조 정보에 의해 참조된 색상을 적용하여 상기 좌안용 그래픽 화면 및 상기 우안용 그래픽 화면을 각각 생성하는 단계를 포함하는 것을 특징으로 하는 그래픽 스트림 처리 방법.
  7. 제4 항에 있어서, 상기 홀 보상 정보는
    홀 영역 식별 정보, 상기 식별된 홀 영역에 삽입될 홀 그래픽 오브젝트 중 하나 이상을 포함하는 것을 특징으로 하는 그래픽 스트림 처리 방법.
  8. 제7 항에 있어서, 상기 그래픽 오브젝트를 3차원 화면으로 출력하는 단계는
    상기 3차원 구성 정보를 이용하여, 상기 그래픽 오브젝트 각각을 변환된 위치에 배열하고 상기 홀 영역에 상기 홀 그래픽 오브젝트를 배열하여 상기 좌안용 그래픽 화면 및 우안용 그래픽 화면을 각각 생성하는 단계를 포함하는 것을 특징으로 하는 그래픽 스트림 처리 방법.
  9. 제1 항에 있어서, 상기 3차원 구성 정보를 생성하는 단계는
    상기 메타데이터로부터 상기 그래픽 스트림이 좌안용 비디오 영상, 우안용 비디오 영상, 2차원 비디오 영상 중 어느 비디오 영상을 기준으로 작성된 것인지를 나타내는 그래픽 화면 생성 기준 정보를 추출하는 단계를 포함하는 것을 특징으로 하는 그래픽 스트림 처리 방법.
  10. 제9 항에 있어서, 상기 그래픽 스트림이 좌안용 비디오 영상을 기준으로 작성된 경우, 상기 3차원 구성 정보를 생성하는 단계는
    상기 메타데이터를 이용하여 상기 그래픽 오브젝트의 위치 이동 값을 구하는 단계;
    상기 위치 이동 값을 이용하여 상기 2차원 구성 정보에 포함된 오브젝트 위치 값을 좌 또는 우로 소정 거리만큼 변환하는 단계; 및
    상기 변환된 위치 값을 포함하는 우안용 그래픽 화면 생성을 위한 우안용 구성 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 그래픽 스트림 처리 방법.
  11. 제10 항에 있어서, 상기 그래픽 스트림이 우안용 비디오 영상을 기준으로 작성된 경우, 상기 3차원 구성 정보를 생성하는 단계는
    상기 메타데이터를 이용하여 상기 그래픽 오브젝트의 위치 이동 값을 구하는 단계;
    상기 위치 이동 값을 이용하여 상기 2차원 구성 정보에 포함된 오브젝트 위치 값을 좌 또는 우로 소정 거리만큼 변환하는 단계; 및
    상기 변환된 위치 값을 포함하는 좌안용 그래픽 화면 생성을 위한 좌안용 구성 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 그래픽 스트림 처리 방법.
  12. 제1 항에 있어서, 그래픽 스트림 처리 방법을 수행하는 재생 장치 내의 플레이어 세팅 레지스터로부터 3D Capability 정보를 추출하는 단계; 및
    상기 3D Capability정보를 이용하여 그래픽 오브젝트 별로 별개의 뎁쓰 값을 갖도록 하여 그래픽 화면을 3차원으로 재생할 수 있는지, 또는 그래픽 화면이 동일한 뎁쓰 값을 갖도록 하여 그래픽 화면을 3차원으로 재생할 수 있는지를 판단하는 단계를 더 포함하고,
    상기 3차원 구성 정보를 생성하는 단계는 상기 3D Capability정보를 이용하여 그래픽 화면이 동일한 뎁쓰 값을 갖도록 하여 그래픽 화면을 3차원으로 재생할 수 있다고 판단되면,
    상기 메타데이터를 이용하여 상기 그래픽 오브젝트 전체가 출력될 그래픽 화면의 위치 이동 값을 구하는 단계;
    상기 그래픽 화면의 위치 이동 값을 이용하여 상기 2차원 구성 정보에 포함된 오브젝트 위치 값을 좌 또는 우로 소정 거리만큼 변환하는 단계; 및
    상기 변환된 위치 값을 포함하는 3차원 구성 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 그래픽 스트림 처리 방법.
  13. 제12 항에 있어서, 상기 그래픽 오브젝트를 3차원 화면으로 출력하는 단계는
    상기 3차원 구성 정보를 이용하여 상기 그래픽 화면이 상기 좌 또는 우로 변환된 위치에 교대로 출력되도록 하는 단계를 포함하는 것을 특징으로 하는 그래픽 스트림 처리 방법.
  14. 그래픽 스트림을 디코딩하여 그래픽 오브젝트, 2차원 구성 정보 및 색상 정보를 생성하는 그래픽 처리부;
    상기 그래픽 스트림에 대한 메타데이터를 이용하여 상기 2차원 구성 정보로부터 3차원 구성 정보를 생성하는 뎁쓰 처리부;
    상기 3차원 구성 정보 및 상기 색상 정보를 이용하여 상기 그래픽 오브젝트를 3차원 화면으로 출력하는 그래픽 화면 출력부를 포함하는 것을 특징으로 하는 그래픽 스트림 처리 장치.
  15. 제14 항에 있어서, 3D Capability 정보를 저장하는 플레이어 세팅 레지스터를 더 포함하고,
    상기 뎁쓰 처리부는 상기 3D Capability정보를 이용하여 그래픽 오브젝트 별로 별개의 뎁쓰 값을 갖도록 하여 그래픽 화면을 3차원으로 재생할 수 있는지, 또는 그래픽 화면이 동일한 뎁쓰 값을 갖도록 하여 그래픽 화면을 3차원으로 재생할 수 있는지를 판단하고,
    상기 3D Capability정보를 이용하여 그래픽 오브젝트 별로 별개의 뎁쓰 값을 갖도록 하여 그래픽 화면을 3차원으로 재생할 수 있다고 판단되면, 상기 메타데이터를 이용하여 각각의 그래픽 오브젝트별로 위치 이동 값을 구하고, 상기 위치 이동 값을 이용하여 상기 2차원 구성 정보에 포함된 오브젝트 위치 값을 좌측 및 우측으로 소정 거리만큼 떨어진 값으로 변환하고, 변환된 위치 값을 각각 포함하는 좌안용 그래픽 화면 생성을 위한 좌안용 구성 정보 및 우안용 그래픽 화면 생성을 위한 우안용 구성 정보를 생성하는 것을 특징으로 하는 그래픽 스트림 처리 장치.
  16. 제15 항에 있어서, 상기 뎁쓰 처리부는
    상기 메타데이터로부터 각 그래픽 오브젝트에 적용할 오브젝트 뎁쓰 값을 추출하고, 상기 오브젝트 뎁쓰 값을 이용하여 상기 그래픽 오브젝트의 위치 이동 값을 구하는 것을 특징으로 하는 그래픽 스트림 처리 장치.
  17. 제15 항에 있어서, 상기 뎁쓰 처리부는
    상기 좌안용 구성 정보 및 상기 우안용 구성 정보에 상기 메타데이터에 포함된 홀 보상 정보를 각각 추가하여 상기 3차원 구성 정보를 생성하는 것을 특징으로 하는 그래픽 스트림 처리 장치.
  18. 제17 항에 있어서, 상기 홀 보상 정보는
    홀 영역 식별 정보 및 색상 참조 정보를 포함하는 것을 특징으로 하는 그래픽 스트림 처리 장치.
  19. 제18 항에 있어서, 상기 그래픽 화면 출력부는
    상기 3차원 구성 정보를 이용하여, 상기 그래픽 오브젝트 각각을 변환된 위치에 배열하고 상기 홀 영역에 상기 색상 참조 정보에 의해 참조된 색상을 적용하여 상기 좌안용 그래픽 화면 및 상기 우안용 그래픽 화면을 각각 생성하는 것을 특징으로 하는 그래픽 스트림 처리 장치.
  20. 제17 항에 있어서, 상기 홀 보상 정보는
    홀 영역 식별 정보, 상기 식별된 홀 영역에 삽입될 홀 그래픽 오브젝트 중 하나 이상을 포함하는 것을 특징으로 하는 그래픽 스트림 처리 장치.
  21. 제20 항에 있어서, 상기 그래픽 화면 출력부는
    상기 3차원 구성 정보를 이용하여, 상기 그래픽 오브젝트 각각을 변환된 위치에 배열하고 상기 홀 영역에 상기 홀 그래픽 오브젝트를 배열하여 상기 좌안용 그래픽 화면 및 우안용 그래픽 화면을 각각 생성하는 것을 특징으로 하는 그래픽 스트림 처리 장치.
  22. 제14 항에 있어서, 상기 뎁쓰 처리부는
    상기 메타데이터로부터 상기 그래픽 스트림이 좌안용 비디오 영상, 우안용 비디오 영상, 2차원 비디오 영상 중 어느 비디오 영상을 기준으로 작성된 것인지를 나타내는 그래픽 화면 생성 기준 정보를 추출하는 것을 특징으로 하는 그래픽 스트림 처리 장치.
  23. 제22 항에 있어서, 상기 그래픽 스트림이 좌안용 비디오 영상을 기준으로 작성된 경우, 상기 뎁쓰 처리부는
    상기 메타데이터를 이용하여 상기 그래픽 오브젝트의 위치 이동 값을 구하고, 상기 위치 이동 값을 이용하여 상기 2차원 구성 정보에 포함된 오브젝트 위치 값을 좌 또는 우로 소정 거리만큼 변환하여 상기 변환된 위치 값을 포함하는 우안용 그래픽 화면 생성을 위한 우안용 구성 정보를 생성하는 것을 특징으로 하는 그래픽 스트림 처리 장치.
  24. 제23 항에 있어서, 상기 그래픽 스트림이 우안용 비디오 영상을 기준으로 작성된 경우, 상기 뎁쓰 처리부는 상기 메타데이터를 이용하여 상기 그래픽 오브젝트의 위치 이동 값을 구하고, 상기 위치 이동 값을 이용하여 상기 2차원 구성 정보에 포함된 오브젝트 위치 값을 좌 또는 우로 소정 거리만큼 변환하여 상기 변환된 위치 값을 포함하는 좌안용 그래픽 화면 생성을 위한 좌안용 구성 정보를 생성하는 것을 특징으로 하는 그래픽 스트림 처리 장치.
  25. 제14 항에 있어서, 3D Capability 정보를 저장하는 플레이어 세팅 레지스터를 더 포함하고,
    상기 뎁쓰 처리부는 상기 3D Capability정보를 이용하여 그래픽 오브젝트 별로 별개의 뎁쓰 값을 갖도록 하여 그래픽 화면을 3차원으로 재생할 수 있는지, 또는 그래픽 화면이 동일한 뎁쓰 값을 갖도록 하여 그래픽 화면을 3차원으로 재생할 수 있는지를 판단하고,
    상기 3D Capability정보를 이용하여 그래픽 화면이 동일한 뎁쓰 값을 갖도록 하여 그래픽 화면을 3차원으로 재생할 수 있다고 판단되면, 상기 메타데이터를 이용하여 상기 그래픽 오브젝트 전체가 출력될 그래픽 화면의 위치 이동 값을 구하고, 상기 그래픽 화면의 위치 이동 값을 이용하여 상기 2차원 구성 정보에 포함된 오브젝트 위치 값을 좌 또는 우로 소정 거리만큼 변환하여 상기 변환된 위치 값을 포함하는 3차원 구성 정보를 생성하는 것을 특징으로 하는 그래픽 스트림 처리 장치.
  26. 제25 항에 있어서, 상기 그래픽 화면 출력부는
    상기 3차원 구성 정보를 이용하여 상기 그래픽 화면을 상기 좌 또는 우로 변환된 위치에 교대로 출력하는 것을 특징으로 하는 그래픽 스트림 처리 장치.
  27. 그래픽 스트림; 및
    상기 그래픽 스트림에 대한 메타데이터를 포함하고,
    상기 그래픽 스트림은 그래픽 오브젝트, 2차원 구성 정보 및 색상 정보를 포함하고, 상기 메타데이터는 그래픽 오브젝트 식별 정보, 그래픽 오브젝트의 뎁쓰 값 및 위치 이동 값 중 하나, 그리고 홀 보상 정보를 포함하고, 상기 메타데이터는 상기 2차원 구성 정보로부터 상기 그래픽 오브젝트를 3차원 화면으로 출력하기 위한 3차원 구성 정보를 생성하는 데 사용되는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록 매체.
  28. 그래픽 스트림을 디코딩하여 그래픽 오브젝트를 생성하는 단계;
    상기 그래픽 스트림을 디코딩하여 2차원 구성 정보 및 색상 정보를 생성하는 단계;
    상기 그래픽 스트림에 대한 메타데이터를 이용하여 상기 2차원 구성 정보로부터 3차원 구성 정보를 생성하는 단계; 및
    상기 3차원 구성 정보 및 상기 색상 정보를 이용하여 상기 그래픽 오브젝트를 3차원 화면으로 출력하는 단계를 포함하는 것을 특징으로 하는 그래픽 스트림 처리 방법을 실행하기 위한 프로그램을 저장한 컴퓨터로 판독 가능한 기록 매체.
  29. 3D Capability정보를 이용하여 그래픽 오브젝트 별로 별개의 뎁쓰 값을 갖도록 하여 그래픽 화면을 3차원으로 재생할 수 있는지, 또는 그래픽 화면에 동일한 뎁쓰 값을 갖도록 하여 그래픽 화면을 3차원으로 재생할 수 있는지를 판단하는 단계를 포함하는 것을 특징으로 하는 그래픽 스트림 처리 방법을 실행하기 위한 프로그램을 저장한 컴퓨터로 판독 가능한 기록 매체.
  30. 그래픽 스트림; 및
    상기 그래픽 스트림을 3차원 그래픽 화면으로 재생하기 위한, 상기 그래픽 스트림에 대한 메타데이터를 포함하고,
    상기 그래픽 스트림에 대한 메타데이터는 그래픽 오브젝트에 대한 뎁쓰 정보 및 그래픽 화면에 대한 뎁쓰 정보를 포함하고, 상기 그래픽 오브젝트에 대한 뎁쓰 정보는 그래픽 오브젝트 식별자, 그래픽 오브젝트의 뎁쓰 값 및 위치 이동 값 중 하나, 그리고 홀 보상 정보를 포함하는 것을 특징으로 하는 컴퓨터로 판독 가능한 기록 매체.
  31. 3D Capability정보를 이용하여 그래픽 오브젝트 별로 별개의 뎁쓰 값을 갖도록 하여 그래픽 화면을 3차원으로 재생할 수 있는지, 또는 그래픽 화면에 동일한 뎁쓰 값을 갖도록 하여 그래픽 화면을 3차원으로 재생할 수 있는지를 판단하는 단계를 포함하는 것을 특징으로 하는 그래픽 스트림 처리 방법.
  32. 제31 항에 있어서, 상기 판단하는 단계 이전에, 디코딩할 그래픽 스트림이 스테레오스코픽 그래픽 스트림인지를 판단하는 단계를 더 포함하고,
    상기 판단하는 단계는 상기 디코딩할 그래픽 스트림이 스테레오스코픽 그래픽 스트림인 경우 수행되는 것을 특징으로 하는 그래픽 스트림 처리 방법.
  33. 제31 항에 있어서, 상기 3D Capability 정보는 상기 그래픽 스트림 처리 방법을 수행하는 재생 장치 내의 플레이어 세팅 레지스터에 저장되어 있고, 상기 방법은 상기 판단하는 단계 이전에 상기 플레이어 세팅 레지스터에서 상기 3D Capability정보를 추출하는 단계를 더 포함하는 것을 특징으로 하는 그래픽 스트림 처리 방법.
  34. 제33 항에 있어서, 상기 3D Capability정보를 이용하여 그래픽 오브젝트 별로 별개의 뎁쓰 값을 갖도록 하여 그래픽 화면을 3차원으로 재생할 수 있다고 판단되면, 그래픽 스트림에 대한 메타데이터로부터 그래픽 오브젝트에 대한 뎁쓰 정보를 추출하는 단계; 및
    상기 그래픽 오브젝트에 대한 뎁쓰 정보를 이용하여 그래픽 스트림을 3차원으로 재생하는 단계를 더 포함하는 것을 특징으로 하는 그래픽 스트림 처리 방법.
  35. 제34 항에 있어서, 상기 그래픽 오브젝트에 대한 뎁쓰 정보는 그래픽 오브젝트 식별자, 및 상기 그래픽 오브젝트 식별자에 의해 식별되는 각각의 그래픽 오브젝트에 적용할 뎁쓰 값 또는 위치 이동 값 중 하나를 포함하고,
    상기 그래픽 오브젝트에 대한 뎁쓰 정보를 이용하여 상기 그래픽 스트림을 3차원으로 재생하는 단계는
    상기 위치 이동 값을 이용하여 상기 그래픽 오브젝트가 좌, 우로 이동되어 매핑될 위치를 구하고, 상기 구한 위치에 상기 그래픽 오브젝트를 배열하여 좌안용 그래픽 화면 및 우안용 그래픽 화면을 생성하는 단계를 포함하는 것을 특징으로 하는 그래픽 스트림 처리 방법.
  36. 제35 항에 있어서, 상기 그래픽 오브젝트에 대한 뎁쓰 정보에 그래픽 오브젝트 각각에 적용할 뎁쓰 값이 포함되어 있는 경우, 상기 뎁쓰 값을 상기 위치 이동 값으로 변환하는 단계를 더 포함하는 것을 특징으로 하는 그래픽 스트림 처리 방법.
  37. 제35 항에 있어서, 상기 그래픽 오브젝트에 대한 뎁쓰 정보는 홀 보상 정보를 더 포함하고,
    상기 좌안용 그래픽 화면 및 우안용 그래픽 화면을 생성하는 단계는 상기 홀 보상 정보를 이용하여 상기 그래픽 오브젝트가 배열되는 위치가 바뀜으로 인해 생기는 홀 영역을 메우는 단계를 포함하는 것을 특징으로 하는 그래픽 스트림 처리 방법.
  38. 제33 항에 있어서, 상기 3D Capability정보를 이용하여 그래픽 화면이 동일한 뎁쓰 값을 갖도록 하여 그래픽 화면을 3차원으로 재생할 수 있다고 판단되면, 그래픽 스트림에 대한 메타데이터로부터 그래픽 화면에 대한 뎁쓰 정보를 추출하는 단계; 및
    상기 그래픽 화면에 대한 뎁쓰 정보를 이용하여 그래픽 스트림을 3차원으로 재생하는 단계를 더 포함하는 것을 특징으로 하는 그래픽 스트림 처리 방법.
  39. 제38 항에 있어서, 상기 그래픽 화면에 대한 뎁쓰 정보를 이용하여 상기 그래픽 스트림을 3차원으로 재생하는 단계는
    상기 그래픽 화면에 대한 뎁쓰 정보를 이용하여 상기 그래픽 화면이 이동될 위치 이동 값을 구하는 단계;
    상기 위치 이동 값을 이용하여 상기 그래픽 화면이 좌, 우로 이동되어 매핑될 위치를 구하고, 상기 구한 위치에 상기 그래픽 화면을 배열하여 좌안용 그래픽 화면 및 우안용 그래픽 화면을 생성하는 단계를 포함하는 것을 특징으로 하는 그래픽 스트림 처리 방법.
  40. 3D Capability 정보를 이용하여, 그래픽 오브젝트 별로 별개의 뎁쓰 값을 갖도록 하여 그래픽 화면을 3차원으로 재생할 수 있는지 또는 그래픽 화면이 동일한 뎁쓰 값을 갖도록 하여 그래픽 화면을 3차원으로 재생할 수 있는지를 판단하는 그래픽 디코더를 포함하는 것을 특징으로 하는 그래픽 스트림 처리 장치.
  41. 제40 항에 있어서, 상기 그래픽 디코더는 상기 디코딩할 그래픽 스트림이 스테레오스코픽 그래픽 스트림인지를 판단하고, 상기 디코딩할 그래픽 스트림이 스테레오스코픽 그래픽 스트림인 경우 상기 3D Capability정보를 이용하여, 상기 그래픽 오브젝트 별로 별개의 뎁쓰 값을 갖도록 하여 그래픽 화면을 3차원으로 재생할 수 있는지 또는 그래픽 화면이 동일한 뎁쓰 값을 갖도록 하여 그래픽 화면을 3차원으로 재생할 수 있는지를 판단하는 것을 특징으로 하는 그래픽 스트림 처리 장치.
  42. 제40 항에 있어서, 상기 3D Capability 정보를 저장하는 플레이어 세팅 레지스터를 더 포함하고, 상기 그래픽 디코더는 상기 플레이어 세팅 레지스터에서 상기 3D Capability정보를 추출하는 것을 특징으로 하는 그래픽 스트림 처리 장치.
  43. 제42 항에 있어서, 상기 그래픽 디코더는 상기 3D Capability정보를 이용하여 그래픽 오브젝트 별로 별개의 뎁쓰 값을 갖도록 하여 그래픽 화면을 3차원으로 재생할 수 있다고 판단하면, 그래픽 스트림에 대한 메타데이터로부터 그래픽 오브젝트에 대한 뎁쓰 정보를 추출하고, 상기 그래픽 오브젝트에 대한 뎁쓰 정보를 이용하여 그래픽 스트림을 3차원으로 재생하는 것을 특징으로 하는 그래픽 스트림 처리 장치.
  44. 제43 항에 있어서, 상기 그래픽 오브젝트에 대한 뎁쓰 정보는 그래픽 오브젝트 식별자, 및 상기 그래픽 오브젝트 식별자에 의해 식별되는 각각의 그래픽 오브젝트에 적용할 뎁쓰 값 또는 위치 이동 값 중 하나를 포함하고,
    상기 그래픽 디코더는 상기 위치 이동 값을 이용하여 상기 그래픽 오브젝트가 좌, 우로 이동되어 매핑될 위치를 구하고, 상기 구한 위치에 상기 그래픽 오브젝트가 배열되도록 하여 좌안용 그래픽 화면 및 우안용 그래픽 화면을 생성하는 것을 특징으로 하는 그래픽 스트림 처리 장치.
  45. 제44 항에 있어서, 상기 그래픽 디코더는 상기 그래픽 오브젝트에 대한 뎁쓰 정보에 그래픽 오브젝트에 적용할 뎁쓰 값이 포함되어 있는 경우, 상기 뎁쓰 값을 상기 위치 이동 값으로 변환하는 것을 특징으로 하는 그래픽 스트림 처리 장치.
  46. 제44 항에 있어서, 상기 그래픽 오브젝트에 대한 뎁쓰 정보는 홀 보상 정보를 더 포함하고,
    상기 그래픽 디코더는 상기 홀 보상 정보를 이용하여 상기 그래픽 오브젝트가 배열되는 위치가 바뀜으로 인해 생기는 홀 영역을 메우는 것을 특징으로 하는 그래픽 스트림 처리 장치.
  47. 제42 항에 있어서, 상기 그래픽 디코더는 상기 3D Capability정보를 이용하여 그래픽 화면이 동일한 뎁쓰 값을 갖도록 하여 그래픽 화면을 3차원으로 재생할 수 있다고 판단되면, 그래픽 스트림에 대한 메타데이터로부터 그래픽 화면에 대한 뎁쓰 정보를 추출하고, 상기 그래픽 화면에 대한 뎁쓰 정보를 이용하여 그래픽 스트림을 3차원으로 재생하는 것을 특징으로 하는 그래픽 스트림 처리 장치.
  48. 제47 항에 있어서, 상기 그래픽 디코더는 상기 그래픽 화면에 대한 뎁쓰 정보를 이용하여 상기 그래픽 화면이 이동될 위치 이동 값을 구하고, 상기 위치 이동 값을 이용하여 상기 그래픽 화면이 좌, 우로 이동되어 매핑될 위치를 구하고, 상기 구한 위치에 상기 그래픽 화면이 배열되도록 하여 좌안용 그래픽 화면 및 우안용 그래픽 화면을 생성하는 것을 특징으로 하는 그래픽 스트림 처리 장치.
PCT/KR2010/000931 2009-02-17 2010-02-16 그래픽 화면 처리 방법 및 장치 WO2010095838A2 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201080008013.3A CN102318351B (zh) 2009-02-17 2010-02-16 图形图像处理方法和设备
JP2011550061A JP5789518B2 (ja) 2009-02-17 2010-02-16 グラフィック画面処理方法及び装置
BRPI1008575A BRPI1008575A2 (pt) 2009-02-17 2010-02-16 método de processamento de um fluxo gráfico, aparelho para processamento de um fluxo gráfico, e meio de armazenamento legível por computador
EP10743913A EP2400767A4 (en) 2009-02-17 2010-02-16 METHOD AND APPARATUS FOR GRAPHICAL IMAGE PROCESSING
US13/210,434 US8497858B2 (en) 2009-02-17 2011-08-16 Graphic image processing method and apparatus
US13/928,861 US9035942B2 (en) 2009-02-17 2013-06-27 Graphic image processing method and apparatus

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2009-0013152 2009-02-17
KR20090013152 2009-02-17
KR1020090014542A KR101539232B1 (ko) 2009-02-20 2009-02-20 3차원 그래픽 생성 방법 및 장치
KR10-2009-0014542 2009-02-20

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/210,434 Continuation US8497858B2 (en) 2009-02-17 2011-08-16 Graphic image processing method and apparatus

Publications (2)

Publication Number Publication Date
WO2010095838A2 true WO2010095838A2 (ko) 2010-08-26
WO2010095838A3 WO2010095838A3 (ko) 2010-11-18

Family

ID=42634309

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2010/000931 WO2010095838A2 (ko) 2009-02-17 2010-02-16 그래픽 화면 처리 방법 및 장치

Country Status (7)

Country Link
US (2) US8497858B2 (ko)
EP (1) EP2400767A4 (ko)
JP (1) JP5789518B2 (ko)
CN (1) CN102318351B (ko)
BR (1) BRPI1008575A2 (ko)
MY (1) MY152817A (ko)
WO (1) WO2010095838A2 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016006971A1 (ko) * 2014-07-11 2016-01-14 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
WO2016006970A1 (ko) * 2014-07-11 2016-01-14 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
WO2016017961A1 (ko) * 2014-07-29 2016-02-04 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
WO2016036012A1 (ko) * 2014-09-04 2016-03-10 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
WO2016060415A1 (ko) * 2014-10-12 2016-04-21 엘지전자 주식회사 Xml 서브타이틀의 트릭 플레이를 위한 방송 신호 송수신 방법 및 장치

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102318351B (zh) 2009-02-17 2016-06-15 三星电子株式会社 图形图像处理方法和设备
KR101659576B1 (ko) 2009-02-17 2016-09-30 삼성전자주식회사 영상 처리 방법 및 장치
KR20120017228A (ko) * 2010-08-18 2012-02-28 엘지전자 주식회사 이동 단말기 및 상기 이동 단말기의 영상 표시 방법
JP5915158B2 (ja) * 2011-12-22 2016-05-11 ソニー株式会社 タイムコード表示装置及びタイムコード表示方法
CN103390164B (zh) * 2012-05-10 2017-03-29 南京理工大学 基于深度图像的对象检测方法及其实现装置
US9417666B2 (en) * 2012-10-19 2016-08-16 Microsoft Technology Licesning, LLC User and device movement based display compensation
US20220239994A1 (en) * 2019-06-25 2022-07-28 Sony Group Corporation Information processing apparatus, information processing method, reproduction processing apparatus, and reproduction processing method
US20230086037A1 (en) * 2021-09-17 2023-03-23 Lucid Software, Inc. Graphical diagram comparison

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09139957A (ja) 1995-11-14 1997-05-27 Mitsubishi Electric Corp グラフィック表示装置
JPH11113028A (ja) 1997-09-30 1999-04-23 Toshiba Corp ３次元映像表示装置
EP1044432A4 (en) * 1997-12-05 2007-02-21 Dynamic Digital Depth Res Pty IMPROVED IMAGE TRANSFORMATION AND CODING TECHNIQUES
US6717578B1 (en) * 1998-02-17 2004-04-06 Sun Microsystems, Inc. Graphics system with a variable-resolution sample buffer
JP4610799B2 (ja) 2001-06-25 2011-01-12 オリンパス株式会社 立体観察システム、及び内視鏡装置
WO2004021285A1 (ja) * 2002-08-27 2004-03-11 Sharp Kabushiki Kaisha 最適な再生モードでコンテンツを再生できるコンテンツ再生装置
KR100436904B1 (ko) 2002-09-06 2004-06-23 강호석 2차원이미지에 대한 입체영상생성방법
JP4072674B2 (ja) * 2002-09-06 2008-04-09 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
EP1437898A1 (en) * 2002-12-30 2004-07-14 Koninklijke Philips Electronics N.V. Video filtering for stereo images
JP2005229384A (ja) 2004-02-13 2005-08-25 Nippon Hoso Kyokai <Nhk> マルチメディア情報配受信システム、マルチメディア情報配信装置およびマルチメディア情報受信装置
US7697750B2 (en) * 2004-12-06 2010-04-13 John Castle Simmons Specially coherent optics
JP2006191357A (ja) 2005-01-06 2006-07-20 Victor Co Of Japan Ltd 再生装置および再生プログラム
JP4638784B2 (ja) 2005-07-19 2011-02-23 オリンパスイメージング株式会社 画像出力装置及びプログラム
JP2007115293A (ja) * 2005-10-17 2007-05-10 Toshiba Corp 情報記憶媒体、プログラム、情報再生方法、情報再生装置、データ転送方法、及びデータ処理方法
DE102006030990A1 (de) 2005-11-14 2007-05-16 Univ Muenster Wilhelms Verfahren und Anordnung zum monoskopischen Darstellen wenigstens eines Bereiches eines Bildes auf einer autostereoskopischen Anzeigevorrichtung
US20070247477A1 (en) * 2006-04-21 2007-10-25 Lowry Gregory N Method and apparatus for processing, displaying and viewing stereoscopic 3D images
EP2033164B1 (en) * 2006-06-23 2015-10-07 Imax Corporation Methods and systems for converting 2d motion pictures for stereoscopic 3d exhibition
EP2074832A2 (en) * 2006-09-28 2009-07-01 Koninklijke Philips Electronics N.V. 3 menu display
KR101377736B1 (ko) * 2006-10-11 2014-03-24 코닌클리케 필립스 엔.브이. 3차원 그래픽 데이터의 생성
US8594180B2 (en) * 2007-02-21 2013-11-26 Qualcomm Incorporated 3D video encoding
CN101653011A (zh) 2007-03-16 2010-02-17 汤姆森许可贸易公司 用于将文本与三维内容相结合的系统和方法
JP4382837B2 (ja) * 2007-06-07 2009-12-16 シャープ株式会社 表示システムおよび画像処理装置
WO2010089995A1 (ja) * 2009-02-04 2010-08-12 パナソニック株式会社 記録媒体、再生装置、及び集積回路
CN102318351B (zh) 2009-02-17 2016-06-15 三星电子株式会社 图形图像处理方法和设备
WO2010095381A1 (ja) * 2009-02-20 2010-08-26 パナソニック株式会社 記録媒体、再生装置、集積回路
WO2010100875A1 (ja) * 2009-03-02 2010-09-10 パナソニック株式会社 記録媒体、再生装置、及び集積回路

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None
See also references of EP2400767A4

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016006971A1 (ko) * 2014-07-11 2016-01-14 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
WO2016006970A1 (ko) * 2014-07-11 2016-01-14 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
US10419718B2 (en) 2014-07-11 2019-09-17 Lg Electronics Inc. Method and device for transmitting and receiving broadcast signal
US10582269B2 (en) 2014-07-11 2020-03-03 Lg Electronics Inc. Method and device for transmitting and receiving broadcast signal
WO2016017961A1 (ko) * 2014-07-29 2016-02-04 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
US10368144B2 (en) 2014-07-29 2019-07-30 Lg Electronics Inc. Method and device for transmitting and receiving broadcast signal
WO2016036012A1 (ko) * 2014-09-04 2016-03-10 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
WO2016060415A1 (ko) * 2014-10-12 2016-04-21 엘지전자 주식회사 Xml 서브타이틀의 트릭 플레이를 위한 방송 신호 송수신 방법 및 장치

Also Published As

Publication number Publication date
EP2400767A2 (en) 2011-12-28
BRPI1008575A2 (pt) 2016-03-08
MY152817A (en) 2014-11-28
US8497858B2 (en) 2013-07-30
US20130286008A1 (en) 2013-10-31
US9035942B2 (en) 2015-05-19
WO2010095838A3 (ko) 2010-11-18
JP2012518323A (ja) 2012-08-09
US20110298797A1 (en) 2011-12-08
CN102318351A (zh) 2012-01-11
JP5789518B2 (ja) 2015-10-07
EP2400767A4 (en) 2012-09-05
CN102318351B (zh) 2016-06-15

Similar Documents

Publication Publication Date Title
WO2010095838A2 (ko) 그래픽 화면 처리 방법 및 장치
WO2010095835A2 (ko) 영상 처리 방법 및 장치
JP5616352B2 (ja) 三次元ｇｕｉにおける二次元グラフィックスの拡張
WO2011028019A2 (ko) 비디오 영상 배속 재생 방법 및 장치
WO2010101362A2 (en) Metadata generating method and apparatus and image processing method and apparatus using metadata
WO2011005025A2 (en) Signal processing method and apparatus therefor using screen size of display device
CN103297794B (zh) 数据结构、记录介质、播放设备和播放方法以及程序
WO2009157707A2 (en) Image processing method and apparatus
WO2017188637A1 (ko) Vr 기기에서의 이벤트 발생에 의한 메시지 표시방법 및 그 장치
WO2013157898A1 (en) Method and apparatus of providing media file for augmented reality service
WO2010137849A2 (ko) 영상 처리 방법 및 장치
WO2020105849A1 (ko) Vr 모션 플랫폼을 위한 멀미저감 방법 및 장치
WO2019054611A1 (ko) 전자 장치 및 그 동작방법
WO2010119814A1 (ja) データ構造、記録媒体、再生装置および再生方法、並びにプログラム
JP2006128816A (ja) 立体映像・立体音響対応記録プログラム、再生プログラム、記録装置、再生装置及び記録メディア
WO2020004967A1 (ko) 특정 영역의 화질을 개선하기 위해 복수의 가상현실영상을 재생하는 가상현실영상재생장치 및 가상현실영상생성방법
TW201042643A (en) Controlling of display parameter settings
WO2010050691A2 (en) Methods and apparatuses for processing and displaying image
EP2380359A2 (en) Method for transmitting data on stereoscopic image, method for playing back stereoscopic image, and method for creating file of stereoscopic image
WO2024136041A1 (ko) 사용자 움직임 기록 기반의 영상 제작 장치 및 방법
WO2010050692A2 (en) Image processing method and apparatus
JP2012070117A (ja) 三次元ビデオストリームの生成方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080008013.3

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10743913

Country of ref document: EP

Kind code of ref document: A2

WWE Wipo information: entry into national phase

Ref document number: 2010743913

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2011550061

Country of ref document: JP

Ref document number: 12011501631

Country of ref document: PH

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 1918/MUMNP/2011

Country of ref document: IN

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: PI1008575

Country of ref document: BR

ENP Entry into the national phase

Ref document number: PI1008575

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20110816