WO2010137849A2 - 영상 처리 방법 및 장치 - Google Patents

영상 처리 방법 및 장치 Download PDF

Info

Publication number
WO2010137849A2
WO2010137849A2 PCT/KR2010/003296 KR2010003296W WO2010137849A2 WO 2010137849 A2 WO2010137849 A2 WO 2010137849A2 KR 2010003296 W KR2010003296 W KR 2010003296W WO 2010137849 A2 WO2010137849 A2 WO 2010137849A2
Authority
WO
WIPO (PCT)
Prior art keywords
video
depth
depth information
value
image
Prior art date
Application number
PCT/KR2010/003296
Other languages
English (en)
French (fr)
Other versions
WO2010137849A3 (ko
Inventor
전혜영
정현권
이대종
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to EP10780760.4A priority Critical patent/EP2437501A4/en
Priority to JP2012512959A priority patent/JP2012528510A/ja
Priority to CN2010800235596A priority patent/CN102450025A/zh
Publication of WO2010137849A2 publication Critical patent/WO2010137849A2/ko
Publication of WO2010137849A3 publication Critical patent/WO2010137849A3/ko
Priority to US13/304,751 priority patent/US20120194639A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof

Definitions

  • the present invention relates to an image processing method and apparatus, and more particularly, to an image processing method and apparatus for adjusting a depth value of a graphic screen to be reproduced together with a 3D video image using a depth value of a 3D video image. .
  • the 3D video image may be displayed with graphic elements such as menus or subtitles additionally provided for the video image.
  • Graphic elements reproduced with a 3D video image may be reproduced in 2D or in 3D.
  • FIG. 1 is a diagram for describing depth values of a video image and a graphic element when the video image and the graphic element are reproduced together in three dimensions.
  • the video image may include one or more objects. 1 illustrates a case where one object is included in a video image.
  • FIG. 1A illustrates that the depth value 110 of an object included in a video image is a depth value 120 of a graphic element.
  • the depth value 110 of an object included in a video image is a depth value 120 of a graphic element.
  • the viewer looking at the screen 100 recognizes that the menu, that is, the graphic element is located inside the object of the video image. Since the graphic element is located inside the object included in the video image, part of the object is covered by the graphic element. In this case, the viewer perceives that the reproduction of the object and the graphic element is unnatural.
  • FIG. 1B is a diagram for describing a case where a depth value of a graphic element is constant and a depth value of a video image reproduced with the graphic element is changed.
  • the depth value of the graphic element may have a fixed value or may change at a specific time.
  • the depth value of the object reproduced with the graphic element having the fixed depth value may change continuously every frame.
  • the depth values 110 of the objects included in the video image are different from each other in the left frame and the right frame of FIG. 1B, but the depth values 120 of the graphic elements are the same.
  • FIG. 1B it can be seen that the difference between the depth value of the object and the graphic element in the right frame is greater than the difference in the depth value between the object and the graphic element in the left frame.
  • the left frame and the right frame are reproduced sequentially, the difference between the depth value of the graphic element and the depth value of the object in the video image is also changed. The viewer may feel dizzy due to a change in the difference between the depth value of the graphic element and the depth value of the object in the video image.
  • the present invention provides an image processing method and apparatus for adjusting the depth value of a graphic screen using a depth value of a video image so that playback of the video image and the graphic screen is naturally recognized.
  • the present invention is to provide an image processing method and apparatus for reproducing the video image and the graphic screen by having a three-dimensional feeling as if the video image is located deeper than the graphic screen.
  • the depth value of the graphic screen may be adjusted using the depth value of the video image, and the graphic screen with the adjusted depth value may be played together with the video image.
  • FIG. 1 is a diagram for describing depth values of a video image and a graphic element when the video image and the graphic element are reproduced together in three dimensions.
  • FIG. 2 is a diagram illustrating a video stream according to an embodiment of the present invention.
  • FIG 3 illustrates a video stream 300 according to another embodiment of the present invention.
  • FIG. 4 illustrates a video stream 400 according to another embodiment of the present invention.
  • FIG. 5 is a diagram illustrating syntax representing that video depth information is included in an SEI message according to an embodiment of the present invention.
  • FIG. 6 is an internal block diagram of an image processing apparatus 600 according to an exemplary embodiment.
  • FIG. 7 is a flowchart illustrating an image processing method according to an exemplary embodiment.
  • the video depth information includes a depth value of a 3D video image or a moving distance value of a pixel corresponding to the depth value of the 3D video image, wherein the depth value is a video image output inside the screen.
  • adjusting the depth value of the graphic screen may include adjusting the depth value of the graphic screen to have a value equal to or greater than a depth value of the 3D video image. Can be.
  • adjusting the depth value of the graphic screen may be performed.
  • the depth value of the graphic screen may be adjusted to have a depth value equal to or greater than an object having the largest depth value among two or more objects.
  • the video stream may include a plurality of access units that are decoding units, and the extracting of the video depth information may include extracting video depth information from each of the plurality of access units.
  • the adjusting of the depth value of the graphic screen may include adjusting the depth value of the graphic screen to be reproduced in synchronization with the access unit from which the video depth information is extracted using the extracted video depth information. .
  • the extracting of the video depth information may include extracting the video depth information from user data SEI messages in Supplemental Enhancement Information (SEI) included in each access unit.
  • SEI Supplemental Enhancement Information
  • the video stream may include one or more Group Of Pictures (GOPs) including a plurality of access units that are decoding units, and the extracting of the video depth information may include a plurality of access units included in the GOPs. Extracting video depth information from one of the access units.
  • GOPs Group Of Pictures
  • the extracting of the video depth information may include extracting the video depth information from user data SEI messages in Supplemental Enhancement Information (SEI) included in the one access unit.
  • SEI Supplemental Enhancement Information
  • the video depth information may include the number of depth values of the 3D video image or the number of moving distance values of the corresponding pixels
  • the adjusting of the depth value of the graphic screen may include the plurality of depths included in the GOP.
  • a video decoder for decoding a video stream to generate a left eye image and a right eye image
  • a graphic decoder for decoding a graphic stream to generate a graphic screen
  • a video depth information extractor configured to extract video depth information representing a depth of a 3D video image from the video stream
  • a graphic screen depth value adjusting unit configured to adjust a depth value of a graphic screen to be reproduced in synchronization with the 3D video image by using the video depth information.
  • the method comprises: extracting video depth information representing a depth of a 3D video image from a video stream; And adjusting a depth value of a graphic screen to be reproduced in synchronization with the three-dimensional video image using the video depth information, wherein the program for executing the image processing method is stored. can do.
  • the video stream 200 includes one or more access units 210.
  • An access unit (AU) 210 is a set of several Network Abstraction Layer (NAL) units in order to access information in a bit string in picture units. That is, an access unit is an encoding / decoding unit, and one access unit corresponds to one coded picture, that is, a picture or a frame.
  • NAL Network Abstraction Layer
  • the video stream 200 includes video depth information 220 for each access unit 210.
  • the video depth information 220 is information indicating a degree of depth of the 3D video image generated from the video stream 200.
  • the human eye Since the human eye is separated by a predetermined distance in the horizontal direction, the two-dimensional images viewed by the left and right eyes are different from each other.
  • the human brain combines two different two-dimensional images seen by the left and right eyes to produce a three-dimensional image with perspective and reality. Therefore, in order to reproduce a 2D video image in 3D, two different images viewed by the left eye and the right eye, that is, the left eye image and the right eye image, must be generated and reproduced alternately. .
  • the left eye image and the right eye image are generated by moving pixels included in the 2D image to a left or right by a predetermined distance.
  • a distance to which a pixel should be moved that is, a position of a predetermined pixel in the 2D image and the pixel is moved by a predetermined distance, is applied to the left and right eye images
  • the distance between the mapped points depends on the depth of the 3D image to be generated from the 2D image.
  • the term depth information is used to indicate a sense of depth of an image.
  • the video depth information may include one of a depth value or a moving distance value of a pixel corresponding to the depth value.
  • Depth value is a term for indicating the depth of the image in the present invention defines that the closer the image is closer to the viewer the depth value of the image.
  • the depth value may have one of 256 values from 0 to 255. As the image is formed inside the screen, as the image is moved away from the viewer looking at the screen, the depth value becomes smaller and closer to 0. The closer the viewer is to the outside of the screen, the closer the viewer is to the depth of 255.
  • the author may include video depth information 220 representing the depth of the 3D video image to be generated from each access unit 210 for each access unit 210 included in the video stream 200 as shown in FIG. 2. Can be.
  • each access unit 210 may include Supplemental Enhancement Information (SEI), and the SEI may include User data SEI messages.
  • SEI Supplemental Enhancement Information
  • the video depth information 220 may be included in an SEI message included in each access unit 210. The inclusion of the video depth information 220 in the SEI will be described in more detail with reference to FIG. 4.
  • An image processing apparatus may extract video depth information 220 from each access unit 210 of the video stream 200 and adjust the depth value of the graphic screen using the extracted video depth information 220. .
  • the graphics screen is generated by decoding the graphics stream.
  • the graphic stream is an interactive graphic stream for providing a menu consisting of a presentation graphic stream or text subtitle stream for displaying subtitles, a button for interacting with a user, and the like. stream, and a graphical overlay displayed by a program element such as Java.
  • the image processing apparatus may adjust the depth value of the graphic screen to be reproduced in synchronization with the extracted access unit 210 using the extracted video depth information 220.
  • the image processing apparatus may determine that the depth value of the graphic screen is equal to or greater than the depth value of the 3D video image by using the depth value included in the video depth information 220 or the moving distance value of the pixel corresponding to the depth value. It can be adjusted to have. In this case, the graphic screen protrudes more than the 3D video image and is output at a position closer to the viewer.
  • One frame or picture may include one or a plurality of objects.
  • the video depth information 220 may include depth information of all of the plurality of objects or two or more of the plurality of objects.
  • the image processing apparatus may adjust the depth value of the graphic screen using the depth information of one object among the depth information of the objects included in the video depth information 220.
  • the image processing apparatus may display the graphic screen so that the depth value of the graphic screen is larger than the depth value of the object having the largest depth value among the plurality of objects. You can adjust the depth value.
  • the image processing apparatus obtains a depth value corresponding to the moving distance values of the pixels to obtain the most of the plurality of objects.
  • An object having a large depth value may be identified, and a depth value of the graphic screen may be adjusted to have a depth value larger than that of the identified object.
  • video depth information 220 for adjusting the depth value of the graphic screen played with the video image may be included in each access unit.
  • the video stream 300 includes at least one group of pictures (GOP), which is a set of pictures.
  • the video stream 300 includes a GOP header 310 for each GOP.
  • a GOP is a bundle of a series of pictures from an I picture to the next I picture, and one GOP may include P pictures and B pictures in addition to I pictures. As described above, one picture corresponds to one access unit.
  • the author may include the video depth information 330 for the plurality of access units included in the GOP in the GOP header 310 as in the video stream 300 of FIG. 3.
  • the video depth information 330 includes one of a depth value of the 3D video image or a moving distance value of a pixel corresponding to the depth value of the 3D video image.
  • the video depth information 330 for the plurality of access units is included in the GOP header 310, the video depth information 330 may include a plurality of depth values or moving distance values of the plurality of pixels in a list form. In addition, the video depth information 330 may include information indicating the number of depth values or the number of moving distance values of the pixel as a count value.
  • the image processing apparatus (not shown) extracts the video depth information 330 from the GOP header 310 and uses the count value included in the video depth information 330 to determine the number of depth values or the number of moving distance values of the pixel. You can see how many are there.
  • the image processing apparatus divides the plurality of access units included in the GOP into the number of bundles included in the video depth information 330, and sets the depth value of the graphic screen to be reproduced in synchronization with the access units included in each bundle. Or it can be adjusted by using the moving distance value of the pixel.
  • the image processing apparatus divides ten access units into as many bundles as the number of depth values, that is, five bundles, and sequentially uses the five depth values to reproduce the graphic screen reproduced in synchronization with the access units included in each bundle. You can adjust the depth value. That is, the image processing apparatus adjusts the depth value of the graphic screen to be reproduced in synchronization with the access units included in the first bundle of the five bundles using the first depth value among the five depth values, and the second of the five bundles. The depth value of the graphic screen to be reproduced in synchronization with the access units included in the bundle may be adjusted using a second depth value among the five depth values.
  • the image processing apparatus may adjust the depth value of the graphic screen by converting the pixel movement distance values into corresponding depth values. have.
  • video depth information for adjusting the depth value of the graphic screen reproduced together with the access units included in the GOP may be included in the header of the GOP.
  • the video stream 400 includes one or more GOPs (Group Of Pictures), and each GOP includes a plurality of access units.
  • the author may include video depth information in one access unit 410 of the plurality of access units included in the GOP as shown in FIG. 4.
  • the access unit 410 includes slices, which are sets of independently decodable macroblocks, parameter sets, information related to setting and control of a decoder necessary for decoding the same, and a screen representation of the decoded data.
  • Supplemental Enhancement Information (SEI) 420 including time information and additional information related to the information may be included.
  • SEI 420 is generally consumed at the application layer utilizing the decoded video and is not included in every access unit.
  • the SEI 420 may include user data SEI messages 430 for additional information about a subtitle or menu.
  • the SEI message 430 may include video depth information 440.
  • the video depth information 440 may include one of a depth value of the 3D video image or a moving distance value of a pixel corresponding to the depth value of the 3D video image. Since one access unit 410 includes all video depth information of a plurality of access units included in the GOP, the video depth information 440 includes a plurality of depth values or moving distance values of a plurality of pixels in a list form. Can be. In addition, the video depth information 440 may include information indicating the number of depth values or the number of moving distance values of a pixel as a count value.
  • the image processing apparatus (not shown) extracts the video depth information 440 from the SEI 420 of one access unit 410 among the plurality of access units included in the GOP, and is included in the video depth information 440.
  • the number of depth values of the 3D video image or the number of moving distance values of the pixels may be determined using the count value.
  • the image processing apparatus divides a plurality of access units included in one GOP into a bundle corresponding to the number included in the video depth information, and reproduces in synchronization with the access units included in each bundle by sequentially using the plurality of depth values. You can adjust the depth value of the graphic screen.
  • the image processing apparatus converts the pixel shift distance values into the video depth value and then adjusts the depth value of the graphic screen using the video depth value. Can be.
  • the video depth information for adjusting the depth value of the graphic screen reproduced with the video image may be included in one access unit of the plurality of access units.
  • FIG. 5 is a diagram illustrating syntax representing that video depth information is included in an SEI message according to an embodiment of the present invention.
  • the type_indicator included in the syntax indicates what information appears after the type indicator, and when the type indicator has a predetermined value in the third if statement, the present invention is followed by the type indicator.
  • Video depth information depth Data ()) according to the above.
  • the syntax in FIG. 5B indicates video depth information (detpth data ()).
  • the video depth information includes one of depth values or moving distance values of a pixel and a count value.
  • a count value indicating how many depth values or moving distance values of a pixel is represented as depth_count.
  • the video depth values or the moving distance values of the pixel by the count value are described in depth.
  • each time the count value is increased by one that is, when the plurality of access units are divided into a bundle equal to the count value, starting from the first bundle, the synchronization unit is synchronized with the access unit included in each bundle.
  • the video depth values or the moving distance values of the pixels are sequentially used one by one.
  • the image processing apparatus 600 may include a left eye video decoder 611 and a right eye video decoder 612, a left eye video plane 613, a right eye video plane 614, and a graphic decoder 615. , A graphics plane 616, a video depth information extractor 617, a graphic screen depth value adjuster 618, and an output unit 619.
  • the left eye video decoder 611 decodes the left eye video stream and draws a left eye image on the left eye video plane 613 using the decoded left eye video stream.
  • the right eye video decoder 612 decodes the right eye video stream and draws the right eye image on the right eye video plane 612 using the decoded right eye video stream.
  • the left eye video plane 613 and the right eye video plane 614 temporarily store the left eye image and the right eye image drawn by the left eye video decoder 611 and the right eye video decoder 612, respectively.
  • the video depth information extractor 617 extracts video depth information from the decoded left eye video stream or the right eye video stream including the video depth information.
  • the video depth information may be included in the video stream in various forms. That is, the video depth information may be included in each of the plurality of access units included in the video stream, or in one access unit of the plurality of access units included in the GOP included in the video stream, in all the access units included in the GOP. Video depth information may be included. Alternatively, video depth information about access units included in the GOP included in the video stream may be included in the header of the GOP. The video depth information may be included in user data SEI messages in Supplemental Enhancement Information (SEI) included in the access unit.
  • SEI Supplemental Enhancement Information
  • the video depth information extractor 617 sends the video depth information extracted from the video stream to the graphic screen depth value adjuster 618.
  • the graphics decoder 615 decodes the graphics stream and draws the graphics screen on the graphics plane 616.
  • the graphics plane 616 temporarily stores the graphics screen drawn by the graphics decoder 615.
  • the graphic screen depth value adjusting unit 618 may use the video depth information received from the video depth information extracting unit 617 to be equal to or equal to the depth value of the 3D video image to be reproduced in synchronization with the graphic screen.
  • the depth value of the graphic screen may be adjusted to have a value larger than the depth value by a predetermined depth value.
  • the graphic screen depth value adjusting unit 618 may include the two included in the video depth information.
  • the depth value of the graphic screen may be adjusted by using the depth value or the pixel movement distance value of the object having the largest depth value or the largest pixel movement distance value among the above objects.
  • the graphic screen depth value controller 618 includes the plurality of access units in the video depth information.
  • the depth value of the graphic screen to be reproduced in synchronization with the access unit included in each bundle is adjusted to one of the depth values included in the video depth information, or This can be adjusted using one of the travel distance values.
  • the graphic screen depth value adjusting unit 618 uses the depth value or the pixel moving distance value included in the video depth information to output the left eye graphic screen and the right eye from the graphic screen drawn on the graphic plane 616. Create a graphic screen for the right eye that will be output with the image.
  • the graphic screen depth value adjusting unit 618 moves the entire graphic screen drawn on the graphic plane 616 to the left or right as much as the pixel moving distance value included in the video depth information or to a value larger than the pixel moving distance value.
  • a screen and a graphic screen for the right eye may be generated.
  • the graphic screen depth value adjusting unit 618 moves the whole graphic screen to the left or right so that the graphic screen has a depth value equal to or greater than the depth value included in the video depth information.
  • the left eye graphic screen and the right eye graphic screen are respectively generated by moving by a predetermined distance.
  • the output unit 619 reproduces the left eye image and the left eye graphic screen drawn on the left eye video plane 613 together, and reproduces the right eye image and the right eye graphic screen drawn on the right eye video plane 614 together.
  • the output unit 619 alternately outputs a left eye image and a right eye image including a graphic screen to reproduce a 3D video image.
  • the graphic screen has a larger depth value than the video image, so that the video image and the graphic screen are naturally played back.
  • the image processing apparatus 600 of FIG. 6 extracts video depth information indicating a depth of a 3D video image from a video stream (step 710).
  • the image processing apparatus 600 may extract video depth information from each of the plurality of access units included in the video stream or extract video depth information of the plurality of access units from one access unit.
  • the image processing apparatus 600 may extract video depth information about access units included in the GOP from the header of the GOP.
  • the video depth information may include a moving distance value of a pixel corresponding to a depth value of the 3D video image or a depth value of the 3D video image.
  • the image processing apparatus 600 adjusts the depth value of the graphic screen to be reproduced in synchronization with the 3D video image by using the video depth information (step 720).
  • the image processing apparatus 600 may adjust the depth value of the graphic screen to have a value equal to or greater than a depth value of the 3D video image.
  • the image processing apparatus 600 may include two or more objects included in the video depth information.
  • the depth value of the graphic screen may be adjusted by using the depth value or the pixel movement distance value of the object having the largest depth value or the largest pixel movement distance value.
  • the image processing apparatus 600 includes the plurality of access units in each bundle when the plurality of access units are divided into a bundle equal to the count value included in the video depth information.
  • the depth value of the graphic screen to be reproduced in synchronization with the access unit may be adjusted to one of the depth values included in the video depth information or by using one of the moving distance values of the corresponding pixel.
  • the image processing apparatus 600 reproduces the graphic screen with the adjusted depth value together with the 3D video image (step 730).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

비디오 스트림으로부터 3차원 비디오 영상의 깊이를 나타내는 비디오 뎁쓰 정보를 추출하고, 3차원 비디오 영상과 동기되어 재생되어야 하는 그래픽 화면의 뎁쓰 값을 비디오 뎁쓰 정보를 이용하여 조절하는 영상 처리 방법이 개시된다.

Description

영상 처리 방법 및 장치
본 발명은 영상 처리 방법 및 장치에 대한 것으로, 보다 구체적으로 3차원 비디오 영상의 뎁쓰 값을 이용하여 3차원 비디오 영상과 함께 재생되어야 하는 그래픽 화면의 뎁쓰 값을 조절하는 영상 처리 방법 및 장치에 대한 것이다.
디지털 기술의 발달로 비디오 영상을 3차원으로 재생하는 기술이 널리 보급되고 있다.
3차원 비디오 영상은 비디오 영상에 대해 부가적으로 제공되는 메뉴나 자막과 같은 그래픽 요소와 함께 디스플레이될 수 있다. 3차원 비디오 영상과 함께 재생되는 그래픽 요소는 2차원으로 재생될 수도 있고 3차원으로 재생될 수도 있다.
도 1은 비디오 영상과 그래픽 요소가 함께 3차원으로 재생되는 경우 비디오 영상과 그래픽 요소의 뎁쓰 값을 설명하기 위한 도면이다. 비디오 영상에는 하나 이상의 오브젝트가 포함될 수 있다. 도 1은 비디오 영상에 하나의 오브젝트가 포함되어 있는 경우를 도시한다.
화면(100)을 기준으로 화면(100) 앞으로 돌출된 정도를 뎁쓰 값이라고 할 때, 도 1의 (a)는 비디오 영상에 포함된 오브젝트의 뎁쓰 값(110)이 그래픽 요소의 뎁쓰 값(120)보다 더 커서 오브젝트가 그래픽 요소보다 화면(100) 앞으로 더 돌출되어 있는 경우를 도시한다. 이 경우, 화면(100)을 바라보는 시청자는 메뉴, 즉, 그래픽 요소가 비디오 영상의 오브젝트보다 안쪽에 들어가 위치한다고 인식하게 된다. 그래픽 요소가 비디오 영상에 포함된 오브젝트보다 안쪽에 위치하기 때문에 오브젝트의 일부가 그래픽 요소에 의해 가려지게 된다. 이 경우 시청자는 오브젝트와 그래픽 요소의 재생이 부자연스럽다고 인식하게 된다.
도 1의 (b)는 그래픽 요소의 뎁쓰 값은 일정하고 그래픽 요소와 함께 재생되는 비디오 영상의 뎁쓰 값이 변하는 경우를 설명하기 위한 도면이다. 일반적으로 그래픽 요소의 뎁쓰 값은 고정된 값을 갖거나 특정 시각에 변하게 된다. 그러나 고정된 뎁쓰 값을 갖는 그래픽 요소와 함께 재생되는 오브젝트의 뎁쓰 값은 매 프레임마다 연속하여 변할 수 있다.
도 1의 (b)의 좌측 프레임과 우측 프레임에서 비디오 영상에 포함된 오브젝트의 뎁쓰 값(110)은 서로 다르나 그래픽 요소의 뎁쓰 값(120)은 동일하다고 가정한다. 도 1의 (b)에서 좌측 프레임에서의 오브젝트와 그래픽 요소의 뎁쓰 값 차이보다 우측 프레임에서의 오브젝트와 그래픽 요소의 뎁쓰 값 차이가 더 크다는 것을 알 수 있다. 좌측 프레임과 우측 프레임이 순차적으로 재생된다고 할 때, 그래픽 요소의 뎁쓰 값과 비디오 영상 내의 오브젝트의 뎁쓰 값의 차이 또한 변하게 된다. 시청자는 그래픽 요소의 뎁쓰 값과 비디오 영상 내의 오브젝트의 뎁쓰 값의 차이의 변화로 인해 어지러움을 느낄 수 있다.
본 발명은 비디오 영상의 뎁쓰 값을 이용하여 그래픽 화면의 뎁쓰 값을 조절하여 비디오 영상과 그래픽 화면의 재생이 자연스럽게 인식되도록 하는 하는 영상 처리 방법 및 장치를 제공하기 위한 것이다.
또한, 본 발명은 그래픽 화면보다 비디오 영상이 더 깊게 위치한 듯한 입체감을 갖도록 하여 비디오 영상과 그래픽 화면을 함께 재생하는 영상 처리 방법 및 장치를 제공하기 위한 것이다.
본 발명에 따르면 비디오 영상의 뎁쓰 값을 이용하여 그래픽 화면의 뎁쓰 값을 조절하고 뎁쓰 값이 조절된 그래픽 화면을 비디오 영상과 함께 재생할 수 있다.
또한, 본 발명에 의하면 그래픽 화면보다 비디오 영상이 더 깊게 위치한 듯한 입체감을 갖도록 하여 그래픽 화면과 비디오 영상을 함께 재생할 수 있다.
도 1은 비디오 영상과 그래픽 요소가 함께 3차원으로 재생되는 경우 비디오 영상과 그래픽 요소의 뎁쓰 값을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 비디오 스트림을 도시한 도면이다.
도 3은 본 발명의 다른 실시 예에 따른 비디오 스트림(300)를 도시한다.
도 4는 본 발명의 또 다른 실시 예에 따른 비디오 스트림(400)를 도시한다.
도 5는 본 발명의 실시 예에 따라 비디오 뎁쓰 정보가 SEI 메세지에 포함된 것을 표현하는 신택스(syntax)를 도시한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 영상 처리 장치(600)의 내부 블록도이다.
도 7은 본 발명의 일 실시 예에 따른 영상 처리 방법을 도시한 순서도이다.
상기 과제를 달성하기 위해 본 발명의 일 측면에 따르면, 비디오 스트림으로부터 3차원 비디오 영상의 깊이를 나타내는 비디오 뎁쓰 정보를 추출하는 단계; 및 상기 3차원 비디오 영상과 동기되어 재생되어야 하는 그래픽 화면의 뎁쓰 값을 상기 비디오 뎁쓰 정보를 이용하여 조절하는 단계를 포함하는 영상 처리 방법을 제공할 수 있다.
바람직한 실시 예에서, 상기 비디오 뎁쓰 정보는 3차원 비디오 영상의 뎁쓰 값 또는 상기 3차원 비디오 영상의 뎁쓰 값에 대응하는 픽셀의 이동 거리 값을 포함하고, 상기 뎁쓰 값은 화면 안쪽에서 비디오 영상이 출력되는 화면 바깥쪽 방향으로 갈수록 커지고, 상기 그래픽 화면의 뎁쓰 값을 조절하는 단계는 상기 3차원 비디오 영상의 뎁쓰 값과 같거나 또는 그보다 더 큰 값을 갖도록 상기 그래픽 화면의 뎁쓰 값을 조절하는 단계를 포함할 수 있다. 또한, 상기 3차원 비디오 영상에 복수의 오브젝트들이 포함되어 있고 상기 비디오 뎁쓰 정보에 상기 복수의 오브젝트들 중 둘 이상의 오브젝트들의 뎁쓰 정보가 포함되어 있는 경우, 상기 그래픽 화면의 뎁쓰 값을 조절하는 단계는 상기 둘 이상의 오브젝트들 중 가장 큰 뎁쓰 값을 갖는 오브젝트와 뎁쓰 값이 같거나 또는 그보다 더 큰 값을 갖도록 상기 그래픽 화면의 뎁쓰 값을 조절하는 단계를 포함할 수 있다.
또한, 상기 비디오 스트림은 디코딩 단위인 액세스 유닛(access unit)을 복수개 포함하고, 상기 비디오 뎁쓰 정보를 추출하는 단계는 상기 복수의 액세스 유닛들 각각으로부터 비디오 뎁쓰 정보를 추출하는 단계를 포함할 수 있다. 또한, 상기 그래픽 화면의 뎁쓰 값을 조절하는 단계는 비디오 뎁쓰 정보가 추출된 액세스 유닛에 동기되어 재생되어야 하는 그래픽 화면의 뎁쓰 값을 상기 추출된 비디오 뎁쓰 정보를 이용하여 조절하는 단계를 포함할 수 있다.
또한, 상기 비디오 뎁쓰 정보를 추출하는 단계는 상기 각 액세스 유닛에 포함된 SEI(Supplemental Enhancement Information) 내의 사용자 데이터 SEI 메세지(User data SEI messages)로부터 상기 비디오 뎁쓰 정보를 추출하는 단계를 포함할 수 있다. 또한, 상기 비디오 스트림은 디코딩 단위인 액세스 유닛(access unit)을 복수개 포함하는 GOP(Group Of Pictures)를 하나 이상 포함하고, 상기 비디오 뎁쓰 정보를 추출하는 단계는 상기 GOP 에 포함된 복수의 액세스 유닛들 중 하나의 액세스 유닛으로부터 비디오 뎁쓰 정보를 추출하는 단계를 포함할 수 있다.
또한, 상기 비디오 뎁쓰 정보를 추출하는 단계는 상기 하나의 액세스 유닛에 포함된 SEI(Supplemental Enhancement Information) 내의 사용자 데이터 SEI 메세지(User data SEI messages)로부터 상기 비디오 뎁쓰 정보를 추출하는 단계를 포함할 수 있다. 또한, 상기 비디오 뎁쓰 정보는 상기 3차원 비디오 영상의 뎁쓰 값의 개수 또는 상기 대응하는 픽셀의 이동 거리 값의 개수를 포함하고, 상기 그래픽 화면의 뎁쓰 값을 조절하는 단계는 상기 GOP 에 포함된 복수의 액세스 유닛들을 상기 비디오 뎁쓰 정보에 포함된 개수만큼의 묶음으로 나누었을 때, 각 묶음에 포함되는 액세스 유닛에 동기되어 재생되어야 하는 그래픽 화면의 뎁쓰 값을, 상기 비디오 뎁쓰 정보에 포함된 상기 3차원 비디오 영상의 뎁쓰 값들 중 하나의 값으로 조절하거나 상기 대응하는 픽셀의 이동 거리 값들 중 하나를 이용하여 조절하는 단계를 포함할 수 있다.
본 발명의 다른 측면에 따르면 비디오 스트림을 디코딩하여 좌안용 영상 및 우안용 영상을 생성하는 비디오 디코더; 그래픽 스트림을 디코딩하여 그래픽 화면을 생성하는 그래픽 디코더; 비디오 스트림으로부터 3차원 비디오 영상의 깊이를 나타내는 비디오 뎁쓰 정보를 추출하는 비디오 뎁쓰 정보 추출부; 및 상기 3차원 비디오 영상과 동기되어 재생되어야 하는 그래픽 화면의 뎁쓰 값을 상기 비디오 뎁쓰 정보를 이용하여 조절하는 그래픽 화면 뎁쓰 값 조절부를 포함하는 영상 처리 장치를 제공할 수 있다.
본 발명의 또 다른 측면에 따르면, 비디오 스트림으로부터 3차원 비디오 영상의 깊이를 나타내는 비디오 뎁쓰 정보를 추출하는 단계; 및 상기 3차원 비디오 영상과 동기되어 재생되어야 하는 그래픽 화면의 뎁쓰 값을 상기 비디오 뎁쓰 정보를 이용하여 조절하는 단계를 포함하는 영상 처리 방법을 실행하기 위한 프로그램을 저장한 컴퓨터로 판독 가능한 기록 매체를 제공할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명하기로 한다.
도 2는 본 발명의 일 실시 예에 따른 비디오 스트림을 도시한 도면이다. 도 2를 참조하면, 비디오 스트림(200)에는 하나 이상의 액세스 유닛(210)이 포함되어 있다. 액세스 유닛(Access Unit, AU)(210)은 비트열 속의 정보를 픽쳐 단위로 액세스하기 위해서 몇개의 NAL(Network Abstraction Layer)단위를 모은 하나의 집합이다. 즉, 액세스 유닛은 인코딩/디코딩 단위로 하나의 액세스 유닛은 한 장의 부호화된 영상(coded picture), 즉, 픽쳐 또는 프레임에 해당한다.
도2에서 비디오 스트림(200)에는 각 액세스 유닛(210)마다 비디오 뎁쓰 정보(220)가 포함되어 있다. 비디오 뎁쓰 정보(220)는 비디오 스트림(200)으로부터 생성되는 3차원 비디오 영상의 깊이(depth) 정도를 나타내는 정보이다.
사람의 눈은 가로 방향으로 소정 거리만큼 떨어져 있으므로 좌안과 우안이 보는 2차원 영상이 서로 다르다. 사람의 뇌는 좌안과 우안이 보는 서로 다른 두 개의 2차원 영상을 융합하여 원근감과 실재감이 있는 3차원 영상을 생성한다. 따라서, 2차원 비디오 영상을 3차원으로 재생하기 위해서는 하나의 2차원 영상에 대해 좌안과 우안이 보는 서로 다른 두 개의 영상, 즉, 좌안용 영상과 우안용 영상을 각각 생성하고 이들을 교대로 재생하여야 한다.
좌안용 영상과 우안용 영상은 2차원 영상에 포함된 픽셀들을 좌 또는 우로 소정 거리만큼 이동시켜 생성된다. 2차원 영상으로부터 좌안용 영상과 우안용 영상을 생성하기 위해 픽셀이 이동되어야 하는 거리, 즉, 2차원 영상에서의 소정 픽셀의 위치와 그 픽셀이 소정 거리만큼 이동되어 좌안용 영상 및 우안용 영상에 매핑된 지점 사이의 거리는 2차원 영상으로부터 생성될 3차원 영상의 깊이 감에 따라 달라진다.
이하, 본 발명에서는 영상의 깊이 감을 표시하기 위해 뎁쓰(depth) 정보라는 용어를 사용한다. 비디오 뎁쓰 정보는 뎁쓰 값(depth value) 또는 뎁쓰 값에 대응하는 픽셀의 이동 거리 값 중 하나를 포함할 수 있다.
뎁쓰 값은 영상의 깊이 정도를 표시하는 용어로 본 발명에서는 영상이 시청자에게 가까이 위치할수록 그 영상의 뎁쓰 값이 커진다고 정의한다. 한 실시 예로 뎁쓰 값은 0부터 255까지 256개의 값들 중 하나를 가질 수 있으며 영상이 화면 안쪽에 형성되어 화면을 바라보는 시청자로부터 영상이 멀어질수록 뎁쓰 값이 작아져 0에 가까워지게 되고, 영상이 화면 바깥쪽으로 돌출되어 시청자에게 가까워질수록 뎁쓰 값이 커져 255에 가까워지게 된다.
저자(author)는 도2와 같이 비디오 스트림(200)에 포함된 각 액세스 유닛(210)마다 각 액세스 유닛(210)으로부터 생성될 3차원 비디오 영상의 깊이를 나타내는 비디오 뎁쓰 정보(220)를 포함시킬 수 있다.
도 2에는 도시하지 않았으나 각 액세스 유닛(210)에는 SEI(Supplemental Enhancement Information)가 포함될 수 있고, SEI에는 SEI 메세지(User data SEI messages)가 포함될 수 있다. 비디오 뎁쓰 정보(220)는 각 액세스 유닛(210)에 포함된 SEI 메세지에 포함될 수 있다. 비디오 뎁쓰 정보(220)가 SEI에 포함되는 것에 대해서는 도 4를 참조하여 보다 구체적으로 설명하기로 한다.
영상 처리 장치(미도시)는 비디오 스트림(200)의 각 액세스 유닛(210)으로부터 비디오 뎁쓰 정보(220)를 추출하고 추출된 비디오 뎁쓰 정보(220)를 이용하여 그래픽 화면의 뎁쓰 값을 조절할 수 있다.
그래픽 화면은 그래픽 스트림을 디코딩하여 생성된다. 그래픽 스트림은 자막을 표시하기 위한 프리젠테이션 그래픽 스트림(presentation graphic stream) 또는 텍스트 서브타이틀 스트림(text subtitle stream), 사용자와의 상호작용을 위한 버튼 등으로 이루어진 메뉴를 제공하기 위한 인터랙티브 그래픽 스트림(interactive graphic stream), 및 자바(Java)와 같은 프로그램 요소에 의해 표시되는 그래픽컬 오버레이(graphical overlay) 중 하나 이상을 포함할 수 있다.
영상 처리 장치는 비디오 뎁쓰 정보(220)가 추출된 액세스 유닛(210)에 동기되어 재생되어야 하는 그래픽 화면의 뎁쓰 값을 추출된 비디오 뎁쓰 정보(220)를 이용하여 조절할 수 있다. 영상 처리 장치는 비디오 뎁쓰 정보(220)에 포함된 뎁쓰 값 또는 뎁쓰 값에 대응하는 픽셀의 이동 거리 값을 이용하여 그래픽 화면의 뎁쓰 값이 3차원 비디오 영상의 뎁쓰 값과 같거나 그보다 더 큰 값을 갖도록 조절할 수 있다. 이 경우 그래픽 화면은 3차원 비디오 영상보다 더 돌출되어 시청자에게 더 가까운 위치에 출력되게 된다.
하나의 프레임, 또는 픽쳐에는 하나 또는 복수의 오브젝트들이 포함될 수 있다. 이 경우, 비디오 뎁쓰 정보(220)에는 복수의 오브젝트들 모두 또는 복수의 오브젝트들 중 둘 이상의 오브젝트들의 뎁쓰 정보가 포함될 수 있다. 영상 처리 장치는 비디오 뎁쓰 정보(220)에 포함된 오브젝트들의 뎁쓰 정보 중 하나의 오브젝트의 뎁쓰 정보를 이용하여 그래픽 화면의 뎁쓰 값을 조절할 수 있다.
비디오 뎁쓰 정보(220)에 포함된 오브젝트들의 뎁쓰 정보가 오브젝트들의 뎁쓰 값인 경우 영상 처리 장치는 복수의 오브젝트들 중 가장 뎁쓰 값이 큰 오브젝트의 뎁쓰 값보다 그래픽 화면의 뎁쓰 값이 더 커지도록 그래픽 화면의 뎁쓰 값을 조절할 수 있다.
비디오 뎁쓰 정보(220)에 뎁쓰 값 대신 복수의 오브젝트들 각각에 대한 픽셀의 이동 거리 값이 포함되어 있는 경우, 영상 처리 장치는 픽셀의 이동 거리 값에 대응하는 뎁쓰 값을 구하여 복수의 오브젝트 들 중 가장 뎁쓰 값이 큰 오브젝트를 식별하고, 식별된 오브젝트의 뎁쓰 값보다 더 큰 뎁쓰 값을 갖도록 그래픽 화면의 뎁쓰 값을 조절할 수 있다.
이와 같이 본 발명의 일 실시 예에 의하면 비디오 영상과 함께 재생되는 그래픽 화면의 뎁쓰 값을 조절하기 위한 비디오 뎁쓰 정보(220)가 각 액세스 유닛마다 포함될 수 있다.
도 3은 본 발명의 다른 실시 예에 따른 비디오 스트림(300)를 도시한다. 도 3을 참조하면, 비디오 스트림(300)에는 일련의 픽쳐들의 집합인 GOP(Group Of Pictures)가 하나 이상 포함되어 있다. 또한 비디오 스트림(300)에는 각 GOP에 대한 GOP 헤더(310)가 포함되어 있다. GOP는 I픽쳐부터 다음의 I픽쳐까지의 일련의 픽쳐들의 묶음으로 하나의 GOP에는 I픽쳐 외에도 P픽쳐, B픽쳐들이 포함될 수 있다. 전술한 바와 같이 하나의 픽쳐는 하나의 액세스 유닛에 대응한다.
저자(author)는 도 3의 비디오 스트림(300)과 같이 GOP 헤더(310)에 GOP에 포함되는 복수의 액세스 유닛들에 대한 비디오 뎁쓰 정보(330)를 포함시킬 수 있다. 전술한 바와 같이 비디오 뎁쓰 정보(330)는 3차원 비디오 영상의 뎁쓰 값 또는 3차원 비디오 영상의 뎁쓰 값에 대응하는 픽셀의 이동 거리 값 중 하나를 포함한다.
GOP 헤더(310)에 복수의 액세스 유닛들에 대한 비디오 뎁쓰 정보(330)가 포함되므로 비디오 뎁쓰 정보(330)에는 복수의 뎁쓰 값들 또는 복수의 픽셀의 이동 거리 값들이 리스트 형태로 포함될 수 있다. 또한 비디오 뎁쓰 정보(330)에는 뎁쓰 값들의 개수 또는 픽셀의 이동 거리 값들의 개수를 나타내는 정보가 카운트(count) 값으로 포함될 수 있다.
영상 처리 장치(미도시)는 GOP 헤더(310)로부터 비디오 뎁쓰 정보(330)를 추출하고, 비디오 뎁쓰 정보(330)에 포함된 카운트 값을 이용하여 뎁쓰 값들의 개수 또는 픽셀의 이동 거리 값들의 개수가 몇개인지를 파악할 수 있다. 영상 처리 장치는 GOP에 포함된 복수의 액세스 유닛들을 비디오 뎁쓰 정보(330)에 포함된 개수만큼의 묶음으로 나누고, 각 묶음에 포함되는 액세스 유닛에 동기되어 재생되어야 하는 그래픽 화면의 뎁쓰 값을 뎁쓰 값 또는 픽셀의 이동 거리 값을 이용하여 조절할 수 있다.
한 예로, GOP에 액세스 유닛들이 열 개 포함되어 있고, 비디오 뎁쓰 정보(330)에 뎁쓰 값들이 다섯 개 포함되어 있는 경우를 가정한다. 영상 처리 장치는 열 개의 액세스 유닛들을 뎁쓰 값들의 개수만큼의 묶음, 즉, 다섯 개의 묶음으로 나누고, 다섯 개의 뎁쓰 값들을 순차적으로 이용하여 각 묶음에 포함되는 액세스 유닛들과 동기되어 재생되는 그래픽 화면의 뎁쓰 값을 조절할 수 있다. 즉, 영상 처리 장치는 다섯 개의 묶음 중 첫번째 묶음에 포함되는 액세스 유닛들과 동기되어 재생되어야 하는 그래픽 화면의 뎁쓰 값을 다섯 개의 뎁쓰 값들 중 첫번째 뎁쓰 값을 이용하여 조절하고, 다섯 개의 묶음 중 두 번째 묶음에 포함되는 액세스 유닛들과 동기되어 재생되어야 하는 그래픽 화면의 뎁쓰 값을 다섯 개의 뎁쓰 값들 중 두 번째 뎁쓰 값을 이용하여 조절할 수 있다.
비디오 뎁쓰 정보(330)에 뎁쓰 값들 대신 픽셀 이동 거리 값들이 리스트로 포함되어 있는 경우, 영상 처리 장치는 픽셀 이동 거리 값들을 대응하는 뎁쓰 값으로 변환 한 후 이를 이용하여 그래픽 화면의 뎁쓰 값을 조절할 수 있다.
이와 같이 본 발명의 다른 실시 예에 의하면 GOP에 포함된 액세스 유닛들과 함께 재생되는 그래픽 화면의 뎁쓰 값을 조절하기 위한 비디오 뎁쓰 정보가 GOP의 헤더에 포함될 수 있다.
도 4는 본 발명의 또 다른 실시 예에 따른 비디오 스트림(400)를 도시한다. 비디오 스트림(400)에는 하나 이상의 GOP(Group Of Pictures)가 포함되어 있고, 각 GOP에는 복수의 액세스 유닛들이 포함되어 있다. 저자(author)는 도 4에서와 같이 GOP에 포함된 복수의 액세스 유닛들 중 하나의 액세스 유닛(410)에 비디오 뎁쓰 정보를 포함시킬 수 있다.
액세스 유닛(410)에는 독립적으로 복호화가 가능한 매크로블록의 집합인 슬라이스들(Slices), 이를 복호하기 위해 필요한 복호기의 설정 및 제어와 관련된 정보인 파라미터 세트들(Parameter Sets), 복호된 데이터의 화면 표현과 관련된 시간 정보 및 부가 정보를 포함하는 SEI(Supplemental Enhancement Information)(420)가 포함될 수 있다. SEI(420)는 일반적으로 복호된 영상을 활용하는 응용계층에서 소비되며 모든 액세스 유닛에 다 포함되는 것은 아니다.
SEI(420)에는 자막이나 메뉴에 대한 부가 정보를 위한 SEI 메세지(User data SEI messages)(430)가 포함될 수 있다. 발명의 한 실시 예로 SEI 메세지(430)에는 비디오 뎁쓰 정보(440)가 포함될 수 있다.
비디오 뎁쓰 정보(440)는 3차원 비디오 영상의 뎁쓰 값 또는 3차원 영상의 뎁쓰 값에 대응하는 픽셀의 이동 거리 값 중 하나를 포함할 수 있다. 하나의 액세스 유닛(410)에 GOP에 포함된 복수의 액세스 유닛들에 대한 비디오 뎁쓰 정보가 모두 포함되므로 비디오 뎁쓰 정보(440)에는 복수의 뎁쓰 값들 또는 복수의 픽셀의 이동 거리 값들이 리스트 형태로 포함될 수 있다. 또한 비디오 뎁쓰 정보(440)에는 뎁쓰 값들의 개수 또는 픽셀의 이동 거리 값들의 개수를 나타내는 정보가 카운트 값으로 포함될 수 있다.
영상 처리 장치(미도시)는 GOP에 포함되는 복수의 액세스 유닛들 중 하나의 액세스 유닛(410)의 SEI(420)로부터 비디오 뎁쓰 정보(440)를 추출하고, 비디오 뎁쓰 정보(440)에 포함된 카운트 값을 이용하여 3차원 비디오 영상의 뎁쓰 값들의 개수 또는 픽셀의 이동 거리 값들의 개수가 몇개인지를 파악할 수 있다. 영상 처리 장치는 하나의 GOP에 포함된 복수의 액세스 유닛들을 비디오 뎁쓰 정보에 포함된 개수만큼의 묶음으로 나누고, 복수의 뎁쓰 값들을 순차적으로 이용하여 각 묶음에 포함되는 액세스 유닛들과 동기되어 재생되는 그래픽 화면의 뎁쓰 값을 조절할 수 있다.
비디오 뎁쓰 정보(440)에 비디오 뎁쓰 값들 대신 픽셀 이동 거리 값들이 포함되어 있는 경우, 영상 처리 장치는 픽셀 이동 거리 값들을 비디오 뎁쓰 값으로 변환 한 후 비디오 뎁쓰 값을 이용하여 그래픽 화면의 뎁쓰 값을 조절할 수 있다.
이와 같이 본 발명의 또 다른 실시 예에 의하면 비디오 영상과 함께 재생되는 그래픽 화면의 뎁쓰 값을 조절하기 위한 비디오 뎁쓰 정보는 복수의 액세스 유닛들 중 하나의 액세스 유닛에 포함될 수 있다.
도 5는 본 발명의 실시 예에 따라 비디오 뎁쓰 정보가 SEI 메세지에 포함된 것을 표현하는 신택스(syntax)를 도시한 도면이다. 도 5의 (a)에서 신택스에 포함된 타입 인디케이터(type_indicator)는 타입 인디케이터 이후에 어떤 정보가 나오는지를 나타내며, 세번째 if 문에서 타입 인디케이터가 소정의 값을 갖는 경우 그 타입 인디케이터 뒤에 본 발명의 실시 예에 따른 비디오 뎁쓰 정보(depth Data())가 나오게 된다.
도 5의 (b)의 신택스는 비디오 뎁쓰 정보(detpth data())를 표시한다. 비디오 뎁쓰 정보는 뎁쓰 값들 또는 픽셀의 이동 거리 값들 중 하나와 카운트 값을 포함하며 도 5의 (b)의 신택스에는 뎁쓰 값들 또는 픽셀의 이동 거리 값들의 개수가 몇개인지를 표시하는 카운트 값이 depth_count로 기재되어 있고 카운트 값만큼의 비디오 뎁쓰 값들 또는 픽셀의 이동 거리 값들이 depth로 기재되어 있다. 도 5의 (b)의 신택스에는 카운트 값이 하나씩 증가할 때마다, 즉, 복수 개의 액세스 유닛들을 카운트 값만큼의 묶음으로 나누었을 때 첫번째 묶음부터 시작해서, 각 묶음에 포함되는 액세스 유닛에 동기되어 재생되어야 하는 그래픽 화면의 뎁쓰 값을 조절하기 위해, 비디오 뎁쓰 값들 또는 픽셀의 이동 거리 값들을 순차적으로 하나씩 이용하는 것을 표현하고 있다.
도 6은 본 발명의 일 실시 예에 따른 영상 처리 장치(600)의 내부 블록도이다. 도 6을 참조하면, 영상 처리 장치(600)는 좌안용 비디오 디코더(611) 및 우안용 비디오 디코더(612), 좌안용 비디오 플레인(613) 및 우안용 비디오 플레인(614), 그래픽 디코더(615), 그래픽 플레인(616), 비디오 뎁쓰 정보 추출부(617), 그래픽 화면 뎁쓰 값 조절부(618) 및 출력부(619)를 포함한다.
좌안용 비디오 디코더(611)는 좌안용 비디오 스트림을 디코딩하고 디코딩된 좌안용 비디오 스트림을 이용하여 좌안용 비디오 플레인(613)에 좌안용 영상을 그린다. 우안용 비디오 디코더(612)는 우안용 비디오 스트림을 디코딩하고 디코딩된 우안용 비디오 스트림을 이용하여 우안용 비디오 플레인(612)에 우안용 영상을 그린다.
좌안용 비디오 플레인(613)과 우안용 비디오 플레인(614)은 좌안용 비디오 디코더(611) 및 우안용 비디오 디코더(612)에 의해 그려진 좌안용 영상 및 우안용 영상을 각각 일시적으로 저장한다.
비디오 뎁쓰 정보 추출부(617)는 디코딩된 좌안용 비디오 스트림 또는 우안용 비디오 스트림 중 비디오 뎁쓰 정보를 포함하는 비디오 스트림으로부터 비디오 뎁쓰 정보를 추출한다.
저자(author)가 비디오 뎁쓰 정보를 비디오 스트림에 어떻게 포함시킬 것인지에 따라서 비디오 뎁쓰 정보는 다양한 형태로 비디오 스트림에 포함될 수 있다. 즉, 비디오 뎁쓰 정보는 비디오 스트림에 포함된 복수의 액세스 유닛들 각각에 포함될 수 있고 또는 비디오 스트림에 포함된 GOP에 포함된 복수의 액세스 유닛들 중 하나의 액세스 유닛에 GOP에 포함된 모든 액세스 유닛에 대한 비디오 뎁쓰 정보가 포함될 수도 있다. 또는 비디오 스트림에 포함된 GOP에 포함되는 액세스 유닛들에 대한 비디오 뎁쓰 정보가 GOP의 헤더에 포함될 수도 있다. 비디오 뎁쓰 정보는 액세스 유닛에 포함된 SEI(Supplemental Enhancement Information) 내의 사용자 데이터 SEI 메세지(User data SEI messages)에 포함될 수 있다.
비디오 뎁쓰 정보 추출부(617)는 비디오 스트림으로부터 추출한 비디오 뎁쓰 정보를 그래픽 화면 뎁쓰 값 조절부(618)로 보낸다.
그래픽 디코더(615)는 그래픽 스트림을 디코딩하고, 그래픽 플레인(616)에 그래픽 화면을 그린다. 그래픽 플레인(616)은 그래픽 디코더(615)에 의해 그려진 그래픽 화면을 일시적으로 저장한다.
그래픽 화면 뎁쓰 값 조절부(618)는 비디오 뎁쓰 정보 추출부(617)로부터 받은 비디오 뎁쓰 정보를 이용하여 그래픽 화면과 동기되어 재생되어야 하는3차원 비디오 영상의 뎁쓰 값과 같거나 또는 3차원 비디오 영상의 뎁쓰 값보다 소정 뎁쓰 값만큼 더 큰 값을 갖도록 그래픽 화면의 뎁쓰 값을 조절할 수 있다.
그래픽 화면과 동기되어 재생되어야 하는 비디오 영상에 오브젝트들이 복수 개 포함되어 있어 비디오 뎁쓰 정보에 둘 이상의 오브젝트들의 뎁쓰 정보가 포함되어 있는 경우 그래픽 화면 뎁쓰 값 조절부(618)는 비디오 뎁쓰 정보에 포함된 둘 이상의 오브젝트들 중 뎁쓰 값이 가장 크거나 픽셀 이동 거리 값이 가장 큰 오브젝트의 뎁쓰 값 또는 픽셀 이동 거리 값을 이용하여 그래픽 화면의 뎁쓰 값을 조절할 수 있다.
비디오 뎁쓰 정보에 하나의 프레임이 아닌 복수의 프레임들, 즉, 복수의 액세스 유닛들에 대한 뎁쓰 정보가 포함되어 있는 경우 그래픽 화면 뎁쓰 값 조절부(618)는 복수의 액세스 유닛들을 비디오 뎁쓰 정보에 포함된 카운트 값만큼의 묶음으로 나누었을 때, 각 묶음에 포함되는 액세스 유닛과 동기되어 재생되어야 하는 그래픽 화면의 뎁쓰 값을, 비디오 뎁쓰 정보에 포함된 뎁쓰 값들 중 하나의 값으로 조절하거나 대응하는 픽셀의 이동 거리 값들 중 하나를 이용하여 조절할 수 있다.
그래픽 화면 뎁쓰 값 조절부(618)는 비디오 뎁쓰 정보에 포함된 뎁쓰 값 또는 픽셀 이동 거리 값을 이용하여 그래픽 플레인(616)에 그려진 그래픽 화면으로부터 좌안용 영상과 함께 출력될 좌안용 그래픽 화면 및 우안용 영상과 함께 출력될 우안용 그래픽 화면을 생성한다. 그래픽 화면 뎁쓰 값 조절부(618)는 그래픽 플레인(616)에 그려진 그래픽 화면 전체를 좌 또는 우로 비디오 뎁쓰 정보에 포함된 픽셀 이동 거리 값만큼 또는 픽셀 이동 거리 값보다 더 큰 값만큼 이동시켜 좌안용 그래픽 화면 및 우안용 그래픽 화면이 생성되도록 할 수 있다. 비디오 뎁쓰 정보에 뎁쓰 값이 포함되어 있는 경우, 그래픽 화면 뎁쓰 값 조절부(618)는 그래픽 화면이 비디오 뎁쓰 정보에 포함된 뎁쓰 값과 같거나 그보다 더 큰 뎁쓰 값을 갖도록 그래픽 화면 전체를 좌 또는 우로 소정 거리만큼 이동시켜 좌안용 그래픽 화면 및 우안용 그래픽 화면을 각각 생성한다.
출력부(619)는 좌안용 비디오 플레인(613)에 그려진 좌안용 영상과 좌안용 그래픽 화면을 함께 재생하고, 우안용 비디오 플레인(614)에 그려진 우안용 영상과 우안용 그래픽 화면을 함께 재생한다. 출력부(619)는 그래픽 화면이 포함된 좌안용 영상과 우안용 영상을 교대로 출력하여 3차원 비디오 영상을 재생한다. 이 때 그래픽 화면은 비디오 영상보다 더 큰 뎁쓰 값을 갖게 되어 비디오 영상과 그래픽 화면의 재생이 자연스럽게 된다.
도 7은 본 발명의 일 실시 예에 따른 영상 처리 방법을 도시한 순서도이다. 도 7을 참조하면, 도 6의 영상 처리 장치(600)는 비디오 스트림으로부터 3차원 비디오 영상의 깊이감을 나타내는 비디오 뎁쓰 정보를 추출한다(단계 710). 영상 처리 장치(600)는 비디오 스트림에 포함된 복수의 액세스 유닛들 각각으로부터 비디오 뎁쓰 정보를 추출하거나 하나의 액세스 유닛으로부터 복수의 액세스 유닛들의 비디오 뎁쓰 정보를 추출할 수 있다. 또는 영상 처리 장치(600)는 GOP의 헤더로부터 그 GOP에 포함된 액세스 유닛들에 대한 비디오 뎁쓰 정보를 추출할 수 있다.
비디오 뎁쓰 정보는 3차원 비디오 영상의 뎁스 값 또는 3차원 비디오 영상의 뎁쓰 값에 대응하는 픽셀의 이동 거리 값을 포함할 수 있다.
영상 처리 장치(600)는 3차원 비디오 영상과 동기되어 재생되어야 하는 그래픽 화면의 깊이 값을 비디오 뎁쓰 정보를 이용하여 조절한다(단계 720). 영상 처리 장치(600)는 3차원 비디오 영상의 뎁쓰 값과 같거나 또는 그보다 더 큰 값을 갖도록 그래픽 화면의 뎁쓰 값을 조절할 수 있다.
그래픽 화면과 동기되어 재생되어야 하는 비디오 영상에 오브젝트들이 복수 개 포함되어 있어 비디오 뎁쓰 정보에 둘 이상의 오브젝트들의 뎁쓰 정보가 포함되어 있는 경우 영상 처리 장치(600)는 비디오 뎁쓰 정보에 포함된 둘 이상의 오브젝트들 중 뎁쓰 값이 가장 크거나 픽셀 이동 거리 값이 가장 큰 오브젝트의 뎁쓰 값 또는 픽셀 이동 거리 값을 이용하여 그래픽 화면의 뎁쓰 값을 조절할 수 있다.
비디오 뎁쓰 정보에 복수의 액세스 유닛들에 대한 뎁쓰 정보가 포함되어 있는 경우 영상 처리 장치(600)는 복수의 액세스 유닛들을 비디오 뎁쓰 정보에 포함된 카운트 값만큼의 묶음으로 나누었을 때, 각 묶음에 포함되는 액세스 유닛과 동기되어 재생되어야 하는 그래픽 화면의 뎁쓰 값을, 비디오 뎁쓰 정보에 포함된 뎁쓰 값들 중 하나의 값으로 조절하거나 대응하는 픽셀의 이동 거리 값들 중 하나를 이용하여 조절할 수 있다.
영상 처리 장치(600)는 깊이 값이 조절된 그래픽 화면을 3차원 비디오 영상과 함께 재생한다(단계 730).
이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (23)

  1. 비디오 스트림으로부터 3차원 비디오 영상의 깊이를 나타내는 비디오 뎁쓰 정보를 추출하는 단계; 및
    상기 3차원 비디오 영상과 동기되어 재생되어야 하는 그래픽 화면의 뎁쓰 값을 상기 비디오 뎁쓰 정보를 이용하여 조절하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  2. 제1 항에 있어서, 상기 비디오 뎁쓰 정보는 3차원 비디오 영상의 뎁쓰 값 또는 상기 3차원 비디오 영상의 뎁쓰 값에 대응하는 픽셀의 이동 거리 값을 포함하고, 상기 뎁쓰 값은 화면 안쪽에서 비디오 영상이 출력되는 화면 바깥쪽 방향으로 갈수록 커지고,
    상기 그래픽 화면의 뎁쓰 값을 조절하는 단계는 상기 3차원 비디오 영상의 뎁쓰 값과 같거나 또는 그보다 더 큰 값을 갖도록 상기 그래픽 화면의 뎁쓰 값을 조절하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  3. 제2 항에 있어서, 상기 3차원 비디오 영상에 복수의 오브젝트들이 포함되어 있고 상기 비디오 뎁쓰 정보에 상기 복수의 오브젝트들 중 둘 이상의 오브젝트들의 뎁쓰 정보가 포함되어 있는 경우,
    상기 그래픽 화면의 뎁쓰 값을 조절하는 단계는 상기 둘 이상의 오브젝트들 중 가장 큰 뎁쓰 값을 갖는 오브젝트와 뎁쓰 값이 같거나 또는 그보다 더 큰 값을 갖도록 상기 그래픽 화면의 뎁쓰 값을 조절하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  4. 제2 항에 있어서, 상기 비디오 스트림은 디코딩 단위인 액세스 유닛(access unit)을 복수개 포함하고,
    상기 비디오 뎁쓰 정보를 추출하는 단계는 상기 복수의 액세스 유닛들 각각으로부터 비디오 뎁쓰 정보를 추출하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  5. 제4 항에 있어서, 상기 그래픽 화면의 뎁쓰 값을 조절하는 단계는
    비디오 뎁쓰 정보가 추출된 액세스 유닛에 동기되어 재생되어야 하는 그래픽 화면의 뎁쓰 값을 상기 추출된 비디오 뎁쓰 정보를 이용하여 조절하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  6. 제4 항에 있어서, 상기 비디오 뎁쓰 정보를 추출하는 단계는 상기 각 액세스 유닛에 포함된 SEI(Supplemental Enhancement Information) 내의 사용자 데이터 SEI 메세지(User data SEI messages)로부터 상기 비디오 뎁쓰 정보를 추출하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  7. 제2 항에 있어서, 상기 비디오 스트림은 디코딩 단위인 액세스 유닛(access unit)을 복수개 포함하는 GOP(Group Of Pictures)를 하나 이상 포함하고,
    상기 비디오 뎁쓰 정보를 추출하는 단계는 상기 GOP 에 포함된 복수의 액세스 유닛들 중 하나의 액세스 유닛으로부터 비디오 뎁쓰 정보를 추출하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  8. 제7 항에 있어서, 상기 비디오 뎁쓰 정보를 추출하는 단계는 상기 하나의 액세스 유닛에 포함된 SEI(Supplemental Enhancement Information) 내의 사용자 데이터 SEI 메세지(User data SEI messages)로부터 상기 비디오 뎁쓰 정보를 추출하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  9. 제8 항에 있어서, 상기 비디오 뎁쓰 정보는 상기 3차원 비디오 영상의 뎁쓰 값의 개수 또는 상기 대응하는 픽셀의 이동 거리 값의 개수를 포함하고,
    상기 그래픽 화면의 뎁쓰 값을 조절하는 단계는 상기 GOP 에 포함된 복수의 액세스 유닛들을 상기 비디오 뎁쓰 정보에 포함된 개수만큼의 묶음으로 나누었을 때, 각 묶음에 포함되는 액세스 유닛에 동기되어 재생되어야 하는 그래픽 화면의 뎁쓰 값을, 상기 비디오 뎁쓰 정보에 포함된 상기 3차원 비디오 영상의 뎁쓰 값들 중 하나의 값으로 조절하거나 상기 대응하는 픽셀의 이동 거리 값들 중 하나를 이용하여 조절하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  10. 제2 항에 있어서, 상기 비디오 스트림은 디코딩 단위인 액세스 유닛(access unit)을 복수개 포함하는 GOP(Grop Of Pictures)를 하나 이상 포함하고, 상기 비디오 뎁쓰 정보를 추출하는 단계는 상기 GOP의 헤더로부터 상기 비디오 뎁쓰 정보를 추출하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  11. 제10 항에 있어서, 상기 비디오 뎁쓰 정보는 상기 3차원 비디오 영상의 뎁쓰 값의 개수 또는 상기 대응하는 픽셀의 이동 거리 값의 개수를 포함하고,
    상기 그래픽 화면의 뎁쓰 값을 조절하는 단계는 상기 GOP 에 포함된 복수의 액세스 유닛들을 상기 비디오 뎁쓰 정보에 포함된 개수만큼의 묶음으로 나누었을 때, 각 묶음에 포함되는 액세스 유닛에 동기되어 재생되어야 하는 그래픽 화면의 뎁쓰 값을, 상기 비디오 뎁쓰 정보에 포함된 상기 3차원 비디오 영상의 뎁쓰 값들 중 하나의 값으로 조절하거나 상기 대응하는 픽셀의 이동 거리 값들 중 하나를 이용하여 조절하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  12. 비디오 스트림을 디코딩하여 좌안용 영상 및 우안용 영상을 생성하는 비디오 디코더;
    그래픽 스트림을 디코딩하여 그래픽 화면을 생성하는 그래픽 디코더;
    비디오 스트림으로부터 3차원 비디오 영상의 깊이를 나타내는 비디오 뎁쓰 정보를 추출하는 비디오 뎁쓰 정보 추출부; 및
    상기 3차원 비디오 영상과 동기되어 재생되어야 하는 그래픽 화면의 뎁쓰 값을 상기 비디오 뎁쓰 정보를 이용하여 조절하는 그래픽 화면 뎁쓰 값 조절부를 포함하는 것을 특징으로 하는 영상 처리 장치.
  13. 제12 항에 있어서, 상기 비디오 뎁쓰 정보는 3차원 비디오 영상의 뎁쓰 값 또는 상기 3차원 비디오 영상의 뎁쓰 값에 대응하는 픽셀의 이동 거리 값을 포함하고, 상기 뎁쓰 값은 화면 안쪽에서 비디오 영상이 출력되는 화면 바깥쪽 방향으로 갈수록 커지고,
    상기 그래픽 화면 뎁쓰 값 조절부는 상기 3차원 비디오 영상의 뎁쓰 값과 같거나 또는 그보다 더 큰 값을 갖도록 상기 그래픽 화면의 뎁쓰 값을 조절하는 것을 특징으로 하는 영상 처리 장치.
  14. 제13 항에 있어서, 상기 3차원 비디오 영상에 복수의 오브젝트들이 포함되어 있고 상기 비디오 뎁쓰 정보에 상기 복수의 오브젝트들 중 둘 이상의 오브젝트들의 뎁쓰 정보가 포함되어 있는 경우,
    상기 그래픽 화면 뎁쓰 값 조절부는 상기 둘 이상의 오브젝트들 중 가장 큰 뎁쓰 값을 갖는 오브젝트와 뎁쓰 값이 같거나 또는 그보다 더 큰 값을 갖도록 상기 그래픽 화면의 뎁쓰 값을 조절하는 것을 특징으로 하는 영상 처리 장치.
  15. 제13 항에 있어서, 상기 비디오 스트림은 디코딩 단위인 액세스 유닛(access unit)을 복수개 포함하고,
    상기 비디오 뎁쓰 정보 추출부는 상기 복수의 액세스 유닛들 각각으로부터 비디오 뎁쓰 정보를 추출하는 것을 특징으로 하는 영상 처리 장치.
  16. 제15 항에 있어서, 상기 그래픽 화면 뎁쓰 값 조절부는 비디오 뎁쓰 정보가 추출된 액세스 유닛에 동기되어 재생되어야 하는 그래픽 화면의 뎁쓰 값을 상기 추출된 비디오 뎁쓰 정보를 이용하여 조절하는 것을 특징으로 하는 영상 처리 장치.
  17. 제15 항에 있어서, 상기 비디오 뎁쓰 정보 추출부는 상기 각 액세스 유닛에 포함된 SEI(Supplemental Enhancement Information) 내의 사용자 데이터 SEI 메세지(User data SEI messages)로부터 상기 비디오 뎁쓰 정보를 추출하는 것을 특징으로 하는 영상 처리 장치.
  18. 제13 항에 있어서, 상기 비디오 스트림은 디코딩 단위인 액세스 유닛(access unit)을 복수개 포함하는 GOP(Group Of Pictures)를 하나 이상 포함하고,
    상기 비디오 뎁쓰 정보 추출부는 상기 GOP 에 포함된 복수의 액세스 유닛들 중 하나의 액세스 유닛으로부터 비디오 뎁쓰 정보를 추출하는 것을 특징으로 하는 영상 처리 장치.
  19. 제18 항에 있어서, 상기 비디오 뎁쓰 정보 추출부는 상기 하나의 액세스 유닛에 포함된 SEI(Supplemental Enhancement Information) 내의 사용자 데이터 SEI 메세지(User data SEI messages)로부터 상기 비디오 뎁쓰 정보를 추출하는 것을 특징으로 하는 영상 처리 장치.
  20. 제19 항에 있어서, 상기 비디오 뎁쓰 정보는 상기 3차원 비디오 영상의 뎁쓰 값의 개수 또는 상기 대응하는 픽셀의 이동 거리 값의 개수를 포함하고,
    상기 그래픽 화면 뎁쓰 값 조절부는 상기 GOP 에 포함된 복수의 액세스 유닛들을 상기 비디오 뎁쓰 정보에 포함된 개수만큼의 묶음으로 나누었을 때, 각 묶음에 포함되는 액세스 유닛에 동기되어 재생되어야 하는 그래픽 화면의 뎁쓰 값을, 상기 비디오 뎁쓰 정보에 포함된 상기 3차원 비디오 영상의 뎁쓰 값들 중 하나의 값으로 조절하거나 상기 대응하는 픽셀의 이동 거리 값들 중 하나를 이용하여 조절하는 것을 특징으로 하는 영상 처리 장치.
  21. 제13 항에 있어서, 상기 비디오 스트림은 디코딩 단위인 액세스 유닛(access unit)을 복수개 포함하는 GOP(Grop Of Pictures)를 하나 이상 포함하고, 상기 비디오 뎁쓰 정보 추출부는 상기 GOP의 헤더로부터 상기 비디오 뎁쓰 정보를 추출하는 것을 특징으로 하는 영상 처리 장치.
  22. 제21 항에 있어서, 상기 비디오 뎁쓰 정보는 상기 3차원 비디오 영상의 뎁쓰 값의 개수 또는 상기 대응하는 픽셀의 이동 거리 값의 개수를 포함하고,
    상기 그래픽 화면 뎁쓰 값 조절부는 상기 GOP 에 포함된 복수의 액세스 유닛들을 상기 비디오 뎁쓰 정보에 포함된 개수만큼의 묶음으로 나누었을 때, 각 묶음에 포함되는 액세스 유닛에 동기되어 재생되어야 하는 그래픽 화면의 뎁쓰 값을, 상기 비디오 뎁쓰 정보에 포함된 상기 3차원 비디오 영상의 뎁쓰 값들 중 하나의 값으로 조절하거나 상기 대응하는 픽셀의 이동 거리 값들 중 하나를 이용하여 조절하는 것을 특징으로 하는 영상 처리 장치.
  23. 비디오 스트림으로부터 3차원 비디오 영상의 깊이를 나타내는 비디오 뎁쓰 정보를 추출하는 단계; 및
    상기 3차원 비디오 영상과 동기되어 재생되어야 하는 그래픽 화면의 뎁쓰 값을 상기 비디오 뎁쓰 정보를 이용하여 조절하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법을 실행하기 위한 프로그램을 저장한 컴퓨터로 판독 가능한 기록 매체.
PCT/KR2010/003296 2009-05-27 2010-05-25 영상 처리 방법 및 장치 WO2010137849A2 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP10780760.4A EP2437501A4 (en) 2009-05-27 2010-05-25 METHOD AND APPARATUS FOR IMAGE PROCESSING
JP2012512959A JP2012528510A (ja) 2009-05-27 2010-05-25 映像処理方法及び装置
CN2010800235596A CN102450025A (zh) 2009-05-27 2010-05-25 图像处理方法和设备
US13/304,751 US20120194639A1 (en) 2009-05-27 2011-11-28 Image-processing method and apparatus

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US18145509P 2009-05-27 2009-05-27
US61/181,455 2009-05-27
US18361209P 2009-06-03 2009-06-03
US61/183,612 2009-06-03
KR1020100044500A KR20100128233A (ko) 2009-05-27 2010-05-12 영상 처리 방법 및 장치
KR10-2010-0044500 2010-05-12

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/304,751 Continuation US20120194639A1 (en) 2009-05-27 2011-11-28 Image-processing method and apparatus

Publications (2)

Publication Number Publication Date
WO2010137849A2 true WO2010137849A2 (ko) 2010-12-02
WO2010137849A3 WO2010137849A3 (ko) 2011-03-03

Family

ID=43505217

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2010/003296 WO2010137849A2 (ko) 2009-05-27 2010-05-25 영상 처리 방법 및 장치

Country Status (6)

Country Link
US (1) US20120194639A1 (ko)
EP (1) EP2437501A4 (ko)
JP (1) JP2012528510A (ko)
KR (1) KR20100128233A (ko)
CN (1) CN102450025A (ko)
WO (1) WO2010137849A2 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5482254B2 (ja) * 2009-11-05 2014-05-07 ソニー株式会社 受信装置、送信装置、通信システム、表示制御方法、プログラム、及びデータ構造
US20120044321A1 (en) * 2010-08-18 2012-02-23 Electronics And Telecommunications Research Institute Apparatus and method for monitoring broadcasting service in digital broadcasting system
KR20130081569A (ko) * 2012-01-09 2013-07-17 삼성전자주식회사 3ｄ 영상을 출력하기 위한 장치 및 방법
CN103931177A (zh) * 2012-04-10 2014-07-16 华为技术有限公司 显示对象在三维场景中的显示方法及设备
KR102394716B1 (ko) * 2012-11-27 2022-05-06 돌비 레버러토리즈 라이쎈싱 코오포레이션 깊이 정보를 이용한 영상 부호화 및 복호화 방법, 그를 이용한 장치 및 영상 시스템
CN103313086B (zh) * 2013-06-05 2017-02-08 樊燚 一种全高清3d视频处理方法及装置
KR20160073787A (ko) * 2014-12-17 2016-06-27 삼성전자주식회사 곡면 디스플레이에서 재생되는 3차원 영상을 생성하는 장치 및 방법

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
JPH11113028A (ja) * 1997-09-30 1999-04-23 Toshiba Corp ３次元映像表示装置
JPH11289555A (ja) * 1998-04-02 1999-10-19 Toshiba Corp 立体映像表示装置
US6275239B1 (en) * 1998-08-20 2001-08-14 Silicon Graphics, Inc. Media coprocessor with graphics video and audio tasks partitioned by time division multiplexing
JP3957620B2 (ja) * 2001-11-27 2007-08-15 三星電子株式会社 深さイメージ基盤３次元客体を表現するための装置及び方法
JP2003304562A (ja) * 2002-04-10 2003-10-24 Victor Co Of Japan Ltd オブジェクト符号化方法、オブジェクト符号化装置、及びオブジェクト符号化用プログラム
US20060109283A1 (en) * 2003-02-04 2006-05-25 Shipman Samuel E Temporal-context-based video browsing interface for PVR-enabled television systems
JP4222875B2 (ja) * 2003-05-28 2009-02-12 三洋電機株式会社 立体映像表示装置及びプログラム
KR100657940B1 (ko) * 2004-12-28 2006-12-14 삼성전자주식회사 깊이 영상 기반 표현 데이터 압축에 관한 메타표현을이용한 입력파일 생성 방법 및 시스템과, ａｆｘ부호화방법 및 장치
CN100576251C (zh) * 2005-04-19 2009-12-30 皇家飞利浦电子股份有限公司 呈现单元、呈现方法以及图像处理设备
JP2006325165A (ja) * 2005-05-20 2006-11-30 Excellead Technology:Kk テロップ発生装置、テロップ発生プログラム、及びテロップ発生方法
US7916934B2 (en) * 2006-04-04 2011-03-29 Mitsubishi Electric Research Laboratories, Inc. Method and system for acquiring, encoding, decoding and displaying 3D light fields
WO2008038205A2 (en) * 2006-09-28 2008-04-03 Koninklijke Philips Electronics N.V. 3 menu display
KR101842622B1 (ko) * 2007-03-16 2018-03-27 톰슨 라이센싱 3차원 콘텐츠와 텍스트를 조합하기 위한 시스템 및 방법
MX2011006360A (es) * 2008-09-30 2011-07-13 Panasonic Corp Dispositivo de reproduccion, medio de grabacion y circuito integrado.
CN104065950B (zh) * 2008-12-02 2016-06-15 Lg电子株式会社 3d字幕显示方法和设备以及发送3d字幕的方法和设备
KR101667723B1 (ko) * 2008-12-02 2016-10-19 엘지전자 주식회사 3차원 영상신호 전송 방법과, 3차원 영상표시 장치 및 그에 있어서의 신호 처리 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
None

Also Published As

Publication number Publication date
WO2010137849A3 (ko) 2011-03-03
US20120194639A1 (en) 2012-08-02
JP2012528510A (ja) 2012-11-12
EP2437501A2 (en) 2012-04-04
KR20100128233A (ko) 2010-12-07
EP2437501A4 (en) 2013-10-30
CN102450025A (zh) 2012-05-09

Similar Documents

Publication Publication Date Title
WO2010137849A2 (ko) 영상 처리 방법 및 장치
WO2010101362A2 (en) Metadata generating method and apparatus and image processing method and apparatus using metadata
KR101539935B1 (ko) 3차원 비디오 영상 처리 방법 및 장치
WO2011155697A2 (ko) 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치
KR100768837B1 (ko) 3차원 화상 작성 장치, 3차원 화상 재생 장치, 3차원 화상 처리 장치, 3차원 화상 처리 프로그램을 기록한 기록 매체
WO2010074437A2 (en) Image processing method and apparatus therefor
WO2010095835A2 (ko) 영상 처리 방법 및 장치
US8878836B2 (en) Method and apparatus for encoding datastream including additional information on multiview image and method and apparatus for decoding datastream by using the same
KR101630866B1 (ko) ３ｄ 이미지 데이터의 전송
WO2011005025A2 (en) Signal processing method and apparatus therefor using screen size of display device
US7796808B2 (en) Image data creation device and image data reproduction device for reproducing the data
WO2010095838A2 (ko) 그래픽 화면 처리 방법 및 장치
WO2011028019A2 (ko) 비디오 영상 배속 재생 방법 및 장치
KR20110114673A (ko) 3ｄ 이미지 데이터의 전송
WO2010085074A2 (en) Three-dimensional subtitle display method and three-dimensional display device for implementing the same
JP2009124768A (ja) マルチメディア情報生成装置およびマルチメディア情報再生装置
EP2839440A1 (en) Method and apparatus of providing media file for augmented reality service
WO2020004967A1 (ko) 특정 영역의 화질을 개선하기 위해 복수의 가상현실영상을 재생하는 가상현실영상재생장치 및 가상현실영상생성방법
WO2012124994A2 (en) Method and apparatus for constructing and playing sensory effect media integration data files
WO2011087303A2 (ko) 방송 신호 수신기 및 비디오 데이터 처리 방법
WO2010050691A2 (en) Methods and apparatuses for processing and displaying image
KR100503276B1 (ko) 2차원 영상신호를 3차원 영상신호로 변환하는 장치
WO2016195167A1 (ko) 적층형 홀로그램용 콘텐츠 변환방법, 변환장치 및 프로그램
WO2011162474A2 (ko) 스트레오스코픽 동영상 파일의 구성 방법
WO2010050692A2 (en) Image processing method and apparatus

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080023559.6

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10780760

Country of ref document: EP

Kind code of ref document: A2

WWE Wipo information: entry into national phase

Ref document number: 2010780760

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2012512959

Country of ref document: JP