WO2012091273A1 - 2차원 영상을 스테레오 영상으로 변환하는 방법 - Google Patents

2차원 영상을 스테레오 영상으로 변환하는 방법 Download PDF

Info

Publication number
WO2012091273A1
WO2012091273A1 PCT/KR2011/008185 KR2011008185W WO2012091273A1 WO 2012091273 A1 WO2012091273 A1 WO 2012091273A1 KR 2011008185 W KR2011008185 W KR 2011008185W WO 2012091273 A1 WO2012091273 A1 WO 2012091273A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
map
edge
dimensional
pixels
Prior art date
Application number
PCT/KR2011/008185
Other languages
English (en)
French (fr)
Inventor
유기령
이광호
김만배
Original Assignee
주식회사 넥시아 디바이스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 넥시아 디바이스 filed Critical 주식회사 넥시아 디바이스
Publication of WO2012091273A1 publication Critical patent/WO2012091273A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion

Definitions

  • the present invention relates to a method for converting a 2D image into a stereo image. More specifically, an object depth map and a background depth map are separately generated and merged to generate a final depth map, and use the generated final depth map.
  • the present invention relates to a stereo image.
  • 3D video (Stereoscopic Video)
  • 3D imaging can be implemented using these characteristics of humans. For example, by distinguishing a particular subject into a left eye image seen through the viewer's left eye and a right eye image seen through the viewer's right eye, the viewer simultaneously displays the left eye image and the right eye image, thereby allowing the viewer to view the 3D image as a 3D image. I can make it visible.
  • the 3D image may be implemented by producing a binocular image divided into a left eye image and a right eye image and displaying the same.
  • An object of the present invention is to create an object depth map and a background depth map separately from the two-dimensional image and merge them to create a final depth map, and to create a two-dimensional image to generate a more natural stereo image using the generated final depth map SUMMARY OF THE INVENTION
  • An object of the present invention is to separately generate an object depth map and a background depth map from a two-dimensional image, merge them together to generate a final depth map, and use the generated final depth map. To provide a method of converting a two-dimensional image to a stereo image to create a more natural stereo image.
  • An object of the present invention is a method for converting a two-dimensional RGB image to a stereo image, a first step of converting a two-dimensional RGB image to a two-dimensional YUV image, and a second step of generating an edge map from the two-dimensional YUV image And a third step of generating an object depth map and a background depth map by using an edge map, and then integrating an object depth map and a background depth map to generate a final depth map, and using the final depth map. And a fifth step of filling the empty hole pixels generated in the fourth step and the fourth step of acquiring the left-eye image and the right-eye image by moving the RGB image in the horizontal direction, using the surrounding pixel values. Achievable by a method of converting a dimensional image into a stereo image.
  • the object depth map and the background depth map are separately generated from the two-dimensional image, and the final depth map is generated by merging them, and a more natural stereo image can be generated and provided using the generated final depth map.
  • FIG. 1 is a flow chart illustrating a flow of converting a two-dimensional image to a stereo image according to the present invention.
  • FIG. 2 is a diagram illustrating a method of generating a left and right background depth map in an edge map image having a size W ⁇ H.
  • FIG. 3 is a view for explaining a method of allocating depth to left and right background depth maps in an edge map image having a size W ⁇ H.
  • FIG. 3 is a view for explaining a method of allocating depth to left and right background depth maps in an edge map image having a size W ⁇ H.
  • FIG. 4 is a view for explaining a method of generating a vertical background depth map in an edge map image of size W x H.
  • FIG. 5 is a diagram for explaining a method of allocating depth to a vertical background depth map in an edge map image having a size W ⁇ H.
  • FIG. 5 is a diagram for explaining a method of allocating depth to a vertical background depth map in an edge map image having a size W ⁇ H.
  • FIG. 6 is an explanatory diagram for explaining a method of filling a hole pixel generated according to left and right movement of an image
  • FIG. 7 is a flowchart for explaining a method of filling a hole pixel when a hole pixel occurs.
  • FIG. 8 is a diagram illustrating a method of calculating block positions of non-edge pixels.
  • 9 is an explanatory diagram for determining a range of a search window in a current block.
  • FIG. 10 is an explanatory diagram illustrating setting a search window size corresponding to a current block.
  • Fig. 11 is a partial configuration diagram of applying the present invention to an image display apparatus such as a television.
  • FIG. 1 is an example of a flowchart illustrating a flow of converting a 2D image into a stereo image according to the present invention.
  • an input RGB image is converted into a YUV color model (ST100), and an edge map is generated by extracting an edge from the converted YUV color model (ST110).
  • a complementary edge map is generated in consideration of the moving object included in the image (ST115).
  • the object depth map is generated using the complementary edge map (ST120), and the left and right background depth map and the vertical background depth map are calculated using the same complementary edge map (ST130 and ST140), and the calculated left and right backgrounds are calculated.
  • the background depth map is generated by integrating the depth map and the vertical background depth map (ST150).
  • the final depth map is generated by integrating the generated object depth map and the background depth map (ST160), and the variation of pixels is obtained using the final depth map, and the left and right images are generated by moving the RGB image left and right by the variation (ST170). ). Next, by filling the empty hole pixels generated by the shift by the shift (ST180), it is possible to generate the final stereo image (I R , I L ) (ST190).
  • FIG. 1 The processing flow described in FIG. 1 can be processed in hardware or software, as well as the processing techniques of the present invention in various devices.
  • An example of a device to which the conversion technology of the present invention is applied is a device for converting a stereoscopic image into a stereo image in a television receiver receiving a 2D image and providing the same to a viewer.
  • the television receiver receives a compressed two-dimensional image, decodes it, generates a two-dimensional RGB image, stores it in a memory, and performs the steps ST100 to ST180 of FIG. 1 using a processing processor. It generates a video for providing a video signal.
  • a YUV color image is represented by Y (luminance) brightness, U is blue-brightness, V is red-brightness, and has color difference information unlike an RGB image.
  • edge information must be obtained, and since the information obtained from a single data is uncertain, the edge data is obtained from the composite data.
  • Edge information is applied to Y, U, and V, respectively, and the edge is extracted according to the following equation.
  • the deviation of the pixels in the U and V data is calculated as in Equation 3, Equation 4, Equation 5 and Equation 6 below.
  • the maximum value of the pixel can be obtained in addition to the average value.
  • Equation 9 the sum of the weighted products may be obtained as shown in Equation 9.
  • edges include various edge detection methods such as Sobel edge operation and Canny edge operation.
  • An average filter and an edge filter are combined to predict depth from a 2D image.
  • the filter M satisfying this used the following equation (10).
  • Equation 11 is a result obtained by convolving the image I with the filter M.
  • the edge map is represented by the absolute value of F (i, j) as shown in Equation 12.
  • the edge map obtained in Equation 13 is used as the depth map of the object, satisfactory depth cannot be obtained due to the loss of edge information and the strength difference between edge intensities between neighboring pixels. In this case, when viewing the left and right stereoscopic images, stereoscopic hearing deterioration such as eye fatigue occurs. To solve this problem, the edge map is processed as follows.
  • the edge map is converted to a normalized value with [0, 255].
  • the transformation uses a linear transformation as shown in equation (14).
  • the maximum value of the EdgeMap The edge strength value E is equal to [0, 255]. Convert to a value.
  • Determining the overall background composition plays an important role in conveying three-dimensional appearance. In a given image, it is necessary to determine whether the left side and the right side are in front and behind, and have different depths, which are determined by the left and right background depth maps.
  • a background depth map is made using the edge map obtained in Equation 13.
  • FIG. 2 is a diagram for describing a method of generating left and right background depth maps in an edge map image having a size W ⁇ H.
  • the edge strength on the right side is calculated in the following equation (19).
  • the minimum and maximum depth values are calculated as follows. Maximum depth value In this case, the minimum depth value is determined by the following equation (20).
  • ratio Is calculated as in Equation 21 below.
  • the proposed method has an advantage of assigning an appropriate depth value according to the image content. At the same time, it stores information about which side is far or near.
  • FIG. 3 is a diagram for describing a method of allocating depth to left and right background depth maps in an edge map image having a size W ⁇ H.
  • FIG. 4 is a diagram for describing a method of generating a vertical background depth map in an edge map image having a size W ⁇ H.
  • the edge strength at the bottom is calculated in the following equation (24).
  • the depth values of the upper and lower background depth maps are calculated as follows.
  • Maximum depth value In this case, the minimum depth value is determined by the following equation (25).
  • FIG. 5 is a diagram illustrating a method of allocating depth to upper and lower background depth maps in an edge map image having a size W ⁇ H.
  • the depth map is obtained from the sum of the background depth map and the object depth map.
  • the left eye image and the right eye image are calculated as in Equation 30 below.
  • the disparity of the pixels is obtained and the image is moved horizontally to the left and the right to make a left eye image and a right eye image, respectively.
  • I L and I R are the left eye image and the right eye image, respectively, and the variation d is calculated from D in Equation 29 using Equation 31 below.
  • ⁇ is the maximum stereo parallax.
  • the range of D in the depth map is typically [0, 255]. This is transformed into a variation d. Each pixel moves to the left in the left image and to the right in the right image according to the corresponding d value. Therefore, the maximum parallax that can occur in the left and right images is 2d.
  • FIG. 6 is an explanatory diagram for explaining a method of filling a hole pixel generated according to left and right movement of an image. Hole filling generally uses an average value of neighboring pixels, but an improved image quality can be obtained by using an interpolation technique.
  • FIG. 7 is a flowchart illustrating a method of filling a hall pixel when the hall pixel is generated.
  • L Hall pixels are generated (ST700)
  • deviations of the pixels are continuously calculated in a direction in which the pixel having a large disparity value exists (ST710).
  • Search until the deviation value is less than or equal to the threshold P.
  • Searched pixels If the number of is N, L pixels Fill them with interpolation. First, a scaling factor is obtained as shown in Equation 32.
  • the hole filling is completed, and then converted into Top-bottom, Side by Side, Vertical Interleaving, and Interlaced formats for transmission format of 3D display.
  • the complementary edge map is a step for more accurately supplementing the edge map generated in step ST110 of FIG. 1 using moving object information.
  • Block-based motion estimation is used to obtain the motion vectors of NxN blocks from the previous luma image Yk-1 and the current luma Yk, and the following motion prediction technique is used to improve the speed.
  • This method finds a matching block that gives the least error while moving left and right on the x axis, and also finds a matching block while moving on the y axis.
  • Exercise vector Is represented by equation (34).
  • Is the luminance value of the current video Is the luminance value of the previous image. Also the direction of the motion vector Is calculated in equation (35).
  • pixels whose edge strength is less than the threshold T are classified as non-edge pixels as shown in Equation 36, or as edge pixels.
  • FIG. 8 is a diagram illustrating a method of calculating block positions of non-edge pixels. If it is a non-edge pixel, the block to which it belongs is calculated. The block size is NxN, and the coordinate value of the non-edge pixel is ( ), The top-left coordinate value of the block is calculated in equation (37).
  • FIG. 10 is an explanatory diagram illustrating setting a search window size corresponding to a current block. If the size of the search window is K, Will be searched for blocks. 9 is an explanatory diagram for determining a range of a search window in the current block.
  • the similarity function is defined in Equation 38 in the current block and the k-th block.
  • FIG. 11 is a view illustrating some components of the present invention applied to an image display apparatus such as a television.
  • the image display apparatus includes a frame buffer unit 10, a frame rate conversion unit (FRC) unit 20, and a display unit 30. It includes.
  • FRC frame rate conversion unit
  • the video signal is temporarily stored in the frame buffer unit 10 and outputs the video signal to the FRC unit 20 at a predetermined frame rate.
  • the FRC unit 20 converts the frame rate of the video signal into a frame rate displayable on the display unit 30. Then, the display unit 30 processes the video signal and displays it on the screen.
  • the FRC unit 30 converts and outputs the frame rate of the input video signal to remove the motion judder. That is, when the frame rate of the input video signal is 15Hz, the frame rate is converted to 30Hz, and when the 30Hz is converted to 60Hz, the 50Hz is converted to 100Hz, and the 60Hz is converted to 120Hz. In this case, by adding the frame corrected by the motion estimation to the original frame, the frame rate of the input video signal can be doubled and output.
  • the frame rate unit 20 performs the steps ST100 to ST180 of FIG. 1 on the two-dimensional image input from the frame buffer unit 10 to generate the left eye image and the right eye image.
  • a 2D 3D converter 50 for converting a 2D image into a 3D image may be separately provided between the frame buffer unit 10 and the frame rate unit 20.
  • the FRC unit 30 converts and outputs the frame rate corresponding to the display method of the display unit 70 even when the frame rate of the input video signal is different depending on the transmission method of the input video signal. That is, NTSC (National Television) corresponding to the display method of the display unit 70 may be used to output a 50 Hz video signal input by a PAL (Phase Alternation by Line system) method or a 24 Hz video signal input by a Sequential Couleur a Memoire (SEMA) method. It converts to 60Hz video signal of System Committee type and outputs it.
  • NTSC National Television
  • PAL Phase Alternation by Line system
  • SEMA Sequential Couleur a Memoire
  • the receiver may more easily provide a 3D image.
  • a portion of the pixel data constituting the two-dimensional image is replaced with depth data, which is stereoscopic information, transmitted as the two-dimensional image, and displayed as a three-dimensional image using the received depth information.
  • the two-dimensional image is generally composed of a series of pixels consisting of a total of 24 bits, each 8 bits RGB.
  • the 3D image screen may be used as the depth information. This feature overcomes the limitations of 2D 3D conversion and makes it easy for users to create stereoscopic images.
  • FIG. 12 is an explanatory diagram for explaining a new three-dimensional image format.
  • a two-dimensional image is transmitted using 24 bits per pixel, and when a three-dimensional image is transmitted, a two-dimensional image is sent to 20 bits per pixel as shown in (b).
  • the remaining four bits transmit depth information.
  • the 2D image data and the depth data are separated from the received image data, and (2) the received 2D image data using the depth data for the left eye image. It is necessary to generate a right eye image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 2차원 영상을 스테레오 영상으로 변환하는 방법에 관한 것으로서, 2차원 RGB 영상을 스테레오 영상으로 변환하는 방법에 있어서, 본 발명에서는 2차원 RGB 영상을 2차원 YUV 영상으로 변환하는 제 1단계와, 2차원 YUV 영상으로부터 에지맵을 생성하는 제 2단계와, 에지맵을 이용하여 객체 깊이맵과 배경 깊이맵을 각각 생성한 후, 상기 객체 깊이맵과 상기 배경 깊이맵을 통합하여 최종 깊이맵을 생성하는 제 3단계와, 최종 깊이맵을 이용하여 상기 2차원 RGB 영상을 수평 방향으로 이동시켜 좌안용 영상과 우안용 영상을 획득하는 제 4단계 및 제 4단계에서 발생되는 빈 홀 화소를 주위 화소값을 이용하여 채우는 제 5단계를 포함하는 것을 특징으로 하는 2차원 영상을 스테레오 영상으로 변환하는 방법에 관한 것이다.

Description

2차원 영상을 스테레오 영상으로 변환하는 방법
본 발명은 2차원 영상을 스테레오 영상으로 변환하는 방법에 관한 것으로서, 보다 상세하게는 객체 깊이맵과 배경 깊이맵을 별도로 생성한 후 이를 합체하여 최종 깊이맵을 생성하고, 생성된 최종 깊이맵을 이용하여 스테레오 영상으로 변환하는 방법에 관한 것이다.
최근 3D 영상(Stereoscopic Video)에 대한 관심이 증폭되면서, 3D 영상에 대한 연구가 활발히 진행되고 있다. 일반적으로 인간은 양 안 사이의 시차에 의해 입체감을 가장 크게 느끼는 것으로 알려져 있다. 따라서, 3D 영상은 인간의 이러한 특성을 이용하여 구현될 수 있다. 예컨대, 특정 피사체를 시청자의 좌측 눈을 통해 보여지는 좌안 영상과 시청자의 우측 눈을 통해 보여지는 우안 영상으로 구별하여, 상기 좌안 영상과 상기 우안 영상을 동시에 디스플레이함으로써 시청자가 상기 특정 피사체를 3D 영상으로 볼 수 있도록 할 수 있다. 결국, 3D 영상은 좌안 영상과 우안 영상으로 구분된 양안(binocular) 영상을 제작하여 이를 디스플레이함으로써 구현될 수 있다.
본 발명의 목적은 2차원 영상으로부터 객체 깊이맵과 배경 깊이맵을 별도로 생성한 후 이를 합체하여 최종 깊이맵을 생성하고, 생성된 최종 깊이맵을 이용하여 보다 자연스러운 스테레오 영상을 생성하는 2차원 영상을 스테레오 영상으로 변환하는 방법을 제공하고자 하는 것이다.본 발명의 목적은 2차원 영상으로부터 객체 깊이맵과 배경 깊이맵을 별도로 생성한 후 이를 합체하여 최종 깊이맵을 생성하고, 생성된 최종 깊이맵을 이용하여 보다 자연스러운 스테레오 영상을 생성하는 2차원 영상을 스테레오 영상으로 변환하는 방법을 제공하고자 하는 것이다.
상기 본 발명의 목적은 2차원 RGB 영상을 스테레오 영상으로 변환하는 방법에 있어서, 2차원 RGB 영상을 2차원 YUV 영상으로 변환하는 제 1단계와, 2차원 YUV 영상으로부터 에지맵을 생성하는 제 2단계와, 에지맵을 이용하여 객체 깊이맵과 배경 깊이맵을 각각 생성한 후, 객체 깊이맵과 배경 깊이맵을 통합하여 최종 깊이맵을 생성하는 제 3단계와, 최종 깊이맵을 이용하여 상기 2차원 RGB 영상을 수평 방향으로 이동시켜 좌안용 영상과 우안용 영상을 획득하는 제 4단계 및 제 4단계에서 발생되는 빈 홀 화소를 주위 화소값을 이용하여 채우는 제 5단계를 포함하는 것을 특징으로 하는 2차원 영상을 스테레오 영상으로 변환하는 방법에 의해서 달성 가능하다.
본 발명에서는 2차원 영상으로부터 객체 깊이맵과 배경 깊이맵을 별도로 생성한 후 이를 합체하여 최종 깊이맵을 생성하고, 생성된 최종 깊이맵을 이용하여 보다 자연스러운 스테레오 영상을 생성하여 제공할 수 있게 되었다.
도 1은 본 발명에 따른 2차원 영상을 스테레오 영상으로 변환하는 흐름을 설명하는 흐름도.
도 2는 크기가 W x H 인 에지맵 영상에서 좌우배경 깊이맵을 생성하는 방법을 설명하는 도면.
도 3은 크기가 W x H 인 에지맵 영상에서 좌우배경깊이맵에 깊이를 할당하는 방식을 설명하는 도면.
도 4는 크기가 W x H 인 에지맵 영상에서 상하배경깊이맵을 생성하는 방법을 설명하는 도면.
도 5는 크기가 W x H 인 에지맵 영상에서 상하배경깊이맵에 깊이를 할당하는 방식을 설명하는 도면.
도 6은 영상의 좌우 이동에 따라 발생하는 홀 픽셀을 채우는 방법을 설명하는 설명도.
도 7은 홀 픽셀이 발생한 경우, 홀 픽셀을 채우는 방법을 설명하는 흐름도.
도 8은 비에지 픽셀의 블록 위치를 계산하는 방식을 도식화한 도면.
도 9는 현재 블록에서 탐색 윈도우의 범위를 결정하는 설명도.
도 10은 현재 블록에 해당하는 탐색윈도우 크기를 설정하는 것을 설명하는 설명도.
도 11은 텔레비젼과 같은 영상표시장치에 본 발명을 적용하는 일부 구성도.
도 12는 새로운 삼차원 영상 포맷을 설명하는 설명도.
이하에서, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예, 장점 및 특징에 대하여 상세히 설명하도록 한다.
도 1은 본 발명에 따른 2차원 영상을 스테레오 영상으로 변환하는 흐름을 설명하는 흐름도의 일 례이다. 도 1에 도시된 바와 같이 입력되는 RGB 영상을 YUV 컬러 모델로 변환하고(ST100), 변환된 YUV 컬러 모델로부터 에지를 추출하여 에지맵을 생성한다(ST110). 이후 영상에 포함된 움직이는 객체를 고려하여 보완된 에지맵을 생성한다(ST115). 다음으로 보완된 에지맵을 이용하여 객체 깊이맵을 생성하고(ST120), 또한 동일한 보완된 에지맵을 이용하여 좌우 배경 깊이맵과 상하 배경 깊이맵을 계산하고(ST130 및 ST140), 계산된 좌우 배경 깊이맵과 상하 배경 깊이맵을 통합하여 배경 깊이맵을 생성한다(ST150). 생성된 객체 깊이맵과 배경 깊이맵을 통합하여 최종 깊이맵을 생성하고(ST160), 최종 깊이맵을 이용하여 픽셀의 변이를 구하고, 변이만큼 RGB 영상을 좌우로 이동하여 좌우 영상을 생성한다(ST170). 다음으로 변이만큼 이동으로 인해 발생되는 비어있는 홀 픽셀을 채움으로써(ST180), 최종적인 스테레오 영상(IR, IL)을 생성할 수 있게 된다(ST190).
도 1에 설명된 처리 흐름은 하드웨어적으로 처리하거나 또는 소프트웨어적으로 처리할 수 있음은 물론이며, 다양한 장치에서 본 발명의 처리 기술을 사용할 수 있다. 본 발명의 변환 기술을 적용하는 장치의 일 예로는 2차원 영상을 수신하는 텔레비젼 수상기에서 이를 스테레오 영상으로 변환하여 시청자에게 제공하는 장치를 들 수 있다. 이러한 텔레비젼 수상기는 압축된 2차원 영상을 수신한 후, 디코딩하여 2차원 RGB 영상을 생성하여 메모리에 저장하고, 처리 프로세서를 이용하여 도 1의 ST100 내지 ST180 단계를 수행한 후, 좌안용 영상과 우안용 영상을 생성하여 비디오 신호로 제공하게 된다.
다음으로 도 1의 각 단계에 대해 상세히 설명하기로 한다. 보완된 에지맵 생성 단계(ST115)를 제외한 플로우에 대해서 설명하고, 마지막으로 보완된 에지맵 생성 단계에 대해서 설명하기로 한다. 따라서, 아래 설명에서는 ST110 단계에서 생성된 에지맵을 이용하여 이후 단계인 ST120과 ST130 및 ST140 단계를 진행하는 과정으로 설명을 진행하나 실질적으로는 ST115 단계에서 생성된 보완된 에지맵을 이용하여 ST120과 ST130 및 ST140 단계가 수행되는 것으로 이해되어져야 한다.
1. 컬러모델변환
RGB영상이 주어지면, 먼저 YUV 컬러공간으로 변환한다. YUV 컬러 영상은 Y(luminance)는 밝기, U는 청색-밝기, V는 적색-밝기로 색상을 표현하며, RGB 영상과 달리 색차 정보를 가지는 것을 특징이다.
2. 에지맵 (edge map) 계산
다음으로 에지 정보을 구해야 하며, 단일 데이터에서 얻은 정보는 불확실성이 크기 때문에, 복합 데이터로부터 에지 데이터를 얻는다. 에지정보는 Y, U, V 에 각각 적용하는데, 다음 식에 따라 에지를 추출한다.
각 화소에 다음과 같이 주변 블록(block) 픽셀들의 편차(variance)
Figure PCTKR2011008185-appb-I000001
를 구한다. 먼저 Y영상에서 주어진 화소를 포함하는 NxN 블록 B의 평균값은 수학식 1과 같이 계산된다.
[수학식 1]
Figure PCTKR2011008185-appb-I000002
편차
Figure PCTKR2011008185-appb-I000003
은 다음 수학식 2와 같이 계산된다.
[수학식 2]
Figure PCTKR2011008185-appb-I000004
또한 U, V 데이터에서 화소의 편차는 다음 수학식 3, 수학식 4, 수학식 5 및 수학식 6과 같이 구해진다.
[수학식 3]
Figure PCTKR2011008185-appb-I000005
[수학식 4]
Figure PCTKR2011008185-appb-I000006
[수학식 5]
Figure PCTKR2011008185-appb-I000007
[수학식 6]
Figure PCTKR2011008185-appb-I000008
Figure PCTKR2011008185-appb-I000009
,
Figure PCTKR2011008185-appb-I000010
,
Figure PCTKR2011008185-appb-I000011
가 얻어지면 평균
Figure PCTKR2011008185-appb-I000012
를 수학식 7를 이용하여 구한다.
[수학식 7]
Figure PCTKR2011008185-appb-I000013
또는 평균값 이외에도 화소의 최대값을 구할 수 있다.
[수학식 8]
Figure PCTKR2011008185-appb-I000014
또는 가중치 곱의 합으로도 수학식 9와 같이 구할 수 있다.
[수학식 9]
Figure PCTKR2011008185-appb-I000015
여기서
Figure PCTKR2011008185-appb-I000016
이다.
각 화소의 편차가 구해지면,
Figure PCTKR2011008185-appb-I000017
중에서 하나를 선택하여 영상의 에지맵
Figure PCTKR2011008185-appb-I000018
을 구한다.
또한 에지는 소벨(Sobel) 에지연산, 캐니(Canny) 에지연산 등의 다양한 에지 검출 방법들이 있는데, 2차원 영상으로부터 깊이를 예측하기 위해서, 평균 필터와 에지필터를 결합한다. 이것을 만족하는 필터 M은 다음 수학식 10을 사용하였다.
[수학식 10]
Figure PCTKR2011008185-appb-I000019
수학식 11의 F(i, j)는 영상 I를 필터 M으로 콘볼루션하여 얻은 결과이다.
[수학식 11]
Figure PCTKR2011008185-appb-I000020
여기서
Figure PCTKR2011008185-appb-I000021
는 콘볼루션 연산자이다. 에지맵은 수학식 12와 같이 F(i,j)의 절대값으로 표현된다.
[수학식 12]
Figure PCTKR2011008185-appb-I000022
마지막으로 최종 에지맵 EdgeMap은
Figure PCTKR2011008185-appb-I000023
와 수학식 13의 가중치곱의 합으로 얻어진다.
[수학식 13]
Figure PCTKR2011008185-appb-I000024
이렇게 함으로써 한 개의 에지 추출 기법을 사용하는 것보다는 복합 기법들을 사용함으로써 에지의 불확실성을 줄일 수 있다.
3. 객체 깊이맵 생성
수학식 13에서 얻어진 에지맵을 객체의 깊이맵으로 사용하면, 에지정보의 손실, 이웃 화소들간에 에지 강도의 강약 차이로 만족스러운 깊이를 얻을 수가 없다. 이 경우 좌우입체영상을 시청하면, 눈의 피로감 등의 입체시청 저하현상이 발생한다. 이를 해결하기 위하여 에지맵을 다음과 같이 처리한다.
먼저 에지맵을 [0, 255]로 정규화값으로 변환한다. 변환식은 수학식 14처럼 선형변환을 사용한다. EdgeMap의 최대값을
Figure PCTKR2011008185-appb-I000025
라고 하면, 에지강도 값 E는 [0, 255]의
Figure PCTKR2011008185-appb-I000026
값으로 변환한다.
[수학식 14]
Figure PCTKR2011008185-appb-I000027
모든 화소들의
Figure PCTKR2011008185-appb-I000028
값으로부터 정규화된 에지맵
Figure PCTKR2011008185-appb-I000029
이 만들어진다. 정규화 값에서 에지강도가 임계치 T보다 큰 에지맵 화소들의 평균
Figure PCTKR2011008185-appb-I000030
을 수학식 15와 같이 계산한다. 여기서 임계치 T는 여러 영상 처리를 통해 경험적으로 얻어지는 임의의 수이다.
[수학식 15]
Figure PCTKR2011008185-appb-I000031
다음 과정에서는 이웃 화소간에 에지강도의 차이를 줄이기 위하여 먼저
Figure PCTKR2011008185-appb-I000032
보다 큰 화소에는 동일한 값
Figure PCTKR2011008185-appb-I000033
(예, 30) 을 할당하고, 아닌 화소에는 0을 할당하여, 강도가 매우 약한 화소는 무시하고, 그렇지 않은 화소로 일단 동일 에지로 판단한다. 얻어진 임계치화된 에지맵은 수학식 16에 제시된
Figure PCTKR2011008185-appb-I000034
이다.
[수학식 16]
Figure PCTKR2011008185-appb-I000035
다음에
Figure PCTKR2011008185-appb-I000036
과
Figure PCTKR2011008185-appb-I000037
의 적절한 조합으로 객체의 깊이맵
Figure PCTKR2011008185-appb-I000038
을 만든다.
[수학식 17]
Figure PCTKR2011008185-appb-I000039
여기서
Figure PCTKR2011008185-appb-I000040
는 입체감의 강도를 조절하는 기능을 가지고 있다.
4. 좌우 배경깊이맵 생성
전체 배경 구도를 결정하는 것은 입체감을 전달하는데, 중요한 역할을 한다. 주어진 영상에서 좌측과 우측 중 어느 곳이 앞에 있고 뒤에 있는지를 판단하고 깊이를 달리해야 하며, 이를 좌우 배경깊이맵에 의해 결정한다. 수학식 13에서 얻어진 에지맵을 활용하여 배경깊이맵을 만든다.
도 2는 크기가 W x H 인 에지맵 영상에서 좌우 배경깊이맵을 생성하는 방법을 설명하는 도면이다. 수직중심선은 j = W/2인 선인데, 수직중심선을 중심으로 좌측에 v1, v2, 우측에 v3, v4를 설정한다. 그러면, 좌측의 에지 강도(edge strength)를 다음 수학식 18에서 계산한다.
[수학식 18]
Figure PCTKR2011008185-appb-I000041
우측의 에지 강도는 다음 수학식 19에서 계산된다.
[수학식 19]
Figure PCTKR2011008185-appb-I000042
여기서 min(v1) = 0, max(v2) = H/2, min(v3) = H/2, max(v4) = W이다.
두 개의 에지 강도로부터 좌우배경 깊이맵의 깊이 범위인 [
Figure PCTKR2011008185-appb-I000043
]를 계산한다. 최소 및 최대 깊이값은 다음과 같이 계산된다. 최대 깊이값이
Figure PCTKR2011008185-appb-I000044
이면, 최소 깊이값은 다음 수학식 20으로 결정한다.
[수학식 20]
Figure PCTKR2011008185-appb-I000045
여기서
Figure PCTKR2011008185-appb-I000046
은 사용자가 지정할 수 있다(예를 들어 2.0, 3.0, 등등). 비율
Figure PCTKR2011008185-appb-I000047
는 다음 수학식 21과 같이 계산된다.
[수학식 21]
Figure PCTKR2011008185-appb-I000048
두 에지강도의 차이가 적으면, 양쪽의 깊이 차이가 없다는 것이므로, 깊이 차이값을 줄이고, 반대로 차이가 크면, 양쪽의 깊이차이가 크다는 것을 의미한다. 따라서 제안방법은 영상 내용에 따라 적절한 깊이값을 할당할 수 있는 장점이 있다. 동시에 좌측 또는 우측 중에 어느 쪽이 멀고 가까운지에 대한 정보를 저장한다.
얻어진 깊이값의 범위는 D = [
Figure PCTKR2011008185-appb-I000049
]이다. 이 범위를 도 3에서 보는 것처럼, 다음 수학식 22를 이용하여 수직선에 깊이를 할당한다. 도 3은 크기가 W x H 인 에지맵 영상에서 좌우 배경깊이맵에 깊이를 할당하는 방식을 설명하는 도면이다.
[수학식 22]
Figure PCTKR2011008185-appb-I000050
여기서 j = [0, W-1]이다.
5. 상하 배경깊이맵 생성
주어진 영상에서 상측과 하측 중 어느 곳이 앞에 있고 뒤에 있는지를 판단하고 깊이를 달리해야 하며, 이를 상하 배경깊이맵에 의해 결정한다.
도 4는 크기가 W x H 인 에지맵 영상에서 상하 배경깊이맵을 생성하는 방법을 설명하는 도면이다. 수평중심선은 i = H/2인 라인이데, 수평중심선을 중심으로 위로 h1, h2, 아래로 h3, h4를 설정한다. 그러면, 상단의 에지 강도를 다음 수학식 23에서 계산한다.
[수학식 23]
Figure PCTKR2011008185-appb-I000051
하단의 에지 강도를 다음 수학식 24에서 계산한다.
[수학식 24]
Figure PCTKR2011008185-appb-I000052
두 값이 결정되면, 상하 배경깊이맵의 깊이값은 다음과 같이 계산된다. 최대 깊이값이
Figure PCTKR2011008185-appb-I000053
이면, 최소 깊이값은 다음 수학식 25로 결정한다.
[수학식 25]
Figure PCTKR2011008185-appb-I000054
여기서
Figure PCTKR2011008185-appb-I000055
은 사용자가 지정할 수 있다.
여기서 비율
Figure PCTKR2011008185-appb-I000056
는 다음 수학식 26과 같이 계산된다.
[수학식 26]
Figure PCTKR2011008185-appb-I000057
동시에 하단 또는 상단 중에서 어느 쪽이 가깝고 먼지를 결정한다.
얻어진 깊이값의 범위는 D = [
Figure PCTKR2011008185-appb-I000058
]이다. 이 범위를 도 5에서 보는 것처럼, 다음 수학식 27을 이용하여 분할된 수평선에 깊이를 할당한다. 도 5는 크기가 W x H 인 에지맵 영상에서 상하 배경깊이맵에 깊이를 할당하는 방식을 설명하는 도면이다.
[수학식 27]
Figure PCTKR2011008185-appb-I000059
6. 좌우/상하 깊이맵 통합
수학식 22와 수학식 27에 의해서 얻어진 배경 깊이값을 다음 수학식 28을 이용하여 통합한다.
[수학식 28]
Figure PCTKR2011008185-appb-I000060
7. 최종 깊이맵 생성
최종적으로 깊이맵은 배경 깊이맵과 객체깊이맵의 합으로 구해진다.
[수학식 29]
Figure PCTKR2011008185-appb-I000061
여기서
Figure PCTKR2011008185-appb-I000062
= [0, 1]을 조정하여, 객체의 입체감의 증감이 가능하다.
8. 좌안용 영상, 우안용 영상 생성
RGB영상과 최종 깊이맵이 구해지면, 좌안용 영상과 우안용 영상은 다음 수학식 30과 같이 계산된다. 픽셀의 변이(disparity)를 구해 영상을 좌측 및 우측으로 수평으로 이동하여 각각 좌안용 영상과 우안용 영상을 만든다.
[수학식 30]
Figure PCTKR2011008185-appb-I000063
여기서 IL과 IR은 각각 좌안용 영상 및 우안용 영상이고, 변이 d는 다음 수학식 31을 이용하여 수학식 29의 D로부터 계산한다.
[수학식 31]
Figure PCTKR2011008185-appb-I000064
여기서 τ는 최대 입체 시차이다. 영상을 변이값에 의해 이동을 하게 되면 홀이 발생한다. 이 홀들은 주변 화소값으로 채우게 된다.
깊이맵에서 D의 범위는 일반적으로 [0, 255]이다. 이것을 변이 d로 변환하는데, 각 픽셀은 해당 d값에 따라 좌영상은 좌측으로, 우영상에서는 우측으로 이동한다. 따라서 좌영상과 우영상에서 발생할 수 있는 최대 시차값은 2d 가 됩니다.
9. 홀화소 채우기(Hole pixel filling)
영상을 좌우로 이동하게 되면 비어있는 홀(hole) 화소가 발생한다. 홀 화소들은 도 6과 같이 채워지며 이를 홀 필링(filling)이라고 한다. 도 6은 영상의 좌우 이동에 따라 발생하는 홀 화소를 채우는 방법을 설명하는 설명도이다. 홀 필링은 주변화소들의 평균값을 일반적으로 사용하고 있으나, 보간(interpolation)기법을 이용하여 개선된 화질을 얻을 수 있다.
비어있는 홀 화소들이
Figure PCTKR2011008185-appb-I000065
이면, 동일 스캔라인에서 N개의 화소를 탐색한다. 영상의 각 화소를 수학식 31의 변위값으로 이동하게 되면, 변위값이 큰 화소는 상대적으로 멀리 보이게 되는데, 변위값이 작은 화소의 이동에서 홀이 발생하게 된다. 도 7은 홀 화소가 발생한 경우, 홀 화소를 채우는 방법을 설명하는 흐름도이다. 도 7에 도시된 바와 같이 홀 화소가 L개 발생하면(ST700), 변이 값이 큰 화소가 있는 방향으로 연속적으로 화소들의 편차를 구한다(ST710). 구한 편차값이 임계치 P보다 작거나 동일할 때까지 탐색한다. 탐색한 화소들
Figure PCTKR2011008185-appb-I000066
의 개수가 N이면, N개의 화소로 L개의 홀 화소
Figure PCTKR2011008185-appb-I000067
들을 보간법으로 채운다. 먼저 수학식 32와 같이 신축비율(Scale factor)을 구한다.
[수학식 32]
Figure PCTKR2011008185-appb-I000068
신축비율을 구한 다음 수학식 33의 역변환을 이용하여 화소값을 가져온다.
[수학식 33]
Figure PCTKR2011008185-appb-I000069
10. 최종 좌안용 영상 및 최종 우안용 영상 생성
홀 필링이 완료된 좌안용 영상과 우안용 영상이 만들어지면, 3D 디스플레이의 전송 포맷에 적합하게 Top-bottom, Side by Side, Vertical Interleaving, Interlaced 포맷으로 변환하여 전송하면 된다.
11. 보완 에지맵 생성 단계
이하에서는 도 1의 보완 에지맵 생성 단계(ST115)에 대해 설명하기로 한다. 보완 에지맵은 도 1의 ST110 단계에서 생성된 에지맵을 움직이는 객체 정보를 이용하여 좀더 정확하게 보완하기 위한 단계이다.
11-1. 운동벡터 계산(ST807)
이전 luma 영상 Yk-1와 현재 luma Yk로부터 NxN 블록의 운동벡터를 구하기 위해서 블록 기반 운동예측 (block based motion estimation)을 사용하는데, 속도개선을 위해서 다음의 운동예측 기법을 사용한다. 이 방법은 x축으로 좌우이동을 하면서 최소 에러를 주는 매칭블록 (matching block)을 찾고, 또한 y축으로 상하이동을 하면서 매칭블록을 찾는 기법이다. 운동벡터
Figure PCTKR2011008185-appb-I000070
는 수학식 34로 표현된다.
[수학식 34]
Figure PCTKR2011008185-appb-I000071
여기서
Figure PCTKR2011008185-appb-I000072
은 현재 영상이 휘도값이고,
Figure PCTKR2011008185-appb-I000073
는 이전 영상의 휘도값이다. 또한 운동벡터의 방향
Figure PCTKR2011008185-appb-I000074
는 수학식 35에서 계산된다.
[수학식 35]
Figure PCTKR2011008185-appb-I000075
Figure PCTKR2011008185-appb-I000076
의 범의는 [
Figure PCTKR2011008185-appb-I000077
] 이다.
11-2. 비에지 픽셀 찾기
에지맵이 주어지면, 에지 강도(edge strength)가 임계값 (threshold) T 보다 작은 픽셀은 수학식 36과 같이 비에지 픽셀로 분류하고, 아니면 에지 픽셀로 분류한다.
[수학식 36]
Figure PCTKR2011008185-appb-I000078
11-3. 비에지 픽셀의 블록 위치 계산
도 8은 비에지 픽셀의 블록 위치를 계산하는 방식을 도식화한 것이다. 비에지 픽셀이면 이 픽셀이 속해 있는 블록을 계산한다. 블록크기가 NxN 이고, 비에지 픽셀의 좌표값이 (
Figure PCTKR2011008185-appb-I000079
)이면, 블록의 상좌(top-left) 좌표값은 수학식 37에서 계산된다.
[수학식 37]
Figure PCTKR2011008185-appb-I000080
11-4. 탐색윈도우 (Search Window) 결정
탐색하는 주변 블록의 개수를 결정한다. 도 10은 현재 블록에 해당하는 탐색윈도우 크기를 설정하는 것을 설명하는 설명도이다. 탐색윈도우의 크기가 K이면, 좌우상하로
Figure PCTKR2011008185-appb-I000081
개의 블록을 탐색하게 된다. 도 9는 현재 블록에서 탐색 윈도우의 범위를 결정하는 설명도이다.
11-5. 최소 유사성 블록 찾음
유사성 함수는 현재 블록과 k번째 블록에서 수학식 38에서 정의된다.
[수학식 38]
Figure PCTKR2011008185-appb-I000082
여기서 k는 주변 탐색 블록의 번호이다.
Figure PCTKR2011008185-appb-I000083
는 홀 픽셀 블록의 운동벡터이고,
Figure PCTKR2011008185-appb-I000084
는 k번째 블록의 운동블록이다. 수학식 38의 함수에서 최소 S를 주는 블록을 수학식 39에 의해 찾는다.
[수학식 39]
Figure PCTKR2011008185-appb-I000085
11-6. 최소 유사성 블록의 에지 값의 평균 계산
블록을 찾으면 이 블록에 있는 에지픽셀의 평균값을 수학식 40에서 계산한다.
[수학식 40]
Figure PCTKR2011008185-appb-I000086
여기서 식 (3)에서 얻어진 에지 픽셀만의 평균이다.
Figure PCTKR2011008185-appb-I000087
는 블록
Figure PCTKR2011008185-appb-I000088
안에 있는 에지픽셀이다.
11-7. 비에지 픽셀 채움 (filling)
홀픽셀을
Figure PCTKR2011008185-appb-I000089
값으로 채운다.
도 1에 설명된 처리 흐름은 하드웨어적으로 처리하거나 또는 소프트웨어적으로 처리할 수 있음은 물론이며, 다양한 장치에서 본 발명의 처리 기술을 사용할 수 있다. 본 발명의 변환 기술을 적용하는 장치의 일 예로는 2차원 영상을 수신하는 텔레비젼 수상기에서 이를 스테레오 영상으로 변환하여 시청자에게 제공하는 장치를 들 수 있다. 도 11은 텔레비젼과 같은 영상표시장치에 본 발명을 적용하는 일부 구성도를 보여주는 것으로서, 영상표시장치는 프레임버퍼부(10), FRC(Frame Rate Conversion)부(20), 및 디스플레이부(30)를 포함한다.
프레임버퍼부(10)에는 영상신호가 일시적으로 저장되며, FRC부(20)로 소정 프레임레이트로 영상신호를 출력한다. FRC부(20)는 영상신호의 프레임레이트를 디스플레이부(30)에서 표시가능한 프레임 레이트로 변환한다. 그러면, 디스플레이부(30)는 영상신호를 신호처리하여 화면에 표시한다.
여기서, FRC부(30)는 움직임 저더를 제거하기 위해, 입력되는 영상신호의 프레임레이트를 변환하여 출력하게된다. 즉, 입력 영상신호의 프레임레이트가 15Hz인 경우 30Hz로 변환하여 출력하고, 30Hz인 경우 60Hz로 변환하여 출력하고, 50Hz인 경우 100Hz로 변환하여 출력하고, 60Hz인 경우 120Hz로 변환하여 출력하게 된다. 이때, 움직임 추정을 통해 보정된 프레임을 원래의 프레임에 추가함으로써, 입력 영상신호의 프레임레이트를 두 배로 변환하여 출력할 수 있다.
또한 프레임레이트부(20)에서는 프레임버퍼부(10)로부터 입력되는 2차원 영상에 도 1의 ST100 내지 ST180 단계를 수행하여 좌안용 영상과 우안용 영상을 생성하도록 하였다. 또는 프레임버퍼부(10)와 프레임레이트부(20) 사이에 2D 영상을 3D 영상으로 변환하는 2D 3D 변환부(50)를 별도로 구비할 수 있도록 할 수도 있다.
그리고, FRC부(30)는 입력되는 영상신호의 프레임레이트가 입력 영상신호의 전송방식에 따라 다른 경우에도 디스플레이부(70)의 표시방식에 대응하는 프레임레이트로 변환하여 출력한다. 즉, PAL(Phase Alternation by Line system)방식으로 입력되는 50Hz의 영상신호나 SECAM(Sequential Couleur a Memoire)방식으로 입력되는 24Hz의 영상신호를 디스플레이부(70)의 표시방식에 대응하는 NTSC(National Television System Committee)방식의 60Hz의 영상신호로 변환하여 출력한다.
지금까지 설명한 바와는 달리 영상 송신부에서 송신하는 영상 신호의 포맷을 변경할 경우 수신 장치에서는 보다 용이하게 삼차원 영상을 제공할 수 있다. 이차원 영상을 구성하는 화소 데이터 일부를 입체 정보인 깊이 데이터로 대체하고 이차원 영상으로 전송하고 수신된 깊이 정보를 사용하여 삼차원 영상으로 디스플레이 하도록 하는 것이다.
이차원 영상은 일반적으로 RGB 각 8비트씩 총 24비트로 된 이루어진 연속된 화소로써 구성된다. 24비트로 구성된 화소에서 하위 비트 일부에 영상 정보 대신 입체 정보인 깊이 데이터를 넣어 전달한 후 화면에 영상을 표시할 때, 깊이 정보로 사용하여 삼차원 영상 화면을 구성할 수 있다. 이러한 기능을 사용하면 2D 3D 변환 기능의 한계를 극복할 수 있고, 사용자 임의의 입체 화면을 수월하게 만들 수 있다.
도 12는 새로운 삼차원 영상 포맷을 설명하는 설명도이다. (a)에 도시된 바와 같이 이차원 화면을 시청할 경우에는 화소당 24비트를 사용하여 이차원 이미지를 전송하고, 삼차원 영상을 전송할 경우에는 (b)에 도시된 바와 같이 화소당 20비트에는 이차원 영상을 송부하고 나머지 네 개의 비트에는 깊이 정보를 전송하는 것이다. 도 12(b)에 제시된 포맷의 삼차원 영상을 전송받을 경우에는 (1) 수신된 영상 데이터에서 이차원 영상 데이터와 깊이 데이터 분리하고, (2) 깊이 데이터를 이용하여 수신된 이차원 영상 데이터를 좌안용 영상과 우안용 영상으로 생성하는 단계가 필요하다.
상기에서 본 발명의 바람직한 실시예가 특정 용어들을 사용하여 설명 및 도시되었지만 그러한 용어는 오로지 본 발명을 명확히 설명하기 위한 것일 뿐이며, 본 발명의 실시예 및 기술된 용어는 다음의 청구범위의 기술적 사상 및 범위로부터 이탈되지 않고서 여러가지 변경 및 변화가 가해질 수 있는 것은 자명한 일이다.

Claims (8)

  1. 2차원 RGB 영상을 스테레오 영상으로 변환하는 방법에 있어서,
    상기 2차원 RGB 영상을 2차원 YUV 영상으로 변환하는 제 1단계;
    상기 2차원 YUV 영상으로부터 에지맵을 생성하는 제 2단계;
    상기 에지맵을 움직임을 보상하여 보완된 에지맵을 생성하는 제 3단계;
    상기 보완된 에지맵을 이용하여 객체 깊이맵과 배경 깊이맵을 각각 생성한 후, 상기 객체 깊이맵과 상기 배경 깊이맵을 통합하여 최종 깊이맵을 생성하는 제 4단계;
    상기 최종 깊이맵을 이용하여 상기 2차원 RGB 영상을 수평 방향으로 이동시켜 좌안용 영상과 우안용 영상을 획득하는 제 5단계; 및
    상기 제 4단계에서 발생되는 빈 홀 화소를 주위 화소값을 이용하여 채우는 제 6단계를 포함하는 것을 특징으로 하는 2차원 영상을 스테레오 영상으로 변환하는 방법.
  2. 제 1항에 있어서,
    상기 제 3단계의 보완된 에지맵은 블록 기반 운동예측을 이용하여 수행되는 것을 특징으로 하는 2차원 영상을 스테레오 영상으로 변환하는 방법.
  3. 제 2항에 있어서,
    상기 2단계가 주변 블록 화소들의 Y, U, 및 V에 대한 각각의 편차를 구하고, 각 편차의 평균값, 편차의 최대값 및 가중치 곱 중에서 선택된 어느 하나를 이용하여 에지맵
    Figure PCTKR2011008185-appb-I000090
    을 생성하는 것을 특징으로 하는 2차원 영상을 스테레오 영상으로 변환하는 방법.
  4. 제 3항에 있어서,
    상기 에지맵
    Figure PCTKR2011008185-appb-I000091
    은
    (1) 주변 블록 화소들의 Y, U, 및 V에 대한 각각의 편차를 구하고, 각 편차의 평균값, 편차의 최대값 및 가중치 곱 중에서 선택된 어느 하나를 이용하여 생성되는 에지맵
    Figure PCTKR2011008185-appb-I000092
    와,
    (2) 상기 이차원 영상 I(i,j)를 아래 수학식의 필터로 콘볼루션한 결과의 절대값으로 표현되는 에지맵
    Figure PCTKR2011008185-appb-I000093
    의 가중치 합으로 생성되는 것을 특징으로 하는 2차원 영상을 스테레오 영상으로 변환하는 방법.
    수학식
    Figure PCTKR2011008185-appb-I000094
  5. 제 3항 또는 제 4항에 있어서,
    상기 제 4단계의 객체 깊이맵 생성은
    상기 에지맵
    Figure PCTKR2011008185-appb-I000095
    으로부터 정규화된 에지맵
    Figure PCTKR2011008185-appb-I000096
    을 생성하는 제 3-1 단계;
    임계치 T보다 큰 에지맵 화소들의 평균
    Figure PCTKR2011008185-appb-I000097
    를 계산하고,
    Figure PCTKR2011008185-appb-I000098
    보다 큰 화소에는 동일값(K)을 할당하고, 같거나 작은 화소에는 0을 할당하여 임계치화된 에지맵
    Figure PCTKR2011008185-appb-I000099
    를 생성하는 제 3-2 단계; 및
    상기 정규화된 에지맵
    Figure PCTKR2011008185-appb-I000100
    과 상기 임계치화된 에지맵
    Figure PCTKR2011008185-appb-I000101
    의 가중치 합으로 객체 깊이맵을 생성하는 것을 특징으로 하는 2차원 영상을 스테레오 영상으로 변환하는 방법.
  6. 제 2항에 있어서,
    상기 제 4단계에서 상기 좌우 배경깊이맵 생성은 에지맵을 수직 이등분을 기준으로 분할한 후, 분할된 좌측에 위치하는 화소의 에지맵 합과, 분할된 우측에 위치하는 화소의 에지맵 합의 차이값을 이용하여 생성하는 것을 특징으로 하는 2차원 영상을 스테레오 영상으로 변환하는 방법.
  7. 제 2항에 있어서,
    상기 제 4단계에서 상기 상하 배경깊이맵 생성은 에지맵을 수평 이등분을 기준으로 분할한 후, 분할된 상측에 위치하는 화소의 에지맵 합과, 분할된 하측에 위치하는 화소의 에지맵 합의 차이값을 이용하여 생성하는 것을 특징으로 하는 2차원 영상을 스테레오 영상으로 변환하는 방법.
  8. 제 2항에 있어서,
    상기 제 5단계의 상기 2차원 RGB 영상을 수평 방향으로 이동시키는 량은 최대 입체 시차와 깊이맵에 대한 함수의 곱으로 결정되는 것을 특징으로 하는 2차원 영상을 스테레오 영상으로 변환하는 방법.
PCT/KR2011/008185 2010-12-27 2011-10-31 2차원 영상을 스테레오 영상으로 변환하는 방법 WO2012091273A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2010-0135244 2010-12-27
KR1020100135244A KR101336956B1 (ko) 2010-12-27 2010-12-27 2차원 영상을 스테레오 영상으로 변환하는 방법

Publications (1)

Publication Number Publication Date
WO2012091273A1 true WO2012091273A1 (ko) 2012-07-05

Family

ID=46383316

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/008185 WO2012091273A1 (ko) 2010-12-27 2011-10-31 2차원 영상을 스테레오 영상으로 변환하는 방법

Country Status (2)

Country Link
KR (1) KR101336956B1 (ko)
WO (1) WO2012091273A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11531842B2 (en) 2020-05-20 2022-12-20 Toyota Research Institute, Inc. Invertible depth network for image reconstruction and domain transfers
CN116193095A (zh) * 2023-01-18 2023-05-30 四川大学 一种基于单色图像实现彩色3d显示的方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102507383B1 (ko) * 2016-11-08 2023-03-08 한국전자통신연구원 직사각형 윈도우를 이용한 스테레오 정합 방법 및 스테레오 정합 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060036230A (ko) * 2004-10-25 2006-04-28 전자부품연구원 압축 동영상의 움직임 벡터를 이용하여 2차원 영상을3차원 영상으로 변환하는 방법
KR20060119864A (ko) * 2003-08-05 2006-11-24 코닌클리케 필립스 일렉트로닉스 엔.브이. 다시야 이미지 생성
KR20080052309A (ko) * 2006-12-05 2008-06-11 한국전자통신연구원 다시점 영상 생성 장치 및 그 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100322727B1 (ko) * 1995-10-24 2002-06-20 윤종용 2차원/스테레오영상변환방법및장치
KR20090054835A (ko) * 2007-11-27 2009-06-01 삼성전자주식회사 3차원 영상 처리방법 및 그 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060119864A (ko) * 2003-08-05 2006-11-24 코닌클리케 필립스 일렉트로닉스 엔.브이. 다시야 이미지 생성
KR20060036230A (ko) * 2004-10-25 2006-04-28 전자부품연구원 압축 동영상의 움직임 벡터를 이용하여 2차원 영상을3차원 영상으로 변환하는 방법
KR20080052309A (ko) * 2006-12-05 2008-06-11 한국전자통신연구원 다시점 영상 생성 장치 및 그 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11531842B2 (en) 2020-05-20 2022-12-20 Toyota Research Institute, Inc. Invertible depth network for image reconstruction and domain transfers
CN116193095A (zh) * 2023-01-18 2023-05-30 四川大学 一种基于单色图像实现彩色3d显示的方法

Also Published As

Publication number Publication date
KR101336956B1 (ko) 2013-12-04
KR20120073466A (ko) 2012-07-05

Similar Documents

Publication Publication Date Title
WO2013081435A1 (ko) 3d 영상 표시 장치 및 방법
WO2010107227A2 (en) A method of displaying three-dimensional image data and an apparatus of processing three-dimensional image data
WO2010151044A2 (ko) 3차원 컨텐츠를 출력하는 디스플레이 기기의 영상 처리 방법 및 그 방법을 채용한 디스플레이 기기
WO2013111994A1 (en) Image processing method and apparatus for 3d video
WO2011102699A2 (ko) 전자 장치 및 입체영상 재생 방법
WO2013105720A1 (ko) 3차원 입체영상의 품질 분석 장치 및 방법
EP2786583A1 (en) Image processing apparatus and method for subpixel rendering
WO2009125988A2 (en) Fast multi-view three-dimensinonal image synthesis apparatus and method
WO2012002690A2 (ko) 디지털 수신기 및 디지털 수신기에서의 캡션 데이터 처리 방법
WO2012091273A1 (ko) 2차원 영상을 스테레오 영상으로 변환하는 방법
EP2389767A2 (en) Three-dimensional subtitle display method and three-dimensional display device for implementing the same
WO2020013631A1 (ko) 3차원 영상을 부호화 하는 방법 및 장치, 및 3차원 영상을 복호화 하는 방법 및 장치
WO2011129602A2 (ko) 3차원 영상 데이터를 부호화하는 방법 및 장치와 복호화 방법 및 장치
WO2015002442A1 (ko) 다시점 영상이 제공되는 시스템에서 부가 오브젝트를 포함하는 3차원 영상 처리 방법 및 장치
WO2012102522A2 (ko) 디지털 방송 신호 송/수신 방법 및 장치
WO2017195914A1 (ko) 비디오 코딩 시스템에서 인터 예측 방법 및 장치
WO2012086912A1 (ko) 2차원 영상을 스테레오 영상으로 변환하는 방법
WO2016006913A1 (ko) 3d 방송 서비스를 위한 방송 신호 송수신 방법 및 장치
WO2014107014A1 (en) Display method and display apparatus
Kim et al. Stereoscopic conversion of monoscopic video by the transformation of vertical-to-horizontal disparity
US20130300827A1 (en) Image processing device, image processing method, image display apparatus, and image display method
KR890004570A (ko) 텔레비젼 전송 시스템
WO2014035015A1 (ko) 임의의 가상시점 홀로그램 서비스를 위한 의사변위 기반 중간시점 영상 생성 방법
WO2022075802A1 (en) Hdr tone mapping based on creative intent metadata and ambient light
WO2020013673A1 (ko) Dmvr에 기반하여 인터 예측을 수행하는 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11853659

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11853659

Country of ref document: EP

Kind code of ref document: A1