KR101125061B1 - Ｌｄｉ 기법 깊이맵을 참조한 2ｄ 동영상의 3ｄ 동영상 전환방법 - Google Patents

Abstract

본 발명은 LDI 기법 깊이맵을 참조한 2D 동영상의 3D 동영상 전환방법에 대한 것이다. 본 발명에 의한 LDI 기법 깊이맵을 참조한 2D 동영상의 3D 동영상 전환방법은, 2차원 동영상 샷을 구성하는 프레임들로부터 좌측프레임과 우측 프레임을 선정하는 프레임 선정단계와; 우측프레임을 좌측 프레임을 참조하여 서로 정합되도록 교정하여 출력하는 프레임 교정단계와; 상기 좌측프레임을 참조하여 상기 교정된 우측프레임으로부터 깊이맵을 형성하는 단계와; 상기 깊이맵에 의하여 상기 좌측프레임에 프레임 와핑을 수행하여 새로운 우측 프레임을 형성하는 프레임 와핑단계와; 상기 좌측 프레임과 상기 새로운 우측프레임에 의해 3차원 비디오 영상을 형성하는 3D 렌더링 단계를 포함하여 구성되는 것을 특징으로 한다.

Description

ＬＤＩ 기법 깊이맵을 참조한 2Ｄ 동영상의 3Ｄ 동영상 전환방법{A Method For Transforming 2D Video To 3D Video By Using LDI Method}

본 발명은 LDI(Layered Depth Images) 기법 깊이맵을 참조한 2D 동영상의 3D 동영상 전환방법에 대한 것으로, 더욱 상세하게는 MTD(Modified Time Difference) 기법에 의해 2D 동영상을 3D 동영상으로 전환하는 과정에 선택된 좌측프레임과 교정된 우측프레임으로부터 LDI 기법에 의해 깊이맵을 추출하여 3D 동영상을 형성하는 LDI 기법 깊이맵을 참조한 2D 동영상의 3D 동영상 전환방법에 대한 것이다.

종래 2D 동영상을 3D 동영상으로 전환하는 과정은 프레임간의 시간차에 따른 시차를 양안 시차로 전환하여 입체효과를 부여하는 방식으로 3D 영상물이 제작되어 왔다.

하지만, MTD 기법은 수평운동을 하는 프레임에 대해서는 입체감 형성이 유리하지만, 정지해 있는 배경이나 사물에 대해서는 입체감 형성을 위한 정보를 충분히 제공하지 않는다.

한편, 2D 정지영상은 수평이동에 대한 정보를 제공하지는 않지만 영상의 구조나 색채 배경과 사물의 특징들에 의해 각 사물이나 배경이 관찰자로부터 어떠한 수직거리에 있는지에 대한 정보를 제공하며, 이러한 정보를 각 프레임의 사물과 배경에 적용하여 양안 시차에 의한 입체 효과를 발생시키도록 좌측영상과 우측영상을 형성하여 보다 현실감 있는 입체영상을 형성하는 것이 가능해진다.

하지만, LDI 기법은 정지영상이나 2D 동영상을 형성하는 각 프레임들에 대해 적용될 수 있는 것이고, LDI 기법에 의하는 경우는 MTD 기법에 의한 입체효과 발생원리를 적용할 수 없는 한계점이 있다. 즉, MTD 기법에 의해 선택된 좌측프레임과 우측프레임에 의한 시차는 입체효과 형성을 위한 양안 시차로 전환될 수 있고 또한 영상 속 각 영역에 대한 깊이정보를 포함하고 있으나, 기존 LDI 기법에 의하는 경우는 그 정보를 적용하고 있지 못하다.

본 발명의 목적은 MTD 기법에 의하여 2D 동영상을 3D 동영상으로 전환하는 과정과 LTD 기법에 의한 깊이맵 형성과정을 접목하여 보다 현실감 있는 3차원 동영상을 형성하는 것이 가능한 LDI 기법 깊이맵을 참조한 2D 동영상의 3D 동영상 전환방법을 구현하는 것이다.

상기 목적을 달성하기 위한 본 발명에 의한 깊이맵을 참조한 3D 동영상 형성방법은, 2차원 동영상 샷을 구성하는 프레임들로부터 좌측프레임과 우측 프레임을 선정하는 프레임 선정단계와; 우측프레임을 좌측 프레임을 참조하여 서로 정합되도록 교정하여 출력하는 프레임 교정단계와; 상기 좌측프레임을 참조하여 상기 교정된 우측프레임으로부터 깊이맵을 형성하는 단계와; 상기 깊이맵에 의하여 상기 좌측프레임에 프레임 와핑을 수행하여 새로운 우측 프레임을 형성하는 프레임 와핑단계와; 상기 좌측 프레임과 상기 새로운 우측프레임에 의해 3차원 비디오 영상을 형성하는 3D 렌더링 단계를 포함하여 구성되는 것을 특징으로 한다.

상기 프레임 교정 단계는, 상기 좌측프레임과 우측프레임으로부터 특징점을 추출하는 특징점추출단계와; RANSAC 알고리즘에 의해 좌측프레임을 참조하여 상기 우측프레임의 특징점 매칭을 반복하여 특징점을 추려내어 최적의 모델을 형성하는 단계와; 상기 추려진 특징점에 대해, 좌측 프레임에 대한 우측프레임의 투영변환에 관한 변환행렬(Homography matrix)을 계산하는 투영변환단계와; 투영변환에 관한 변환행력 계산결과에 의해 좌측프레임을 참조하여 우측 프레임을 교정하여 출력하는 단계를 포함하여 구성되는 것을 특징으로 한다.

깊이맵을 형성하는 단계는, 입력된 프레임을 특징영역별로 분할하는 화면분할단계와; 각 특징영역들에 대한 깊이맵 추출알고리즘을 수행하는 단계와; 상기 추출된 깊이맵에 대한 노이즈를 제거하고 연속성을 복원하는 후처리단계를 포함하여 구성되는 것을 특징으로 한다.

상기 화면분할단계에서는, 상기 교정되어 출력된 우측프레임을 원경, 근경, 정지영상, 수평운동영상으로 분류하는 것을 특징으로 한다.

상기 후처리단계는, 매 구역의 깊이가 유효한 픽셀들의 깊이 평균치를 구한 후 그 값을 전체 구역에 할당하는 방법에 의하는 것을 특징으로 한다.

상기 후처리 단계는, 이전 프레임을 위하여 구한 깊이맵으로부터 추측되는 가상 프레임의 깊이맵에 의해 현재 계산중인 프레임의 깊이 지도를 개선하는 방법에 의하는 것을 특징으로 한다.

원경으로 분류된 정지영상에 대해서는, 소실점검출하거나 주도적인 색채를 가진 픽셀들의 비례수치를 이용한 객체분류 및 라벨링을 수행하고, 각 라벨에 따라 깊이값을 부여하여 깊이맵을 형성하는 것을 특징으로 한다.

원경으로 분류된 수평운동 영상에 대해서는, 좌측프레임과 우측프레임 사이의 시차를 이용하여 깊이맵을 추출하는 것을 특징으로 한다.

근경으로 분류된 정지영상에 대해서는, 통계적 기법을 이용하여 배경 객체와 사물을 분류한 후 배경에 대한 깊이값을 사물에 대한 깊이값보다 더 깊게 주는 방식에 의해 깊이맵을 추출하는 것을 특징으로 한다.

프레임 와핑단계는, 특정 지점의 깊이맵상 값이 일정치를 초과했을 경우에는 음의 시차를 주기 위해서 깊이값에 대응하는 만큼 좌측으로 옮겨주고, 특정지점의 깊이맵상 값이 일정치 미만인 경우에는 양의 시차를 주기 위하여 깊이값에 대응하는 만큼 우측으로 옮겨주는 것을 특징으로 한다.

본 발명은 상기와 같은 구성에 의하여, MTD 기법에 의하여 2D 동영상을 3D 동영상으로 전환하는 과정에 선택된 좌측프레임과 우측프레임에 대한 불일치를 해소하는 교정단계(rectification)를 거친 후, LDI 기법에 의해 좌측프레임과 교정된 우측 프레임에서 추출형성된 깊이맵을 적용하여 3D 동영상을 형성하므로 수평이동이 있는 영상은 물론 수평이동이 없는 영상이나 배경에 있어서도 현실감 있는 3차원 동영상을 형성하는 것이 가능하다.

도 1은 본 발명의 실시예에 의한 LDI 기법 깊이맵을 참조한 2D 동영상의 3D 동영상 전환방법의 각 단계를 예시한 흐름도.
도 2는 본 발명의 실시예에 LDI 기법 깊이맵을 참조한 2D 동영상의 3D 동영상 전환방법에서 입력된 2D 동영상으로부터 선택된 좌측프레임과 우측프레임의 정합을 위해 우측프레임에 대하 교정을 수행하는 각 단계를 예시한 흐름도.
도 3은 본 발명의 실시예의 LDI 기법 깊이맵을 참조한 2D 동영상의 3D 동영상 전환방법에서 교정된 우측프레임으로부터 깊이맵을 생성하는 과정을 예시한 흐름도.
도 4는 도면 교정을 위한 RANSAC 알고리즘을 적용하는 과정을 예시한 도면.
도 5는 수평이동프레임에 대한 깊이값을 결정하는 과정을 예시한 모식도.

이하 상기와 같은 구성을 갖는 본 발명에 의한 LDI 기법 깊이맵을 참조한 2D 동영상의 3D 동영상 전환방법의 바람직한 실시예의 구성을 첨부된 도면을 참조하여 상세하게 설명한다.

본 발명에 의한 LDI 기법 깊이맵을 참조한 2D 동영상의 3D 동영상 전환방법은, 2D 동영상으로부터 입체효과를 위해 MTD 기법에 의해 선택된 좌우프레임을 정합시키고, 선택된 프레임 및 정합된 프레임의 입체영상 정보를 활용하고, 또한, 선택된 프레임 및 정합된 프레임으로부터 LDI 기법에 의한 깊이맵을 추출하여 새로운 우측 프레임을 형성함으로써 현실감 있는 3D 동영상을 형성하는 특징을 갖는다.

예컨대, 도 1에 도시된 본 발명의 실시예의 LDI 기법 깊이맵을 참조한 2D 동영상의 3D 동영상 전환방법은, 2차원 동영상 샷을 구성하는 프레임들로부터 좌우 프레임을 선정하는 단계와(제100단계,제101단계), 우측프레임을 좌측 프레임을 참조하여 양측 프레임의 불일치를 제거하고 교정하여 출력하는 프레임 교정단계와(제200단계), 상기 좌측프레임과 교정된 우측프레임으로부터 깊이맵을 형성하는 단계와(제300단계), 상기 깊이맵에 의하여 상기 좌측프레임에 프레임 와핑을 수행하여 새로운 우측 프레임을 형성하는 와핑단계와(제400단계), 상기 좌측 프레임과 상기 새로운 우측프레임에 의해 3차원 비디오 영상을 형성하는 3D 렌더링 단계(제500단계)를 포함한다.

본 실시예에서 좌우프레임 선정단계는, 입력된 비디오에서 프레임(n)과 프레임(n+k)를 추출하여 프레임(n)을 좌측영상으로 프레임(n+k)를 우측영상으로 선정한다(제100단계,제101단계).

여기서 프레임(n)은 비디오에서 n번째 프레임이며 프레임(n+k)는 n+k번째 프레임이며, 2D 영상을 3D 영상으로 전환시키는 과정에 설정되는 수 k는 보통 1과 4사이에 있다. 이 경우 좌측프레임과 우측프레임 사이 시차는 객체의 움직임에 의해 좌우 양안의 시차에 대응하게 되어 입체효과를 발생시킨다.

도 2에 도시된 본 실시예의 프레임 교정단계는, 선정된 좌측프레임과 우측프레임의 시차(시간적 차이)가 사람의 양안시차에 대응하는 효과를 발생시키고, 그 시간적 차이에 의해 발생할 수 있는 대상의 불일치를 해소하기 위해 좌우프레임을 비교하여 우측프레임을 교정하여 출력하는 단계를 의미한다.

본 실시예에서 프레임교정 단계는 좌우 프레임의 비교를 위한 사전단계로 각 프레임으로부터 특징점을 추출하는 단계를 수행한다(제210단계). 즉, 특징점추출알고리즘(예컨대, 코너 디텍션- Harris Corner에 의해 제안됨)에 의해 특징점들을 찾으며, 찾아진 특징점들로부터 노이즈를 제거하는 과정을 수행한다. 예컨대, 노이즈 제거를 위한 RANSAC(Random Sample Consensus) 알고리즘에 의해 필요한 특징점들을 추려낸다(제211단계).

특징점을 추려내는 RANSAC 알고리즘은, 주어진 특징점들로부터 일부 점들을 임의로 선택하여 적합한 모델을 생성하고, 이를 여러 번 반복하여 최적의 모델을 선택하는 방법이며(도 4의 알고리즘 참조), 이 방법은 가능한 적은 양의 초기 데이타를 사용해서 일관된 데이타의 집합(consensus set)을 확장시켜가는 방식을 사용한다.

RANSAC에 의해 적합한 특징점들이 선택되면, 이 특징점들을 이용하여 좌측프레임에 대한 우측프레임의 투영변환에 관한 호모그라피 행렬(Homography matrix)을 계산하며 그 결과에 의하여 우측 프레임에 대한 교정을 수행하게 된다(제212단계).

예컨대, 호모그라피(Homography)는 컴퓨터 비전에서 하나의 평면을 다른 평면으로 옮기는 투영변환(1:1 투영변환)을 의미하며, 실제 평면 위의 점과 영상 위에 매핑된 점을 각각 동차 좌표계로 표현한 후 행렬의 곱셈으로 나타내는데, 여기에서 동차좌표계는 3차원 좌표를 3개의 요소로 표시하지 않고 차원을 하나 높여 4개의 요소로 표현하는 것을 의미한다.

본 실시예에서 프레임 교정(rectification)은 호모그라피 행렬 계산에 의해 얻은 특징점을 이용하여 영상을 교정하는 것으로 현재 프레임을 전 프레임과 비교하여 현재 프레임을 전 프레임의 영상과 같은 모양으로 만들어주는 과정이며, 이 과정에 의해 좌우 프레임이 정합되어 영상의 불일치를 해소하게 된다(제213단계).

또한, 프레임간 영상의 변화량이 많을 경우 정합된 영상이 다음 단계에서 실시할 깊이맵 추출을 위한 정보를 제대로 포함하지 못 할 수 있으므로, 투영 변환의 결과에 따라 여러개의 영상 프레임을 겹쳐서 사용할 수도 있고, 적절한 양안 시차 효과를 발생시킬 수 있는 프레임을 프레임과 프레임 사이 픽셀 이동 값 등을 통하여 선택하여 사용할 수도 있다.

한편, 본 발명의 실시예에서는 시간적 차이가 있는 2차원 좌우 프레임을 선정하여 정합시킴으로써 양안시차 효과를 주는 방법에 의하는 한편, 좌우 프레임에 대한 깊이맵을 형성하고 깊이맵에 의한 영상변환을 수행하여 3D 동영상을 구현하게 된다(제300단계).

예컨대, 도 3에 도시된 본 실시예의 깊이맵 형성단계는, 선택된 프레임을 특징영역별로 분할하는 화면분할단계와, 각 특징영역들에 대한 깊이맵 추출알고리즘을 수행하는 단계와, 추출된 깊이맵에 대한 노이즈를 제거하고 연속성을 복원하는 후처리단계를 포함한다.

본 실시예의 화면분할 단계는 좌우 프레임을 참조하여 원경, 근경, 정지영상, 수평운동 영상 등과 같이 특징 있는 영역들로 분류하는 과정을 의미하며, 본 실시예에서는 원본 좌측프레임과 교정되어 출력된 우측프레임에서 분류된 각 서브 프레임들로부터 깊이맵을 추출하는 과정을 수행할 수 있다(제311단계).

예컨대, 본 실시예에서는 원경과 근경을 분리하고, 또한 원경과 근경에 대해 배경과 사물을 분리하고, 정지영상과 (수평)운동영상 등을 분리하는 것과 같이 영상을 서브프레임들로 분리하고 있다. 하지만 서브프레임을 분류하는 방법은 이에 한하는 것은 아니며 실시예에 따라서 다양한 방식으로 다수의 서브 프레임들로 영상을 분할하여 깊이맵의 신뢰도를 향상시키는 것이 가능하다.

또한, 본 실시예에서는 영상분할의 사전단계로 이미지 전처리과정, 즉 색채기반 세그멘트화 과정이 수행될 수 있으며, 이 과정에서 형성된 세그멘트들로부터 추출된 특징점에 대한 통계적 자료에 의해 특징점들에 대응하는 영역검출과정을 수행하여 선택된 프레임을 서브프레임들로 분류할 수 있다(제350단계,제310단계).

본 발명의 일 실시예에서, 해당 샷이 야외에서 촬영된 영상이라면, 배경으로 분류되는 영역에 대하여 부과된 일정 조건을 만족하는 경우 그 조건에 따라 하늘, 먼산, 가까운 산, 지면 등등으로 구분되도록 하는 것이 가능하며, 구분된 각 영역에 대하여 라벨을 붙인 후 각 라벨에 대하여 가상의 깊이값을 부여하는 것이 가능하다(제312단계,제313단계,제316단계).

만약, 배경에 기하학적이 구조가 형성되어 있는 경우에는, 소실점(vanishing point)을 검출하며, 소실점을 지나는 직선(vanishing line)들을 구하고, 상기 직선의 각 지점에 대하여 소실점에서의 상대적인 위치를 계산하여 깊이값을 결정하는 것이 가능하다(제315단계,제316단계).

본 발명의 실시예에서는, 근경에 대해서는 통계적기법을 이용하여 특징점들로부터 일정 패턴을 인식하여 배경과 사물을 분류한 후, 상술한 방법들에 의해 정해진 배경에 대한 깊이값이 사물에 대한 깊이 값보다 더 깊게 부여되도록 사물의 깊이값을 정하는 방식에 의해 깊이값을 결정되도록 할 수 있다(제351단계,제352단계).

한편, (수평)운동프레임은 (수평방향) 움직임 벡터의 총합이 일정치를 초과하는 프레임으로 원경에 속하는 수평운동프레임은 수평운동에 의한 좌측프레임과 우측프레임 사이 시차를 구하여 사물의 깊이값이 결정될 수 있도록 하는 것이 가능하다(제370단계).

여기서, 시차(disparity)란 실 세계의 사물이 두 영상 평면에 상이 맺힐 때, 이 두 사물 사이의 x좌표 값의 차이로 표현될 수 있는데, 2D 비디오에서 두 프레임 (즉, 좌측프레임과 우측프레임) 사이에서 한 점이 수평으로 이동한 거리가 시차에 대응될 수 있게 된다. 즉, 도 5에 도시된 프레임 사이 x좌표 수평이동거리에 대하여, 깊이 Z는 다음과 같은 식으로 나타낼 수 있다.

상기 식에서 Z는 깊이값을 의미하며, d =x^l-x^r는 시차, T는 두 눈 사이의 거리이며, f는 초점거리이고 여기서 T와 f는 상수로 취급될 수 있다.

예컨대, 이동속도가 동일한 경우 깊이값이 큰 경우에는 원경에 해당하며, 깊이값이 작은 경우는 근경에 해당되므로 좌표 이동거리 비교에 의해 깊이맵을 작성하는 것이 가능하다.

예컨대, 카메라가 이동하며 2차원 동영상을 촬영하는 경우 전체 배경과 사물은 동일한 (수평)이동속도를 갖지만 원경과 근경에 따라서 프레임과 프레임 사이 이동거리 즉, 스크린 상에서 이동거리가 다르며, 이에 의하여 역으로 각 객체에 대하여 깊이값을 추정하여 깊이맵을 형성하는 것이 가능하며, 이 이동프레임에 대한 깊이맵은 세그멘트의 픽셀값에 의해 보정될 수 있다(제371단계).

한편, 근경인 경우는 스크린상의 이동거리가 매우 크므로 깊이맵을 작성하는데는 큰 의미가 부여되지 않을 수 있다.

이처럼 본 발명의 실시예에서는 교정되어 출력된 우측프레임을 원경, 근경, 정지영상, 수평운동영상의 서브프레임들으로 분류하고 각 서브프레임의 특징에 따라 적당한 LDI 기법 깊이맵 알고리즘을 자동 선택하고 깊이맵을 추출할 수 있도록 하는 것이 가능하다.

즉, 각 사물과 배경에 대한 픽셀값 또는 픽셀이동값 등을 검출하여 자동으로 근경과 원경을 분리하며 또한 정지영상과 (수평)운동영상을 분리하는 것이 가능하며, 영상분리에 의해 생성된 서브프레임들에 대해서는 자동으로 적당한 LDI기법 깊이맵 알고리즘을 자동 선택하여 깊이맵을 추출하는 방법에 의하도록 하는 것이 가능하다.

본 발명의 실시예의 상기 깊이맵 형성단계에서 형성된 깊이맵은 잡음이 많고 연속성이 떨어지며 안정적이지 못한 경우가 많으므로 후처리 단계에서는 노이즈를 제거하고 연속성을 회복하는 과정을 수행하게 된다(제371단계,제390단계).

예컨대, 본 발명의 실시예의 후처리단계에서는 우선 1)매 구역의 깊이가 유효한 픽셀들의 깊이 평균치를 구한 후 그 값을 전체 구역에 할당하는 과정을 수행하며(제371단계), 다음으로 2)이전 프레임을 위하여 형성된 깊이맵을 참조하여 현재 작성과정의 깊이맵을 개선하는 과정을 수행한다(제390단계).

상기 1)의 과정은, 세그멘트화에 의해 분할된 영역들과 좌표가 대응되도록 형성된 깊이맵상에서 픽셀값(밝기, 빛의 세기 또는 그레이값) I(x,y)를 얻는다. 즉, 픽셀값이 크면 가깝고 픽셀값이 작으면 멀다는 것을 의미한다.

다음으로 픽셀값이 일정한 수치(threshold)보다 큰 모든 픽셀값들을 총합하고 그 픽셀의 수를 세어서 평균치를 구한다. 즉,

if I(x,y)> DEPTH_THRESHOLD

then I_depth_accumulation = I_depth_accumulation + I_depth

and available_pixel_counter ++;

I_depth_mean = I_depth_accumulation/available_pixel_counter

와 같은 가상의 코드로 표현될 수 있다.

다음으로 상기 과정에 구해진 평균치를 같은 위치에 있는 분할된 구역 전체에 대해 적용한다(제371단계).

상기 2)의 과정은 각 서브 프레임마다 추출된 깊이맵의 변화가 심하므로 이를 보완하기 위하여 시간적으로 앞서는 프레임들에 대해 형성된 깊이맵을 참조하여 지금 계산중인 깊이맵을 개선하기 위한 과정이며, 사물추적 방법이나 움직임 벡터를 이용하여 다음 나타날 깊이맵을 추측할 수 있으므로 추측된 깊이맵과 계산중인 깊이맵을 비교하여 깊이맵의 불일치를 보완한다(제390단계).

본 발명의 실시예의 프레임 와핑단계에서는 상기 깊이맵 형성단계에서 형성된 깊이맵에 의하여 원본 좌측 프레임을 새로운 우측프레임으로 변형시킨다(제400단계). 예컨대, 깊이맵에서는 깊이값(즉, 그레이 값(Gray value))이 낮을수록 깊이가 크며 멀리에 있다는 것을 나타내고 반대의 경우 가깝다는 것을 의미한다.

그러므로, 깊이값이 높아 일정한 값을 초과했을 때는 음의 시차(즉, 튀어나와 보이게 하는 효과)를 주기 위하여 좌측 프레임의 해당 위치에 있는 분할된 구역들을 깊이맵 상의 크기에 대응하는 만큼 좌측으로 쉬프트 시킨다.

한편, 깊이값이 낮을 때에는 양의시차(즉, 안으로 들어가 보이게 하는 효과)를 주기 위해서 해당 위치에 있는 분할된 구역들을 깊이맵 상의 값에 대응하는 만큼 우측으로 쉬프트시킨다.

이와 같은 과정은 가상코드로,

shift_per_intensity_stage = shift_max/Intensity_Max;

shift_distance_vertical=(T_threshold-

depthmap(x,y))*shift_per_intensity_stage;

(여기서, shift_max는 수평으로 옮길 수 있는 최대 픽셀 단위의 거리이고, Intensity_Max는 깊이 지동에서 기질 수 있는 최대치(여기서는 "255")를 나타낸다. shift_distance_vertical은 수평으로 픽셀을 옮겨야 할 거리이며, depthmap(x,y)는 위치 (x,y)에 있는 픽셀의 깊이맵상의 값을 나타내며, T_threshold는 테스트를 통해 결정되는 파라메터이며, 본 실시예에서 T_threshold의 값은 120으로 설정하였다)

와 같이 표현될 수 있다.

즉, 원본 좌측프레임에 있어서, 가까운 곳에 있는 사물은 왼쪽으로 옮기고 먼곳에 있는 사물들은 우측으로 옮겨 새로운 우측프레임을 형성하는 것이다.

이와 같은 과정은 인간의 눈이 가까운 거리에 있는 사물의 원근 변화에 더 민감하게 반응하며, 깊이맵상의 값이 높을 때(즉, 사물이 가까울 때) 깊이의 변화량에 상응한 픽셀의 수평이동이 크게 된다.

본 발명의 실시예의 3차원 렌더링 단계에서는, 원본 좌측프레임을 좌측프레임으로 상기 깊이맵에 의해 형성된 우측프레임을 우측 프레임으로 인터레이스 또는 아나그래프 등 방식으로 3차원 영상으로 렌더링을 수행한다(제500단계).

본 발명의 권리범위는 상기 실시예에 한정되는 것이 아니라 특허청구범위에 기재된 사항에 의해 정해지며, 청구범위 기재사항과 균등범위에서 당업자가 행한 다양한 변형과 개작을 포함함은 자명하다.

Claims (10)

1. 2차원 동영상 샷을 구성하는 프레임들로부터 좌측프레임과 우측 프레임을 선정하는 프레임 선정단계와;
   우측프레임과 좌측 프레임으로부터 특징점을 추출하고 추출된 특징점에 대한 투영변환에 관한 행렬(Homography matrix)계산을 하여 우측프레임과 좌측프레임이 서로 정합되도록 교정하여 출력하는 프레임 교정단계와;
   상기 좌측프레임을 참조하여 상기 교정된 우측프레임으로부터 깊이맵을 형성하는 단계와;
   상기 깊이맵에 의하여 상기 좌측프레임에 프레임 와핑을 수행하여 새로운 우측 프레임을 형성하는 프레임 와핑단계와;
   상기 좌측 프레임과 상기 새로운 우측프레임에 의해 3차원 비디오 영상을 형성하는 3D 렌더링 단계를 포함하여 구성되는 것을 특징으로 하는 LDI 기법 깊이맵을 참조한 2D 동영상의 3D 동영상 전환방법.
   
2. 청구항 1에 있어서, 상기 프레임 교정 단계는,
   상기 좌측프레임과 우측프레임으로부터 특징점을 추출하는 특징점추출단계와;
   RANSAC 알고리즘에 의해 좌측프레임을 참조하여 상기 우측프레임의 특징점 매칭을 반복하여 특징점을 추려내어 최적의 모델을 형성하는 단계와;
   상기 추려진 특징점에 대해, 좌측 프레임에 대한 우측프레임의 투영변환에 관한 변환행렬(Homography matrix)을 계산하는 투영변환단계와;
   투영변환에 관한 변환행렬 계산결과에 의해 좌측프레임을 참조하여 우측 프레임을 교정하여 출력하는 단계를 포함하여 구성되는 것을 특징으로 하는 LDI 기법 깊이맵을 참조한 2D 동영상의 3D 동영상 전환방법.
   
3. 청구항 1에 있어서, 깊이맵을 형성하는 단계는,
   입력된 프레임을 특징영역별로 분할하는 화면분할단계와;
   각 특징영역들에 대한 깊이맵 추출알고리즘을 수행하는 단계와;
   상기 추출된 깊이맵에 대한 노이즈를 제거하고 연속성을 복원하는 후처리단계를 포함하여 구성되는 것을 특징으로 하는 LDI 기법 깊이맵을 참조한 2D 동영상의 3D 동영상 전환방법.
   
4. 청구항 3에 있어서, 상기 화면분할단계에서는,
   상기 교정되어 출력된 우측프레임을 원경, 근경, 정지영상, 수평운동영상의 서브프레임들으로 분류하여 LDI 기법 깊이맵 알고리즘을 적용하여 깊이맵을 추출하는 것을 특징으로 하는 LDI 기법 깊이맵을 참조한 2D 동영상의 3D 동영상 전환방법.
   
5. 청구항 3에 있어서, 상기 후처리단계는,
   매 구역의 깊이가 유효한 픽셀들의 깊이 평균치를 구한 후 그 값을 전체 구역에 할당하는 방법에 의하는 것을 특징으로 하는 LDI 기법 깊이맵을 참조한 2D 동영상의 3D 동영상 전환방법.
   
6. 청구항 3에 있어서, 상기 후처리 단계는,
   이전 프레임을 위하여 구한 깊이맵으로부터 추측되는 가상 프레임의 깊이맵에 의해 현재 계산중인 프레임의 깊이 지도를 개선하는 방법에 의하는 것을 특징으로 하는 LDI 기법 깊이맵을 참조한 2D 동영상의 3D 동영상 전환방법.
   
7. 청구항 4에 있어서, 원경으로 분류된 정지영상에 대해서는,
   소실점검출하거나 주도적인 색채를 가진 픽셀들의 비례수치를 이용한 객체분류 및 라벨링을 수행하고, 각 라벨에 따라 깊이값을 부여하여 깊이맵을 형성하는 것을 특징으로 하는 LDI 기법 깊이맵을 참조한 2D 동영상의 3D 동영상 전환방법.
   
8. 청구항 4에 있어서, 원경으로 분류된 수평운동 영상에 대해서는,
   좌측프레임과 우측프레임 사이의 시차를 이용하여 깊이맵을 추출하는 것을 특징으로 하는 LDI 기법 깊이맵을 참조한 2D 동영상의 3D 동영상 전환방법.
   
9. 청구항 4에 있어서, 근경으로 분류된 정지영상에 대해서는,
   통계적 기법을 이용하여 배경 객체와 사물을 분류한 후 배경에 대한 깊이값을 사물에 대한 깊이값보다 더 깊게 주는 방식에 의해 깊이맵을 추출하는 것을 특징으로 하는 LDI 기법 깊이맵을 참조한 2D 동영상의 3D 동영상 전환방법.
   
10. 청구항 1에 있어서, 프레임 와핑단계는,
    특정 지점의 깊이맵상 값이 일정치를 초과했을 경우에는 음의 시차를 주기 위해서 깊이값에 대응하는 만큼 좌측으로 옮겨주고,
    특정지점의 깊이맵상 값이 일정치 미만인 경우에는 양의 시차를 주기 위하여 깊이값에 대응하는 만큼 우측으로 옮겨주는 것을 특징으로 하는 LDI 기법 깊이맵을 참조한 2D 동영상의 3D 동영상 전환방법.
    
    

Images