KR20120072786A - 2차원 영상을 스테레오 영상으로 변환하는 방법 - Google Patents

2차원 영상을 스테레오 영상으로 변환하는 방법 Download PDF

Info

Publication number
KR20120072786A
KR20120072786A KR1020100134675A KR20100134675A KR20120072786A KR 20120072786 A KR20120072786 A KR 20120072786A KR 1020100134675 A KR1020100134675 A KR 1020100134675A KR 20100134675 A KR20100134675 A KR 20100134675A KR 20120072786 A KR20120072786 A KR 20120072786A
Authority
KR
South Korea
Prior art keywords
image
depth map
map
edge
pixels
Prior art date
Application number
KR1020100134675A
Other languages
English (en)
Other versions
KR101207862B1 (ko
Inventor
유기령
이광호
김만배
Original Assignee
유기령
이광호
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 유기령, 이광호 filed Critical 유기령
Priority to KR1020100134675A priority Critical patent/KR101207862B1/ko
Priority to PCT/KR2011/008184 priority patent/WO2012086912A1/ko
Publication of KR20120072786A publication Critical patent/KR20120072786A/ko
Application granted granted Critical
Publication of KR101207862B1 publication Critical patent/KR101207862B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects

Abstract

본 발명은 2차원 영상을 스테레오 영상으로 변환하는 방법에 관한 것으로서, 2차원 RGB 영상을 스테레오 영상으로 변환하는 방법에 있어서, 본 발명에서는 2차원 RGB 영상을 2차원 YUV 영상으로 변환하는 제 1단계와, 2차원 YUV 영상으로부터 에지맵을 생성하는 제 2단계와, 에지맵을 이용하여 객체 깊이맵과 배경 깊이맵을 각각 생성한 후, 상기 객체 깊이맵과 상기 배경 깊이맵을 통합하여 최종 깊이맵을 생성하는 제 3단계와, 최종 깊이맵을 이용하여 상기 2차원 RGB 영상을 수평 방향으로 이동시켜 좌안용 영상과 우안용 영상을 획득하는 제 4단계 및 제 4단계에서 발생되는 빈 홀 화소를 주위 화소값을 이용하여 채우는 제 5단계를 포함하는 것을 특징으로 하는 2차원 영상을 스테레오 영상으로 변환하는 방법에 관한 것이다.

Description

2차원 영상을 스테레오 영상으로 변환하는 방법{METHOD FOR CONVERTING 2 DIMENSIONAL VIDEO IMAGE INTO STEREOSCOPIC VIDEO}
본 발명은 2차원 영상을 스테레오 영상으로 변환하는 방법에 관한 것으로서, 보다 상세하게는 객체 깊이맵과 배경 깊이맵을 별도로 생성한 후 이를 합체하여 최종 깊이맵을 생성하고, 생성된 최종 깊이맵을 이용하여 스테레오 영상으로 변환하는 방법에 관한 것이다.
최근 3D 영상(Stereoscopic Video)에 대한 관심이 증폭되면서, 3D 영상에 대한 연구가 활발히 진행되고 있다. 일반적으로 인간은 양 안 사이의 시차에 의해 입체감을 가장 크게 느끼는 것으로 알려져 있다. 따라서, 3D 영상은 인간의 이러한 특성을 이용하여 구현될 수 있다. 예컨대, 특정 피사체를 시청자의 좌측 눈을 통해 보여지는 좌안 영상과 시청자의 우측 눈을 통해 보여지는 우안 영상으로 구별하여, 상기 좌안 영상과 상기 우안 영상을 동시에 디스플레이함으로써 시청자가 상기 특정 피사체를 3D 영상으로 볼 수 있도록 할 수 있다. 결국, 3D 영상은 좌안 영상과 우안 영상으로 구분된 양안(binocular) 영상을 제작하여 이를 디스플레이함으로써 구현될 수 있다.
본 발명의 목적은 2차원 영상으로부터 객체 깊이맵과 배경 깊이맵을 별도로 생성한 후 이를 합체하여 최종 깊이맵을 생성하고, 생성된 최종 깊이맵을 이용하여 보다 자연스러운 스테레오 영상을 생성하는 2차원 영상을 스테레오 영상으로 변환하는 방법을 제공하고자 하는 것이다.본 발명의 목적은 2차원 영상으로부터 객체 깊이맵과 배경 깊이맵을 별도로 생성한 후 이를 합체하여 최종 깊이맵을 생성하고, 생성된 최종 깊이맵을 이용하여 보다 자연스러운 스테레오 영상을 생성하는 2차원 영상을 스테레오 영상으로 변환하는 방법을 제공하고자 하는 것이다.
상기 본 발명의 목적은 2차원 RGB 영상을 스테레오 영상으로 변환하는 방법에 있어서, 2차원 RGB 영상을 2차원 YUV 영상으로 변환하는 제 1단계와, 2차원 YUV 영상으로부터 에지맵을 생성하는 제 2단계와, 에지맵을 이용하여 객체 깊이맵과 배경 깊이맵을 각각 생성한 후, 객체 깊이맵과 배경 깊이맵을 통합하여 최종 깊이맵을 생성하는 제 3단계와, 최종 깊이맵을 이용하여 상기 2차원 RGB 영상을 수평 방향으로 이동시켜 좌안용 영상과 우안용 영상을 획득하는 제 4단계 및 제 4단계에서 발생되는 빈 홀 화소를 주위 화소값을 이용하여 채우는 제 5단계를 포함하는 것을 특징으로 하는 2차원 영상을 스테레오 영상으로 변환하는 방법에 의해서 달성 가능하다.
본 발명에서는 2차원 영상으로부터 객체 깊이맵과 배경 깊이맵을 별도로 생성한 후 이를 합체하여 최종 깊이맵을 생성하고, 생성된 최종 깊이맵을 이용하여 보다 자연스러운 스테레오 영상을 생성하여 제공할 수 있게 되었다.
도 1은 본 발명에 따른 2차원 영상을 스테레오 영상으로 변환하는 흐름을 설명하는 흐름도.
도 2는 크기가 W x H 인 에지맵 영상에서 좌우배경 깊이맵을 생성하는 방법을 설명하는 도면.
도 3은 크기가 W x H 인 에지맵 영상에서 좌우배경깊이맵에 깊이를 할당하는 방식을 설명하는 도면.
도 4는 크기가 W x H 인 에지맵 영상에서 상하배경깊이맵을 생성하는 방법을 설명하는 도면.
도 5는 크기가 W x H 인 에지맵 영상에서 상하배경깊이맵에 깊이를 할당하는 방식을 설명하는 도면.
도 6은 영상의 좌우 이동에 따라 발생하는 홀 픽셀을 채우는 방법을 설명하는 설명도.
도 7은 홀 픽셀이 발생한 경우, 홀 픽셀을 채우는 방법을 설명하는 흐름도.
이하에서, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예, 장점 및 특징에 대하여 상세히 설명하도록 한다.
도 1은 본 발명에 따른 2차원 영상을 스테레오 영상으로 변환하는 흐름을 설명하는 흐름도의 일 례이다. 도 1에 도시된 바와 같이 입력되는 RGB 영상을 YUV 컬러 모델로 변환하고(ST100), 변환된 YUV 컬러 모델로부터 에지를 추출하여 에지맵을 생성한다(ST110). 다음으로 에지맵을 이용하여 객체 깊이맵을 생성하고(ST120), 또한 동일한 에지맵을 이용하여 좌우 배경 깊이맵과 상하 배경 깊이맵을 계산하고(ST130 및 ST140), 계산된 좌우 배경 깊이맵과 상하 배경 깊이맵을 통합하여 배경 깊이맵을 생성한다(ST150). 생성된 객체 깊이맵과 배경 깊이맵을 통합하여 최종 깊이맵을 생성하고(ST160), 최종 깊이맵을 이용하여 픽셀의 변이를 구하고, 변이만큼 RGB 영상을 좌우로 이동하여 좌우 영상을 생성한다(ST170). 다음으로 변이만큼 이동으로 인해 발생되는 비어있는 홀 픽셀을 채움으로써(ST180), 최종적인 스테레오 영상(IR, IL)을 생성할 수 있게 된다(ST190).
도 1에 설명된 처리 흐름은 하드웨어적으로 처리하거나 또는 소프트웨어적으로 처리할 수 있음은 물론이며, 다양한 장치에서 본 발명의 처리 기술을 사용할 수 있다. 본 발명의 변환 기술을 적용하는 장치의 일 예로는 2차원 영상을 수신하는 텔레비젼 수상기에서 이를 스테레오 영상으로 변환하여 시청자에게 제공하는 장치를 들 수 있다. 이러한 텔레비젼 수상기는 압축된 2차원 영상을 수신한 후, 디코딩하여 2차원 RGB 영상을 생성하여 메모리에 저장하고, 처리 프로세서를 이용하여 도 1의 ST100 내지 ST180 단계를 수행한 후, 좌안용 영상과 우안용 영상을 생성하여 비디오 신호로 제공하게 된다.
다음으로 도 1의 각 단계에 대해 상세히 설명하기로 한다.
1. 컬러모델변환
RGB영상이 주어지면, 먼저 YUV 컬러공간으로 변환한다. YUV 컬러 영상은 Y(luminance)는 밝기, U는 청색-밝기, V는 적색-밝기로 색상을 표현하며, RGB 영상과 달리 색차 정보를 가지는 것을 특징이다.
2. 에지맵 ( edge map ) 계산
다음으로 에지 정보을 구해야 하며, 단일 데이터에서 얻은 정보는 불확실성이 크기 때문에, 복합 데이터로부터 에지 데이터를 얻는다. 에지정보는 Y, U, V 에 각각 적용하는데, 다음 식에 따라 에지를 추출한다.
각 화소에 다음과 같이 주변 블록(block) 픽셀들의 편차(variance)
Figure pat00001
를 구한다. 먼저 Y영상에서 주어진 화소를 포함하는 NxN 블록 B의 평균값은 수학식 1과 같이 계산된다.
Figure pat00002
편차
Figure pat00003
은 다음 수학식 2와 같이 계산된다.
Figure pat00004
또한 U, V 데이터에서 화소의 편차는 다음 수학식 3, 수학식 4, 수학식 5 및 수학식 6과 같이 구해진다.
Figure pat00005
Figure pat00006
Figure pat00007
Figure pat00008
Figure pat00009
,
Figure pat00010
,
Figure pat00011
가 얻어지면 평균
Figure pat00012
를 수학식 7를 이용하여 구한다.
Figure pat00013
또는 평균값 이외에도 화소의 최대값을 구할 수 있다.
Figure pat00014
또는 가중치 곱의 합으로도 수학식 9와 같이 구할 수 있다.
Figure pat00015
여기서
Figure pat00016
이다.
각 화소의 편차가 구해지면,
Figure pat00017
중에서 하나를 선택하여 영상의 에지맵
Figure pat00018
을 구한다.
또한 에지는 소벨(Sobel) 에지연산, 캐니(Canny) 에지연산 등의 다양한 에지 검출 방법들이 있는데, 2차원 영상으로부터 깊이를 예측하기 위해서, 평균 필터와 에지필터를 결합한다. 이것을 만족하는 필터 M은 다음 수학식 10을 사용하였다.
Figure pat00019
수학식 11의 F(i, j)는 영상 I를 필터 M으로 콘볼루션하여 얻은 결과이다.
Figure pat00020
여기서
Figure pat00021
는 콘볼루션 연산자이다. 에지맵은 수학식 12와 같이 F(i,j)의 절대값으로 표현된다.
Figure pat00022
마지막으로 최종 에지맵 EdgeMap은
Figure pat00023
와 수학식 13의 가중치곱의 합으로 얻어진다.
Figure pat00024
이렇게 함으로써 한 개의 에지 추출 기법을 사용하는 것보다는 복합 기법들을 사용함으로써 에지의 불확실성을 줄일 수 있다.
3. 객체 깊이맵 생성
수학식 13에서 얻어진 에지맵을 객체의 깊이맵으로 사용하면, 에지정보의 손실, 이웃 화소들간에 에지 강도의 강약 차이로 만족스러운 깊이를 얻을 수가 없다. 이 경우 좌우입체영상을 시청하면, 눈의 피로감 등의 입체시청 저하현상이 발생한다. 이를 해결하기 위하여 에지맵을 다음과 같이 처리한다.
먼저 에지맵을 [0, 255]로 정규화값으로 변환한다. 변환식은 수학식 14처럼 선형변환을 사용한다. EdgeMap의 최대값을
Figure pat00025
라고 하면, 에지강도 값 E는 [0, 255]의
Figure pat00026
값으로 변환한다.
Figure pat00027
모든 화소들의
Figure pat00028
값으로부터 정규화된 에지맵
Figure pat00029
이 만들어진다. 정규화 값에서 에지강도가 임계치 T보다 큰 에지맵 화소들의 평균
Figure pat00030
을 수학식 15와 같이 계산한다. 여기서 임계치 T는 여러 영상 처리를 통해 경험적으로 얻어지는 임의의 수이다.
Figure pat00031
다음 과정에서는 이웃 화소간에 에지강도의 차이를 줄이기 위하여 먼저
Figure pat00032
보다 큰 화소에는 동일한 값
Figure pat00033
(예, 30) 을 할당하고, 아닌 화소에는 0을 할당하여, 강도가 매우 약한 화소는 무시하고, 그렇지 않은 화소로 일단 동일 에지로 판단한다. 얻어진 임계치화된 에지맵은 수학식 16에 제시된
Figure pat00034
이다.
Figure pat00035
다음에
Figure pat00036
과
Figure pat00037
의 적절한 조합으로 객체의 깊이맵
Figure pat00038
을 만든다.
Figure pat00039
여기서
Figure pat00040
는 입체감의 강도를 조절하는 기능을 가지고 있다.
4. 좌우 배경깊이맵 생성
전체 배경 구도를 결정하는 것은 입체감을 전달하는데, 중요한 역할을 한다. 주어진 영상에서 좌측과 우측 중 어느 곳이 앞에 있고 뒤에 있는지를 판단하고 깊이를 달리해야 하며, 이를 좌우 배경깊이맵에 의해 결정한다. 수학식 13에서 얻어진 에지맵을 활용하여 배경깊이맵을 만든다.
도 2는 크기가 W x H 인 에지맵 영상에서 좌우 배경깊이맵을 생성하는 방법을 설명하는 도면이다. 수직중심선은 j = W/2인 선인데, 수직중심선을 중심으로 좌측에 v1, v2, 우측에 v3, v4를 설정한다. 그러면, 좌측의 에지 강도(edge strength)를 다음 수학식 18에서 계산한다.
Figure pat00041
우측의 에지 강도는 다음 수학식 19에서 계산된다.
Figure pat00042
여기서 min(v1) = 0, max(v2) = H/2, min(v3) = H/2, max(v4) = W이다.
두 개의 에지 강도로부터 좌우배경 깊이맵의 깊이 범위인 [
Figure pat00043
]를 계산한다. 최소 및 최대 깊이값은 다음과 같이 계산된다. 최대 깊이값이
Figure pat00044
이면, 최소 깊이값은 다음 수학식 20으로 결정한다.
Figure pat00045
여기서
Figure pat00046
은 사용자가 지정할 수 있다(예를 들어 2.0, 3.0, 등등). 비율
Figure pat00047
는 다음 수학식 21과 같이 계산된다.
Figure pat00048
두 에지강도의 차이가 적으면, 양쪽의 깊이 차이가 없다는 것이므로, 깊이 차이값을 줄이고, 반대로 차이가 크면, 양쪽의 깊이차이가 크다는 것을 의미한다. 따라서 제안방법은 영상 내용에 따라 적절한 깊이값을 할당할 수 있는 장점이 있다. 동시에 좌측 또는 우측 중에 어느 쪽이 멀고 가까운지에 대한 정보를 저장한다.
얻어진 깊이값의 범위는 D = [
Figure pat00049
]이다. 이 범위를 도 3에서 보는 것처럼, 다음 수학식 22를 이용하여 수직선에 깊이를 할당한다. 도 3은 크기가 W x H 인 에지맵 영상에서 좌우 배경깊이맵에 깊이를 할당하는 방식을 설명하는 도면이다.
Figure pat00050
여기서 j = [0, W-1]이다.
5. 상하 배경깊이맵 생성
주어진 영상에서 상측과 하측 중 어느 곳이 앞에 있고 뒤에 있는지를 판단하고 깊이를 달리해야 하며, 이를 상하 배경깊이맵에 의해 결정한다.
도 4는 크기가 W x H 인 에지맵 영상에서 상하 배경깊이맵을 생성하는 방법을 설명하는 도면이다. 수평중심선은 i = H/2인 라인이데, 수평중심선을 중심으로 위로 h1, h2, 아래로 h3, h4를 설정한다. 그러면, 상단의 에지 강도를 다음 수학식 23에서 계산한다.
Figure pat00051
하단의 에지 강도를 다음 수학식 24에서 계산한다.
Figure pat00052
두 값이 결정되면, 상하 배경깊이맵의 깊이값은 다음과 같이 계산된다. 최대 깊이값이
Figure pat00053
이면, 최소 깊이값은 다음 수학식 25로 결정한다.
Figure pat00054
여기서
Figure pat00055
은 사용자가 지정할 수 있다.
여기서 비율
Figure pat00056
는 다음 수학식 26과 같이 계산된다.
Figure pat00057
동시에 하단 또는 상단 중에서 어느 쪽이 가깝고 먼지를 결정한다.
얻어진 깊이값의 범위는 D = [
Figure pat00058
]이다. 이 범위를 도 5에서 보는 것처럼, 다음 수학식 27을 이용하여 분할된 수평선에 깊이를 할당한다. 도 5는 크기가 W x H 인 에지맵 영상에서 상하 배경깊이맵에 깊이를 할당하는 방식을 설명하는 도면이다.
Figure pat00059
6. 좌우/상하 깊이맵 통합
수학식 22와 수학식 27에 의해서 얻어진 배경 깊이값을 다음 수학식 28을 이용하여 통합한다.
Figure pat00060
7. 최종 깊이맵 생성
최종적으로 깊이맵은 배경 깊이맵과 객체깊이맵의 합으로 구해진다.
Figure pat00061
여기서
Figure pat00062
= [0, 1]을 조정하여, 객체의 입체감의 증감이 가능하다.
8. 좌안용 영상, 우안용 영상 생성
RGB영상과 최종 깊이맵이 구해지면, 좌안용 영상과 우안용 영상은 다음 수학식 30과 같이 계산된다. 픽셀의 변이(disparity)를 구해 영상을 좌측 및 우측으로 수평으로 이동하여 각각 좌안용 영상과 우안용 영상을 만든다.
Figure pat00063
여기서 IL과 IR은 각각 좌안용 영상 및 우안용 영상이고, 변이 d는 다음 수학식 31을 이용하여 수학식 29의 D로부터 계산한다.
Figure pat00064
여기서 τ는 최대 입체 시차이다. 영상을 변이값에 의해 이동을 하게 되면 홀이 발생한다. 이 홀들은 주변 화소값으로 채우게 된다.
깊이맵에서 D의 범위는 일반적으로 [0, 255]이다. 이것을 변이 d로 변환하는데, 각 픽셀은 해당 d값에 따라 좌영상은 좌측으로, 우영상에서는 우측으로 이동한다. 따라서 좌영상과 우영상에서 발생할 수 있는 최대 시차값은 2d 가 됩니다.
9. 홀화소 채우기( Hole pixel filling )
영상을 좌우로 이동하게 되면 비어있는 홀(hole) 화소가 발생한다. 홀 화소들은 도 6과 같이 채워지며 이를 홀 필링(filling)이라고 한다. 도 6은 영상의 좌우 이동에 따라 발생하는 홀 화소를 채우는 방법을 설명하는 설명도이다. 홀 필링은 주변화소들의 평균값을 일반적으로 사용하고 있으나, 보간(interpolation)기법을 이용하여 개선된 화질을 얻을 수 있다.
비어있는 홀 화소들이
Figure pat00065
이면, 동일 스캔라인에서 N개의 화소를 탐색한다. 영상의 각 화소를 수학식 31의 변위값으로 이동하게 되면, 변위값이 큰 화소는 상대적으로 멀리 보이게 되는데, 변위값이 작은 화소의 이동에서 홀이 발생하게 된다. 도 7은 홀 화소가 발생한 경우, 홀 화소를 채우는 방법을 설명하는 흐름도이다. 도 7에 도시된 바와 같이 홀 화소가 L개 발생하면(ST700), 변이 값이 큰 화소가 있는 방향으로 연속적으로 화소들의 편차를 구한다(ST710). 구한 편차값이 임계치 P보다 작거나 동일할 때까지 탐색한다. 탐색한 화소들
Figure pat00066
의 개수가 N이면, N개의 화소로 L개의 홀 화소
Figure pat00067
들을 보간법으로 채운다. 먼저 수학식 32와 같이 신축비율(Scale factor)을 구한다.
Figure pat00068
신축비율을 구한 다음 수학식 33의 역변환을 이용하여 화소값을 가져온다.
Figure pat00069
10. 최종 좌안용 영상 및 최종 우안용 영상 생성
홀 필링이 완료된 좌안용 영상과 우안용 영상이 만들어지면, 3D 디스플레이의 전송 포맷에 적합하게 Top-bottom, Side by Side, Vertical Interleaving, Interlaced 포맷으로 변환하여 전송하면 된다.
상기에서 본 발명의 바람직한 실시예가 특정 용어들을 사용하여 설명 및 도시되었지만 그러한 용어는 오로지 본 발명을 명확히 설명하기 위한 것일 뿐이며, 본 발명의 실시예 및 기술된 용어는 다음의 청구범위의 기술적 사상 및 범위로부터 이탈되지 않고서 여러가지 변경 및 변화가 가해질 수 있는 것은 자명한 일이다.

Claims (8)

  1. 2차원 RGB 영상을 스테레오 영상으로 변환하는 방법에 있어서,
    상기 2차원 RGB 영상을 2차원 YUV 영상으로 변환하는 제 1단계;
    상기 2차원 YUV 영상으로부터 에지맵을 생성하는 제 2단계;
    상기 에지맵을 이용하여 객체 깊이맵과 배경 깊이맵을 각각 생성한 후, 상기 객체 깊이맵과 상기 배경 깊이맵을 통합하여 최종 깊이맵을 생성하는 제 3단계;
    상기 최종 깊이맵을 이용하여 상기 2차원 RGB 영상을 수평 방향으로 이동시켜 좌안용 영상과 우안용 영상을 획득하는 제 4단계; 및
    상기 제 4단계에서 발생되는 빈 홀 화소를 주위 화소값을 이용하여 채우는 제 5단계를 포함하는 것을 특징으로 하는 2차원 영상을 스테레오 영상으로 변환하는 방법.
  2. 제 1항에 있어서,
    상기 2단계가 주변 블록 화소들의 Y, U, 및 V에 대한 각각의 편차를 구하고, 각 편차의 평균값, 편차의 최대값 및 가중치 곱 중에서 선택된 어느 하나를 이용하여 에지맵
    Figure pat00070
    을 생성하는 것을 특징으로 하는 2차원 영상을 스테레오 영상으로 변환하는 방법.
  3. 제 2항에 있어서,
    상기 에지맵
    Figure pat00071
    은
    (1) 주변 블록 화소들의 Y, U, 및 V에 대한 각각의 편차를 구하고, 각 편차의 평균값, 편차의 최대값 및 가중치 곱 중에서 선택된 어느 하나를 이용하여 생성되는 에지맵
    Figure pat00072
    와,
    (2) 상기 이차원 영상 I(i,j)를 아래 수학식 34의 필터로 콘볼루션한 결과의 절대값으로 표현되는 에지맵
    Figure pat00073
    의 가중치 합으로 생성되는 것을 특징으로 하는 2차원 영상을 스테레오 영상으로 변환하는 방법.
    수학식 34
    Figure pat00074

  4. 제 2항 또는 제 3항에 있어서,
    상기 제 3단계의 객체 깊이맵 생성은
    상기 에지맵
    Figure pat00075
    으로부터 정규화된 에지맵
    Figure pat00076
    을 생성하는 제 3-1 단계;
    임계치 T보다 큰 에지맵 화소들의 평균
    Figure pat00077
    를 계산하고,
    Figure pat00078
    보다 큰 화소에는 동일값(K)을 할당하고, 같거나 작은 화소에는 0을 할당하여 임계치화된 에지맵
    Figure pat00079
    를 생성하는 제 3-2 단계; 및
    상기 정규화된 에지맵
    Figure pat00080
    과 상기 임계치화된 에지맵
    Figure pat00081
    의 가중치 합으로 객체 깊이맵을 생성하는 것을 특징으로 하는 2차원 영상을 스테레오 영상으로 변환하는 방법.
  5. 제 1항에 있어서,
    상기 제 3단계에서 상기 좌우 배경깊이맵 생성은 에지맵을 수직 이등분을 기준으로 분할한 후, 분할된 좌측에 위치하는 화소의 에지맵 합과, 분할된 우측에 위치하는 화소의 에지맵 합의 차이값을 이용하여 생성하는 것을 특징으로 하는 2차원 영상을 스테레오 영상으로 변환하는 방법.
  6. 제 1항에 있어서,
    상기 제 3단계에서 상기 상하 배경깊이맵 생성은 에지맵을 수평 이등분을 기준으로 분할한 후, 분할된 상측에 위치하는 화소의 에지맵 합과, 분할된 하측에 위치하는 화소의 에지맵 합의 차이값을 이용하여 생성하는 것을 특징으로 하는 2차원 영상을 스테레오 영상으로 변환하는 방법.
  7. 제 1항에 있어서,
    상기 제 4단계의 상기 2차원 RGB 영상을 수평 방향으로 이동시키는 량은 최대 입체 시차와 깊이맵에 대한 함수의 곱으로 결정되는 것을 특징으로 하는 2차원 영상을 스테레오 영상으로 변환하는 방법.
  8. 제 1항에 있어서,
    상기 제 5단계는 보간법을 이용하여 수행되는 것을 특징으로 하는 2차원 영상을 스테레오 영상으로 변환하는 방법.
KR1020100134675A 2010-12-24 2010-12-24 2차원 영상을 스테레오 영상으로 변환하는 방법 KR101207862B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100134675A KR101207862B1 (ko) 2010-12-24 2010-12-24 2차원 영상을 스테레오 영상으로 변환하는 방법
PCT/KR2011/008184 WO2012086912A1 (ko) 2010-12-24 2011-10-31 2차원 영상을 스테레오 영상으로 변환하는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100134675A KR101207862B1 (ko) 2010-12-24 2010-12-24 2차원 영상을 스테레오 영상으로 변환하는 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020120066329A Division KR101302431B1 (ko) 2012-06-20 2012-06-20 2차원 영상을 스테레오 영상으로 변환하는 방법

Publications (2)

Publication Number Publication Date
KR20120072786A true KR20120072786A (ko) 2012-07-04
KR101207862B1 KR101207862B1 (ko) 2012-12-04

Family

ID=46314152

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100134675A KR101207862B1 (ko) 2010-12-24 2010-12-24 2차원 영상을 스테레오 영상으로 변환하는 방법

Country Status (2)

Country Link
KR (1) KR101207862B1 (ko)
WO (1) WO2012086912A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101364860B1 (ko) * 2012-09-03 2014-02-20 강원대학교산학협력단 입체 영상의 입체감 향상을 위한 입체 영상 변환 방법 및 이를 기록한 기록매체

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108076338B (zh) 2016-11-14 2022-04-08 北京三星通信技术研究有限公司 图像视觉处理方法、装置及设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100263935B1 (ko) * 1997-12-30 2000-08-16 윤종용 운동 시차의 수평 시차로의 변환을 이용한 2차원 연속 영상의 3차원 영상 변환장치 및 방법
KR100927734B1 (ko) * 2006-12-05 2009-11-18 한국전자통신연구원 다시점 영상 생성 장치 및 그 방법
KR101497503B1 (ko) * 2008-09-25 2015-03-04 삼성전자주식회사 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101364860B1 (ko) * 2012-09-03 2014-02-20 강원대학교산학협력단 입체 영상의 입체감 향상을 위한 입체 영상 변환 방법 및 이를 기록한 기록매체

Also Published As

Publication number Publication date
WO2012086912A1 (ko) 2012-06-28
KR101207862B1 (ko) 2012-12-04

Similar Documents

Publication Publication Date Title
JP5587894B2 (ja) 深さマップを生成するための方法及び装置
RU2519433C2 (ru) Способ и система для обработки входного трехмерного видеосигнала
KR101385514B1 (ko) 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치
KR101185870B1 (ko) 3ｄ 입체 영상 처리 장치 및 방법
KR101856805B1 (ko) 화상 처리 장치 및 화상 처리 방법, 및 프로그램
CN100565589C (zh) 用于深度感知的装置和方法
US20120293489A1 (en) Nonlinear depth remapping system and method thereof
TWI531212B (zh) 呈現立體影像之系統及方法
US9723290B2 (en) Method for generating, transmitting and receiving stereoscopic images and relating devices
KR101302431B1 (ko) 2차원 영상을 스테레오 영상으로 변환하는 방법
US9082210B2 (en) Method and apparatus for adjusting image depth
US8976171B2 (en) Depth estimation data generating apparatus, depth estimation data generating method, and depth estimation data generating program, and pseudo three-dimensional image generating apparatus, pseudo three-dimensional image generating method, and pseudo three-dimensional image generating program
KR101336956B1 (ko) 2차원 영상을 스테레오 영상으로 변환하는 방법
KR101207862B1 (ko) 2차원 영상을 스테레오 영상으로 변환하는 방법
JP2014072809A (ja) 画像生成装置、画像生成方法、画像生成装置用プログラム
KR20140113066A (ko) 차폐 영역 정보를 기반으로 하는 다시점 영상 생성 방법 및 장치
EP2721829A1 (en) Method for reducing the size of a stereoscopic image
TWM529333U (zh) 立體嵌入式影像系統
Lü et al. Virtual view synthesis for multi-view 3D display
US8947507B2 (en) Method of processing 3D images, and corresponding system including the formulation of missing pixels using windows of details from first and second views
KR101192313B1 (ko) 깊이 영상의 시간적 상관도 향상 방법
Vázquez et al. 3D-TV: Are two images enough? How depth maps can enhance the 3D experience
KR20130142911A (ko) 스테레오스코픽 3d 동영상 크기 변환 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee