KR101336956B1 - 2차원 영상을 스테레오 영상으로 변환하는 방법 - Google Patents

2차원 영상을 스테레오 영상으로 변환하는 방법 Download PDF

Info

Publication number
KR101336956B1
KR101336956B1 KR1020100135244A KR20100135244A KR101336956B1 KR 101336956 B1 KR101336956 B1 KR 101336956B1 KR 1020100135244 A KR1020100135244 A KR 1020100135244A KR 20100135244 A KR20100135244 A KR 20100135244A KR 101336956 B1 KR101336956 B1 KR 101336956B1
Authority
KR
South Korea
Prior art keywords
image
depth map
map
edge
generating
Prior art date
Application number
KR1020100135244A
Other languages
English (en)
Other versions
KR20120073466A (ko
Inventor
유기령
이광호
김만배
Original Assignee
주식회사 넥시아 디바이스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 넥시아 디바이스 filed Critical 주식회사 넥시아 디바이스
Priority to KR1020100135244A priority Critical patent/KR101336956B1/ko
Priority to PCT/KR2011/008185 priority patent/WO2012091273A1/ko
Publication of KR20120073466A publication Critical patent/KR20120073466A/ko
Application granted granted Critical
Publication of KR101336956B1 publication Critical patent/KR101336956B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion

Abstract

본 발명은 2차원 영상을 스테레오 영상으로 변환하는 방법에 관한 것으로서, 2차원 RGB 영상을 스테레오 영상으로 변환하는 방법에 있어서, 본 발명에서는 2차원 RGB 영상을 2차원 YUV 영상으로 변환하는 제 1단계와, 2차원 YUV 영상으로부터 에지맵을 생성하는 제 2단계와, 에지맵을 이용하여 객체 깊이맵과 배경 깊이맵을 각각 생성한 후, 상기 객체 깊이맵과 상기 배경 깊이맵을 통합하여 최종 깊이맵을 생성하는 제 3단계와, 최종 깊이맵을 이용하여 상기 2차원 RGB 영상을 수평 방향으로 이동시켜 좌안용 영상과 우안용 영상을 획득하는 제 4단계 및 제 4단계에서 발생되는 빈 홀 화소를 주위 화소값을 이용하여 채우는 제 5단계를 포함하는 것을 특징으로 하는 2차원 영상을 스테레오 영상으로 변환하는 방법에 관한 것이다.

Description

2차원 영상을 스테레오 영상으로 변환하는 방법{METHOD FOR CONVERTING 2 DIMENSIONAL VIDEO IMAGE INTO STEREOSCOPIC VIDEO}
본 발명은 2차원 영상을 스테레오 영상으로 변환하는 방법에 관한 것으로서, 보다 상세하게는 객체 깊이맵과 배경 깊이맵을 별도로 생성한 후 이를 합체하여 최종 깊이맵을 생성하고, 생성된 최종 깊이맵을 이용하여 스테레오 영상으로 변환하는 방법에 관한 것이다.
최근 3D 영상(Stereoscopic Video)에 대한 관심이 증폭되면서, 3D 영상에 대한 연구가 활발히 진행되고 있다. 일반적으로 인간은 양 안 사이의 시차에 의해 입체감을 가장 크게 느끼는 것으로 알려져 있다. 따라서, 3D 영상은 인간의 이러한 특성을 이용하여 구현될 수 있다. 예컨대, 특정 피사체를 시청자의 좌측 눈을 통해 보여지는 좌안 영상과 시청자의 우측 눈을 통해 보여지는 우안 영상으로 구별하여, 상기 좌안 영상과 상기 우안 영상을 동시에 디스플레이함으로써 시청자가 상기 특정 피사체를 3D 영상으로 볼 수 있도록 할 수 있다. 결국, 3D 영상은 좌안 영상과 우안 영상으로 구분된 양안(binocular) 영상을 제작하여 이를 디스플레이함으로써 구현될 수 있다.
본 발명의 목적은 2차원 영상으로부터 객체 깊이맵과 배경 깊이맵을 별도로 생성한 후 이를 합체하여 최종 깊이맵을 생성하고, 생성된 최종 깊이맵을 이용하여 보다 자연스러운 스테레오 영상을 생성하는 2차원 영상을 스테레오 영상으로 변환하는 방법을 제공하고자 하는 것이다.본 발명의 목적은 2차원 영상으로부터 객체 깊이맵과 배경 깊이맵을 별도로 생성한 후 이를 합체하여 최종 깊이맵을 생성하고, 생성된 최종 깊이맵을 이용하여 보다 자연스러운 스테레오 영상을 생성하는 2차원 영상을 스테레오 영상으로 변환하는 방법을 제공하고자 하는 것이다.
상기 본 발명의 목적은 2차원 RGB 영상을 스테레오 영상으로 변환하는 방법에 있어서, 2차원 RGB 영상을 2차원 YUV 영상 I(i,j)로 변환하는 제 1단계와, 2차원 YUV 영상 I(i,j)로부터 에지맵을 생성하는 제 2단계와, 에지맵을 움직임을 보상하여 보완된 에지맵을 생성하는 제 3단계와, 보완된 에지맵을 이용하여 객체 깊이맵과 배경 깊이맵을 각각 생성한 후, 상기 객체 깊이맵과 상기 배경 깊이맵을 통합하여 최종 깊이맵을 생성하는 제 4단계와, 최종 깊이맵을 이용하여 상기 2차원 RGB 영상을 수평 방향으로 이동시켜 좌안용 영상과 우안용 영상을 획득하는 제 5단계, 및 제 5단계에서 발생되는 빈 홀 화소를 주위 화소값을 이용하여 채우는 제 6단계를 포함하고, 제 4단계에서 상기 배경 깊이맵 생성은 상기 에지맵을 수직 중심선을 기준으로 분할한 후, 상기 수직 중심선에 의해 분할된 후 좌측에 위치하는 화소에 대한 에지맵의 강도의 합과, 상기 수직 중심선에 의해 분할된 후 우측에 위치하는 화소에 대한 에지맵의 강도의 합을 구하고, 상기 좌측에 위치하는 화소에 대한 에지맵의 강도의 합 및 상기 우측에 위치하는 화소에 대한 에지맵의 강도의 합의 차이를 이용하여 좌우 배경 깊이맵을 생성하는 단계를 포함하는 것을 특징으로 하는 2차원 영상을 스테레오 영상으로 변환하는 방법에 의해서 달성 가능하다.
본 발명에서는 2차원 영상으로부터 객체 깊이맵과 배경 깊이맵을 별도로 생성한 후 이를 합체하여 최종 깊이맵을 생성하고, 생성된 최종 깊이맵을 이용하여 보다 자연스러운 스테레오 영상을 생성하여 제공할 수 있게 되었다.
도 1은 본 발명에 따른 2차원 영상을 스테레오 영상으로 변환하는 흐름을 설명하는 흐름도.
도 2는 크기가 W x H 인 에지맵 영상에서 좌우배경 깊이맵을 생성하는 방법을 설명하는 도면.
도 3은 크기가 W x H 인 에지맵 영상에서 좌우배경깊이맵에 깊이를 할당하는 방식을 설명하는 도면.
도 4는 크기가 W x H 인 에지맵 영상에서 상하배경깊이맵을 생성하는 방법을 설명하는 도면.
도 5는 크기가 W x H 인 에지맵 영상에서 상하배경깊이맵에 깊이를 할당하는 방식을 설명하는 도면.
도 6은 영상의 좌우 이동에 따라 발생하는 홀 픽셀을 채우는 방법을 설명하는 설명도.
도 7은 홀 픽셀이 발생한 경우, 홀 픽셀을 채우는 방법을 설명하는 흐름도.
도 8은 비에지 픽셀의 블록 위치를 계산하는 방식을 도식화한 도면.
도 9는 현재 블록에서 탐색 윈도우의 범위를 결정하는 설명도.
도 10은 현재 블록에 해당하는 탐색윈도우 크기를 설정하는 것을 설명하는 설명도.
도 11은 텔레비젼과 같은 영상표시장치에 본 발명을 적용하는 일부 구성도.
도 12는 새로운 삼차원 영상 포맷을 설명하는 설명도.
이하에서, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예, 장점 및 특징에 대하여 상세히 설명하도록 한다.
도 1은 본 발명에 따른 2차원 영상을 스테레오 영상으로 변환하는 흐름을 설명하는 흐름도의 일 례이다. 도 1에 도시된 바와 같이 입력되는 RGB 영상을 YUV 컬러 모델로 변환하고(ST100), 변환된 YUV 컬러 모델로부터 에지를 추출하여 에지맵을 생성한다(ST110). 이후 영상에 포함된 움직이는 객체를 고려하여 보완된 에지맵을 생성한다(ST115). 다음으로 보완된 에지맵을 이용하여 객체 깊이맵을 생성하고(ST120), 또한 동일한 보완된 에지맵을 이용하여 좌우 배경 깊이맵과 상하 배경 깊이맵을 계산하고(ST130 및 ST140), 계산된 좌우 배경 깊이맵과 상하 배경 깊이맵을 통합하여 배경 깊이맵을 생성한다(ST150). 생성된 객체 깊이맵과 배경 깊이맵을 통합하여 최종 깊이맵을 생성하고(ST160), 최종 깊이맵을 이용하여 픽셀의 변이를 구하고, 변이만큼 RGB 영상을 좌우로 이동하여 좌우 영상을 생성한다(ST170). 다음으로 변이만큼 이동으로 인해 발생되는 비어있는 홀 픽셀을 채움으로써(ST180), 최종적인 스테레오 영상(IR, IL)을 생성할 수 있게 된다(ST190).
도 1에 설명된 처리 흐름은 하드웨어적으로 처리하거나 또는 소프트웨어적으로 처리할 수 있음은 물론이며, 다양한 장치에서 본 발명의 처리 기술을 사용할 수 있다. 본 발명의 변환 기술을 적용하는 장치의 일 예로는 2차원 영상을 수신하는 텔레비젼 수상기에서 이를 스테레오 영상으로 변환하여 시청자에게 제공하는 장치를 들 수 있다. 이러한 텔레비젼 수상기는 압축된 2차원 영상을 수신한 후, 디코딩하여 2차원 RGB 영상을 생성하여 메모리에 저장하고, 처리 프로세서를 이용하여 도 1의 ST100 내지 ST180 단계를 수행한 후, 좌안용 영상과 우안용 영상을 생성하여 비디오 신호로 제공하게 된다.
다음으로 도 1의 각 단계에 대해 상세히 설명하기로 한다. 보완된 에지맵 생성 단계(ST115)를 제외한 플로우에 대해서 설명하고, 마지막으로 보완된 에지맵 생성 단계에 대해서 설명하기로 한다. 따라서, 아래 설명에서는 ST110 단계에서 생성된 에지맵을 이용하여 이후 단계인 ST120과 ST130 및 ST140 단계를 진행하는 과정으로 설명을 진행하나 실질적으로는 ST115 단계에서 생성된 보완된 에지맵을 이용하여 ST120과 ST130 및 ST140 단계가 수행되는 것으로 이해되어져야 한다.
1. 컬러모델변환
RGB영상이 주어지면, 먼저 YUV 컬러공간으로 변환한다. YUV 컬러 영상은 Y(luminance)는 밝기, U는 청색-밝기, V는 적색-밝기로 색상을 표현하며, RGB 영상과 달리 색차 정보를 가지는 것을 특징이다.
2. 에지맵 ( edge map ) 계산
다음으로 에지 정보을 구해야 하며, 단일 데이터에서 얻은 정보는 불확실성이 크기 때문에, 복합 데이터로부터 에지 데이터를 얻는다. 에지정보는 Y, U, V 에 각각 적용하는데, 다음 식에 따라 에지를 추출한다.
각 화소에 다음과 같이 주변 블록(block) 픽셀들의 편차(variance)
Figure 112010085988328-pat00001
를 구한다. 먼저 Y영상에서 주어진 화소를 포함하는 NxN 블록 B의 평균값은 수학식 1과 같이 계산된다.
Figure 112010085988328-pat00002
편차
Figure 112010085988328-pat00003
은 다음 수학식 2와 같이 계산된다.
Figure 112010085988328-pat00004
또한 U, V 데이터에서 화소의 편차는 다음 수학식 3, 수학식 4, 수학식 5 및 수학식 6과 같이 구해진다.
Figure 112010085988328-pat00005
Figure 112010085988328-pat00006
Figure 112010085988328-pat00007
Figure 112010085988328-pat00008
Figure 112010085988328-pat00009
,
Figure 112010085988328-pat00010
,
Figure 112010085988328-pat00011
가 얻어지면 평균
Figure 112010085988328-pat00012
를 수학식 7를 이용하여 구한다.
Figure 112010085988328-pat00013
또는 평균값 이외에도 화소의 최대값을 구할 수 있다.
Figure 112010085988328-pat00014
또는 가중치 곱의 합으로도 수학식 9와 같이 구할 수 있다.
Figure 112010085988328-pat00015
여기서
Figure 112010085988328-pat00016
이다.
각 화소의 편차가 구해지면,
Figure 112010085988328-pat00017
중에서 하나를 선택하여 영상의 에지맵
Figure 112010085988328-pat00018
을 구한다.
또한 에지는 소벨(Sobel) 에지연산, 캐니(Canny) 에지연산 등의 다양한 에지 검출 방법들이 있는데, 2차원 영상으로부터 깊이를 예측하기 위해서, 평균 필터와 에지필터를 결합한다. 이것을 만족하는 필터 M은 다음 수학식 10을 사용하였다.
Figure 112010085988328-pat00019
수학식 11의 F(i, j)는 영상 I를 필터 M으로 콘볼루션하여 얻은 결과이다.
Figure 112010085988328-pat00020
여기서
Figure 112010085988328-pat00021
는 콘볼루션 연산자이다. 에지맵은 수학식 12와 같이 F(i,j)의 절대값으로 표현된다.
Figure 112010085988328-pat00022
마지막으로 최종 에지맵 EdgeMap은
Figure 112010085988328-pat00023
와 수학식 13의 가중치곱의 합으로 얻어진다.
Figure 112010085988328-pat00024
이렇게 함으로써 한 개의 에지 추출 기법을 사용하는 것보다는 복합 기법들을 사용함으로써 에지의 불확실성을 줄일 수 있다.
3. 객체 깊이맵 생성
수학식 13에서 얻어진 에지맵을 객체의 깊이맵으로 사용하면, 에지정보의 손실, 이웃 화소들간에 에지 강도의 강약 차이로 만족스러운 깊이를 얻을 수가 없다. 이 경우 좌우입체영상을 시청하면, 눈의 피로감 등의 입체시청 저하현상이 발생한다. 이를 해결하기 위하여 에지맵을 다음과 같이 처리한다.
먼저 에지맵을 [0, 255]로 정규화값으로 변환한다. 변환식은 수학식 14처럼 선형변환을 사용한다. EdgeMap의 최대값을
Figure 112010085988328-pat00025
라고 하면, 에지강도 값 E는 [0, 255]의
Figure 112010085988328-pat00026
값으로 변환한다.
Figure 112010085988328-pat00027
모든 화소들의
Figure 112010085988328-pat00028
값으로부터 정규화된 에지맵
Figure 112010085988328-pat00029
이 만들어진다. 정규화 값에서 에지강도가 임계치 T보다 큰 에지맵 화소들의 평균
Figure 112010085988328-pat00030
을 수학식 15와 같이 계산한다. 여기서 임계치 T는 여러 영상 처리를 통해 경험적으로 얻어지는 임의의 수이다.
Figure 112010085988328-pat00031
다음 과정에서는 이웃 화소간에 에지강도의 차이를 줄이기 위하여 먼저
Figure 112010085988328-pat00032
보다 큰 화소에는 동일한 값
Figure 112010085988328-pat00033
(예, 30) 을 할당하고, 아닌 화소에는 0을 할당하여, 강도가 매우 약한 화소는 무시하고, 그렇지 않은 화소로 일단 동일 에지로 판단한다. 얻어진 임계치화된 에지맵은 수학식 16에 제시된
Figure 112010085988328-pat00034
이다.
Figure 112010085988328-pat00035
다음에
Figure 112010085988328-pat00036
과
Figure 112010085988328-pat00037
의 적절한 조합으로 객체의 깊이맵
Figure 112010085988328-pat00038
을 만든다.
Figure 112010085988328-pat00039
여기서
Figure 112010085988328-pat00040
는 입체감의 강도를 조절하는 기능을 가지고 있다.
4. 좌우 배경깊이맵 생성
전체 배경 구도를 결정하는 것은 입체감을 전달하는데, 중요한 역할을 한다. 주어진 영상에서 좌측과 우측 중 어느 곳이 앞에 있고 뒤에 있는지를 판단하고 깊이를 달리해야 하며, 이를 좌우 배경깊이맵에 의해 결정한다. 수학식 13에서 얻어진 에지맵을 활용하여 배경깊이맵을 만든다.
도 2는 크기가 W x H 인 에지맵 영상에서 좌우 배경깊이맵을 생성하는 방법을 설명하는 도면이다. 수직중심선은 j = W/2인 선인데, 수직중심선을 중심으로 좌측에 v1, v2, 우측에 v3, v4를 설정한다. 그러면, 좌측의 에지 강도(edge strength)를 다음 수학식 18에서 계산한다.
Figure 112010085988328-pat00041
우측의 에지 강도는 다음 수학식 19에서 계산된다.
Figure 112010085988328-pat00042
여기서 min(v1) = 0, max(v2) = H/2, min(v3) = H/2, max(v4) = W이다.
두 개의 에지 강도로부터 좌우배경 깊이맵의 깊이 범위인 [
Figure 112010085988328-pat00043
]를 계산한다. 최소 및 최대 깊이값은 다음과 같이 계산된다. 최대 깊이값이
Figure 112010085988328-pat00044
이면, 최소 깊이값은 다음 수학식 20으로 결정한다.
Figure 112010085988328-pat00045
여기서
Figure 112010085988328-pat00046
은 사용자가 지정할 수 있다(예를 들어 2.0, 3.0, 등등). 비율
Figure 112010085988328-pat00047
는 다음 수학식 21과 같이 계산된다.
Figure 112010085988328-pat00048
두 에지강도의 차이가 적으면, 양쪽의 깊이 차이가 없다는 것이므로, 깊이 차이값을 줄이고, 반대로 차이가 크면, 양쪽의 깊이차이가 크다는 것을 의미한다. 따라서 제안방법은 영상 내용에 따라 적절한 깊이값을 할당할 수 있는 장점이 있다. 동시에 좌측 또는 우측 중에 어느 쪽이 멀고 가까운지에 대한 정보를 저장한다.
얻어진 깊이값의 범위는 D = [
Figure 112010085988328-pat00049
]이다. 이 범위를 도 3에서 보는 것처럼, 다음 수학식 22를 이용하여 수직선에 깊이를 할당한다. 도 3은 크기가 W x H 인 에지맵 영상에서 좌우 배경깊이맵에 깊이를 할당하는 방식을 설명하는 도면이다.
Figure 112010085988328-pat00050
여기서 j = [0, W-1]이다.
5. 상하 배경깊이맵 생성
주어진 영상에서 상측과 하측 중 어느 곳이 앞에 있고 뒤에 있는지를 판단하고 깊이를 달리해야 하며, 이를 상하 배경깊이맵에 의해 결정한다.
도 4는 크기가 W x H 인 에지맵 영상에서 상하 배경깊이맵을 생성하는 방법을 설명하는 도면이다. 수평중심선은 i = H/2인 라인이데, 수평중심선을 중심으로 위로 h1, h2, 아래로 h3, h4를 설정한다. 그러면, 상단의 에지 강도를 다음 수학식 23에서 계산한다.
Figure 112010085988328-pat00051
하단의 에지 강도를 다음 수학식 24에서 계산한다.
Figure 112010085988328-pat00052
두 값이 결정되면, 상하 배경깊이맵의 깊이값은 다음과 같이 계산된다. 최대 깊이값이
Figure 112010085988328-pat00053
이면, 최소 깊이값은 다음 수학식 25로 결정한다.
Figure 112010085988328-pat00054
여기서
Figure 112010085988328-pat00055
은 사용자가 지정할 수 있다.
여기서 비율
Figure 112010085988328-pat00056
는 다음 수학식 26과 같이 계산된다.
Figure 112010085988328-pat00057
동시에 하단 또는 상단 중에서 어느 쪽이 가깝고 먼지를 결정한다.
얻어진 깊이값의 범위는 D = [
Figure 112010085988328-pat00058
]이다. 이 범위를 도 5에서 보는 것처럼, 다음 수학식 27을 이용하여 분할된 수평선에 깊이를 할당한다. 도 5는 크기가 W x H 인 에지맵 영상에서 상하 배경깊이맵에 깊이를 할당하는 방식을 설명하는 도면이다.
Figure 112010085988328-pat00059
6. 좌우/상하 깊이맵 통합
수학식 22와 수학식 27에 의해서 얻어진 배경 깊이값을 다음 수학식 28을 이용하여 통합한다.
Figure 112010085988328-pat00060
7. 최종 깊이맵 생성
최종적으로 깊이맵은 배경 깊이맵과 객체깊이맵의 합으로 구해진다.
Figure 112010085988328-pat00061
여기서
Figure 112010085988328-pat00062
= [0, 1]을 조정하여, 객체의 입체감의 증감이 가능하다.
8. 좌안용 영상, 우안용 영상 생성
RGB영상과 최종 깊이맵이 구해지면, 좌안용 영상과 우안용 영상은 다음 수학식 30과 같이 계산된다. 픽셀의 변이(disparity)를 구해 영상을 좌측 및 우측으로 수평으로 이동하여 각각 좌안용 영상과 우안용 영상을 만든다.
Figure 112010085988328-pat00063
여기서 IL과 IR은 각각 좌안용 영상 및 우안용 영상이고, 변이 d는 다음 수학식 31을 이용하여 수학식 29의 D로부터 계산한다.
Figure 112010085988328-pat00064
여기서 τ는 최대 입체 시차이다. 영상을 변이값에 의해 이동을 하게 되면 홀이 발생한다. 이 홀들은 주변 화소값으로 채우게 된다.
깊이맵에서 D의 범위는 일반적으로 [0, 255]이다. 이것을 변이 d로 변환하는데, 각 픽셀은 해당 d값에 따라 좌영상은 좌측으로, 우영상에서는 우측으로 이동한다. 따라서 좌영상과 우영상에서 발생할 수 있는 최대 시차값은 2d 가 됩니다.
9. 홀화소 채우기( Hole pixel filling )
영상을 좌우로 이동하게 되면 비어있는 홀(hole) 화소가 발생한다. 홀 화소들은 도 6과 같이 채워지며 이를 홀 필링(filling)이라고 한다. 도 6은 영상의 좌우 이동에 따라 발생하는 홀 화소를 채우는 방법을 설명하는 설명도이다. 홀 필링은 주변화소들의 평균값을 일반적으로 사용하고 있으나, 보간(interpolation)기법을 이용하여 개선된 화질을 얻을 수 있다.
비어있는 홀 화소들이
Figure 112010085988328-pat00065
이면, 동일 스캔라인에서 N개의 화소를 탐색한다. 영상의 각 화소를 수학식 31의 변위값으로 이동하게 되면, 변위값이 큰 화소는 상대적으로 멀리 보이게 되는데, 변위값이 작은 화소의 이동에서 홀이 발생하게 된다. 도 7은 홀 화소가 발생한 경우, 홀 화소를 채우는 방법을 설명하는 흐름도이다. 도 7에 도시된 바와 같이 홀 화소가 L개 발생하면(ST700), 변이 값이 큰 화소가 있는 방향으로 연속적으로 화소들의 편차를 구한다(ST710). 구한 편차값이 임계치 P보다 작거나 동일할 때까지 탐색한다. 탐색한 화소들
Figure 112010085988328-pat00066
의 개수가 N이면, N개의 화소로 L개의 홀 화소
Figure 112010085988328-pat00067
들을 보간법으로 채운다. 먼저 수학식 32와 같이 신축비율(Scale factor)을 구한다.
Figure 112010085988328-pat00068
신축비율을 구한 다음 수학식 33의 역변환을 이용하여 화소값을 가져온다.
Figure 112010085988328-pat00069
10. 최종 좌안용 영상 및 최종 우안용 영상 생성
홀 필링이 완료된 좌안용 영상과 우안용 영상이 만들어지면, 3D 디스플레이의 전송 포맷에 적합하게 Top-bottom, Side by Side, Vertical Interleaving, Interlaced 포맷으로 변환하여 전송하면 된다.
11. 보완 에지맵 생성 단계
이하에서는 도 1의 보완 에지맵 생성 단계(ST115)에 대해 설명하기로 한다. 보완 에지맵은 도 1의 ST110 단계에서 생성된 에지맵을 움직이는 객체 정보를 이용하여 좀더 정확하게 보완하기 위한 단계이다.
11-1. 운동벡터 계산(ST807)
이전 luma 영상 Yk-1와 현재 luma Yk로부터 NxN 블록의 운동벡터를 구하기 위해서 블록 기반 운동예측 (block based motion estimation)을 사용하는데, 속도개선을 위해서 다음의 운동예측 기법을 사용한다. 이 방법은 x축으로 좌우이동을 하면서 최소 에러를 주는 매칭블록 (matching block)을 찾고, 또한 y축으로 상하이동을 하면서 매칭블록을 찾는 기법이다. 운동벡터
Figure 112010085988328-pat00070
는 수학식 34로 표현된다.
Figure 112010085988328-pat00071
Figure 112010085988328-pat00072
여기서
Figure 112010085988328-pat00073
은 현재 영상이 휘도값이고,
Figure 112010085988328-pat00074
는 이전 영상의 휘도값이다. 또한 운동벡터의 방향
Figure 112010085988328-pat00075
는 수학식 35에서 계산된다.
Figure 112010085988328-pat00076
Figure 112010085988328-pat00077
의 범의는 [
Figure 112010085988328-pat00078
] 이다.
11-2. 비에지 픽셀 찾기
에지맵이 주어지면, 에지 강도(edge strength)가 임계값 (threshold) T 보다 작은 픽셀은 수학식 36과 같이 비에지 픽셀로 분류하고, 아니면 에지 픽셀로 분류한다.
Figure 112010085988328-pat00079
11-3. 비에지 픽셀의 블록 위치 계산
도 8은 비에지 픽셀의 블록 위치를 계산하는 방식을 도식화한 것이다. 비에지 픽셀이면 이 픽셀이 속해 있는 블록을 계산한다. 블록크기가 NxN 이고, 비에지 픽셀의 좌표값이 (
Figure 112010085988328-pat00080
)이면, 블록의 상좌(top-left) 좌표값은 수학식 37에서 계산된다.
Figure 112010085988328-pat00081
11-4. 탐색윈도우 (Search Window) 결정
탐색하는 주변 블록의 개수를 결정한다. 도 10은 현재 블록에 해당하는 탐색윈도우 크기를 설정하는 것을 설명하는 설명도이다. 탐색윈도우의 크기가 K이면, 좌우상하로
Figure 112010085988328-pat00082
개의 블록을 탐색하게 된다. 도 9는 현재 블록에서 탐색 윈도우의 범위를 결정하는 설명도이다.
11-5. 최소 유사성 블록 찾음
유사성 함수는 현재 블록과 k번째 블록에서 수학식 38에서 정의된다.
Figure 112010085988328-pat00083
여기서 k는 주변 탐색 블록의 번호이다.
Figure 112010085988328-pat00084
는 홀 픽셀 블록의 운동벡터이고,
Figure 112010085988328-pat00085
는 k번째 블록의 운동블록이다. 수학식 38의 함수에서 최소 S를 주는 블록을 수학식 39에 의해 찾는다.
Figure 112010085988328-pat00086
11-6. 최소 유사성 블록의 에지 값의 평균 계산
블록을 찾으면 이 블록에 있는 에지픽셀의 평균값을 수학식 40에서 계산한다.
Figure 112010085988328-pat00087
여기서 식 (3)에서 얻어진 에지 픽셀만의 평균이다.
Figure 112010085988328-pat00088
는 블록
Figure 112010085988328-pat00089
안에 있는 에지픽셀이다.
11-7. 비에지 픽셀 채움 (filling)
홀픽셀을
Figure 112010085988328-pat00090
값으로 채운다.
도 1에 설명된 처리 흐름은 하드웨어적으로 처리하거나 또는 소프트웨어적으로 처리할 수 있음은 물론이며, 다양한 장치에서 본 발명의 처리 기술을 사용할 수 있다. 본 발명의 변환 기술을 적용하는 장치의 일 예로는 2차원 영상을 수신하는 텔레비젼 수상기에서 이를 스테레오 영상으로 변환하여 시청자에게 제공하는 장치를 들 수 있다. 도 11은 텔레비젼과 같은 영상표시장치에 본 발명을 적용하는 일부 구성도를 보여주는 것으로서, 영상표시장치는 프레임버퍼부(10), FRC(Frame Rate Conversion)부(20), 및 디스플레이부(30)를 포함한다.
프레임버퍼부(10)에는 영상신호가 일시적으로 저장되며, FRC부(20)로 소정 프레임레이트로 영상신호를 출력한다. FRC부(20)는 영상신호의 프레임레이트를 디스플레이부(30)에서 표시가능한 프레임 레이트로 변환한다. 그러면, 디스플레이부(30)는 영상신호를 신호처리하여 화면에 표시한다.
여기서, FRC부(30)는 움직임 저더를 제거하기 위해, 입력되는 영상신호의 프레임레이트를 변환하여 출력하게된다. 즉, 입력 영상신호의 프레임레이트가 15Hz인 경우 30Hz로 변환하여 출력하고, 30Hz인 경우 60Hz로 변환하여 출력하고, 50Hz인 경우 100Hz로 변환하여 출력하고, 60Hz인 경우 120Hz로 변환하여 출력하게 된다. 이때, 움직임 추정을 통해 보정된 프레임을 원래의 프레임에 추가함으로써, 입력 영상신호의 프레임레이트를 두 배로 변환하여 출력할 수 있다.
또한 프레임레이트부(20)에서는 프레임버퍼부(10)로부터 입력되는 2차원 영상에 도 1의 ST100 내지 ST180 단계를 수행하여 좌안용 영상과 우안용 영상을 생성하도록 하였다. 또는 프레임버퍼부(10)와 프레임레이트부(20) 사이에 2D 영상을 3D 영상으로 변환하는 2D 3D 변환부(50)를 별도로 구비할 수 있도록 할 수도 있다.
그리고, FRC부(30)는 입력되는 영상신호의 프레임레이트가 입력 영상신호의 전송방식에 따라 다른 경우에도 디스플레이부(70)의 표시방식에 대응하는 프레임레이트로 변환하여 출력한다. 즉, PAL(Phase Alternation by Line system)방식으로 입력되는 50Hz의 영상신호나 SECAM(Sequential Couleur a Memoire)방식으로 입력되는 24Hz의 영상신호를 디스플레이부(70)의 표시방식에 대응하는 NTSC(National Television System Committee)방식의 60Hz의 영상신호로 변환하여 출력한다.
지금까지 설명한 바와는 달리 영상 송신부에서 송신하는 영상 신호의 포맷을 변경할 경우 수신 장치에서는 보다 용이하게 삼차원 영상을 제공할 수 있다. 이차원 영상을 구성하는 화소 데이터 일부를 입체 정보인 깊이 데이터로 대체하고 이차원 영상으로 전송하고 수신된 깊이 정보를 사용하여 삼차원 영상으로 디스플레이 하도록 하는 것이다.
이차원 영상은 일반적으로 RGB 각 8비트씩 총 24비트로 된 이루어진 연속된 화소로써 구성된다. 24비트로 구성된 화소에서 하위 비트 일부에 영상 정보 대신 입체 정보인 깊이 데이터를 넣어 전달한 후 화면에 영상을 표시할 때, 깊이 정보로 사용하여 삼차원 영상 화면을 구성할 수 있다. 이러한 기능을 사용하면 2D 3D 변환 기능의 한계를 극복할 수 있고, 사용자 임의의 입체 화면을 수월하게 만들 수 있다.
도 12는 새로운 삼차원 영상 포맷을 설명하는 설명도이다. (a)에 도시된 바와 같이 이차원 화면을 시청할 경우에는 화소당 24비트를 사용하여 이차원 이미지를 전송하고, 삼차원 영상을 전송할 경우에는 (b)에 도시된 바와 같이 화소당 20비트에는 이차원 영상을 송부하고 나머지 네 개의 비트에는 깊이 정보를 전송하는 것이다. 도 12(b)에 제시된 포맷의 삼차원 영상을 전송받을 경우에는 (1) 수신된 영상 데이터에서 이차원 영상 데이터와 깊이 데이터 분리하고, (2) 깊이 데이터를 이용하여 수신된 이차원 영상 데이터를 좌안용 영상과 우안용 영상으로 생성하는 단계가 필요하다.
상기에서 본 발명의 바람직한 실시예가 특정 용어들을 사용하여 설명 및 도시되었지만 그러한 용어는 오로지 본 발명을 명확히 설명하기 위한 것일 뿐이며, 본 발명의 실시예 및 기술된 용어는 다음의 청구범위의 기술적 사상 및 범위로부터 이탈되지 않고서 여러가지 변경 및 변화가 가해질 수 있는 것은 자명한 일이다.

Claims (9)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 2차원 RGB 영상을 스테레오 영상으로 변환하는 방법에 있어서,
    상기 2차원 RGB 영상을 2차원 YUV 영상 I(i,j)로 변환하는 제 1단계;
    상기 2차원 YUV 영상 I(i,j)로부터 에지맵을 생성하는 제 2단계;
    상기 에지맵을 움직임을 보상하여 보완된 에지맵을 생성하는 제 3단계;
    상기 보완된 에지맵을 이용하여 객체 깊이맵과 배경 깊이맵을 각각 생성한 후, 상기 객체 깊이맵과 상기 배경 깊이맵을 통합하여 최종 깊이맵을 생성하는 제 4단계;
    상기 최종 깊이맵을 이용하여 상기 2차원 RGB 영상을 수평 방향으로 이동시켜 좌안용 영상과 우안용 영상을 획득하는 제 5단계; 및
    상기 제 5단계에서 발생되는 빈 홀 화소를 주위 화소값을 이용하여 채우는 제 6단계를 포함하고,
    상기 제 4단계에서 상기 배경 깊이맵 생성은 상기 에지맵을 수직 중심선을 기준으로 분할한 후, 상기 수직 중심선에 의해 분할된 후 좌측에 위치하는 화소에 대한 에지맵의 강도의 합과, 상기 수직 중심선에 의해 분할된 후 우측에 위치하는 화소에 대한 에지맵의 강도의 합을 구하고, 상기 좌측에 위치하는 화소에 대한 에지맵의 강도의 합 및 상기 우측에 위치하는 화소에 대한 에지맵의 강도의 합의 차이를 이용하여 좌우 배경 깊이맵을 생성하는 단계를 포함하는 것을 특징으로 하는 2차원 영상을 스테레오 영상으로 변환하는 방법.
  7. 2차원 RGB 영상을 스테레오 영상으로 변환하는 방법에 있어서,
    상기 2차원 RGB 영상을 2차원 YUV 영상 I(i,j)로 변환하는 제 1단계;
    상기 2차원 YUV 영상 I(i,j)으로부터 에지맵을 생성하는 제 2단계;
    상기 에지맵을 움직임을 보상하여 보완된 에지맵을 생성하는 제 3단계;
    상기 에지맵을 이용하여 객체 깊이맵과 배경 깊이맵을 각각 생성한 후, 상기 객체 깊이맵과 상기 배경 깊이맵을 통합하여 최종 깊이맵을 생성하는 제 4단계;
    상기 최종 깊이맵을 이용하여 상기 2차원 RGB 영상을 수평 방향으로 이동시켜 좌안용 영상과 우안용 영상을 획득하는 제 5단계; 및
    상기 제 5단계에서 발생되는 빈 홀 화소를 주위 화소값을 이용하여 채우는 제 6단계를 포함하고,
    상기 제 4단계에서 상기 배경 깊이맵 생성은 에지맵을 수평 중심선을 기준으로 분할한 후, 상기 수평 중심선에 의해 분할된 후 상측에 위치하는 화소에 대한 에지맵의 강도의 합과, 상기 수평 중심선에 의해 분할된 후 하측에 위치하는 화소에 대한 에지맵의 강도의 합을 구하고, 상기 상측에 위치하는 화소에 대한 에지맵의 강도의 합 및 상기 하측에 위치하는 화소에 대한 에지맵의 강도의 합의 차이를 이용하여 상하 배경 깊이맵을 생성하는 단계를 포함하는 것을 특징으로 하는 2차원 영상을 스테레오 영상으로 변환하는 방법.
  8. 제 6항 또는 제 7항에 있어서,
    상기 제 5단계의 상기 2차원 RGB 영상을 수평 방향으로 이동시키는 량은 최대 입체 시차와 깊이맵에 대한 함수의 곱으로 결정되는 것을 특징으로 하는 2차원 영상을 스테레오 영상으로 변환하는 방법.
  9. 제 6항 또는 제 7항에 있어서,
    상기 제 3단계의 보완된 에지맵은 블록 기반 운동 예측을 이용하여 수행되는 것을 특징으로 하는 2차원 영상을 스테레오 영상으로 변환하는 방법.
KR1020100135244A 2010-12-27 2010-12-27 2차원 영상을 스테레오 영상으로 변환하는 방법 KR101336956B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100135244A KR101336956B1 (ko) 2010-12-27 2010-12-27 2차원 영상을 스테레오 영상으로 변환하는 방법
PCT/KR2011/008185 WO2012091273A1 (ko) 2010-12-27 2011-10-31 2차원 영상을 스테레오 영상으로 변환하는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100135244A KR101336956B1 (ko) 2010-12-27 2010-12-27 2차원 영상을 스테레오 영상으로 변환하는 방법

Publications (2)

Publication Number Publication Date
KR20120073466A KR20120073466A (ko) 2012-07-05
KR101336956B1 true KR101336956B1 (ko) 2013-12-04

Family

ID=46383316

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100135244A KR101336956B1 (ko) 2010-12-27 2010-12-27 2차원 영상을 스테레오 영상으로 변환하는 방법

Country Status (2)

Country Link
KR (1) KR101336956B1 (ko)
WO (1) WO2012091273A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102507383B1 (ko) * 2016-11-08 2023-03-08 한국전자통신연구원 직사각형 윈도우를 이용한 스테레오 정합 방법 및 스테레오 정합 시스템
US11531842B2 (en) 2020-05-20 2022-12-20 Toyota Research Institute, Inc. Invertible depth network for image reconstruction and domain transfers
CN116193095A (zh) * 2023-01-18 2023-05-30 四川大学 一种基于单色图像实现彩色3d显示的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970025170A (ko) * 1995-10-24 1997-05-30 김광호 2차원/스테레오 영상변환방법 및 장치
KR20060119864A (ko) * 2003-08-05 2006-11-24 코닌클리케 필립스 일렉트로닉스 엔.브이. 다시야 이미지 생성
KR20090054835A (ko) * 2007-11-27 2009-06-01 삼성전자주식회사 3차원 영상 처리방법 및 그 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100757259B1 (ko) * 2004-10-25 2007-09-11 전자부품연구원 압축 동영상의 움직임 벡터를 이용하여 2차원 영상을3차원 영상으로 변환하는 방법
KR100927734B1 (ko) * 2006-12-05 2009-11-18 한국전자통신연구원 다시점 영상 생성 장치 및 그 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970025170A (ko) * 1995-10-24 1997-05-30 김광호 2차원/스테레오 영상변환방법 및 장치
KR20060119864A (ko) * 2003-08-05 2006-11-24 코닌클리케 필립스 일렉트로닉스 엔.브이. 다시야 이미지 생성
KR20090054835A (ko) * 2007-11-27 2009-06-01 삼성전자주식회사 3차원 영상 처리방법 및 그 장치

Also Published As

Publication number Publication date
KR20120073466A (ko) 2012-07-05
WO2012091273A1 (ko) 2012-07-05

Similar Documents

Publication Publication Date Title
KR101385514B1 (ko) 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치
US7254265B2 (en) Methods and systems for 2D/3D image conversion and optimization
EP2299726B1 (en) Video communication method, apparatus and system
KR101625830B1 (ko) 깊이 맵을 생성하기 위한 방법 및 디바이스
JP5750505B2 (ja) 立体映像エラー改善方法及び装置
KR100720722B1 (ko) 중간영상 생성방법 및 이 방법이 적용되는 입체영상디스플레이장치
CN101662694B (zh) 视频的呈现方法、发送、接收方法及装置和通信系统
JP2013527646A5 (ko)
Po et al. Automatic 2D-to-3D video conversion technique based on depth-from-motion and color segmentation
CN105681777A (zh) 一种裸眼3d显示方法及系统
KR20130137000A (ko) 화상 처리 장치 및 화상 처리 방법, 및 프로그램
CN102547350B (zh) 一种基于梯度光流算法合成虚拟视点方法及立体显示装置
KR20120055991A (ko) 영상처리장치 및 그 제어방법
CN102291587B (zh) 全高清3d视频处理方法
TW201315209A (zh) 呈現立體影像之系統及方法
EP2326096A2 (en) 3D Image Display Apparatus and Display Method
TWI511525B (zh) 用於產生、傳送及接收立體影像之方法，以及其相關裝置
KR101336956B1 (ko) 2차원 영상을 스테레오 영상으로 변환하는 방법
KR20120004203A (ko) 디스플레이 방법 및 장치
KR101302431B1 (ko) 2차원 영상을 스테레오 영상으로 변환하는 방법
JP2006186795A (ja) 奥行き信号生成装置、奥行き信号生成プログラム、擬似立体画像生成装置、及び擬似立体画像生成プログラム
KR101207862B1 (ko) 2차원 영상을 스테레오 영상으로 변환하는 방법
KR101731113B1 (ko) 2ｄ-3ｄ 영상 변환 방법 및 이를 이용한 입체 영상 표시장치
JP2014072809A (ja) 画像生成装置、画像生成方法、画像生成装置用プログラム
CN103379350A (zh) 虚拟视点图像后处理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee