KR101847675B1

KR101847675B1 - 입체영상 및 영상시퀀스의 스테레오 간격 확장을 위한 방법 및 장치

Info

Publication number: KR101847675B1
Application number: KR1020137021439A
Authority: KR
Inventors: 랄프-디터 나스케
Original assignee: 피에스홀릭스 아게
Priority date: 2011-01-19
Filing date: 2012-01-17
Publication date: 2018-04-10
Also published as: DE112012000508A5; JP2014507873A; WO2012097802A4; DE102011008886A1; EP2676449B1; WO2012097802A3; KR20140021997A; JP6128442B2; ES2662884T3; EP2676449A2; WO2012097802A2; PL2676449T3; US9615075B2; US20140347444A1

Abstract

본 발명은 입체영상(stereoscopic images) 및 영상시퀀스(image sequences)의 깊이지각(depth impression)을 개선하기 위한 방법 및 장치와 관련이 있다. 무안경 다중-뷰어 디스플레이 장치(autostereoscopic multi-viewer display device)에서는 일반적으로 다수의 중간시점(intermediate perspectives)가 발생 되고, 상기 중간시점들은 뷰어에 의해 지각될 때에 축소된 스테레오 간격(stereo base)를 야기한다. 본 출원서에 제시된 스테레오 간격-확대(stereo base-widening)는 중요한 개선 및 그와 더불어 현실적인 깊이지각을 유도한다. 이와 같은 개선은 카메라에서 측정시에 이루어질 수 있거나 또는 디스플레이 장치 내부에 통합될 수 있다. 깊이지각의 개선은 합성 시점들의 발생에 의해서 달성되며, 상기 합성 시점들은 카메라 렌즈의 주시 방향에서 볼 때 가장 좌측 및 가장 우측 카메라 렌즈에 의해 형성된 연결 선의 우측 및 좌측 연장부(lengthening)에서 상기 측정된 가장 좌측 및 가장 우측 카메라 렌즈의 좌측 및 우측에 있다. 상기 합성 시점들은 단지 제공된 또는 예비 처리 단계에서 계산된 시차지도(disparity map)에 근거해서만 계산된다. 이 경우 제시된 방법은 다음과 같은 문제점들을 해결한다: 1. 새로운 확장 시점의 계산, 2. 비주얼존(visual zone) 내부에 제공된 카메라 렌즈의 정확한 재-위치 설정(re-positioning), 3. 확장에서 충돌의 경우에 어느 시차가 속행되어야만 하는지에 대한 규정, 그리고 4. 스테레오 간격의 확장에 의해 가시적으로 될 이미지 영역의 내삽(interpolation). 이 경우에는 좌측 및 우측 마스킹(masking)도 확인되며, 상기 확장 시점에서 시각적으로 정확하게 유지되고 보완된다.

Description

입체영상 및 영상시퀀스의 스테레오 간격 확장을 위한 방법 및 장치 {METHOD AND DEVICE FOR STEREO BASE EXTENSION OF STEREOSCOPIC IMAGES AND IMAGE SEQUENCES}

본 발명은 입체영상과 영상시퀀스(image sequences)의 깊이지각(depth impression)을 개선하기 위한 방법 및 장치에 관한 것이다. 이와 같은 개선은 스테레오 카메라로 측정할 때 또는 입체 디스플레이 장치내에서 이루어질 수 있다.

1931년에 이미 뤼셔(Luescher) 참고 문헌 [1]에 해당하는 자신의 논문에서 스테레오스코피(stereoscopy)의 기본 규칙들을 정했다. 제1 규칙(a)은 입체영상의 좌우측 부분 이미지가 동일한 시각 차이를 가져야만 한다는 것인데, 다시 말하자면 스테레오 간격이 65mm 범위 안에 놓여 있어야만 한다는 것이다.

기술적이거나 설계상의 여러 이유로 상기 규칙은 스테레오 사진기나 비디오-리코더에서 위배되는 경우가 있다. 이 경우, 본 발명에 의한 스테레오 간격 확대에 의한 적응이 이루어질 수 있다.

측정시 이런 렌즈 간격이 지켜지면, 이 렌즈 간격은 3D-안경을 사용하거나 무안경 싱글뷰어 디스플레이 장치에서 우수한 깊이지각을 일으킨다.

그러나, 무안경 멀티뷰어 디스플레이 장치에서는 일반적으로 다수의 중간시점 영상들이 생기고, 이때문에 깊이지각이 떨어진다. 이와 같은 현상은 뤼셔에 의해 세워진 기본 규칙, 즉 "볼 때는 측정할 때와 같은 시각(스테레오 간격)이 유지되어야 한다"라는 기본 규칙에 모순된다. 이 경우에도 본 발명에 의한 스테레오 간격-확대는 중요한 개선을 도모하여, 현실과 같은 깊이지각을 일으킬 수 있다.

이하, 무안경 멀티뷰어 디스플레이 장치를 위한 스테레오 간격-확대를 먼저 설명한 다음 입체 측정장치로 그 예를 확장하겠지만, 반드시 이에 한정되는 것도 아니다. 두 가지 경우의 기본 원리들이 동일하기 때문에, 이런 설명도 가능하다.

3D-안경의 지원을 받는 디스플레이 장치에서는, 일반적으로 두 개의 렌즈를 갖는 스테레오 카메라에 의해 측정된 입체영상이 각각 뷰어의 좌우측 눈에 제공된다. 여러 뷰어가 3D-안경을 착용하면, 모든 뷰어가 동시에 하나의 우수한 3D-인상을 지각할 수 있다. 이 경우, 감지된 눈의 간격이 두개 카메라 렌즈의 간격과 정확하게 일치한다. 일반적으로 이 간격은 자연스러운 공간감을 느끼기 위해 대략 65mm 범위내에 있다.

무안경 멀티뷰어 디스플레이에서는 디스플레이 앞에 정확하게 하나의 최적 관찰 위치가 존재하며, 이 관찰위치에서 한명의 뷰어만 최고의 깊이지각을 느낄 수 있다. 몇몇 무안경 싱글뷰어 디스플레이는 소위 헤드-트랙킹-시스템으로 뷰어의 눈을 추적해 각개 뷰어에 적응하도록 한다.

참고 문헌 [2]에는, 다수의 뷰어가 동시에 관찰되고 추적될 수 있는 시스템이 처음으로 기재되어 있다.

모든 시스템에서의 공통점은, 뷰어가 최상의 깊이지각을 느끼는데 필요한 카메라 시점은 2개면 된다.

그러나, 이런 방식은 거실이나 공공시설에서 사용하기에는 비실용적이다. 가급적 많은 여러명의 뷰어가 동시에 운동성의 제한 없이 최고의 깊이지각을 느껴야만 한다.

공지의 무안경 멀티뷰어 디스플레이 장치에서 느낄 수 있는 이런 최고의 깊이지각은, 측정된 카메라 시점들 사이에 소정의 중간시점들이 합성에 의해 생성되고 이런 중간시점들을 디스플레이 장치 앞에서 일단의 비주얼존을 생성하는데 사용하여 얻을 수 있다. 각각의 비주얼존에서 하나나 다수의 뷰어가 자유롭게 움직일 수 있고 하나의 깊이지각을 느낄 수 있다.

비주얼존은 사용된 광학 시스템에 따라서 소정의 폭을 갖는다. 뷰어가 비주얼존의 좌측 가장자리에 있으면 뷰어의 좌측눈이 좌측 카메라 시점을 지각하고, 뷰어가 비주얼존의 우측 가장자리에 있으면 뷰어의 우측눈이 우측 카메라 시점을 지각한다. 일반적으로 비주얼존의 폭은 300~600 mm 정도이다. 뷰어가 한쪽 비주얼존에서 다른 비주얼존으로 이동하면, 짧은 구간에서 선명하지 않은 입체영상이 생성된다.

그러나, 비주얼존 간격(대개 65mm)이 눈간격보다 훨씬 넓기 때문에, 좌측 가장자리의 우측 눈은 우측 카메라 시점보다는 좌측 카메라 시점에서 훨씬 더 조밀한 시점을 느낄 것이다. 이런 사실로 감지된 눈 간격이 카메라 간격, 즉 두개의 카메라렌즈의 간격보다 훨씬 더 작다는 것을 알 수 있다. 결과적으로, 무안경 멀티뷰어 디스플레이 장치에서는 깊이지각이 크게 감소한다. 이런 깊이지각의 감소율은 비주얼존의 폭이 넓을수록 크다. 한편, 뷰어의 운동 자유도를 최대화하려면 비주얼존의 폭이 가급적 넓어야 한다.

깊이지각의 감소는 전술한 디스플레이 장치의 주요 단점이고, 본 발명의 방법에 의해 경감되어야 하고, 경우에 따라서는 완전히 없어져야 한다.

이런 단점의 제거는, 카메라 렌즈의 주시 방향이 측정된 가장 좌측 및 가장 우측 카메라 렌즈의 좌측 및 우측에 있고 특허 청구항 1에 기재되어 있는 바와 같은 '시각적인 시점'의 발생에 의해서 달성된다. 이런 시각적인 시점을 이하 스테레오 간격-확장이라 하는데, 이는 가장 좌측에 있는 카메라 렌즈와 가장 우측에 있는 카메라 렌즈 사이의 연결 선이 스테레오 간격이고, 발생된 시각적인 시점이 측정된 스테레오 간격의 연장부에 있기 때문이다.

또, 본 발명은 적어도 하나의 프로세서와 메모리를 포함한 본 발명에 따른 방법을 실시하는 장치에 관한 것이기도 하다.

스테레오 간격-확장은 지금까지 음향분야에서만 기술되었다. 이런 음향분야에는 관련 문헌이 널리 공지되어 있지만, 이들 문헌을 본 발명에서는 인용하지 않는다.

참고 문헌 [3]에는, 제공된 2D-이미지 및 깊이지도(depth map)로부터 출발하여 다수의 시점이 제공된 2D-이미지의 좌우측에서 생성되는 방법이 기술되어 있다. 이 문헌에 기술된 방식에 따르면, 2D-이미지는 깊이지도에 따라 변형된다. 그러나, 이 방식에서는 시각적으로 정확한 시점들은 나타날 수 없는데, 이는 좌우측 마스킹에 대한 정보가 없기 때문이다. 본 발명에 따른 방법을 위해서는 반드시 두개 이상의 시점이 제공된 입체영상이 필요하다. 이런 상황에서만 다양한 합성시점에 시각적으로 정확하게 마스킹을 실현할 수 있다.

한편, 좌우측 카메라 시점들 사이의 중간시점들을 생성하는 다수의 방법이 공지되어 있다. 본 발명은 참고문헌 [4]나 [5]를 참조한다.

이런 모든 방법은 본 발명과는 관련이 없는데, 이는 이들 방법이 스테레오 간격 외부에서 추가 시점들을 생성하는데 있지 않고 바람직한 방식으로 변형될 수도 없기 때문이다.

또, 예컨대 참고 문헌 [7]에 기술되어 있는 바와 같은 외삽 변형 방법들도 전술한 문제해결에 이용될 수 없는데, 이는 이런 방법들이 장면의 기하학적인 특성들을 시각적으로 정확하게 유지하고 보완할 수 없기 때문이다.

도 1은 지금까지 공지된 멀티뷰어 디스플레이 장치의 경우에 비주얼존에서 스테레오 카메라의 스테레오 간격의 변환을 도시한 개략도이다.
LC: 좌측 카메라 시점
RC: 우측 카메라 시점
1: 뷰어의 눈 간격
2: 뷰어 위치에서의 비주얼존 폭
3: 스테레오 카메라의 렌즈 간격
4: 감지된 눈 간격
5: 디스플레이 장치
도 2는 비주얼존에서 스테레오 간격-확장에 의한 스테레오 카메라의 확장된 스테레오 간격의 변환을 도시한 개략도이다.
LC: 좌측 실제 카메라 시점
RC: 우측 실제 카메라 시점
LE: 좌측 합성 카메라 시점
RE: 우측 합성 카메라 시점
1: 뷰어의 눈 간격
2: 뷰어 위치에서의 비주얼존 폭
3: 실제 스테레오 카메라의 렌즈 간격
4: 감지된 눈 간격
5: 디스플레이 장치
도 3은 세 개의 물체를 갖는 장면이 스테레오 카메라의 우측 렌즈에 의해서 측정된 개략도이다.
RR: 우측 망막(retina)
O1: 물체 1
O2: 물체 2
O3: 물체 3
PO1: O1의 물체 세그먼트의 투영
PO2: O2의 물체 세그먼트의 투영
PO3: O3의 물체 세그먼트의 투영
도 4는 스테레오 카메라의 좌측 렌즈에 의해서 측정된, 도 3에서와 동일한 장면을 도시한 개략도이다.
LR: 좌측 망막
O1: 물체 1
O2: 물체 2
O3: 물체 3
PO1: O1의 물체 세그먼트의 투영
PO2: O2의 물체 세그먼트의 투영
PO3: O3의 물체 세그먼트의 투영
도 5는 도 4에 도시된 좌측 이미지 LC 및 도 3에 도시된 우측 이미지 RC의 시차(disparity)를 도시한 개략도이다.
LC: 좌측 카메라 시점
RC: 우측 카메라 시점
PO1: O1의 물체 세그먼트의 투영
PO2: O2의 물체 세그먼트의 투영
PO3: O3의 물체 세그먼트의 투영
RV2: 물체 2의 우측 마스킹
RV3: 물체 3의 우측 마스킹
LV2: 물체 2의 좌측 마스킹
LV3: 물체 3의 좌측 마스킹
도 6은 도 5의 시차에 대한 도시 및 다양한 중간시점에서 상기 시차의 도면이다.
LC: 좌측 카메라 시점
RC: 우측 카메라 시점
Z1: 중간시점 1
Z2: 중간시점 2
Z3: 중간시점 3
Z4: 중간시점 4
Z5: 중간시점 5
PO1: O1의 물체 세그먼트의 투영
PO2: O2의 물체 세그먼트의 투영
PO3: O3의 물체 세그먼트의 투영
RV2: 물체 2의 우측 마스킹
RV3: 물체 3의 우측 마스킹
LV2: 물체 2의 좌측 마스킹
LV3: 물체 3의 좌측 마스킹
도 7은 도 5에 도시된 스테레오 간격-확장의 실행을 도시한 개략도이다.
LC: 좌측 카메라 시점
RC: 우측 카메라 시점
Z1: 중간시점 1
Z2: 중간시점 2
Z3: 중간시점 3
Z4: 중간시점 4
Z5: 중간시점 5
LE: 좌측 확장 시점
RE: 우측 확장 시점
PO1: O1의 물체 세그먼트의 투영
PO2: O2의 물체 세그먼트의 투영
PO3: O3의 물체 세그먼트의 투영
?: 내삽(interpolating) 할 새로운 좌측- 및 우측 마스킹
도 8은 포인터(pointer) pLC 및 pRC를 예로 도시한 도면이다.
LC: 좌측 카메라 시점
RC: 우측 카메라 시점
LE: 좌측 확장 시점
RE: 우측 확장 시점
PO1: O1의 물체 세그먼트의 투영
PO2: O2의 물체 세그먼트의 투영
PO3: O3의 물체 세그먼트의 투영
pLC(jl1): 측정된 카메라 시점 LC의 확장 시점 LE의 장소(jl1)에서 바라본 포인터
pRC(jl1): 측정된 카메라 시점 RC의 확장 시점 LE의 장소(jl1)에서 바라본 포인터
pLC(jl1*): 측정된 카메라 시점 LC의 확장 시점 LE의 장소(jl1^*)에서 바라본 포인터
pRC(jl1*): 측정된 카메라 시점 RC의 확장 시점 LE의 장소(jl1*)에서 바라본 포인터
도 9는 LC의 스테레오 간격 외부에서 추가 중간시점의 발생을 도시한 개략도이다.
LC: 좌측 카메라 시점
RC: 우측 카메라 시점
Z1: 중간시점 1
Z2: 중간시점 2
Z3: 중간시점 3
Z4: 중간시점 4
Z5: 중간시점 5
LE: 좌측 확장 시점
RE: 우측 확장 시점
PO1: O1의 물체 세그먼트의 투영
PO2: O2의 물체 세그먼트의 투영
PO3: O3의 물체 세그먼트의 투영
?: 내삽(interpolating) 할 새로운 좌측- 및 우측 마스킹
LE1: 좌측 확장 시점 1
LE2: 좌측 확장 시점 2
LE3: 좌측 확장 시점 3
LE4: 좌측 확장 시점 4
LE5: 좌측 확장 시점 5
RE1: 우측 확장 시점 1
RE2: 우측 확장 시점 2
RE3: 우측 확장 시점 3
RE4: 우측 확장 시점 4
RE5: 우측 확장 시점 5
도 10은 좌측 마스킹의 가능성 및 좌측 마스킹의 처리를 도시한 개략도이다.
LC: 좌측 카메라 시점
RC: 우측 카메라 시점
LE: 좌측 확장 시점
RE: 우측 확장 시점
PO1: O1의 물체 세그먼트의 투영
PO2: O2의 물체 세그먼트의 투영
PO3: O3의 물체 세그먼트의 투영
?: 내삽(interpolating) 할 새로운 좌측- 및 우측 마스킹
도 11은 우측 마스킹의 가능성 및 우측 마스킹의 처리를 도시한 개략도이다.
LC: 좌측 카메라 시점
RC: 우측 카메라 시점
LE: 좌측 확장 시점
RE: 우측 확장 시점
PO1: O1의 물체 세그먼트의 투영
PO2: O2의 물체 세그먼트의 투영
PO3: O3의 물체 세그먼트의 투영
?: 내삽(interpolating) 할 새로운 좌측- 및 우측 마스킹
도 12는 전체 순수도이다.
1: LE_Where(어디로), pLC 및 pRC를 초기화함
2: jl1 := Anfang(시작)
3: Where(jl1) = -1?
Y: Yes(예)
N: No(아니오)
4: Where(jl1) - Where(jl1-1) = 0?
5: │Where(jl1) - Where(jl1-1)│ > 1?
6: 우측 마스킹 처리
7: 확장을 직접적으로 처리함
8: 좌측 마스킹 처리
9: jl1 = jl1 + 1
10: jl1 > Ende(끝)?
11: LE_Where(어디로)이 Where(어디로)으로 넘어감
도 13은 "우측 마스킹 처리"에 대한 순서도이다.
1: 좌측 가장자리에서 시차를 검출함
2: 우측 가장자리에서 시차를 검출함
3: 좌측 가장자리가 전방에?
Y: Yes
N: No
4: 좌측 가장자리에서 확장을 검출함
5: 우측으로 가서 우측 가장자리에서 확장을 검출함
6: 우측 가장자리에서 확장을 검출함
7: 좌측으로 가서 좌측 가장자리에서 확장을 검출함
8: 좌측 경계를 설정함
9: 우측 경계를 설정함
10: 좌측 LE_Where(어디로)로부터 -1을 갖는 jl1까지 채움
도 14는 "좌측 마스킹 처리"에 대한 순서도이다.
1: 좌측 경계가 정확하게 설정되었기 때문에, 확장이 상기 좌측 경계보다 처음으로 더 큰 우측 경계를 검색함
2: 우측 경계를 설정함
도 15는 분석된 장면의 복잡성 및 확장율에 따라 내삽될 화소의 퍼센티지에 대한 통계이다.
PE: %로 나타낸 확장율
%: HD-입체영상의 내삽될 화소의 퍼센티지
H: 복잡성이 높은 장면
L: 복잡성이 낮은 장면
사용된 축약어에 대한 설명
AE: 스테레오 카메라의 두 개 렌즈의 제공된 간격으로부터 발생 되는 상기 렌즈의 확장된 간격.
AA: 뷰어의 눈 간격.
AB: 디스플레이 장치로부터 뷰어의 좌측 및 우측 눈으로 투영되는 시점의 간격; "감지된 눈 간격"; 감지된 스테레오 간격.
SZ: 비주얼존의 폭; 비주얼존 폭.
KA: 스테레오 카메라의 렌즈 간격; 측정된 스테레오 간격 폭
N: 제공된 카메라 시점의 개수
M: 발생 된 확장 시점의 개수
DU: 최상의 깊이지각을 위해서 그 아래로 떨어져서는 안 되는, 디스플레이 장치상에 나타날 수 있는 시차의 하한.
DO: 최상의 깊이지각을 위해서 그 위로 초과해서는 안 되는, 디스플레이 장치상에 나타날 수 있는 시차의 상한.
F: 확장율.
PE: 제공된 입체영상의 최대 시차의 확장율.
LC: 제공된 가장 좌측의 카메라 시점.
PC: 제공된 가장 우측의 카메라 시점.
LE: LC의 좌측에 있는 가장 좌측의 확장 시점.
RE: RC의 우측에 있는 가장 우측의 확장 시점.
pLC: LC의 각각 사용될 측정된 화소 상에 있는 LE의 포인터의 필드.
pRC: RC의 각각 사용될 측정된 화소 상에 있는 LE의 포인터의 필드.
Where(어디로): 제공된 또는 계산된 시차의 필드; 시차 매트릭스의 i번째 행.
LE_Where(어디로): 계산되고 확장된 시차의 필드.
K: 제공된 입체영상의 행의 개수.
Dmax: 제공된 입체영상 내에서의 최대 시차.
ZW: 발생 된 중간시점의 개수.
DSTEP: 두 개의 중간시점 사이에 있는 스텝 폭의 크기.
NrP: 디스플레이할 시점의 개수.
jl1: i행 내에 있는 특정 화소 위치.
leftCapture: LC가 디스플레이되어야만 하는 바로 그 시점의 번호.
rightCapture: RC가 디스플레이되어야만 하는 바로 그 시점의 번호.
nrSegments: 화소 jl1의 시차가 주어진 경우에 시점 스텝당 화소의 개수.
leftBorder: 마스킹의 좌측 가장자리에서의 화소 위치.
rightBorder: 마스킹의 우측 가장자리에서의 화소 위치.
Anfang(시작): 한행의 처리할 처음 화소 위치.
Ende(끝): 한행의 처리할 마지막 화소 위치.
LE_Where_leftBorder: 시차가 최대 우측 스테레오 간격-확장(RE)까지 속행될 경우에 leftBorder에서의 시차.
LE_Where_rightBorder: 시차가 최대 우측 스테레오 간격-확장(RE)까지 속행될 경우에 rightBorder에서의 시차.

이하, 본 발명에 따른 처리 단계들에 대해 자세히 설명한다.

이하의 설명은 편의상 아래 가정들을 기초로 하지만, 이에 한정되는 것도 아니다.

1. 카메라 시점의 갯수(N)는 2이다. 갯수가 더 크면, 제공된 카메라 시점들 중의 특정 카메라 시점이 중간시점으로 사용된다.

2. 입체영상을 정상적인 입체 형태로 공급하여, 모든 계산을 한줄씩 할 수 있다. 한편, 에피폴라(epipolar) 선을 따라 교정을 할 수도 있다.

3. 입체영상 외에 시차지도(disparity map)이 사용된다. 시차지도는 입체영상과 같이 제공되거나 미리 제공된다. 상기 시차지도에서 Where은 i번째 행에 있다.

4. 이하 언급되는 모든 비주얼존(visual zones)은 항상 평행하다고 본다.

전술한 바와 같이, 본 발명의 방법의 목적은, 멀티뷰어 디스플레이 장치의 광학 수단에 의해 규정된 비주얼존에서 심도를 개선하기 위해 카메라 시점이 N≥2인 입체영상을 기초로 스테레오 카메라에 사용되는 스테레오 간격(KA)의 확장을 하는데 있다. 모든 무안경 멀티뷰어 디스플레이 장치의 광학 수단은, 각각의 비주얼존에서 비주얼존 좌측 가장자리에 제공된 좌측 카메라 시점과 우측 가장자리에 제공된 우측 카메라 시점을 지각한다. 이런 지각은 디스플레이 장치 앞에 있는 모든 장소에서 적용된다. 비주얼존의 폭(SZ)이 뷰어의 눈 간격(AA)보다 크면, 뷰어는 이 비주얼존에서 자유롭게 움직일 수 있어, 비주얼존 폭(SZ)을 최대로 하는 게 바람직하다.

뷰어의 눈 간격(AA)에 따라서 항상 두 개의 상이한 중간시점이 좌측 및 우측 눈에 각각 투영된다(도 1 참조). 이때 뷰어가 감지하는 깊이지각은 투영된 두 시점의 간격에 의존한다(도 1의 요소 4). 투영된 두 시점의 간격이 넓을수록 깊이지각이 갱해지며, 이 간격이 좁을수록 깊이지각은 약해진다. 극단의 경우에, 시점 간격이 0이면, 뷰어는 하나의 2D-영상만 보게 된다. 시점 간격이 최대이면, 다시 말해 좌측 눈이 좌측 카메라 시점을 보고 우측 눈이 우측 카메라 시점을 보게 되면, 예컨대 3D-안경 기반 디스플레이와 마찬가지로 깊이지각도 최대가 된다.

다시 말해 본 발명의 목적은 비주얼존의 폭(SZ)과 눈의 간격(AA)이 주어진 경우 두 개의 투영된 시점 간격을 가급적 넓게하는데 있다.

이 목적은 스테레오 카메라의 주시 방향으로 볼 때 좌우측 비주얼존의 좌우측 가장자리에 제공된 카메라 시점(LC,RC)에 의해 투영되는 가상의 확장 시점(LE,RE)을 설정해 달성된다(도 2 참조). 도 2에 따르면, 확장 시점(LE,RE)은 좌우측 카메라 시점(LC,RC)의 스테레오 간격(3)의 연장선에 있다. 비주얼존 내부의 임의의 한점에서 좌우측 눈에 각각 투영되는 두 시점의 간격인 감지된 눈간격을 AB라 하면, 아래와 같다:

AB = AA * KA / SZ (1)

KA=65mm, SZ=300mm, AA=63mm인 경우, 감지된 눈 간격(AB)은 13.7mm이다.

그러나, 스테레오 간격이 후술하는 것처럼 예컨대 PE=200%로 확장되면, 좌측 확장 시점(LE)은 스테레오 간격(3) 상에서 100% 확장되어, 65mm 더 좌측으로 확장되며, 우측 확장 시점(RE)도 스테레오 간격(3) 상에서 100% 확장되어, 65mm 더 우측으로 확장된다. 이 경우 아래와 같다:

AB = 63 * (3 * 65) / 300 = 40.9 mm (2)

상기 예에서 감지된 깊이지각은 65 mm의 실제 깊이지각과 거의 동일하다.

측정된 스테레오 간격(KA)이 확장되는 확장율을 F라 하면, (1)은 아래와 같이 일반화될 수 있다:

AB = F* AA * KA / SZ. (3)

눈간격(AA)과 비주얼존 폭(SZ)이 주어지고 스테레오 간격 폭(KA)이 측정된 경우, 확장율(F)을 감지된 스테레오 간격 폭(AB)으로 결정하면 아래와 같다:

F = AB * SZ / (KA * AA). (4)

실제와 같은 깊이지각을 발생시키고 싶다면, 즉 AB = AA를 원할 경우 아래와 같다:

F = SZ / KA (5)

카메라 렌즈의 간격(KA)에는 아무런 영향도 미치지 않는다. 상기 카메라 렌즈의 간격은 약 65mm일 가능성이 크다. 따라서, 실제로는 아래와 같은 확장율(F)에서 출발한다:

F = 0.0154 * SZ (6)

비주얼존 폭 SZ=600mm이면, 확장율 F = 9.2이다.

F = 1 + PE /100 (7)

일 경우, 약 400%의 확장(PE)이 일어나, 좌우측으로 각각 260mm의 확장이 일어난다.

제1 실시예에서는, 제공된 시차지도를 기초로 스테레오 간격 확장이 어떻게 이루어지는지를 설명한다. 이와 관련해 도 3~4에는 세 개의 물체(O1,O2,O3)를 갖는 하나의 장면을 예로 든다. 각 도면의 하부 영역에는 뷰어의 우측 눈의 망막(도 3)과 좌측 눈의 망막(도 4)에 대한 투영이나 카메라 렌즈 내부에 대한 개별적인 투영이 도시되어 있다. 이 경우에는 하나의 우측 눈(도 3)과 하나의 좌측 눈(도 4)의 개별 행(i)이 도시되어 있다. 상부 영역에는 디지털 사진에 저장된 바와 같이, 그리고 본 출원서에 기재된 방법에 의한 확장 및 미러링(mirroring) 후의 투영이 각각 도시되어 있다.

도 5에는 해당 연결선들과 관련된 시차관계가 도시되어 있다. 도 5는 물체(O2,O3)의 우측 마스킹 영역(RV2,RV3)도 보여준다.

시점들 사이에서 LC에서 RC까지 가상의 카메라가 움직일 때, 같은 구간에서는 해당 화소에 대해 등거리로 시차들이 분할되도록 된다(도 6 참조). RC에서 LC로 움직일 때도 마찬가지다.

Where(어디로) 필드에는, 시차지도의 규정에 따라 좌측 카메라 시점(LC)의 각각의 화소(Jl1)이 우측 카메라 시점(RC)에서이 어느 화소(jl1)에 대응하는지 표시된다.

이때 스테레오 간격 확장을 실행코자 하면, 도 5에 도시된 대응 선들이 LC와 RC를 지나 확장하는 것을 상상할 수 있다. 이는 LC와 RC를 넘어 스테레오 간격(KA)의 선형 확장에 해당한다(도 7 참조). 이 방식은 LC와 RC 사이의 중간시점들이 LC와 RC 사이에서의 선형 카메라 이동과 동기적으로 생기기 때문에 바람직하다. 이런 카메라 이동은 어느 정도까지는 LC와 RC를 넘어 계속된다.

그러나, 이 경우 해결해야만 할 아래와 같은 문제점들이 생긴다:

1. 비주얼존에서의 LC와 RC에 대한 새로운 시점 위치의 계산,

2. LE와 RE의 화소의 계산,

3. 확장시 충돌이 있을 경우 어떤 시차를 계속해야할지 결정,

4. 스테레오 간격의 확장을 통해 보일 수 있는 영상 구역을 내삽하는 방법.

1. 비주얼존에서의 LC와 RC에 대한 새로운 시점 위치의 계산

NrP 시점을 디스플레이할 경우, 종래의 디스플레이 장치처럼 LC는 시점 0에 사용되고, RC는 시점 NrP-1에 사용된다.

이것은 스테레오 간격 확장에서는 일어나지 않고 아래와 같이 일반화된다:

leftCapture가 LC에 디스플레이할 시점의 번호라면, 아래와 같다:

leftCapture := (NrP - 1) * (1 - 1 / F)/2 (8)

rightCapture := leftCapture + (NrP - 1) / F (9)

확장율 PE=0%이면, F=1이고 leftCapture=0이며, rightCapture=NrP-1이다. 이때문에 이런 방식은 종래의 방식과 같이 사용할 수 있다.

한편, 예컨대 PE=200%이면, 스테레오 간격은 좌우측으로 각각 100% 확장되고, LC와 RC는 각각 1/3만큼 안쪽으로 이동할 것이다. 이 경우, 식 (8)과 (9)는 leftCapture = 1/3*(NrP - 1), rightCapture = 2/3*(NrP - 1)로 되며, 이는 기대한대로이다. .

2. LE와 RE 의 화소의 계산

위치 jl1에 좌측 시점이 디스플레이되었다면, 화소 LC(jl1)에 액세스할 것이다. 대응 화소가 우측 시점으로부터 디스플레이된다면, 화소 RC(Where(jl1))에 액세스할 것이다.

이는 LE(jl1)와 RE(Where(jl1))가 규정되지 않았기 때문에 스테레오 간격 확장에서는 불가능하다. 이때문에, 좌측 시점이 디스플레이될 때는, LE로부터 액세스되는 LC에 의해 화소의 위치가 저장되는 필드 pLC가 도입된다. 마찬가지로, 우측 시점이 디스플레이될 때는, 시차의 함수로 LE로부터 액세스 되는 RC에 의해 화소의 위치가 저장되는 필드 pRC가 도입된다.

이 방법은 아래와 같이 시작된다:

pLC(jl1) := jl1 (10)

pRC(jl1) := Where(jl1)

도 8에서 보듯이, jl1에서 LE나 RE로부터의 화소가 필요하면,

LE(jl1) := LC(pLC(jl1)) (11)

RE(Where(jl1)):= RC(pRC(jl1)) (12)

따라서, 이상 설명한 방법은 확장율 PE = 0%일 경우 종래의 방법과 양립할 수 있다.

3. 확장시 충돌이 있을 경우 어떤 시차를 계속해야할지 결정

좌우측 마스킹의 경우, 확장된 시차가 연장구역의 에지에서 교차하면서 마스킹 영역들의 에지에서 충돌이 발생할 수 있다. 그 일례가 좌측 마스킹에 대해서는 도 10에, 우측 마스킹에 대해서는 도 11에 도시되어 있다. 결국에는 "전방에 어떤 물체가 있는가"라는 질문에 대한 답변이 이루어져야만 한다. 이 물체의 시차가 계속되는 반면, 다른 물체의 시차는 새로운 마스킹이나 기존의 마스킹의 확장을 일으킨다.

이에 대한 답변은 '정상적인 입체 형상의 경우, 시차는 스테레오 카메라에서 물체까지의 거리에 반비례한다'이다. 시차가 더 큰 물체가 다른 물체의 전방에 있는데, 이는 시차가 더 큰 물체가 스테레오 카메라에 더 가까이 있으면서 다른 물체를 가리기 때문이다.

구체적으로, 충돌시 에지의 시차를 검사하면, 시차가 더 큰 화소들은 추적되지만, 다른 화소들은 가려진다(도 10 및 도 11 참조).

4. 스테레오 간격의 확장을 통해 볼 수 있는 영상구역을 내삽하는 방법

스테레오 간격을 좌우측으로 확장하면 영상정보가 존재하지 않는 구역 내부의 영역들을 볼 수 있는데, 이는 이 영역들이 지금까지는 가려져있었기 때문이다. 예컨대 도 4의 물체 O3와 같이 더 뒤에서 전방 물체를 볼 수 있다. 도 7에는 이런 영역이 ?로 표시되어 있다.

본 발명에서는 최종적으로 보이는 화소가 반복될 수 있어야 한다.

좌측 마스킹의 경우, 인접하는 좌측 마스킹의 최좌측 화소가 반복된다. 우측 마스킹의 경우, 인접하는 우측 마스킹의 최우측 화소가 반복된다. 이웃하는 화소들에 대한 일반적인 평활화는 이루어지지 않는데, 이는 이런 평활화가 물체 에지를 희미하게 할 수 있고, 이 경우 3D 효과가 저하되기 때문이다.

이 경우 관련 부정확도는 예상만큼 크지 않은데, 이는 실제 디스플레이될 화소들만 내삽해야 하기 때문이다. HD-해상도를 갖는 입체영상에서 실시된 조사에 의하면, 복잡한 장면에서는 물론 백분율로 표시된 스테레오 간격 확장(PE)이 500%인 경우에도 내삽된 화소의 백분율은 4% 미만임을 보여준다. 단순한 장면에서는 내삽된 화소의 백분율이 2% 미만이다. 한편, 감지된 깊이지각은 디스플레이된 입체영상에 비해 크게 개선된다.

도 15에는 0%부터 500%까지 백분율로 나타낸 스테레오 간격 확장에 대해 복잡도가 높은 장면(H)과 복잡도가 낮은 장면(H)에서 영상의 전체 화소의 내삽될 화소의 개수가 %로 도시되어 있다.

따라서, 문제의 해결책이 발견되었다.

도 12는 본 발명에 따른 방법의 순서도이다.

우선 필드 LE_Where이 -2로 설정되고, pLC와 pRC는 전술한대로 설정된다.

다음, 한 라인의 모든 화소에 적용되는 루우핑 변수(jl1)가 시작값으로 설정된다.

"Where(jl1)=-1 ?"라는 질문으로 jl1에 우측 마스킹이 있는지 검사한다. "Yes"이면 "우측 마스킹 처리"가 진행되고, "No"이면 "Where(jl1) - Where(jl1-1) = 0 ?"라는 질문으로 확장부에 새로운 우측 마스킹이 나타나는지 검사한다. "Yes"이면 "우측 마스킹 처리"가 진해되고, "No"이면 아래 유효여부를 검사한다:

│Where(jl1) - Where(jl1-1)│ > 1 (15)

위의 식을 만족하면 "좌측 마스킹 처리"가 진행되고, 아니면 "확장 직접 계산"이 진행된다. 다음, 모든 경우 "jl1=jl1+1"의 증분이 이루어지고, "jl1>끝"의 여부가 체크된다. 이제 좌우측 마스킹이 확인되고, "우측 마스킹 처리"와 "좌측 마스킹 처리"를 부분적으로 정확하게 유지보완하는 단계들이 실행될 수 있다.

그 경우에 해당한다면, LE_Where은 Where으로 넘어가게 된다. 그 다음에 영상합성의 선택된 방법이 새롭게 설정된 시차에 근거하여, 하지만 새로운 포인터 pLC 및 pRC를 사용해서 실시될 수 있다.

이하 "우측 마스킹 처리" 단계를 자세히 설명한다. 이 단계가 도 13의 순서도로 도시되어 있다. "Where(jl1)=-1"이나 "Where(jl1)-Where(jl1-1)=0"이 확인되면, 영역의 좌측 에지에서의 시차가 결정된다. "Where(jl1)=-1"인 경우, 좌측 에지는 "Where(leftBorder)>0"인 화소 인덱스 leftBorder이거나, Where(jl1) 및 Where(jl1-1)이 우측 카메라 시점(RC)에서 동일 화소 상에 나타날 때의 "leftBorder=jl1-1"이다.

"rightBorder=jl1"이거나 처음에 "Where(rightBorder)>0"일 때는 우측 에지에 동일한 내용이 적용된다.

다음, 좌측 에지(leftBorder)의 시차가 우측 에지(rightBorder)의 시차보다 큰지를 검사한다. 아래와 같이 크다면, 물체는 전방 좌측 에지에 있게 된다.

시차(leftBorder) > 시차(rightBorder) (16)

이를 위해 먼저 leftBorder에서의 시차가 최대 우측 스테레오 간격 확장(RE)까지 진행된다. 값 LE_Where_leftBorder가 나타난다. 마찬가지로 LE_Where_rightBorder가 결정된다. 이때 rightBorder는 "LE_Where_leftBorder≤LE_Where_rightBorde"r가 유효할 때까지 증분된다. 이 장소에서 우측 마스킹의 확장도 종료된다.

한편, 식 (16)이 만족되지 않으면, 물체는 전방 우측 에지에 있게 된다. 이 경우, 전술된 바와 같이 우선 rightBorder에서의 시차가 최대 우측 스테레오 간격 확장(RE)까지 진행된다. 이 경우에도 LE_Where_rightBorder가 나타난다.

이때 LE_Where_leftBorder가 새로 결정된다. 이를 위해, leftBorder는 마찬가지로 아래 값을 이룰 때까지 증분된다:

LE_Where_leftBorder ≤ LE_Where_rightBorder (17)

이 장소에서도 마찬가지로 우측 마스킹의 확장이 종료된다.

leftBorder 및 rightBorder가 결정된 후, LE 좌측으로 leftBorder 및 rightBorder의 속행이 결정된다. 이를 위해, 먼저 아래가 계산된다:

LeftStep := (Where(leftBorder) - leftBorder)/NrSegments (18)

다음, 아래가 계산된다:

LeftExtension = leftBorder - leftCapture * leftStep (19)

이때,

pLC(leftExtension) = leftBorder,

pRC(leftExtension) = Where(leftBorder)

LE_Where(leftExtension) =

Where(leftBorder) + (NrP - rightCapture -1)/leftStep (20)

이 설정될 수 있다.

마찬가지로, rightBorder로부터 rightStep, rightExtension 그리고 pLC(rightExtension), pRC(rightExtension) 및 LE_Where(rightExtension)이 나타난다. 이런 단계들은 당업자들에게는 익숙하다.

마지막으로, LE_Where에서 우측 마스킹을 일정하게 마킹(marking)하기 위하여, LE_Where은 leftExtension부터 rightExtension까지 -1로 설정된다. 이때 LE_Where에서 -1의 값은 기존 우측 마스킹의 화소를 표시하고, -2의 값은 내삽되어야할 새로 공개된 화소를 표시한다. 도 11은 다양한 시나리오 및 전술한 조치 방식에 상응하는 상기 시나리오의 처리를 보여주고 있다.

새 우측 마스킹에도 전술한 것과 다른 방식을 요구하지는 않는다.

"좌측 마스킹 처리"의 경우에는 아래와 같이 조치가 필요하다:

이 경우, 식 (15)가 적용된다. 다양한 상황과 이에 대한 처리방식에 대해서는 도 10의 실시예를 참조할 수 있다.

이 경우 좌측 경계(leftBorder)가 자동으로 정확하게 설정되었다. 따라서, 우측경계(rightBorder)만 우측으로 아래와 같이 증분한다:

LeftExtension ≤ rightExtension (21)

leftExtension과 rightExtension은 전술한 바와 같고, 시작값 leftBorder:=jl1-1과 rightBorder:=jl1이 계산된다. 이제 pLC(rightExtension), pRC(rightExtension) 및 LE_Where(rightExtension)은 아래와 같이 계산된다:

pLC(rightExtension) = rightBorder,

pRC(rightExtension) = Where(rightBorder)

LE_Where(rightExtension) =

Where(rightBorder) + (NrP - rightCapture -1)/leftStep (22).

Claims

시점이 N≥2이 입체영상에서 M≥2의 합성시점을 생성하는 방법에 있어서:
카메라에서 본 하나의 시점(LE)은 가장 좌측의 카메라 앵글의 좌측에서 발생 되고, 카메라에서 본 하나의 시점(RE)은 가장 우측의 카메라 앵글의 우측에서 발생 되며;
- 1단계로, 가장 좌측의 카메라 시점(LC)에서부터 가장 우측의 카메라 시점(RC)까지의 시차지도(Where)를 계산하며;
- 2단계로, 상기 카메라 시점(LC,RC) 각각의 행들에 대해 필드(pLC)와 필드(pRC)가 생성되는데, 이때 필드 내용은 가장 좌측에 제공된 카메라 시점(LC)과 가장 우측에 제공된 카메라 시점(RC) 내에 있는 화소에 대한 포인터이며;
- 3단계로, 새로운 시차지도(LE_Where)가 계산되는데, 이때 각각의 행의 각각의 화소(jl1)에 대해 인덱스 jl1Extension이 계산되고, pLC(jl1Extension)=jl1, pRC(jl1Extension)=Where(jl1)이 설정되며;
- 4단계로, 상기 시차지도(LE_Where)를 이용해, 상기 카메라 시점(LC,RC)의 화소에 대한 필드(pLC,pRC)의 포인터가 합성 시점(LE,RE)을 생성하는데, 이때 두 개의 합성 시점이 좌우측에서 가장 좌측과 가장 우측의 카메라 시점(LC,RC) 사이의 연결선의 연장부에 있는 것을 특징으로 하는 합성시점 생성방법.
제1항에 있어서, 상기 합성시점에서 디스플레이 장치에 디스플레이될 필요가 없는 적어도 하나의 화소가 생성되지 않는 것을 특징으로 하는 합성시점 생성방법.
제1항에 있어서, 한계(ε)가 있을 경우, 좌측 카메라 시점(LC)와 우측 카메라 시점(RC)의 간격에 대하여 이웃 두 시점의 간격이 상기 한계(ε)보다 작도록 상기 합성시점의 개수를 계산하는 것을 특징으로 하는 합성시점 생성방법.
제1항에 있어서, 가장 좌측 합성시점의 화소와 가장 우측 합성시점의 화소 사이에서 나타나는 최대 시차가 소정의 하한(DU)과 상한(DO) 사이에 있도록 확장율(F)을 계산하며, 이 때
- 1단계로, 상기 시차지도(Where)로부터 최대 시차(Dmax)가 계산되ㄱ고;
- 2단계로, 확장율 F:= ((DO + DU)/2)/Dmax
가 정해지는 것을 특징으로 하는 합성시점 생성방법.
제1항에 있어서, 1단계에서 상기 카메라 시점과 제공된 깊이지도(depth map)로부터 시차지도를 계산하는 것을 특징으로 하는 합성시점 생성방법.
시점이 N≥2이 입체영상에서 M≥2의 합성시점을 생성하고, 합성시점을 계산하기 위한 프로세서와, 제공된 카메라 시점과 합성시점들을 저장하는 메모리를 포함하는 합성시점 생성장치에 있어서:
카메라에서 본 하나의 시점(LE)은 가장 좌측의 카메라 앵글의 좌측에서 발생 되고, 카메라에서 본 하나의 시점(RE)은 가장 우측의 카메라 앵글의 우측에서 발생 되며;
- 1단계로, 가장 좌측의 카메라 시점(LC)에서부터 가장 우측의 카메라 시점(RC)까지의 시차지도(Where)를 계산하며;
- 2단계로, 상기 카메라 시점(LC,RC) 각각의 행들에 대해 필드(pLC)와 필드(pRC)가 생성되는데, 이때 필드 내용은 가장 좌측에 제공된 카메라 시점(LC)과 가장 우측에 제공된 카메라 시점(RC) 내에 있는 화소에 대한 포인터이며;
- 3단계로, 새로운 시차지도(LE_Where)가 계산되는데, 이때 각각의 행의 각각의 화소(jl1)에 대해 인덱스 jl1Extension이 계산되고, pLC(jl1Extension)=jl1, pRC(jl1Extension)=Where(jl1)이 설정되며;
- 4단계로, 상기 시차지도(LE_Where)를 이용해, 상기 카메라 시점(LC,RC)의 화소에 대한 필드(pLC,pRC)의 포인터가 합성 시점(LE,RE)을 생성하는데, 이때 두 개의 합성 시점이 좌우측에서 가장 좌측과 가장 우측의 카메라 시점(LC,RC) 사이의 연결선의 연장부에 있는 것을 특징으로 하는 합성시점 생성장치.
제6항에 있어서, 상기 합성시점에서 디스플레이 장치에 디스플레이될 필요가 없는 적어도 하나의 화소가 생성되지 않는 것을 특징으로 하는 합성시점 생성장치.
제6항에 있어서, 한계(ε)가 있을 경우, 좌측 카메라 시점(LC)와 우측 카메라 시점(RC)의 간격에 대하여 이웃 두 시점의 간격이 상기 한계(ε)보다 작도록 상기 합성시점의 개수를 계산하는 것을 특징으로 하는 합성시점 생성장치.
제6항에 있어서, 가장 좌측 합성시점의 화소와 가장 우측 합성시점의 화소 사이에서 나타나는 최대 시차가 소정의 하한(DU)과 상한(DO) 사이에 있도록 확장율(F)을 계산하며, 이 때
- 1단계로, 상기 시차지도(Where)로부터 최대 시차(Dmax)가 계산되ㄱ고;
- 2단계로, 확장율 F:= ((DO + DU)/2)/Dmax
가 정해지는 것을 특징으로 하는 합성시점 생성장치.
제6항에 있어서, 1단계에서 상기 카메라 시점과 제공된 깊이지도(depth map)로부터 시차지도를 계산하는 것을 특징으로 하는 합성시점 생성장치.