KR20000001039A - 가상 세계 모델링 언어에 의해 표현된 영상의 입체화방법 및그 장치 - Google Patents

가상 세계 모델링 언어에 의해 표현된 영상의 입체화방법 및그 장치 Download PDF

Info

Publication number
KR20000001039A
KR20000001039A KR1019980021064A KR19980021064A KR20000001039A KR 20000001039 A KR20000001039 A KR 20000001039A KR 1019980021064 A KR1019980021064 A KR 1019980021064A KR 19980021064 A KR19980021064 A KR 19980021064A KR 20000001039 A KR20000001039 A KR 20000001039A
Authority
KR
South Korea
Prior art keywords
image
virtual
camera
stereo
block
Prior art date
Application number
KR1019980021064A
Other languages
English (en)
Other versions
KR100272132B1 (ko
Inventor
송문섭
김도균
Original Assignee
윤종용
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윤종용, 삼성전자 주식회사 filed Critical 윤종용
Priority to KR1019980021064A priority Critical patent/KR100272132B1/ko
Publication of KR20000001039A publication Critical patent/KR20000001039A/ko
Application granted granted Critical
Publication of KR100272132B1 publication Critical patent/KR100272132B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 가상 세계 모델링 언어에 의해 표현된 영상에 입체감을 부여하는 방법 및 그 장치에 관한 것으로서, 본 발명에 의한 가상세계 모델링 언어에 의해 표현된 영상의 입체화 장치는 가상카메라설정정보 및 VRML 파일에 포함된 가상세계 정보에 의해 가상 스테레오 카메라를 설정하는 가상스테레오카메라설정부; VRML 가상세계에 포함되는 각각의 동영상을 블록 단위로 나누고, 블록 단위로 운동벡터를 계산하여 블록의 시차를 결정하고, 영상의 각 블록을 블록의 시차만큼 수평이동한 제2 영상을 생성하여 가상 스테레오 영상을 합성하는 가상스테레오영상합성부; 및 가상 스테레오 영상을 텍스쳐로 하여 가상 스테레오 카메라에 사영된 그래픽 모델을 매핑하여 그래픽 모델과 동영상이 합성된 스테레오 영상을 합성하는 스테레오그래픽/동영상합성부를 포함함을 특징한다.
본 발명에 의하면, 사용자는 스테레오 효과에 의한 보다 자연스러운 입체감을 느낄 수 있다.

Description

가상 세계 모델링 언어에 의해 표현된 영상의 입체화방법 및 그 장치
본 발명은 영상처리에 관한 것으로서, 특히 가상 세계 모델링 언어에 의해 표현된 영상에 입체감을 부여하는 방법 및 그 장치에 관한 것이다.
기존의 가상 세계 모델링 언어(Virtual Reality Modeling Language : 이하에서 VRML이라 한다)을 이용하여 그래픽을 디스플레이하는 기술은 표면에 색을 입히고 텍스쳐 매핑을 한 후에 투영(projection)하여 하나의 영상을 생성한다. VRML 파일이 포함하고 있는 3차원 데이터를 이용하여 렌더링(rendering)하는 기존의 방식에 의하면, 모든 각도에서의 장면을 만들어 낼 수는 있으나 사람이 하나의 눈만을 사용하는 것과 같은 깊이감을 느끼게 한다.
일반적인 사람은 두 눈을 가지고 있으므로, 서로 다른 시차의 두영상을 눈에 뿌려 주면 단안 깊이 요소와 양안 깊이 요소의 융합 효과에 의해 더 좋은 깊이감 효과를 줄 수 있다. 그런데, 기존의 방식에서는 이러한 점을 이용하지 못한다.
또한, 새로운 버전의 VRML이 지원하는 이동 텍스쳐(moving texture)의 경우, 기존의 기술로는 텍스쳐 내에서 시차를 생성할 수 없으므로 스테레오 효과에 의한 깊이감을 만들어 줄 수 없다.
뿐만 아니라, 새로운 버전의 VRML은 동영상을 지원하고 있다. 그러나, 현재까지의 기술로는 하나의 카메라로 촬영한 동영상을 그래픽과 합성할 경우에 동영상을 스테레오로 처리한 적절한 시차를 생성하지 못한다.
본 발명은 상기의 문제점을 해결하기 위하여 창작된 것으로서, 새로운 버전의 VRML을 이용한 그래픽 모델을 스테레오로 렌더링하여 시차가 있는 스테레오 영상을 생성하고, 기존의 동영상 비디오를 스테레오 영상으로 바꾸어 주는 기술과 통합함으로써 VRML에서 지원하는 동영상을 스테레오 영상으로 변환하여 VRML을 이용한 그래픽 모델과 VRML에서 지원하는 동영상이 합성되었을 경우의 자연스런 스테레오 영상을 생성하는 VRML에 의해 표현된 영상의 입체화 장치 및 입체화 방법을 제공함을 그 목적으로 한다.
도 1은 본 발명에 의한 VRML에 의해 표현된 영상의 입체화 장치의 구성도이다.
도 2는 본 발명에 의한 VRML에 의해 표현된 영상의 입체화 과정을 도시한 흐름도이다.
도 3은 VRML 파일의 일예이다.
도 4는 도 3에 의한 VRML 파일이 실행된 화면이다.
도 5는 도 2의 가상 스테레오 카메라 설정 과정에 대한 상세흐름도이다.
도 6은 도 2의 블록 단위 시차 생성 과정 및 가상 스테레오 동적 영상 생성과정에 대한 상세흐름도이다.
도 7은 블록의 위치가 (a,b)인 블록에 있어서, 추정된 블록 운동시차 d를 이용하여 두 번째 영상을 매핑하는 것을 설명하기 위한 도면이다.
도 8은 도 2의 가상 스테레오 영상 합성 과정 및 화면 디스플레이 과정에 대한 상세흐름도이다.
상기의 목적을 달성하기 위하여, 본 발명에 의한 가상세계 모델링 언어에 의해 표현된 영상의 입체화 장치는 가상카메라설정정보 및 VRML 파일에 포함된 가상세계 정보에 의해 가상 스테레오 카메라를 설정하는 가상스테레오카메라설정부; VRML 가상세계에 포함되는 각각의 동영상을 블록 단위로 나누고, 블록 단위로 운동벡터를 계산하여 블록의 시차를 결정하고, 상기 영상의 각 블록을 상기 블록의 시차만큼 수평이동한 제2 영상을 생성하여 가상 스테레오 영상을 합성하는 가상스테레오영상합성부; 및 상기 가상 스테레오 영상을 텍스쳐로 하여 가상 스테레오 카메라에 사영된 그래픽 모델을 매핑하여 그래픽 모델과 동영상이 합성된 스테레오 영상을 합성하는 스테레오그래픽/동영상합성부를 포함함을 특징한다.
상기의 다른 목적을 달성하기 위하여, 본 발명에 의한 가상세계 모델링 언어에 의해 표현된 영상의 입체화 방법은 네트워크를 통하여 VRML 파일을 입력받고, 사용자로부터 가상 스테레오 카메라의 시차 및 네비게이션 정보를 포함하는 가상 카메라 결정정보를 입력받는 제1단계; 입력받은 VRML 파일을 소프트웨어가 처리할 수 있도록 파싱하는 제2단계; 파싱된 VRML 파일에 포함된 그래픽 모델의 가상세계의 크기를 추정하고, 사용자로부터 입력받은 가상 카메라 결정정보를 이용하여 가상 스테레오 카메라의 가상세계 좌표상의 위치, 가상 카메라가 바라보는 방향 및 두 스테레오 카메라 간의 간격을 결정하는 제3단계; 가상 세계 모델에 포함된 동영상을 블록별로 운동을 추정하고, 추정한 운동을 기반으로 하여 각 블록의 시차를 결정하는 제4단계; 각 영상의 블록을 수평방향으로 그 블록의 시차만큼 이동함으로써 대응하는 제2 영상을 생성하여 동영상의 가상 스테레오 영상을 생성하는 제5단계; 파싱된 VRML 파일에 포함된 그래픽 모델의 표면에 색상을 입히고, 왼쪽 가상 카메라를 고려하여 사영한 후 상기 가상 스테레오 영상 중 왼쪽 영상을 텍스쳐로 하여 매핑하고, 오른쪽 가상 카메라를 고려하여 사영한 후 상기 가상 스테레오 영상 중 오른쪽 영상을 텍스쳐로 하여 매핑하여 그래픽과 동영상이 합성된 가상 스테레오 영상을 생성하는 제6단계; 생성된 가상 스테레오 영상에 포함된 왼쪽 영상 및 오른쪽 영상을 화면상에 번갈아 디스플레이하는 제7단계를 포함함을 특징으로 한다.
이하에서 본 발명의 구성을 첨부된 도면을 참조하여 설명한다.
도 1에 의하면, 본 발명에 의한 VRML에 의해 표현된 영상데이터의 입체화 장치는 네트워크접속부(10), 파싱부(12), 가상세계크기결정부(14), 가상스테리오카메라설정부(16), 사용자인터페이스부(18), 운동벡터추정부(20), 운동벡터시차결정부(22), 가상스테레오영상합성부(24), 왼쪽영상합성부(26), 오른쪽영상합성부(28), 합성영상저장부(30), 동기신호발생부(32) 및 디스플레이부(34)를 포함하여 구성된다.
네트워크접속부(10)는 네트워크를 통하여 서버측에 있는 VRML 파일 및 동영상을 받아들인다.
파싱부(12)는 네트워크접속부(10)에 의해 입력받은 VRML 파일을 소프트웨어가 처리할 수 있도록 파싱(parsing)하여 준다.
가상세계크기결정부(14)는 파싱부(12)에 의해 파싱된 VRML 파일에 포함된 그래픽 모델의 가상세계의 최대넓이, 최대 높이, 최대 깊이 등을 결정하여 가상세계를 에워싸는 3차원 가상세계크기를 결정한다.
사용자인터페이스부(18)는 사용자로부터 가상 스테레오 카메라의 시차 및 네비게이션 정보 등을 포함한 가상 카메라 결정정보를 입력받는다.
가상스테레오카메라설정부(16)는 가상세계크기결정부(14)에 의해 결정된 3차원 가상세계크기 및 상기 사용자인터페이스부(18)에 의해 입력받은 가상 카메라 결정정보에 의해 가상 스테레오 카메라의 카메라 간격, 위치 및 방향벡터를 설정한다.
운동벡터추정부(20)는 네트워크접속부(10)에 의해 입력받은 동영상의 시간에 따른 운동벡터를 블록 단위로 추정한다.
운동벡터시차결정부(22)는 운동벡터추정부(20)에 의해 추정된 동영상의 운동벡터의 크기를 블록단위로 결정하여 그 블록의 시차로 결정한다.
가상스테레오영상합성부(24)는 운동벡터시차결정부(22)에 의해 결정된 블록단위의 시차를 이용하여 주어진 영상의 블록을 주어진 크기만큼 수평이동하여 제2 영상을 생성하여 가상스테리오영상을 합성한다.
왼쪽영상합성부(26)는 가상 스테레오 영상 중 왼쪽 영상을 텍스쳐로 하여 가상 스테레오 카메라 중 왼쪽 카메라에 사영된 그래픽 모델을 매핑하여 그래픽 모델과 동영상이 합성한다.
오른쪽영상합성부(28)는 가상 스테레오 영상 중 오른쪽 영상을 텍스쳐로 하여 가상 스테레오 카메라 중 오른쪽 카메라에 사영된 그래픽 모델을 매핑하여 그래픽 모델과 동영상이 합성한다.
합성영상저장부(30)는 왼쪽영상합성부(26) 및 오른쪽영상합성부(28)에 의해 합성된 왼쪽 영상과 오른쪽 영상을 임시로 저장한다.
디스플레이부(34)는 상기 합성영상저장부(30)에 저장된 왼쪽 영상과 오른쪽 영상을 번갈아 디스플레이한다.
그리고, 동기신호발생부(32)는 디스플레이부(34)에서 번갈아 디스플레이되는 왼쪽 영상 및 오른쪽 영상에 맞추어 동기신호를 발생한다.
이하에서 본 발명의 동작 내용을 첨부된 도면을 참조하여 설명한다.
도 2에 의하면, 본 발명에 의한 가상세계 모델링 언어에 의해 표현된 영상데이터의 입체화 과정은 다음과 같다.
먼저, 네트워크를 통하여 VRML 파일을 입력받고, 사용자로부터 가상 스테레오 카메라의 시차 및 네비게이션 정보를 포함하는 가상 카메라 결정정보를 입력받고(200 단계), 입력받은 VRML 파일을 소프트웨어에 의해 처리할 수 있도록 파싱한다(210 단계).
파싱된 VRML 파일에 포함된 그래픽 모델의 가상세계의 크기를 추정하고, 가장 적절한 장면을 생성하기 위하여 사용자로부터 입력받은 가상 카메라 결정정보를 이용하여 가상 스테레오 카메라의 가상세계 좌표상의 위치, 가상 카메라가 바라보는 방향 및 두 스테레오 카메라 간의 간격을 결정한다(220 단계).
가상 세계 모델에 포함된 동영상을 블록별로 운동을 추정하고, 추정한 운동을 기반으로 하여 각 블록의 시차를 결정한다(230 단계). 그리고, 각 영상의 블록을 수평방향으로 그 블록의 시차만큼 이동함으로써 대응하는 제2 영상을 생성하여 동영상의 가상 스테레오 영상을 생성한다(240 단계).
파싱된 VRML 파일에 포함된 그래픽 모델의 표면에 색상을 입힌 다음(셰이딩이라 한다), 왼쪽 가상 카메라를 고려하여 사영(perspective projection)한 후 상기 가상 스테레오 영상 중 왼쪽 영상을 텍스쳐로 하여 매핑하고, 오른쪽 가상 카메라를 고려하여 사영한 후 상기 가상 스테레오 영상 중 오른쪽 영상을 텍스쳐로 하여 매핑하여 그래픽과 동영상이 합성된 가상 스테레오 영상을 생성한다(250 단계).
마지막으로, 생성된 가상 스테레오 영상에 포함된 왼쪽 영상 및 오른쪽 영상을 화면상에 번갈아 디스플레이한다(260 단계).
도 3의 (a), (b), (c) 및 (d)는 간단한 VRML파일의 예를 도시한 것이고, 도 4는 그것을 이용하여 생성한 영상의 예를 보여준 것이다.
도 5는 VRML 파일에서 묘사된 가상세계 데이터를 분석하여 영상을 생성하기 위해 필요한 과정을 보여준다.
VRML 파일에서 각각의 물체는 3차원 유클리디언 좌표로 표현되므로 3차원 크기를 가진다. 따라서 이를 화면에 디스플레이하기 위해서는 먼저 가상 세계의 크기를 파악하여야 한다.
물체 데이터의 3차원 좌표값 중에서 x축 방향(수평방향)으로 최대값(Xmax)과 최소(Xmin)값, y축 방향(수직방향)으로 최대값(Ymax)과 최소값(Ymin) 및 z축 방향(화면을 수직으로 들어가는 방향)으로의 최대값(Zmax)과 최소값(Zmin)을 구한다(500 단계 내지 520 단계).
다음, 위에서 구한 각 좌표의 최대/최소값을 이용하여 가상세계를 에워싸는 3차원 입방체를 계산한다. 즉, (Xmax - Xmin)을 가로, (Ymax - Ymin)을 세로, (Zmax - Zmin)을 길이로 하는 3차원 입방체를 계산하고, 카메라의 위치에 있어서 x축 좌표의 값은 (Xmax-Xmin)/2, y축 좌표의 값은 (Ymax-Ymin)/2로 한다. 카메라의 z축 좌표의 값은 다음과 같이 계산한다(530 단계).
z = -(Ymax - Ymin)/tan(θ/2) - (Zmax-Zmin)
(여기에서 θ는 카메라의 위치에서 Ymax로의 선분과 Ymin으로 선분이 이루는 각이다.)
가상 카메라는 초기에 가상 세계의 중심을 바라보도록 한다. 즉, 방향 벡터는 (0,0,1)이 된다. 그리고, 초기 이후에는 사용자로부터 입력받은 네비게이션 정보를 이용하여 방향 벡터를 결정한다(540 단계).
가상 스테레오 카메라의 두 카메라 간의 간격을 결정한다. 카메라의 간격 b는 시청자로부터 화면까지의 거리에 비례하여 결정한다(550 단계).
b = D tan(δ)
(여기에서 D는 화면까지의 거리이고, δ는 사용자가 원하는 시차에 의해 결정한다. 본 발명에서는 1m의 거리에서 시청하는 것으로 가정하고, 6°~ 15°사이에서 택하였다.)
그리하여 상기 530 단계 및 상기 550 단계의 가상 카메라 위치 및 두 카메라 간의 간격을 이용하여 두 카메라의 위치를 결정한다. 즉, 530 단계에서 구한 가상 카메라의 위치를 중심에 두고 540 단계에서 구한 간격의 절반씩 수평방향으로 좌, 우에 위치한 좌/우 카메라의 위치를 정할 수 있다.
도 6에 의하면, 동영상의 운동 시차 결정과 스테레오 영상 생성은 다음과 같은 과정을 거치게 된다.
t번째의 동영상 프레임을 n×n 크기의 블록으로 나눈다(600 단계). 본 발명에서는 8×8 내지 16×16을 사용한다.
t번째 프레임의 각 블록에 대해 MSE(Minimum Square Error) 또는 MAD(Minimum Absolute Difference)를 이용하여 가장 유사한 블록을 t-1번째 동영상에서 찾는다.
예를들어, MAD는 다음과 같이 주어진다.
(여기에서 A는 t번째 영상의 블록을, B는 t-1번째 영상의 블록을 나타낸다.)
매칭된 블록을 찾으면, 두 블록간의 화소의 차를 그 블록의 2차원 운동벡터 로 한다(610 단계).
추정한 운동벡터의 크기를 구하고 이를 그 블록의 시차 d로 한다. 이 과정을 모든 블록에 대해 수행한다(620 단계).
추정한 블록의 시차 d를 이용하여 해당 블록을 수평방향으로 d만큼 이동하여 다른 한 영상을 생성한다(630 단계). 즉, 현재 블록의 위치가 (a,b)이면 새로 생성하는 영상에서의 블록의 위치는 (a,b-d)가 될 것이다. 영상 좌표에서는 좌표의 두번째 성분이 수평성분이다.
도 7은 블록의 위치가 (a,b)인 블록에 대하여, 추정한 블록의 운동시차 d를 이용하여 두 번째 영상으로 매핑하는 것을 도시한 것이다.
도 8에 의하면, 그래픽 모델과 가상 스테레오 동영상을 합성하는 과정은 다음과 같다.
그래픽 모델을 주어진 색상을 이용하여 표면에 색상을 입힌다. 이 과정을 셰이딩(Shading) 과정이라 한다(800 단계).
색상이 입혀진 그래픽 모델을 스테레오 카메라의 왼쪽 카메라를 고려하여 2차원 평면상에 사영한다(810 단계).
생성한 동영상의 스테레오 영상 중에서 왼쪽 영상을 텍스쳐로 하여 사영된 영상에 매핑한다(820 단계). 이를 텍스쳐 매핑(texture mapping) 과정이라 한다. 텍스쳐 매핑된 왼쪽 영상를 임시 메모리에 저장한다(830 단계).
또한, 색상이 입혀진 그래픽 모델을 스테레오 카메라의 오른쪽 카메라를 고려하여 2차원 평면상에 사영한다(840 단계).
생성한 스테레오 동영상 중에서 오른쪽 영상을 텍스쳐로 하여 사영된 영상에 매핑한다(850 단계). 이를 임시 메모리에 저장한다(860 단계).
합성한 스테레오 영상을 왼쪽과 오른쪽을 번갈아 가며 디스플레이한다(880 단계).
디스플레이되는 왼쪽/오른쪽 영상에 맞춰서 동기신호를 발생시킨다(870 단계).
시차가 나는 두 영상을 동시에 보게 되면, 깊이감 있는 영상을 보지 못하고 겹쳐진 영상을 보게 된다. 따라서, 왼쪽 눈은 왼쪽 영상만 보고 오른쪽 눈은 오른쪽 영상만을 보아야 한다. 이를 위해 본 발명에서는 LCD 셔터 안경을 사용한다. 이 안경은 동기신호에 맞춰서 한쪽 눈 부분을 열고 다른 한쪽 눈 부분을 닫을 수 있으므로 각각의 눈은 해당되는 영상만을 볼 수 있게 되고 깊이감 있는 영상을 보게 된다.
본 발명에 의하면, 새로운 버전의 VRML을 이용한 그래픽 모델을 스테레오로 렌더링하여 시차가 있는 스테레오 영상을 생성하고, 기존의 동영상 비디오를 스테레오 영상으로 바꾸어 주는 기술과 통합함으로써 VRML에서 지원하는 동영상을 스테레오 영상으로 변환하여 VRML을 이용한 그래픽 모델과 VRML에서 지원하는 동영상이 합성되었을 경우의 자연스런 스테레오 영상을 생성한다.
따라서, 사용자는 스테레오 효과에 의한 보다 자연스러운 입체감을 느낄 수 있다.

Claims (10)

  1. 가상카메라설정정보 및 VRML 파일에 포함된 가상세계 정보에 의해 가상 스테레오 카메라를 설정하는 가상스테레오카메라설정부;
    VRML 가상세계에 포함되는 각각의 동영상을 블록 단위로 나누고, 블록 단위로 운동벡터를 계산하여 블록의 시차를 결정하고, 상기 영상의 각 블록을 상기 블록의 시차만큼 수평이동한 제2 영상을 생성하여 가상 스테레오 영상을 합성하는 가상스테레오영상합성부; 및
    상기 가상 스테레오 영상을 텍스쳐로 하여 가상 스테레오 카메라에 사영된 그래픽 모델을 매핑하여 그래픽 모델과 동영상이 합성된 스테레오 영상을 합성하는 스테레오그래픽/동영상합성부를 포함함을 특징으로 가상세계 모델링 언어에 의해 표현된 영상의 입체화 장치.
  2. 네트워크를 통하여 VRML 파일 및 동영상을 입력하는 네트워크접속부;
    사용자로부터 가상 스테레오 카메라의 시차 및 네비게이션 정보를 포함한 가상 카메라 결정정보를 입력받는 사용자인터페이스부;
    상기 네트워크접속부에 의해 입력받은 VRML 파일을 소프트웨어가 처리할 수 있도록 파싱하는 파싱부;
    상기 파싱부에 의해 파싱된 VRML 파일에 포함된 그래픽 모델의 가상세계의 최대넓이, 최대 높이, 최대 깊이를 결정하여 가상세계를 에워싸는 3차원 가상세계크기를 결정하는 가상세계크기결정부;
    상기 가상세계크기결정부에 의해 결정된 3차원 가상세계크기 및 상기 사용자인터페이스부에 의해 입력받은 가상 카메라 결정정보에 의해 가상 스테레오 카메라의 카메라 간격, 위치 및 방향벡터를 설정하는 가상스테레오카메라설정부;
    상기 네트워크접속부에 의해 입력받은 동영상의 시간에 따른 운동벡터를 블록 단위로 추정하는 동영상의 운동벡터추정부;
    상기 운동벡터추정부에 의해 추정된 동영상의 운동벡터의 크기를 블록단위로 결정하여 그 블록의 시차로 두는 운동벡터시차결정부;
    상기 운동벡터시차결정부에 의해 결정된 블록단위의 시차를 이용하여 주어진 영상의 블록을 주어진 크기만큼 수평이동하여 제2 영상을 생성하여 가상스테리오영상을 합성하는 가상스테레오영상합성부;
    상기 가상 스테레오 영상 중 왼쪽 영상을 텍스쳐로 하여 가상 스테레오 카메라 중 왼쪽 카메라에 사영된 그래픽 모델을 매핑하여 그래픽 모델과 동영상이 합성하는 왼쪽영상합성부;
    상기 가상 스테레오 영상 중 오른쪽 영상을 텍스쳐로 하여 가상 스테레오 카메라 중 오른쪽 카메라에 사영된 그래픽 모델을 매핑하여 그래픽 모델과 동영상이 합성하는 오른쪽영상합성부;
    상기 왼쪽영상합성부 및 상기 오른쪽영상합성부에 의해 합성된 왼쪽 영상과 오른쪽 영상을 임시로 저장하는 합성영상저장부;
    상기 합성영상저장부에 저장된 왼쪽 영상과 오른쪽 영상을 번갈아 디스플레이하는 디스플레이부; 및
    상기 디스플레이부에서 디스플레이되는 왼쪽 영상 및 오른쪽 영상에 맞추어 동기신호를 발생하는 동기신호발생부를 포함함을 특징으로 하는 가상세계 모델링 언어에 의해 표현된 영상의 입체화 장치.
  3. 네트워크를 통하여 VRML 파일을 입력받고, 사용자로부터 가상 스테레오 카메라의 시차 및 네비게이션 정보를 포함하는 가상 카메라 결정정보를 입력받는 제1단계;
    입력받은 VRML 파일을 소프트웨어가 처리할 수 있도록 파싱하는 제2단계;
    파싱된 VRML 파일에 포함된 그래픽 모델의 가상세계의 크기를 추정하고, 사용자로부터 입력받은 가상 카메라 결정정보를 이용하여 가상 스테레오 카메라의 가상세계 좌표상의 위치, 가상 카메라가 바라보는 방향 및 두 스테레오 카메라 간의 간격을 결정하는 제3단계;
    가상 세계 모델에 포함된 동영상을 블록별로 운동을 추정하고, 추정한 운동을 기반으로 하여 각 블록의 시차를 결정하는 제4단계;
    각 영상의 블록을 수평방향으로 그 블록의 시차만큼 이동함으로써 대응하는 제2 영상을 생성하여 동영상의 가상 스테레오 영상을 생성하는 제5단계;
    파싱된 VRML 파일에 포함된 그래픽 모델의 표면에 색상을 입히고, 왼쪽 가상 카메라를 고려하여 사영한 후 상기 가상 스테레오 영상 중 왼쪽 영상을 텍스쳐로 하여 매핑하고, 오른쪽 가상 카메라를 고려하여 사영한 후 상기 가상 스테레오 영상 중 오른쪽 영상을 텍스쳐로 하여 매핑하여 그래픽과 동영상이 합성된 가상 스테레오 영상을 생성하는 제6단계;
    생성된 가상 스테레오 영상에 포함된 왼쪽 영상 및 오른쪽 영상을 화면상에 번갈아 디스플레이하는 제7단계를 포함함을 특징으로 하는 가상세계 모델링 언어에 의해 표현된 영상의 입체화방법.
  4. 제3항에 있어서, 상기 제3단계는
    (a) 상기 그래픽 모델의 3차원 좌표값 중에서 x축 방향으로 최대값(Xmax)과 최소(Xmin)값, y축 방향으로 최대값(Ymax)과 최소값(Ymin) 및 z축 방향으로 최대값(Zmax)과 최소값(Zmin)을 결정하는 단계;
    (b) (Xmax - Xmin)을 가로, (Ymax - Ymin)을 세로, (Zmax - Zmin)을 길이로 하는 가상세계를 에워싸는 3차원 입방체를 결정하는 단계;
    (c) 카메라의 위치의 x축 좌표는 (Xmax-Xmin)/2, y축 좌표는 (Ymax-Ymin)/2, z축 좌표는 -(Ymax - Ymin)/tan(θ/2)-(Zmax-Zmin)로 결정하는 단계(여기에서 θ는 카메라의 위치에서 Ymax로의 선분과 Ymin으로의 선분이 이루는 각이다);
    (d) 카메라의 초기 방향벡터는 (0,0,1)로 결정하고, 이후에는 사용자로부터 입력받은 네비게이션 정보에 의해 결정하는 단계;
    (e) 가상 스테레오 카메라의 간격을 시청자로부터 화면까지의 거리에 비례하여 결정하는 단계; 및
    (f) 상기 가상 스테레오 카메라의 간격을 이용하여 가상 스테리오 카메라를 구성하는 두 카메라의 위치를 결정하는 단계를 포함하여 이루어짐을 특징으로 하는 가상세계 모델링 언어에 의해 표현된 영상의 입체화방법.
  5. 제4항에 있어서, 상기 (e)단계는
    가상 스테레오 카메라의 간격을 b라 할 때, 식 b = D tan(δ)(여기에서 D는 사용자의 눈에서 화면까지의 거리이고, δ는 사용자가 원하는 시차이다)에 의해 결정하는 단계임을 특징으로 하는 가상세계 모델링 언어에 의해 표현된 영상의 입체화방법.
  6. 제5항에 있어서, 상기 (f)단계는
    가상 스테레오 카메라의 간격을 b라 할 때, 가상 스테리오 카메라를 구성하는 왼쪽 카메라 위치의 x축 좌표는 (Xmax-Xmin)/2-b/2, y축 좌표는 (Ymax-Ymin)/2, z축 좌표는 -(Ymax - Ymin)/tan(θ/2)-(Zmax-Zmin)로 결정하고, 가상 스테리오 카메라를 구성하는 오른쪽 카메라 위치의 x축 좌표는 (Xmax-Xmin)/2+b/2, y축 좌표는 (Ymax-Ymin)/2, z축 좌표는 -(Ymax - Ymin)/tan(θ/2)-(Zmax-Zmin)로 결정하는 것을 특징으로 하는 가상세계 모델링 언어에 의해 표현된 영상의 입체화방법.
  7. 제3항에 있어서, 상기 제4단계는
    (a) t번째 동영상 프레임을 소정의 수 n에 대하여 n×n 크기의 블록으로 나누는 단계;
    (b) 상기 블록 단위로 t번째 동영상 프레임의 블록과 가장 유사한 블록을 t-1번째 동영상 프레임에서 찾는 단계;
    (c) 상기 블록 단위로 t번째 동영상 프레임의 블록과 상기 (b) 단계에서 찾은 블록간의 화소의 차를 구하여 그 블록의 2차원 운동벡터로 결정하는 단계; 및
    (d) 상기 블록 단위로 블록의 2차원 운동벡터의 크기를 구하여 그 블록의 시차로 결정하는 단계를 포함하여 이루어짐을 특징으로 하는 가상세계 모델링 언어에 의해 표현된 영상의 입체화방법.
  8. 제7항에 있어서, 상기 (a) 단계의 소정의 수 n은
    8 이상 이고 16 이하인 수 중 어느 한 수임을 특징으로 하는 가상세계 모델링 언어에 의해 표현된 영상의 입체화방법.
  9. 제7항에 있어서, 상기 (b) 단계는
    최소절대차(MAD) 방식을 사용하여 가장 유사한 블록을 찾는 것을 특징으로 하는 가상세계 모델링 언어에 의해 표현된 영상의 입체화방법.
  10. 제3항에 있어서, 상기 제6단계는
    (a) 상기 그래픽 모델의 표면에 색상을 입히는 단계;
    (b) 색상이 입혀진 그래픽 모델을 가상 스테레오 카메라의 왼쪽 카메라를 고려하여 2차원 평면상에 사영하는 단계;
    (c) 상기 가상 스테레오 영상에 포함된 왼쪽 영상을 텍스쳐로 하여 상기 (b)단계에서 사영된 영상에 매핑하여 임시 메모리에 저장하는 단계;
    (d) 색상이 입혀진 그래픽 모델을 가상 스테레오 카메라의 오른쪽 카메라를 고려하여 2차원 평면상에 사영하는 단계;
    (e) 상기 가상 스테레오 영상 중에서 오른쪽 영상을 텍스쳐로 하여 상기 (d)단계에서 사영된 영상에 매핑하여 임시 메모리에 저장하는 단계를 포함하여 이루어짐을 특징으로 하는 가상세계 모델링 언어에 의해 표현된 영상의 입체화방법.
KR1019980021064A 1998-06-08 1998-06-08 가상 세계 모델링 언어에 의해 표현된 영상의 입체화방법 및그 장치 KR100272132B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019980021064A KR100272132B1 (ko) 1998-06-08 1998-06-08 가상 세계 모델링 언어에 의해 표현된 영상의 입체화방법 및그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019980021064A KR100272132B1 (ko) 1998-06-08 1998-06-08 가상 세계 모델링 언어에 의해 표현된 영상의 입체화방법 및그 장치

Publications (2)

Publication Number Publication Date
KR20000001039A true KR20000001039A (ko) 2000-01-15
KR100272132B1 KR100272132B1 (ko) 2000-11-15

Family

ID=19538588

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019980021064A KR100272132B1 (ko) 1998-06-08 1998-06-08 가상 세계 모델링 언어에 의해 표현된 영상의 입체화방법 및그 장치

Country Status (1)

Country Link
KR (1) KR100272132B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100612890B1 (ko) * 2005-02-17 2006-08-14 삼성전자주식회사 3차원 이미지의 다중 특수 효과 표현 방법 및 장치
KR100670816B1 (ko) * 2005-12-09 2007-01-19 한국전자통신연구원 3차원공간정보를 이용한 영상취득카메라의 설치위치 결정장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100612890B1 (ko) * 2005-02-17 2006-08-14 삼성전자주식회사 3차원 이미지의 다중 특수 효과 표현 방법 및 장치
KR100670816B1 (ko) * 2005-12-09 2007-01-19 한국전자통신연구원 3차원공간정보를 이용한 영상취득카메라의 설치위치 결정장치 및 방법

Also Published As

Publication number Publication date
KR100272132B1 (ko) 2000-11-15

Similar Documents

Publication Publication Date Title
JP4214976B2 (ja) 擬似立体画像作成装置及び擬似立体画像作成方法並びに擬似立体画像表示システム
JP3826236B2 (ja) 中間像生成方法、中間像生成装置、視差推定方法、及び画像伝送表示装置
US4925294A (en) Method to convert two dimensional motion pictures for three-dimensional systems
US20090219383A1 (en) Image depth augmentation system and method
Cheng et al. Spatio-temporally consistent novel view synthesis algorithm from video-plus-depth sequences for autostereoscopic displays
US9460555B2 (en) System and method for three-dimensional visualization of geographical data
US20090195643A1 (en) Medial axis decomposition of 2d objects to synthesize binocular depth
KR100517517B1 (ko) 중간 시점 영상 합성 방법 및 그를 적용한 3ｄ 디스플레이장치
US20060171028A1 (en) Device and method for display capable of stereoscopic vision
CA2540538C (en) Stereoscopic imaging
JP2014507873A (ja) 立体画像および画像シーケンスのステレオベース拡張のための方法および装置｛ｍｅｔｈｏｄａｎｄｄｅｖｉｃｅｆｏｒｓｔｅｒｅｏｂａｓｅｅｘｔｅｎｓｉｏｎｏｆｓｔｅｒｅｏｓｃｏｐｉｃｉｍａｇｅｓａｎｄｉｍａｇｅｓｅｑｕｅｎｃｅｓ｝
Obm et al. Incomplete 3-D multiview representation of video objects
JP4214529B2 (ja) 奥行き信号生成装置、奥行き信号生成プログラム、擬似立体画像生成装置、及び擬似立体画像生成プログラム
Ideses et al. New methods to produce high quality color anaglyphs for 3-D visualization
Baker Generating images for a time-multiplexed stereoscopic computer graphics system
KR100272132B1 (ko) 가상 세계 모델링 언어에 의해 표현된 영상의 입체화방법 및그 장치
Knorr et al. From 2D-to stereo-to multi-view video
Redert et al. 3-D scene reconstruction with viewpoint adaptation on stereo displays
JP4214528B2 (ja) 擬似立体画像生成装置及び擬似立体画像生成プログラム並びに擬似立体画像表示システム
JP4419139B2 (ja) 奥行き信号生成装置、奥行き信号生成プログラム、擬似立体画像生成装置、及び擬似立体画像生成プログラム
KR100400209B1 (ko) 텔레비젼(tv)신호로부터삼차원동영상을발생시키는장치
Rhee et al. Stereo image synthesis by view morphing with stereo consistency
CN117061720B (zh) 基于单目图像及深度图像渲染的立体图像对生成方法
Jeong et al. Depth image‐based rendering for multiview generation
KR20120052142A (ko) 3ｄ 디스플레이 장치 및 이의 3ｄ 영상 뎁스 추출 방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120716

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20130724

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20140721

Year of fee payment: 15

FPAY Annual fee payment

Payment date: 20150716

Year of fee payment: 16

FPAY Annual fee payment

Payment date: 20160718

Year of fee payment: 17

FPAY Annual fee payment

Payment date: 20170719

Year of fee payment: 18

EXPY Expiration of term