KR20020096203A - 입체영상을 확대/축소하는 방법 - Google Patents

Abstract

본 발명은 입체영상을 확대 혹은 축소하여 재생하는 방법에 관한 것이다.

스테레오스코픽 입체영상, 특히 인터페이스 디스플레이 방식의 입체영상을 확대 혹은 축소하여 재생할 경우에 있어서, 영상 이미지가 깨지거나 제대로 입체영상으로 보이지 않는 종래기술의 결점을 극복하여, 입체영상 소스를 원하는 대로 확대, 혹은 축소하여 재생하여도 자연스러운 입체영상을 구현할 수 있는 방법을 제공하는 것을 특징으로 한다.

Description

입체영상을 확대/축소하는 방법 {The Method for Enlarging or Reducing Stereoscopic Images}

본 발명은 입체영상을 확대하거나 축소하여 재생하는 방법에 관한 것이다.

입체영상을 구현하는 방법은 매우 다양하나, 그중에서도 인간의 두 눈의 시차를 이용하는 스테레오오스코픽(Stereoscopic) 입체영상이 비교적 쉽게 구현할 수 있고 비용이 저렴하게 들기 때문에 매우 널리 이용되고 있다. 인간이 특정 사물을 볼 때 입체감을 느끼는 원리에 대해 간략히 기술하자면, 인간이 시각을 통하여 입체감을 느끼는 요인은 매우 다양하며 복잡하나, 크게 생리적 요인과 심리기억적 요인으로 나눌 수 있다. 생리적 요인으로서는 수정체의 조절(Accommodation), 단안의 운동시차(Motion parallax) 등 한쪽 눈만에 의한 인식 요인과 양안(兩眼)의 폭주각(Binocular convergence), 양안의 시차(Binocular parallax) 등 양쪽 눈을 이용하는 것이 있다. 심리기억적 요인으로는 물체의 크기, 높낮이, 중첩, 형상 등의 기하학적 입체시가 있고, 명암, 해상도, 채도, 색상 등의 광학적 입체시가 있다. 이중에서도, 입체감의 정도는 양안의 폭주각, 양안시차 등 양쪽 눈에 의한 생리적 요인이 가장 크며, 본 발명이 속하는 스테레오스코픽 입체영상은 바로 이러한 양쪽 눈에 비쳐지는 사물의 모습이 다르다는 입체시의 원리를 응용한 것이다.

즉, 사람의 두 눈은 약 6.5cm 정도의 거리를 두고 있으므로, 한 사물을 볼 때에 좌안에 비쳐지는 상과 우안에 비쳐지는 상은 약간 차이가 있게 되고, 가까운 곳의 물체를 볼 때에는 두 눈 사이의 시선이 이루는 각도(이를 폭주각이라 지칭한다.)가 크고, 먼 곳의 물체를 볼 때에는 작아지게 된다. 따라서 특정 사물을 이루는 화상을 좌안이 느끼는 좌안용 화상, 우안이 느끼는 우안용 화상의 두 개로 구성하여 좌안에는 좌안용 화상만을, 그리고 우안에는 우안용 화상만을 지속적으로 보여지도록 하면 결국 하나의 입체적 상을 보는 것과 같은 효과를 내게 된다. 이것이 곧 스테레오스코픽(Stereoscopic) 입체영상의 기본원리이며, 이것을 디스플레이하여 출력하는 방식은 여러 가지가 있고, 스테레오스코픽 입체영상을 구현하는 장치 또한 여러 가지 종류가 있다.

컴퓨터의 모니터나 TV수상기의 화면상에서 스테레오스코픽 입체영상을 볼 수 있는 장치의 하나로서, 시분할 셔터안경 방식의 입체영상 표시장치가 있다. 시분할 셔터안경 방식의 입체영상 표시장치란, 좌안용 화상 및 우안용 화상을 교대로 빠르게 디스플레이하고, 그것과 동기(Synchronize)시켜서 액정 등으로 된 셔터 안경을 개폐시킴으로써 입체영상을 구현하는 방식이다. 즉, 좌안용 화상이 화면에 디스플레이 될 때에는 안경의 왼쪽 셔터가 열리고, 우안용 화상이 디스플레이 될 때에는 안경의 오른쪽 셔터가 열리는데, 매우 빠르게 번갈아 가면서 좌우안 화상이 디스플레이 되기 때문에 인간의 시각으로는 그 시간차이를 거의 감지하지 못한다. 따라서 좌안과 우안에 각각의 화상이 거의 동시에 지속적으로 디스플레이 되는 것처럼 느껴지므로 인간의 두뇌에서는 그것을 하나의 입체화상으로 인지하는 것이다.

그러나, 스테레오스코픽 입체영상 구현장치가 꼭 시분할 셔터안경 방식에만 국한되는 것은 아니며, 그밖에도 색상의 차이로 좌우안용 화상을 각각 만드는 적청안경 방식, 편광의 차이를 이용하여 좌우안용 화상을 만드는 편광안경 방식 등도 있다. 또한, 안경을 착용하지 않고 렌티큘러(Lenticula)나 패러랙스배리어(Parallax Barrier) 등을 장착한 특수모니터로 스테레오스코픽 입체영상을 구현하는 방법도 있다.

시분할 셔터안경 방식의 입체영상 표시장치 등, 스테레오스코픽 입체영상용 하드웨어 장치로서 입체영상을 볼 수 있으려면, 컴퓨터 모니터나 TV 수상기 등의 화면에 스테레오스코픽 이중영상, 즉 좌안용 영상과 우안용 영상을 적절한 방법으로 합성하여 디스플레이 출력해 주어야 한다. 스테레오스코픽 이중영상을 합성하여 디스플레이 출력하는 방식의 하나로서 인터레이스(Interlace) 방식이 자주 이용된다.

인터레이스(Interlace) 방식이란, 모니터의 비월주사방식을 응용하여 각 필드마다 좌안용 영상 또는 우안용 영상을 짝수 또는 홀수 주사선에만 번갈아 표시되게 하는 출력방법으로서, 별도의 하드웨어 장치나 메모리가 필요 없고 구현이 비교적 용이하기 때문에 스테레오스코픽 입체영상에서 널리 쓰이는 입체영상 출력 방식의 하나이다. 각각의 좌우안용 영상을 인터레이스 방식으로 출력하는 이전 단계에서도, 1)상단/하단 합성방식 2)상단/하단 5% 합성방식 3)인터레이스로 합성하는 방식 4)JPS(JPEG Stereo) 포맷 합성 방식 등 여러 가지가 있으나, 실질적으로 모니터상에 디스플레이 출력되는 것은 인터레이스 합성으로서 동일하다. 각각의 합성방식에 대한 상세한 설명은 후술한다.

도 1은 종래기술에 의한 입체영상을 확대/축소하여 재생하는 과정을 개념적으로 설명하기 위한 도면이다. 인터레이스로 합성된 스테레오스코픽 이중영상(1)은 도면에서와 같이 좌안용 영상(L)은 홀수주사선, 우안용 영상(R)은 짝수주사선으로표시되어 출력된다. (도면과는 반대로 좌안용 영상이 짝수 주사선, 우안용 영상이 홀수 주사선으로 표시될 수도 있다.) 그리고 홀수 및 짝수 주사선에 좌안용 영상과 우안용 영상이 균일하게 번갈아가면서 표시된다. (L, R, L, R, L, R, L, R .....) 이러한 스테레오스코픽 이중영상(1)을 모니터 상에서 확대하거나 축소할 때에는 인터레이스 합성된 상태로 확대 혹은 축소되어(2) 영상의 크기가 바뀌게 된다.

그런데, 종래기술과 같이 인터레이스 합성된 채로 스테레오스코픽 이중영상(1)이 확대 혹은 축소될 경우에는(2) 좌안용 영상과 우안용 영상이 홀수라인 및 짝수라인에 균일하게 번갈아가면서 표시되지 못하고, 같은 쪽의 영상이 몇 차례씩 중복되어 표시되게 된다. (L, L, R, L, R, R, L, R, R, L ....) 이런 상태로 시분할 셔터안경 등의 입체영상용 하드웨어 장치로서 확대 혹은 축소된 영상(2)을 보게되면, 좌우측 영상정보가 동시에 존재하게 되므로 입체로 합성된 이미지가 깨지거나 왜곡되어 입체영상이 제대로 보이지 않게 되는 심각한 결함이 생긴다. 즉, 영상의 크기를 확대 혹은 축소하기 위해 인터레이스 합성된 채로 압축과정 혹은 그 반대과정을 거치는 동안 인터레이스 라인이 뭉개지기 때문에 입체영상을 재생할 수 없게 되며, 이것은 스테레오스코픽 입체영상의 재생에서 시급히 해결해야할 커다란 과제로 남아 있다.

특히 컴퓨터의 화면 등에서 입체동영상을 재생하는 경우에는 이러한 확대/축소 과정에서의 입체화질열화를 피하기 위하여 압축 등을 거의 하지 않고 인터레이스 합성된 동영상파일을 그대로 재생할 수밖에 없는데, 이렇게 되면 한 개의 동영상 파일 사이즈가 너무 커지기 때문에 또 다른 문제가 발생한다. 즉 메모리를 너무많이 필요로 할 뿐만 아니라, 설령 충분한 메모리를 제공한다 하더라도 원활히 재생되지 않고 툭툭 끊기는 등의 문제가 발생하기 때문에 한 개의 동영상 파일 사이즈를 작게 해서 짧은 시간동안만 재생할 수밖에 없다. 현재 수준의 개인용 컴퓨터에서 테스트해 본 바에 따르면, 약 1분 이상의 입체동영상 파일을 재생할 경우에는 원활히 재생이 이루어지지 않기 때문에 입체동영상을 감상하는 데에 커다란 불편과 제약이 따르게 된다.

또한 최근에 활발한 인터넷방송 등의 보급에 힘입어, 향후에 스테레오스코픽 입체동영상을 인터넷방송 등으로 송신하여 재생하는 경우를 생각해 볼 경우, 이 역시 종래기술의 결함이 심각한 문제로 지적된다. 즉 인터넷방송은 전송시의 용량 등을 고려하여 가급적이면 작은 화면사이즈 형태(예를 들면 320 ×240)로 송신한 후, 시청자가 개인용 컴퓨터 화면에서 확대하여 시청하는 것이 일반적이다. 그런데 인터레이스 합성된 작은 화면크기의 스테레오스코픽 입체영상을 수신하여 종래기술과 같이 그대로 확대할 경우(예를 들어 320 ×240을 두 배로 확대하여 640 ×480으로 볼 경우 등) 역시 입체화질열화가 심하게 발생하여 제대로 입체동영상을 감상할 수 없게 된다. 그렇다고 작은 크기의 스테레오스코픽 입체영상을 확대하지 않고 그대로 본다면, 화면크기가 너무 작아서 입체감 등이 제대로 나타나지 않으므로 입체영상을 제대로 즐길 수 없기는 마찬가지이다.

요컨대, 인터레이스 합성된 스테레오스코픽 입체영상을 확대 혹은 축소하는 종래기술은 입체화질이 심하게 열화되는 중대한 결함으로 인하여 제대로 된 입체영상을 재생할 수 없어서 입체영상 매체의 대중적 보급과 확산에 큰 걸림돌이 되고있다.

본 발명은 상기와 같은 종래기술의 결함과 문제점을 극복하여, 인터레이스 합성방식의 스테레오스코픽 입체영상을 확대 혹은 축소하여 재생하는 과정에서 입체화질의 열화가 전혀 없이 제대로 된 입체영상을 감상할 수 있는 입체영상의 확대/축소 방법을 제공하는 것을 목적으로 한다.

본 발명의 또 다른 목적은 처리속도가 빨라서 입체동영상을 실시간으로 확대 혹은 축소할 수 있고, 별도의 하드웨어 장치가 필요 없이 손쉽게 입체영상을 확대 혹은 축소할 수 있는 실용적이고 효과적인 입체영상의 확대/축소 방법을 제공하는 것이다.

도 1은 종래기술에 의한 입체영상을 확대/축소하여 재생하는 과정을 개념적으로 설명하기 위한 도면.

도 2는 본 발명의 입체영상을 확대/축소하여 재생하는 방법을 도시한 블록도.

도 3은 본 발명의 제 1실시예에 따른 입체영상을 확대/축소하여 재생하는 과정을 개념적으로 설명하긴 위한 도면.

도 4는 본 발명의 제 2실시예에 따른 입체영상을 확대/축소하여 재생하는 과정을 개념적으로 설명하기 위한 도면.

도 5는 본 발명의 제 3실시예에 따른 입체영상을 확대/축소하여 재생하는 과정을 개념적으로 설명하기 위한 도면.

도 6은 본 발명의 제 4실시예에 따른 입체영상을 확대/축소하여 재생하는 과정을 개념적으로 설명하기 위한 도면.

* 도면의 주요 부분에 대한 부호의 설명 *

L : 좌안용 영상 R : 우안용 영상

상기와 같은 본 발명의 목적은 인터레이스 합성방식을 이용하는 스테레오스코픽 입체영상의 확대 혹은 축소방법에 있어서,

좌안용 영상 및 우안용 영상을 각각 따로 배치하는 단계와;

따로 배치된 좌안용 영상 및 우안용 영상을 원하는 비율로 각각 확대 혹은 축소하는 단계와;

확대 혹은 축소된 좌안용 영상 및 우안용 영상을 인터레이스로 합성하여, 좌안용 영상은 모니터 화면의 홀수 주사선에, 우안용 영상은 짝수 주사선에 번갈아 표시되도록 하거나, 역으로 좌안용 영상을 짝수 주사선에, 우안용 영상을 홀수 주사선에 표시되도록 디스플레이 출력하는 단계를 구비하는 것을 특징으로 하는 입체영상을 확대/축소하는 방법에 의하여 달성된다.

이하 도면을 참조하면서 본 발명의 구성 및 작용을 상세히 설명하면 다음과 같다.

도 2는 본 발명의 입체영상을 확대/축소하여 재생하는 방법을 도시한 블록도이다. 상기에서 간단히 언급한 바와 같이 스테레오스코픽 입체영상을 만들기 위하여 일반적으로 각각의 좌우안용 영상을 인터레이스 방식으로 합성하는 이전 단계에서는, 1)상단/하단 합성방식 2)상단/하단 5% 합성방식 3)인터레이스로 합성하는 방식 4)JPS(JPEG Stereo) 포맷 합성 방식 등 여러 가지가 있다.

상단/하단 합성방식이란 Above/Below 방식, 혹은 Top & Down 방식 등으로도 불리며, 화면을 상하로 2등분하여 상단에는 좌안용 영상을, 하단에는 우안용 영상을 각각 배치한 후 다음 단계에서 인터레이스로 합성하는 방식이다. 후술하는 바와 같이, 이 방식에서 영상을 확대 혹은 축소하는 경우 하드웨어적으로는 싱크 더블링(Sync-Doubling)을 이용한다.

상단/하단 5% 합성방식이란, 상기의 상단/하단 합성방식 (혹은 Above/Below 방식, Top & Down 방식)과 거의 유사하게 둘로 나누어진 화면의 상단에는 좌안용 영상을, 하단에는 우안용 영상을 각각 배치한 후 인터레이스로 합성하나, 상단과 하단 사이에 전체 화면사이즈의 약 5% 정도에 해당하는 영역은 아무런 정보도 표시하지 않고 비워두는 점이 다르다. 이것은 하드웨어적으로 발생하는 수직 동기신호 지연시간, 즉 싱크(Sync)와 다음 싱크(Sync) 사이에 약 5% 정도의 공차가 생긴다는 점을 감안하여 이로 인한 정보의 손실을 막기 위한 방안의 하나이다.

인터레이스로 합성하는 방식은, 상기의 방식들 혹은 후술하는 방식과 같이 초기에 화면을 일정하게 분할하여 좌안용 영상 및 우안용 영상을 따로 배치한 후에 다음 단계에서 인터레이스로 합성하지 않고, 입력된 좌안용 영상신호 및 우안용 영상신호를 곧바로 인터레이스로 합성하여, 좌안용 영상은 홀수 주사선에, 우안용 영상은 짝수 주사선에 (혹은 그 반대로) 표시되도록 하여 스테레오스코픽 입체영상을 디스플레이 출력하는 방식이다.

JPS 포맷 합성방식이란, 화면을 좌우로 2등분하여 좌측에는 좌안용 영상을, 우측에는 우안용 영상을 각각 배치한 후 다음 단계에서 인터레이스로 합성하는 방식이다.

도 2에서 표시하듯이, 본 발명에서는 입체영상의 크기를 원하는 대로 바꾸기 위하여 인터레이스로 합성한 후에 확대 혹은 축소하는 것이 아니라, 인터레이스로 합성하기 이전에 좌안용 영상 및 우안용 영상을 각각 확대 혹은 축소하는 프로세스를 거친다는 데에 그 특징이 있다. 그리고 확대 혹은 축소된 좌우안용 영상들을 다시 인터레이스로 합성하여 디스플레이 출력하면, 결국은 스테레오스코픽 입체영상이 원하는 비율로 확대 혹은 축소된 결과를 얻게 된다. 즉, 상단/하단 표시단계, 상단/하단 5% 표시단계, JPS 포맷 표시단계에서 좌안용 영상 및 우안용 영상이 각각 확대 혹은 축소된 후에 인터레이스 합성, 디스플레이 출력이 이루어진다. 다만, 상기의 3가지 방식과는 달리 인터레이스로 합성하는 방식에서는 합성된 영상을 좌 우안용 영상으로 각각 분리하는 또 하나의 단계가 추가적으로 필요로 되는데, 이것에 관한 상세한 과정은 후술하기로 한다.

상기와 같은 4가지 방식에서 본 발명의 입체영상을 확대/축소하는 방법을 도면을 참조하면서 각각 상세히 설명하면 다음과 같다.

도 3은 본 발명의 제 1실시예에 따른 입체영상을 확대/축소하여 재생하는 과정을 개념적으로 설명하기 위한 도면으로서, 상단/하단 합성방식을 예로 든 것이다. L은 좌안용 영상, R은 우안용 영상을 나타내며, (11)은 첫 번째 오프스크린 서피스(Off Screen Surface 1), (12)는 두 번째 오프스크린 서피스(Off Screen Surface 2), (13)은 백 버퍼 서피스(Back Buffer Surface), (14)는 프라이머리 서피스(Primary Surface)를 표시한 것이다. 이들(11∼14)은 모두 다이렉트 엑스(Direct-X)의 객체에 해당하는 영역들이다. 다이렉트 엑스(Direct-X)란 마이크로소프트(MS)사에서 제공하는 윈도우 라이브러리(Window Library)로서, 처음에는 그래픽 라이브러리로 만들어졌으나 갈수록 이용분야가 늘어나서 지금은 다른 용도에서도 널리 쓰이는 윈도우 라이브러리이다.

첫 번째 오프스크린 서피스(11)에는 영상 소스가 들어가는데, 좌안용 영상은 상단부분에, 우안용 영상은 하단부분에 배치되게 된다. 여기서 영상 소스는 JPEG 이미지와 같이 정지영상일 수도 있고, MPEG, AVI, ASF 등과 같이 동영상일 수도 있다. 영상 파일의 형태는 어느 것이든 무방하다.

첫 번째 오프스크린 서피스(11)에 배치된 좌우안용 영상 소스는 원하는 비율로 확대 혹은 축소된 후 두 번째 오프스크린 서피스(12)로 전송된다. 즉, 첫 번째 오프스크린 서피스(11)에 들어 있는 영상 소스 프레임을 높이를 기준으로 2등분하여 좌안용 영상과 우안용 영상을 추출한 후, 각각을 확대 혹은 축소하여 두 번째오프스크린 서피스(12)의 상단 및 하단에 맞게 전송한다. 확대 혹은 축소된 영상들은 두 번째 오프스크린 서피스(12)에서도 좌안용 영상은 상단에, 우안용 영상은 하단에 배치된다. 이 과정에서 좌우안용 영상의 높이와 넓이가 동시에 확대 혹은 축소된다.

다음에는, 상단의 좌안용 영상은 홀수 주사선으로, 하단의 우안용 영상은 짝수 주사선으로 (혹은 그 역으로) 각각 라인별로 분리하여 백 버퍼 서피스(13)로 전송한다. 이 과정이 곧 인터레이스 합성과정이 된다. 백 버퍼 서피스(13)에서 인터레이스 합성된 좌우안용 영상은 그대로 프라이머리 서피스(14)로 다시 전송된 후, 화면상에 디스플레이 출력되어 스테레오스코픽 입체영상을 형성한다.

도 4는 본 발명의 제 2실시예에 따른 입체영상을 확대/축소하여 재생하는 과정을 개념적으로 설명하기 위한 도면으로서, 상단/하단 5%, 합성방식을 예로 든 것이다. 상기의 도 3의 경우와 마찬가지로, L은 좌안용 영상, R은 우안용 영상을 나타내며, (21)은 첫 번째 오프스크린 서피스(Off Screen Surface 1), (22)는 두 번째 오프스크린 서피스(Off Screen Surface 2), (23)은 백 버퍼 서피스(Back Buffer Surface), (24)는 프라이머리 서피스(Primary Surface)를 표시한 것이다. 이들(21∼24)은 모두 역시 다이렉트 엑스(Direct-X)의 객체에 해당하는 영역들이다.

첫 번째 오프스크린 서피스(21)에는 영상 소스가 들어가는데, 좌안용 영상은 상단부분에, 우안용 영상은 하단부분에 배치되며, 상단과 하단 사이에 전체 화면사이즈의 약 5% 정도에 해당하는 영역은 아무런 정보도 표시하지 않게 된다. 여기서 영상 소스는 JPEG 이미지와 같이 정지영상일 수도 있고, MPEG, AVI, ASF 등과 같이동영상일 수도 있다. 영상 파일의 형태는 어느 것이든 무방하다.

첫 번째 오프스크린 서피스(21)에 배치된 좌우안용 영상 소스는 원하는 비율로 확대 혹은 축소된 후 두 번째 오프스크린 서피스(22)로 전송된다. 즉, 첫 번째 오프스크린 서피스(21)에 들어 있는 영상 소스 프레임을 높이를 기준으로 2등분하여 높이의 5%에 해당하는 영역은 제거하고 좌안용 영상과 우안용 영상을 추출한 후, 각각을 확대 혹은 축소하여 두 번째 오프스크린 서피스(22)의 상단 및 하단에 맞게 전송한다. 확대 혹은 축소된 영상들은 두 번째 오프스크린 서피스(22)에서도 좌안용 영상은 상단에, 우안용 영상은 하단에 배치된다. 이 과정에서 좌우안용 영상의 높이와 넓이가 동시에 확대 혹은 축소된다.

다음 과정으로서, 상단의 좌안용 영상은 홀수 주사선으로, 하단의 우안용 영상은 짝수 주사선으로 (혹은 그 역으로) 각각 라인별로 분리하여 백 버퍼 서피스(23)로 전송하는 인터레이스 합성과정, 그리고 백 버퍼 서피스(23)에서 인터레이스 합성된 좌우안용 영상을 그대로 프라이머리 서피스(24)로 다시 전송된 후, 화면상에 디스플레이 출력되어 스테레오스코픽 입체영상을 형성하는 이후 과정들은 상기 도 3에서 설명한 상단/하단 방식과 동일하다.

도 5는 본 발명의 제 3실시예에 따른 입체영상을 확대/축소하여 재생하는 과정을 개념적으로 설명하기 위한 도면으로서, 인터레이스로 합성하는 방식을 예로 든 것이다. L은 좌안용 영상, R은 우안용 영상을 나타내며, (31)은 첫 번째 오프스크린 서피스(Off Screen Surface 1), (32)는 두 번째 오프스크린 서피스(Off Screen Surface 2), (33)은 세 번째 오프스크린 서피스(Off Screen Surface 3),(34)는 백 버퍼 서피스(Back Buffer Surface), (35)는 프라이머리 서피스(Primary Surface)를 표시한 것이다. 이들(31∼35)은 모두 역시 다이렉트 엑스(Direct-X)의 객체에 해당하는 영역들이다.

첫 번째 오프스크린 서피스(31)에는 인터레이스 합성된 영상 소스가 들어가는데, 영상 소스는 JPEG 이미지와 같이 정지영상일 수도 있고, MPEG, AVI, ASF 등과 같이 동영상일 수도 있다. 영상 파일의 형태는 어느 것이든 무방하다. 첫 번째 오프스크린 서피스(31)의 영상 소스프레임을 각각 라인별로 추출하여, (홀수 라인의 좌안영상 및 짝수 라인의 우안영상, 혹은 그 반대) 두 번째 오프스크린 서피스(32)로 분리, 전송한다. 따라서 두 번째 오프스크린 서피스(32)에서는 좌안용 영상과 우안용 영상이 상하 등으로 각각 분리된 형태로 들어가게 된다.

두 번째 오프스크린 서피스(32)에 배치된 좌우안용 영상 소스는 원하는 비율로 확대 혹은 축소된 후 세 번째 오프스크린 서피스(33)로 전송된다 즉, 두 번째 오프스크린 서피스(32)에 들어 있는 좌우안용 영상 소스 프레임을 각각 확대 혹은 축소하여 세 번째 오프스크린 서피스(33)의 상단 및 하단에 맞게 전송한다. 확대 혹은 축소된 영상들은 세 번째 오프스크린 서피스(33)에서도 좌안용 영상은 상단에, 우안용 영상은 하단에 배치된다. 이 과정에서 좌우안용 영상의 높이와 넓이가 동시에 확대 혹은 축소된다.

다음 과정으로서, 상단의 좌안용 영상은 홀수 주사선으로, 하단의 우안용 영상은 짝수 주사선으로 각각 라인별로 분리하여 백 버퍼 서피스(34)로 전송하는 인터레이스 합성과정, 그리고 백 버퍼 서피스(34)에서 인터레이스 합성된 좌우안용영상을 그대로 프라이머리 서피스(35)로 다시 전송된 후, 화면상에 디스플레이 출력되어 스테레오스코픽 입체영상을 형성하는 이후 과정들은 상기 도 3에서 설명한 상단/하단 방식과 동일하다.

도 6은 본 발명의 제 4실시예에 따른 입체영상을 확대/축소하여 재생하는 과정을 개념적으로 설명하기 위한 도면으로서, JPS 포맷 합성방식을 예로 든 것이다. L은 좌안용 영상, R은 우안용 영상을 나타내며, (41)은 첫 번째 오프스크린 서피스(Off Screen Surface 1), (42)는 두 번째 오프스크린 서피스(Off Screen Surface 2), (43)은 백 버퍼 서피스(Back Buffer Surface), (44)는 프라이머리 서피스(Primary Surface)를 표시한 것이다. 이들(41∼44)은 모두 역시 다이렉트 엑스(Direct-X)의 객체에 해당하는 영역들이다.

첫 번째 오프스크린 서피스(41)에는 영상 소스가 들어가는데, 좌안용 영상은 2등분된 화면의 좌측에, 우안용 영상은 화면의 우측에 배치된다. 여기서 영상 소스는 JPEG 이미지와 같이 정지영상일 수도 있고, MPEG, AVI, ASF 등과 같이 동영상일 수도 있다. 영상 파일의 형태는 어느 것이든 무방하다. 첫 번째 오프스크린 서피스(41)에 배치된 좌우안용 영상 소스는 원하는 비율로 높이가 확대 혹은 축소된 후 두 번째 오프스크린 서피스(42)로 전송된다. 즉, 첫 번째 오프스크린 서피스(41)에 들어 있는 영상 소스 프레임의 높이를 각각 확대 혹은 축소하여 두 번째 오프스크린 서피스(42)에 맞게 전송하는데, 높이가 확대 혹은 축소된 영상들은 두 번째 오프스크린 서피스(42)에서도 좌안용 영상은 좌측에, 우안용 영상은 우측에 배치된다.

다음에는, 두 번째 오프스크린 서피스(42)에 들어 있는 영상 소스 프레임을 원하는 비율로 넓이를 확대 혹은 축소하여 백 버퍼 서피스(43)로 전송한다. 따라서, 도 6에서 설명하는 JPS 포맷 합성방식에서는 좌우안용 영상 소스 프레임의 높이와 넓이가 동시에 확대 혹은 축소되어 다음 단계로 전송되는 상기의 방식들 (상단/하단 방식, 상단/하단 5% 방식, 인터레이스로 합성하는 방식)과는 달리, 높이와 넓이가 한꺼번에 확대 혹은 축소되지 않고 2단계를 거치면서 높이 및 넓이가 각각 확대 혹은 축소되는 과정으로 이루어진다. 또한, 두 번째 오프스크린 서피스(42)에서 백 버퍼 서피스(43)로 전송되는 단계에서는 넓이가 확대 혹은 축소될 뿐만 아니라, 좌측의 좌안용 영상은 홀수 주사선으로, 우측의 우안용 영상은 짝수 주사선으로 (혹은 그 역으로) 각각 라인별로 분리하여 전송되는 인터레이스 합성과정이 동시에 이루어진다. 다만, 백 버퍼 서피스(43)에서 인터레이스 합성된 좌우안용 영상을 그대로 프라이머리 서피스(44)로 다시 전송된 후, 화면상에 디스플레이 출력되어 스테레오스코픽 입체영상을 형성하는 과정은 상기 도 3에서 설명한 상단/하단 방식과 동일하다.

상기와 같이 도 3 내지 도 6에서 설명한 일련의 과정들은 모두 소프트웨어적인 방법으로 처리되는 것이 바람직하며, VGA카드의 비디오 메모리를 직접 제어하기 때문에 처리속도가 매우 빠르고 효율적이므로 스테레오스코픽 입체동영상의 확대 혹은 축소를 실시간으로 처리하는 데에도 아무런 문제가 없다. 또한, 어느 방식의 경우에서나 인터레이스 합성된 스테레오스코픽 입체영상을 그대로 확대 혹은 축소하지 않고, 좌안용 영상 및 우안용 영상이 따로따로 분리된 상태에서 각각을 확대혹은 축소한 후 다시 인터레이스 합성, 출력의 과정을 거치므로, 라인이 뭉개져서 입체화질이 열화될 가능성이 없다. 따라서, 스테레오스코픽 입체영상을 마음대로 확대 혹은 축소하여도 제대로 된 입체영상을 감상할 수 있다.

상기의 실시예들에서는 스테레오스코픽 입체영상의 구현에 있어서 대표적인 몇가지의 인터레이스 합성 방식들을 예로 들어 설명하였으나, 본 발명의 범위는 반드시 이것들에만 한정되는 것은 아니다. 상기 실시예 이외에도 여러 가지로 유사하게 변형되거나 조합된 실시예들이 있을 수 있고, 본 발명의 사상과 취지에 비추어 이러한 다른 실시예들도 마땅히 본 발명의 범위에 속함은 당업자라면 능히 알 수 있을 것이다.

상기와 같은 본 발명의 입체영상을 확대/축소하는 방법은 다음과 같은 효과와 장점이 있다.

첫째, 인터레이스 합성 방식의 스테레오스코픽 입체영상을 원하는 비율로 확대 혹은 축소하여도 입체화질의 열화가 발생하지 않고 제대로 된 입체영상을 구현할 수 있다.

둘째, 처리속도가 빠르기 때문에 입체동영상을 확대 혹은 축소할 경우에도 실시간으로 구현할 수 있다.

셋째, 별도의 하드웨어 장치 등을 필요로 하지 않고 손쉽게 입체영상을 확대 혹은 축소할 수 있으므로 실용적 측면에서도 매우 우수하다.

따라서, 종래기술의 문제점과 결함을 극복한 본 발명의 입체영상을 확대/축소하는 방법은 입체영상 매체의 실용화와 대중적 보급에 크게 기여하여, 관련 산업의 발전에도 도움이 될 것이다.

Claims (7)

1. 인터레이스 합성방식을 이용하는 스테레오스코픽 입체영상의 확대 혹은 축소방법에 있어서,

   좌안용 영상 및 우안용 영상을 각각 따로 배치하는 단계와;

   따로 배치된 좌안용 영상 및 우안용 영상을 원하는 비율로 각각 확대 혹은 축소하는 단계와;

   확대 혹은 축소된 좌안용 영상 및 우안용 영상을 인터레이스로 합성하여, 좌안용 영상은 모니터 화면의 홀수 주사선에, 우안용 영상은 짝수 주사선에 번갈아 표시되도록 하거나, 역으로 좌안용 영상을 짝수 주사선에, 우안용 영상을 홀수 주사선에 표시되도록 디스플레이 출력하는 단계를 구비하는 것을 특징으로 하는 입체영상을 확대/축소하는 방법.
2. 제 1항에 있어서, 상기 좌안용 영상 및 우안용 영상을 각각 따로 배치하는 단계는 화면을 상하로 2등분하여 영상 소스의 좌안용 영상은 화면의 상단부분에, 우안용 영상은 화면의 하단부분에 배치하며;

   상기 따로 배치된 좌안용 영상 및 우안용 영상을 원하는 비율로 각각 확대 혹은 축소하는 단계는 영상 소스 프레임을 높이를 기준으로 2등분하여 좌안용 영상과 우안용 영상을 추출한 후 각각을 확대 혹은 축소하여 다음 단계로 전송하고, 확대 혹은 축소된 영상들도 좌안용 영상은 상단에, 우안용 영상은 하단에 배치하는것을 특징으로 하는 입체영상을 확대/축소하는 방법.
3. 제 1항에 있어서, 상기 좌안용 영상 및 우안용 영상을 각각 따로 배치하는 단계는 화면을 상하로 나누어 영상 소스의 좌안용 영상은 상단부분에, 우안용 영상은 하단부분에 배치하되 상단과 하단 사이에 전체 화면사이즈의 약 5% 정도에 해당하는 영역은 아무런 정보도 표시하지 않으며;

   상기 따로 배치된 좌안용 영상 및 우안용 영상을 원하는 비율로 각각 확대 혹은 축소하는 단계는 영상 소스 프레임을 높이를 기준으로 2등분하여 높이의 5%에 해당하는 영역은 제거하고 좌안용 영상과 우안용 영상을 추출한 후 각각을 확대 혹은 축소하여 다음 단계로 전송하고, 확대 혹은 축소된 영상들도 좌안용 영상은 상단에, 우안용 영상은 하단에 배치하는 것을 특징으로 하는 입체영상을 확대/축소하는 방법.
4. 제 1항에 있어서, 상기 좌안용 영상 및 우안용 영상을 각각 따로 배치하는 단계는 인터레이스 합성된 영상 소스 프레임을 각각 라인별로 추출하여, 좌안용 영상과 우안용 영상이 화면상에서 상하로 각각 분리된 형태로 배치하며;

   상기 따로 배치된 좌안용 영상 및 우안용 영상을 원하는 비율로 각각 확대 혹은 축소하는 단계는 좌안용 영상 및 우안용 영상의 소스 프레임을 각각 확대 혹은 축소하여 다음 단계로 전송하고, 확대 혹은 축소된 영상들도 좌안용 영상은 상단에, 우안용 영상은 하단에 배치하는 것을 특징으로 하는 입체영상을 확대/축소하는 방법.
5. 제 1항에 있어서, 상기 좌안용 영상 및 우안용 영상을 각각 따로 배치하는 단계는 화면을 좌우로 나누어 영상 소스의 좌안용 영상은 2등분된 화면의 좌측에, 우안용 영상은 화면의 우측에 배치하며;

   상기 따로 배치된 좌안용 영상 및 우안용 영상을 원하는 비율로 각각 확대 혹은 축소하는 단계는 먼저 영상 소스 프레임의 높이를 각각 확대 혹은 축소하여 다음 단계로 전송하되 높이가 확대 혹은 축소된 영상들도 좌안용 영상은 좌측에, 우안용 영상은 우측에 배치하며; 다음에는 높이가 확대 혹은 축소된 좌우안용 영상소스 프레임의 넓이를 각각 확대 혹은 축소하여 다음 단계로 전송하되;

   상기 확대 혹은 축소된 좌안용 영상 및 우안용 영상을 인터레이스로 합성하여 디스플레이 출력하는 단계는 좌우안용 영상 소스 프레임의 넓이를 확대 혹은 축소하는 단계와 동시에 이루어지는 것을 특징으로 하는 입체영상을 확대/축소하는 방법.
6. 제 1항에 있어서, 상기 확대 혹은 축소된 좌안용 영상 및 우안용 영상을 인터레이스로 합성하여 디스플레이 출력하는 단계는 좌안용 영상은 홀수 주사선으로, 우안용 영상은 짝수 주사선으로 혹은 그 역으로 각각 라인별로 분리하여 다음 단계로 전송하는 인터레이스 합성과정;

   그리고 인터레이스 합성된 좌우안용 영상을 그대로 다음 단계로 한 번 더 전송한 후 화면상에 인터레이스로 디스플레이 출력하는 과정의 2단계로 이루어지는 것을 특징으로 하는 입체영상을 확대/축소하는 방법.
7. 제 1항 내지 제 6항 중의 어느 하나의 항에 있어서, 각각의 단계는 마이크로 소프트(MS)사에서 제공하는 윈도우 라이브러리(Window Library)인 다이렉트 엑스(Direct-X)의 객체들에 해당하는 영역들인 첫 번째 오프스크린 서피스(Off Screen Surface 1), 두 번째 오프스크린 서피스(Off Screen Surface 2), 백 버퍼 서피스(Back Buffer Surface), 프라이머리 서피스(Primary Surface) 또는 추가적으로 구비된 세 번째 오프스크린 서피스(Off Screen Surface 3) 상에서 이루어지되, 소프트웨어적인 방법으로 VGA카드의 비디오 메모리를 직접 제어하여 처리되는 것을 특징으로 하는 입체영상을 확대/축소하는 방법.