KR101121979B1 - 입체 영상 변환 방법 및 입체 영상 변환 장치 - Google Patents

Abstract

2차원 영상인 피변환 영상에 대하여 깊이 값을 설정할 대상이 되는 객체를 선택하고, 상기 객체의 경계를 따라 다수의 분할점을 설정하며, 상기 분할점으로 둘러싸인 내부의 영역을 분할 영역으로 인식하고, 상기 분할 영역에 위치하는 각각의 픽셀의 깊이 값을 설정한 다음, 상기 깊이 값에 비례하여 좌 또는 우 방향으로 상기 각각의 픽셀을 이동시킴으로써 처리후 영상을 생성하며, 상기 피변환 영상 및 상기 처리후 영상을 좌안 영상 및 우안 영상으로 활용하여 3 차원 입체 영상을 디스플레이하는 입체 영상 변환 방법 및 입체 영산 변환 장치가 기재된다.

Description

입체 영상 변환 방법 및 입체 영상 변환 장치{METHOD AND DEVICE FOR STEREOSCOPIC IMAGE CONVERSION}

본 발명은 컨텐츠물로 기제작된 2차원 비디오 영상을 소프트웨어 또는 하드웨어를 이용하여 3차원 스테레오 스코픽(stereoscopic) 영상으로 변환하는 방법 및 장치에 관한 것이다.

실감나는 입체감을 제공하기 위한 디스플레이 기술인 3차원(3D; 3-dimension) 영상 기술이 멀티미디어 및 방송 기술의 발전과 함께 주목받고 있다.

3차원 영상이란 가로, 세로의 2개의 축으로만 이루어진 2차원(2D; 2-dimension) 평면 영상에 깊이 축을 추가하여 사물을 입체적으로 표현한 영상으로서, 이러한 3차원 입체 영상을 스테레오 스코픽 영상(stereoscopic image)이라고 한다.

3차원 스테레오 스코픽 영상을 생성하기 위해 크게 2 가지 방법이 제시되고 있다.

첫 번째 방법은 2 대 이상의 카메라를 사용하여 영상을 촬영함으로써 좌안 영상 및 우안 영상에 해당하는 2 개의 영상을 생성하고 이들을 조합하여 스테레오 스코픽 영상을 생성하는 방법이다.

구체적으로는 복수 화상의 색을, 예를 들면 적과 청과 같이 다르게 해서 중합시키는 애너글리프(anaglyph) 방식 또는 복수 화상의 편광 방향을 다르게 해서 중합시키는 편광 필터 방식을 이용하고 복수의 화상을 합성해서 입체 화상을 생성할 수 있다. 이 경우, 적청 안경이나 편광 안경 등의 화상 분리 안경을 이용해서 눈의 자동 초점 기능에 의해 융합함으로써 입체 화상을 시각 인지할 수 있다.

또한, 편광 안경 등을 사용하지 않아도 패럴랙스 배리어(parallax barrier) 방식 및 렌티큘라(lenticular) 방식과 같이 입체 화상의 시각 인지가 가능한 3D 액정에 표시하는 방법도 있다. 이 경우, 복수의 화상을 수직 방향으로 단책상(短冊狀)으로 절취하여 교대로 배치함으로써 입체 화상이 생성된다.

또한, 화상 분리 안경을 사용하거나 광학 소자를 액정에 접착시킴으로써 좌우 화상의 광선 방향을 변경하면서 좌우의 화상을 교대로 표시함으로써 입체 화상을 표시하는 시분할 방식도 있다.

그런데, 초당 필요한 프레임 수만큼의 입체 화상을 현장에서 촬영하는 실사 입체 영상의 경우, 각 촬영 씬마다 화각, 줌배율, 초점 위치 및 복수의 카메라의 위치 관계가 다르기 때문에 입체 화상마다 입체감이 달라지는 문제점과, 실사 입체 영상을 촬영하는 것은 전문적인 기술과 막대한 비용이 소모되는 문제점과, 화상이 초당 수십 프레임씩 스위칭될 때마다 미차를 갖는 입체감이 불연속적으로 디스플레이되면 입체 화상을 시각 인지하는 사용자에게 많은 피로감을 주는 문제점이 제기된다.

두 번째 방법은 단일한 시점(point of view, 예를 들어, 하나의 카메라 위치)에서 촬영된 영상을 분석, 가공함으로써 좌안 영상 및 우안 영상에 해당하는 2 개의 영상을 생성하고 이들을 조합하여 3차원 스테레오 스코픽 영상을 생성하는 방법이다.

이상의 2 가지 방법들 중 전자는 영상 컨텐츠를 새롭게 생성하는 방법임에 반해, 후자는 기존에 이미 제작된 영상 컨텐츠를 스테레오 스코픽 영상으로 변환하는 방법에 해당한다. 현존하는 대부분의 영상 컨텐츠가 과거에 제작된 2차원 영상이라는 점을 고려하면 후자의 영상 변환 기술이 스테레오 스코픽 영상 생산에 매우 유용하게 활용될 수 있는 방법임을 알 수 있다.

후자의 영상 변환 기술에서는 2차원 영상으로부터 3차원 스테레오 스코픽 영상 생성을 위한 깊이 값의 설정이 필요하다. 깊이 값이란, 2차원 영상 내에 포함된 배경이나 인물을 포함한 각각의 개별 객체(object)들이 3차원 스테레오 스코픽 영상에서 어떠한 깊이에 있는지를 결정하기 위한 상대적인 수치를 말한다. 예를 들어, 들판에 사람이 서 있다면 뒤 배경에 있는 산은 사람에 비해 더 낮은(눈에서 더 멀리 있는) 깊이 값을 갖게 될 것이다.

3차원 스테레오 스코픽 영상은 이렇게 생성된 깊이 값에 기초하여 생성되므로, 기존의 2차원 영상을 3차원 영상으로 변환하는 기술에서는 이러한 깊이 값의 설정 과정, 기존 2차원 영상에 상기 깊이 값을 연산하는 과정, 이에 따라 3차원 영상을 생성하는 과정 등 일련의 변환 과정을 정확하고 효율적으로 진행할 수 있는 방법 및 장치의 개발이 매우 중요한 문제로 대두된다.

본 발명은 상술한 필요성을 감안한 것으로서, 2 차원 영상에서 깊이 값을 조절할 대상이 되는 객체를 경계 짓는 분할 영역 지도를 수학적으로 간단한 알고리즘을 이용하여 짧은 시간에 정확하게 생성할 수 있음은 물론, 분할 영역 지도에 레이어(layer) 개념을 도입하여 유사한 여러 장의 2차원 영상에 대하여 변화가 발생한 영역만을 국부적으로 처리하는 기법을 제안함으로써 방대한 작업량을 획기적으로 줄일 수 있는 입체 영상 변환 방법 및 장치를 제공하기 위한 것이다.

본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

일 실시예로서, 본 발명의 입체 영상 변환 방법은, 2차원 영상인 피변환 영상에 대하여 깊이 값을 설정할 대상이 되는 객체를 선택하고, 상기 객체의 경계를 따라 다수의 분할점을 설정하며, 상기 분할점으로 둘러싸인 내부의 영역을 분할 영역으로 인식하고, 상기 분할 영역에 위치하는 각각의 픽셀의 깊이 값을 설정한 다음, 상기 깊이 값에 비례하여 좌 또는 우 방향으로 상기 각각의 픽셀을 이동시킴으로써 처리후 영상을 생성하며, 상기 피변환 영상 및 상기 처리후 영상을 좌안 영상 및 우안 영상으로 활용하여 3 차원 입체 영상을 디스플레이하는 것이다.

일 실시예로서, 본 발명의 입체 영상 변환 방법은, 2 차원 영상인 피변환 영상을 입력받는 단계; 상기 피변환 영상에 대하여 깊이 값을 설정할 영역의 가장자리를 선으로 연결함으로써 다각형 또는 폐곡선 형상으로 된 분할 영역을 생성하는 단계; 상기 다각형 또는 폐곡선 상에 존재하거나 상기 분할 영역의 내부에 위치하는 기준 픽셀에 기준 깊이 값을 입력하는 단계; 상기 분할 영역의 내부에 위치하는 각각의 픽셀과 상기 기준 픽셀과의 거리에 따라 상기 기준 깊이 값을 보간하여 상기 각각의 픽셀의 깊이 값을 설정하는 단계; 상기 깊이 값에 비례하여 좌 또는 우 방향으로 상기 각각의 픽셀을 이동시킴으로써 처리후 영상을 생성하는 단계; 상기 피변환 영상 및 상기 처리후 영상을 좌안 영상 및 우안 영상으로 활용하여 3 차원 입체 영상을 디스플레이하는 단계; 를 포함한다.

일 실시예로서, 본 발명의 입체 영상 변환 방법은, 이차원 영상인 제1 피변환 영상에 대하여 제1 분할 영역 및 제2 분할 영역을 포함하는 분할 영역 지도를 생성하는 단계; 상기 제1 피변환 영상에 대하여 상기 제1 분할 영역 및 상기 제2 분할 영역에 위치하는 각각의 픽셀의 깊이 값을 설정한 다음 상기 깊이 값에 비례하여 좌 또는 우 방향으로 상기 각각의 픽셀을 이동시킴으로써 제1 처리후 영상을 생성하는 단계; 상기 제1 피변환 영상 및 상기 제1 처리후 영상을 좌안 영상 및 우안 영상으로 활용하여 제1 삼차원 입체 영상을 생성하는 단계; 또 다른 2 차원 영상인 제2 피변환 영상에 대하여 상기 제1 피변환 영상에서 구한 분할 영역 지도를 적용하되, 상기 제1 분할 영역 및 상기 제2 분할 영역을 상기 제2 피변환 영상의 수직 방향을 따라 서로 독립적으로 적층된 가상의 제1 레이어 및 제2 레이어로 인식하는 단계; 상기 제1 피변환 영상 대비 상기 제2 피변환 영상에서 상기 제1 분할 영역에 대응되는 객체의 위치나 크기가 변화되었다면 상기 제1 분할 영역을 상기 변화된 객체에 맞게 수정하거나 상기 제1 분할 영역의 깊이 값을 수정하는 단계; 상기 제2 피변환 영상에 대하여 상기 수정된 제1 분할 영역 및 상기 제2 분할 영역에 위치하는 각각의 픽셀의 깊이 값을 설정한 다음 상기 깊이 값에 비례하여 좌 또는 우 방향으로 상기 각각의 픽셀을 이동시킴으로써 제2 처리후 영상을 생성하는 단계; 상기 제2 피변환 영상 및 상기 제2 처리후 영상을 좌안 영상 및 우안 영상으로 활용하여 제2 삼차원 입체 영상을 생성하는 단계; 를 포함한다.

일 실시예로서, 본 발명의 입체 영상 변환 장치는, 2차원 영상인 피변환 영상을 입력받는 입력부; 상기 피변환 영상에 대하여 깊이 값을 설정할 대상이 되는 객체를 선택하고, 상기 객체의 경계를 따라 다수의 분할점이 설정되면 상기 분할점으로 둘러싸인 내부의 영역을 분할 영역으로 인식하며, 상기 분할 영역에 위치하는 각각의 픽셀의 깊이 값을 설정한 다음, 상기 깊이 값에 비례하여 좌 또는 우 방향으로 상기 각각의 픽셀을 이동시킴으로써 처리후 영상을 생성하는 제어부; 상기 피변환 영상 및 상기 처리후 영상을 좌안 영상 및 우안 영상으로 활용하여 3 차원 입체 영상을 디스플레이하는 디스플레이부; 를 포함한다.

일 실시예로서, 본 발명의 입체 영상 변환 장치는, 2 차원 영상인 피변환 영상을 입력받는 입력부; 상기 피변환 영상에 대하여 깊이 값을 설정할 영역의 가장자리를 선으로 연결함으로써 다각형 또는 폐곡선 형상으로 된 분할 영역을 생성하는 단계, 상기 다각형 또는 폐곡선 상에 존재하거나 상기 분할 영역의 내부에 위치하는 기준 픽셀에 기준 깊이 값을 입력하는 단계, 상기 분할 영역의 내부에 위치하는 각각의 픽셀과 상기 기준 픽셀과의 거리에 따라 상기 기준 깊이 값을 보간하여 상기 각각의 픽셀의 깊이 값을 설정하는 단계, 상기 깊이 값에 비례하여 좌 또는 우 방향으로 상기 각각의 픽셀을 이동시킴으로써 처리후 영상을 생성하는 단계가 수행되는 제어부; 상기 피변환 영상 및 상기 처리후 영상을 좌안 영상 및 우안 영상으로 활용하여 3 차원 입체 영상을 디스플레이하는 디스플레이부; 를 포함한다.

일 실시예로서, 본 발명의 입체 영상 변환 장치는, 이차원 영상인 피변환 영상을 입력받는 입력부; 상기 피변환 영상에 대하여 제1 분할 영역 및 제2 분할 영역을 포함하는 분할 영역 지도를 생성하는 단계, 상기 제1 분할 영역 및 상기 제2 분할 영역을 상기 피변환 영상의 수직 방향을 따라 서로 독립적으로 적층된 가상의 제1 레이어 및 제2 레이어로 인식하는 단계, 상기 피변환 영상에 대하여 상기 제1 레이어 및 상기 제2 레이어에 위치하는 각각의 픽셀의 깊이 값을 설정한 다음 상기 깊이 값에 비례하여 좌 또는 우 방향으로 상기 각각의 픽셀을 이동시킴으로써 처리후 영상을 생성하는 단계를 수행하는 제어부; 상기 피변환 영상 및 상기 처리후 영상을 좌안 영상 및 우안 영상으로 활용하여 삼차원 입체 영상을 생성하는 단계를 수행하는 디스플레이부; 를 포함한다.

일 실시예로서, 본 발명의 입체 영상 변환 장치는, 이차원 영상인 제1 피변환 영상을 입력받는 입력부; 상기 제1 피변환 영상에 대하여 제1 분할 영역 및 제2 분할 영역을 포함하는 분할 영역 지도를 생성하는 단계, 상기 제1 피변환 영상에 대하여 상기 제1 분할 영역 및 상기 제2 분할 영역에 위치하는 각각의 픽셀의 깊이 값을 설정한 다음 상기 깊이 값에 비례하여 좌 또는 우 방향으로 상기 각각의 픽셀을 이동시킴으로써 제1 처리후 영상을 생성하는 단계, 또 다른 2 차원 영상인 제2 피변환 영상에 대하여 상기 제1 피변환 영상에서 구한 분할 영역 지도를 적용하되, 상기 제1 분할 영역 및 상기 제2 분할 영역을 상기 제2 피변환 영상의 수직 방향을 따라 서로 독립적으로 적층된 가상의 제1 레이어 및 제2 레이어로 인식하는 단계, 상기 제1 피변환 영상 대비 상기 제2 피변환 영상에서 상기 제1 분할 영역에 대응되는 객체의 위치나 크기가 변화되었다면 상기 제1 분할 영역을 상기 변화된 객체에 맞게 수정하거나 상기 제1 분할 영역의 깊이 값을 수정하는 단계, 상기 제2 피변환 영상에 대하여 상기 수정된 제1 분할 영역 및 상기 제2 분할 영역에 위치하는 각각의 픽셀의 깊이 값을 설정한 다음 상기 깊이 값에 비례하여 좌 또는 우 방향으로 상기 각각의 픽셀을 이동시킴으로써 제2 처리후 영상을 생성하는 단계를 수행하는 제어부; 상기 제1 피변환 영상 및 상기 제1 처리후 영상을 좌안 영상 및 우안 영상으로 활용하여 제1 삼차원 입체 영상을 생성하는 단계, 상기 제2 피변환 영상 및 상기 제2 처리후 영상을 좌안 영상 및 우안 영상으로 활용하여 제2 삼차원 입체 영상을 생성하는 단계를 수행하는 디스플레이부; 를 포함한다.

본 발명에 따르면, 2 차원 영상에서 깊이 값을 조절할 대상이 되는 객체를 경계 짓는 분할 영역 지도를 간단하게 짧은 시간에 정확하게 생성할 수 있으며, , 분할 영역 지도에 레이어(layer) 개념을 도입하여 유사한 여러 장의 2차원 영상에 대하여 변화가 발생한 영역만을 국부적으로 처리하므로 작업량을 획기적으로 줄일 수 있는 장점이 있다.

도 1은 본 발명의 일 실시예로서, 객체의 경계를 따라 분할점이 설정된 피변환 영상을 도시한다.
도 2는 본 발명의 일 실시예로서, 분할 영역 및 깊이 값이 설정된 조절 영상을 도시한다.
도 3은 본 발명의 일 실시예로서, 각 분할 영역을 구분하기 위한 식별용 색상을 입힌 처리후 영상을 도시한다.
도 4는 본 발명의 일 실시예로서, 다각형 또는 폐곡선 형상으로 된 분할 영역이 설정된 피변환 영상을 도시한다.
도 5는 본 발명의 일 실시예로서, 레이어 개념을 설명하기 위한 설명도이다.

본 발명은 2 차원 영상을 3차원 입체 영상으로 변환하는 방법 및 장치에 관한 기술로서, 기존의 2 차원 영상을 예를 들어 왼쪽 눈에 보이는 좌안 영상으로 이용하고 이러한 2 차원 영상을 편집하여 오른쪽 눈에 보이는 우안 영상으로 이용하며, 좌안 영상 및 우안 영상을 디스플레이부에서 중첩시켜 3 차원 입체 영상으로 보이게 하는 기술이다.

변환 대상이 되는 2 차원 영상인 피변환 영상의 각 픽셀들을 눈에서 가까운 만큼 좌우 중 어느 한 방향으로 이동시켜서 다른쪽 눈에 보이는 처리후 영상을 생성하게 되는데, 본 발명은 피변환 영상을 다수의 영역으로 분할한 각각의 분할 영역에 대하여 깊이 값을 설정하면 상기 깊이 값에 따라 상기 분할 영역이 좌우로 이동된다.

본 발명과 대비되는 가상의 실시예로서, 사각형 메쉬 구조로 된 그물망을 사용하여 영역을 분할하는 경우, 그물눈이 연속적으로 존재해야 한다. 따라서 어느 특정 부분을 분할하기 위하여 주변에 불필요한 그물눈이 존재하게 되며, 이러한 불필요한 그물눈에도 모두 깊이 값을 지정하여야 하기 때문에 작업량이 매우 많아지는 문제점이 발생한다.

또한, 사각형의 꼭지점을 객체의 경계에 일치시키는 것이므로 최대로 간소화하는 경우 이웃한 3개의 꼭지점을 객체의 경계에 일치시키는 것만 상정할 수 있으므로 복잡한 곡선으로 된 객체의 경계를 그물눈의 꼭지점에 일치시키기 위해서는 그물눈의 수가 불필요하게 증가되는 문제점이 발생한다.

또한, 그물눈의 꼭지점을 잇는 것은 임의의 곡선에 의할 수 없고 오로지 선분에 의해서만 가능한 한계가 있으므로 분할 영역을 구획하는 선들이 울퉁불퉁하게 돌출되는 문제점이 있으며, 돌출 부분없이 매끄럽게 연결하려면 그물눈의 수를 기하급수적으로 증가시켜야 하는 문제점이 발생하므로 영상 변환에 필요한 처리 시간이 매우 길어지고 작업이 복잡한 단점이 있다.

이에 비하여 본 발명에서는 임의 개수의 분할점에 의하여 객체의 경계에 일치되는 자유 형상의 분할 영역을 구획하거나, 임의 개수의 직선 또는 곡선에 의하여 이루어진 다각형 또는 폐곡선으로 분할 영역을 구획한다. 따라서, 최대로 간소화하는 경우 하나의 객체에 하나의 분할 영역만 필요하게 되므로 상기 사각형 메쉬 구조에 비하여 획기적으로 간소화된 분할 영역 지도를 생성하는 장점이 있다.

또한, 다수의 분할점이나 곡선을 이용하여 분할 영역을 구획할 수 있으므로 상기 사각형 메쉬 구조에 비하여 분할 영역을 구획하는 선들이 돌출 부분없이 매끄럽게 객체와 정확하게 일치되도록 할 수 있는 장점이 있다.

분할에 사용된 다각형들은 그 내부를 분할선을 추가함으로써 간단하게 세부 영역으로 분할할 수 있다. 이와 같이 세부 분할에 사용되는 분할선도 하나의 선분으로만 이루어지는 경우는 물론 수개의 직선 또는 곡선으로 이루어지게 할 수 있다.

분할이 완료된 영역에 대하여 작업자가 분할점 또는 분할 영역의 위치를 키보드 또는 마우스 입력으로 간단하게 수정할 수 있다. 이러한 수정 작업시에도 상기 사각형 메쉬 구조에서는 주변 그물눈이 영향을 받는 경우가 발생하지만 본 발명에서는 수정이 필요한 하나의 분할점만을 이동시킴으로써 분할 영역의 형상을 간단하고 섬세하게 수정할 수 있게 된다.

본 발명에서는 다각형 또는 폐곡선으로 구획된 분할 영역에 이동 거리를 지절할 때 동일한 깊이 값을 설정하여 동일한 거리를 이동시킬 수도 있으며, 수개의 픽셀에 이동 거리에 대응된 깊이 값을 설정하고 이를 보간하면 분할 영역 내에 속한 모든 픽셀에 서로 다른 깊이 값을 설정할 수도 있어 훨씬 입체감있는 3차원 영상을 만들 수 있다.

또한, 본 발명에서는 레이어 개념을 제안하여, 피변환 영상을 독립적인 수개의 분할 영역으로서 서로 독립적으로 적층되는 개념인 레이어로 분할할 수 있다. 각 레이어는 피변환 영상에 수직한 방향인 깊이 방향에서 보았을 때 서로 겹쳐질 수 있다. 이때 피변환 영상 중 하나의 픽셀이 수개의 분할 영역(레이어)에 중복되어 위치하는 경우가 발생할 수 있지만, 이러한 경우에는 중복된 레이어 중 눈에서 가장 가까운 위치에 있는(예를 들어, 가장 작은 깊이 값이 지정된) 레이어에 소속되는 것으로 간주하고 그 레이어의 깊이 값을 적용한다.

각각의 분할 영역은 다각형 또는 폐곡선으로 된 외곽선 내에 존재하게 되며, 각각의 분할 영역의 위치를 이동시키거나 가로 및 세로 비율을 조절할 수 있다.

이와 같이 레이어 개념을 도입하면, 한 장의 영상에 대하여 여러 개의 분할 영역에 대하여 각각 독립적으로 깊이 값을 연산하는 작업을 수행하고 그 작업 결과를 예를 들어 화질 개선을 위한 기타 작업에 활용할 수 있다. 이에 한정되지 않고, 특히, 한 장의 영상에 대하여 미리 구해놓은 분할 영역 지도를 이와 유사한 다른 영상에 사용할 수 있다.

여기서, 각각의 분할 영역의 경계에서 발생하는 변화를 적용할 때 유의할 점이 있다. 레이어를 사용하는 경우에는 어느 하나의 레이어에 대응되는 객체가 이동하거나 그 크기가 변할 때 해당 레이어에 속한 픽셀의 위치만을 변경시켜 주면 되고 변화하지 않은 레이어에 대하여는 작업을 수행하지 않아도 되지만, 변화되는 부분과 변화되지 않는 부분을 함께 포함한 부분을 단일 레이어로 잡게 되면 해당 레이어의 모든 픽셀에 대하여 작업해야 하므로 작업량이 늘어난다. 이를 고려하여 레이어 설정시 분할선을 적절히 활용하여 세부 분할 영역으로 쪼개는 작업이 필요하며 분할 영역의 최적 설정이 필요하게 된다.

이하, 첨부된 도면들을 참조하여 본 발명에 따른 실시예를 더욱 상세히 설명한다. 이 과정에서 도면에 도시된 구성요소의 크기나 형상 등은 설명의 명료성과 편의상 과장되게 도시될 수 있다. 또한, 본 발명의 구성 및 작용을 고려하여 특별히 정의된 용어들은 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 한다.

도 1은 본 발명의 일 실시예로서, 객체의 경계를 따라 분할점이 설정된 피변환 영상을 도시한다. 도 2는 본 발명의 일 실시예로서, 분할 영역 및 깊이 값이 설정된 조절 영상을 도시한다. 도 3은 본 발명의 일 실시예로서, 각 분할 영역을 구분하기 위한 식별용 색상을 입힌 처리후 영상을 도시한다. 도 4는 본 발명의 일 실시예로서, 다각형 또는 폐곡선 형상으로 된 분할 영역이 설정된 피변환 영상을 도시한다.

본 발명에 의하면 우선 피변환 영상이 되는 2 차원 영상을 입력부를 통하여 입력받는다. 입력부는 도시되지 않았지만 제어부에 정지 영상 또는 동영상을 입출력하는 인터페이스 장치나 하드 디스크 등의 저장 장치는 물론 마우스나 키보드 등의 사용자 입력장치를 포함한다.

도 1의 입력된 피변환 영상에는 여러 명의 사람 얼굴이 각각의 객체에 해당한다. 이에 한정되지 않고 스포츠 경기의 경우 운동장과 같은 배경이나, 선수, 공 등이 객체가 될 수 있다. 이러한 객체의 경계를 따라 분할점을 설정한다. 분할점은 도 1 및 도 2를 참조하면 노란 사각점으로 표시되어 있다. 분할점은 객체 경계의 특징을 잘 나타낼 수 있는 위치로 설정되는 것이 좋다. 예를 들면 변곡점이나 함몰부, 돌출부 등이 분할점으로 잡히는 것이 명확한 경계를 표현하는데 유리한다.

분할점으로 둘러싸인 내부의 영역은 하나의 분할 영역으로 인식된다. 여기서, '내부의 영역'이란 서로 인접한 분할점을 이은 선들로 이루어진 다각형 또는 폐곡선의 내부에 해당하는 영역, 서로 인접하지 않고 멀리 떨어진 두 개의 분할점 사이에 해당하는 영역, 세 개의 분할점이 이루는 삼각형의 내부에 해당하는 영역 등 피변환 영상 및 객체의 특징에 따라 다양한 실시예가 가능하다.

분할 영역을 설정하는 방식에는 위와 같이 다수의 분할점에 의하는 경우, 도 4에 도시된 것과 같이 다수의 직선 또는 곡선으로 이루어진 다각형 또는 폐곡선에 의하는 경우 등 다양한 실시예가 가능하다. 또한, 이미 설정된 분할 영역을 더욱 잘게 재분할하는 것도 가능하다. 즉, 분할 영역의 내부에 분할선을 그어 재분할 영역을 설정하며, 상기 재분할 영역 단위로 각각의 픽셀의 깊이 값을 설정하는 실시예도 가능하다.

한편, 어느 하나의 분할 영역에 위치하는 각각의 픽셀들에는 깊이 값이 설정되어야 한다. 예를 들어 우안 영상을 생성하는 경우에 눈에 더 멀리 보이도록 픽셀을 오른쪽으로 이동해야 하는 경우 양의 깊이 값이 설정되고, 눈에서 더 가깝게 보이도록 픽셀을 왼쪽으로 이동해야 하는 경우 음의 깊이 값이 설정된다. 피변환 영상 및 처리후 영상이 좌안 영상 또는 우안 영상 중 어디에 대응시킬지에 따라 양음의 부호는 바뀔 수 있다. 여기서, 깊이 값의 차이가 더 클수록 더 큰 입체감을 느낄 수 있음은 당연하다.

분할 영역 및 깊이 값을 피변환 영상에 표시한 영상을 '조절 영상'으로 정의할 때 그 예가 도 2에 도시된다. 본 발명에서는 작업자가 조절 영상을 주시하면서, 키보드 또는 마우스 입력에 의하여 분할점의 위치 또는 깊이 값의 조절이 가능하며, 다양한 형태의 입력부를 통한 조절도 가능하다.

이와 같은 분할점은 키보드 또는 마우스 입력에 따라 수동으로 설정되거나, 피변환 영상을 비전 처리함으로써 검출된 객체의 경계를 따라 자동으로 설정될 수 있다. 이러한 자동화된 작업은 모두 제어부에서 처리된다. 제어부는 예를 들면 중앙연산처리장치를 포함한 컴퓨터, 멀티미디어 기기의 메인 PCB 등이다.

깊이 값이 설정되면 깊이 값에 비례하여 좌 또는 우 방향으로 각각의 픽셀을 이동시킴으로써 처리후 영상을 생성한다. 도 3은 처리후 영상의 예를 도시하며 설명의 편의를 위하여 각 분할 영역마다 식별용 색상을 입혀놓았다.

하나의 분할 영역에 위치하는 모든 픽셀에 동일한 깊이 값이 설정되는 경우, 해당 분할 영역 내의 객체가 눈에서 일정한 거리에 있는 것으로 인식된다.

그러나, 예를 들어 도 2의 참조 부호 H1으로 표시된 객체에서 우측 모자 부분(C5)이 좌측의 수염 부분(C1)보다 더 멀리 보이도록 해야한다면 우측 모자 부분(C5)의 깊이 값으로 '-10'을 설정하고 좌측 수염 부분(C1)의 깊이 값으로 '-2'를 설정할 수 있다. 여기서, 참조 부호 H1으로 표시된 객체는 깊이 값은 대체로 음의 값으로 설정되므로 양의 깊이 값을 갖는 다른 객체에 비하여 눈에 더 멀리 보인다. 또한, 이 객체는 그 특성상 우측으로 갈수록 점차 멀어지는 입체감을 갖는 것이 바람직하다. 즉, 이 객체를 상측에서 관찰한다면 참조 부호 H1′와 같이 비스듬히 경사진 상태가 되며, 이러한 원근감으로 디스플레이된다.

이를 위하여 분할점 중에서 선택된 적어도 2 개 이상의 분할점(C1, C5)에 대하여 각각의 깊이 값(예를 들어 '-2', '-10')이 미리 입력되면, 분할 영역에 위치한 픽셀(C1, C2, C3, C4, C5)의 좌표에 따라 상기 입력된 깊이 값(예를 들어 '-2', '-10')을 보간함으로써, 분할 영역에 위치하는 각각의 픽셀(C1, C2, C3, C4, C5)마다 구별되는 깊이 값을 설정한다.

한편, 도 2 및 도 4를 함께 참조하면, 본 발명에서는 피변환 영상에 대하여 깊이 값을 설정할 영역의 가장자리를 선으로 연결함으로써 다각형 또는 폐곡선 형상으로 된 분할 영역(A1)을 생성할 수 있다.

이때, 다각형 또는 폐곡선(도 4 참조, E1) 상에 존재하는 기준 픽셀(도 2 참조, C1, C5) 또는 분할 영역(A1)의 내부에 위치하는 기준 픽셀(도 2 참조, C6, 이는 옷의 접힘부이므로 더 멀리 느껴져야 함)에 기준 깊이 값(C1은 -2, C5는 -10, C6는 -40)을 입력한다.

그리고, 상기 분할 영역의 내부에 위치하는 각각의 픽셀과 상기 기준 픽셀(C1, C5, C6)과의 거리에 따라 상기 기준 깊이 값(C1은 -2, C5는 -10, C6는 -40)을 보간하여 상기 분할 영역의 내부에 위치하는 각각의 픽셀(참조 부호 H1 객체에 대응되는 모든 픽셀)의 깊이 값을 설정한다.

다수의 분할점(C1, C5)에 의하든 이들을 연결한 다각형 또는 폐곡선(E1)에 의하든 분할 영역(A1)이 일단 정해지고 난 다음에는, 각 픽셀에 대한 깊이 값은 기준 픽셀(C1, C5, C6)의 기준 깊이 값(C1은 -2, C5는 -10, C6는 -40)을 보간함으로써 구해진다.

이러한 깊이 값의 보간시, 객체가 평면 구조이면 1차 함수에 의한 깊이 값의 선형 평균을 구하고, 객체가 오목 또는 볼록 구조이면 다차 함수에 의한 깊이 값의 비선형 평균을 구한다.

예를 들어, 도 2의 참조 부호 H1으로 표시된 객체를 평면 구조로 가정하면 각각의 픽셀(C1, C2, C3, C4, C5)에 대하여 -2, -4, -6, -8, -10의 깊이 값을 각각 설정한다. 이는 1차 함수에 의한 깊이 값(-2, -10)의 선형 평균을 구하는 방법을 통하여 설정되었다.

또한, 예를 들어 도 2의 참조 부호 H2로 표시된 객체를 볼록 구조로 가정하면, 각각의 픽셀(CC1, CC3)에 대하여 '10', '14'의 깊이 값을 각각 설정한다. 볼록 구조이므로 2차 이상의 다차 함수에 의하여 깊이 값의 비선형 평균을 구하는 방법으로 분할 영역 내부의 픽셀(CC2)에 대한 깊이 값을 산출하면 예를 들어 '15'가 된다. 이에 따라 H2 객체를 상측에서 본다면 참조 부호 H2′와 같이 볼록하되 좌측으로 비스듬히 경사진 상태가 되며, 이러한 원근감으로 디스플레이된다.

도시하지는 않았지만, 분할 영역의 내부의 특정 픽셀에 대하여 입력된 기준 깊이 값과, 분할점에 대하여 입력된 기준 깊이 값을 보간하여 각 픽셀의 깊이 값을 구하는 실시예도 가능하다.

즉, 분할 영역의 내부에 깊이 값이 기입력된 특정 픽셀이 존재하고 분할점 중 적어도 하나의 분할점에 대하여 깊이 값이 입력되는 경우, 상기 특정 픽셀에 대하여 기입력된 상기 깊이 값과 상기 분할점에 입력된 상기 깊이 값을 상기 분할 영역에 위치한 각각의 픽셀의 좌표에 따라 보간함으로써, 상기 분할 영역에 위치하는 각각의 픽셀마다 구별되는 깊이 값을 설정할 수 있다.

도시하지는 않았지만, 분할 영역 내부의 특정 픽셀에 대하여 입력된 기준 깊이값을 보간하여 각 픽셀의 깊이 값을 구하는 실시예도 가능하다.

즉, 분할 영역의 내부에 깊이 값이 기입력된 특정 픽셀이 적어도 2개 이상 존재하는 경우, 상기 특정 픽셀에 대하여 기입력된 상기 깊이 값을 상기 분할 영역에 위치한 각각의 픽셀의 좌표에 따라 보간함으로써, 상기 분할 영역에 위치하는 각각의 픽셀마다 구별되는 깊이 값을 설정할 수 있다.

이와 같이 분할 영역 설정, 깊이 값의 설정, 각 픽셀을 이동하여 처리후 영상 생성이 완료되면, 피변환 영상 및 도 3에 예시된 처리후 영상을 좌안 영상 또는 우안 영상 중 어느 하나에 각각 대응시키고 앞에서 설명한 다양한 방식의 3차원 디스플레이 장치를 포함하는 디스플레이부(미도시)를 통하여 좌안 영상 및 우안 영상을 중첩시키면 사람의 눈에는 원근감을 느끼는 입체 영상을 볼 수 있다.

좌안 영상 및 우안 영상의 중첩시 디스플레이부의 화면의 가로 방향 또는 세로 방향을 따라 한 줄씩 번갈아 배열하거나, 각 픽셀 단위로 번갈아 배열하거나, 좌안 영상 및 우안 영상을 한 장씩 교대로 표시하는 등의 다양한 중첩 방법이 가능하다.

다음으로 도 5를 참조하며 본 발명의 레이어 개념에 대하여 설명한다. 본 발명에 따르면, 제1 피변환 영상(S1)에 대하여 제1 분할 영역 및 제2 분할 영역을 포함하는 분할 영역 지도를 생성한다.

그리고, 이렇게 구해진 상기 분할 영역 지도를 적용하여 또 다른 2 차원 영상인 제2 피변환 영상(S2)을 분할한다. 이때, 상기 제1 분할 영역 및 상기 제2 분할 영역을 제2 피변환 영상(S2)의 수직 방향을 따라 서로 독립적으로 적층된 가상의 제1 레이어(AA1) 및 제2 레이어(AA2)로 인식한다.

이때, 제1 레이어(AA1) 및 제2 레이어(AA2)의 수직방향 적층 높이의 차이는 물리적으로 아무런 의미가 없으며 오로지 독립적으로 취급된다는 점에서 수직 방향으로 적층된 것으로 생각하며, 각 레이어에 설정되는 깊이 값과는 완전히 별개이다.

레이어 개념을 도입하면 위치나 크기 등에 변화가 발생한 객체(HH1)에 대응되는 레이어(AA1)만 연산하고 그렇지 않은 객체(HH2)에 대응되는 레이어(AA2) 내의 픽셀 정보는 연산없이 유사한 영상 프레임(제2 피변환 영상)에 그대로 적용할 수 있는 간편성을 갖는다.

시간상의 연속성을 불문하고 서로 유사한 두 개의 2 차원 영상인 제1 피변환 영상(S1) 대비 제2 피변환 영상(S2)에서 제1 분할 영역에 대응되는 객체(HH1)의 위치나 크기가 변화되었다면 제1 분할 영역을 상기 변화된 객체(HH1)에 맞게 수정하거나 제1 분할 영역의 깊이 값을 수정하고, 움직임이나 크기 변화가 없는 제2 분할 영역의 객체(HH2)의 데이터는 변환 작업없이 그대로 유지함으로써 작업량 및 계산량을 줄일 수 있다.

한편, 제1 분할 영역에 대응되는 제1 레이어(AA1) 및 제2 분할 영역에 대응되는 제2 레이어(AA2)는 서로 겹쳐지거나 각각이 이동됨으로써 공백 부분이 생길 수 있다. 이때, 제2 분할 영역 및 상기 수정된 제1 분할 영역이 서로 겹쳐지면 상기 겹쳐진 부분(W)에 위치하는 픽셀은 상기 제2 분할 영역 및 상기 수정된 제1 분할 영역 중 눈에서 가까운 깊이 값을 갖는 분할 영역에 속하는 것으로 처리한다. 도 5에 도시된 예에서는 수정된 제1 분할 영역에 속하는 픽셀로 처리한다. 눈에서 먼 깊이 값을 갖는 분할 영역은 가려져 보이지 않기 때문이다.

또한, 상기 제1 분할 영역이 축소 또는 이동됨으로써 수정되어 상기 제2 분할 영역에 공백의 픽셀이 발생하면, 상기 공백의 픽셀은 상기 제2 분할 영역에 속하는 것으로 처리하며, 상기 제1 분할 영역에 속한 픽셀 정보 또는 상기 제2 분할 영역에 속한 픽셀 정보로부터 상기 공백의 픽셀에 덮어쓸 정보를 추출한다.

예를 들어 주변 픽셀의 정보로 공백 부분을 덮어쓸 수 있는데, 스포츠 영상에서 운동장을 제2 분할 영역에 속한 객체로 잡고 선수나 공을 제1 분할 영역에 대응되는 이동되는 객체로 잡으면, 이동 객체만의 픽셀 정보만 연산하고 운동장 객체의 픽셀 정보는 이동 객체의 움직임에 의하여 공백이 발생한 픽셀을 채워주는 정보로 활용될 수 있는 것이다.

한편, 제1 피변환 영상(S1)에서의 이동 객체에 대한 픽셀 정보를 제2 피변환 영상(S2)에서의 객체 이동에 따라 발생한 공백 부분을 보상하는 데이터로 활용할 수 있다.

그리고, 서로 다른 제1 피변환 영상(S1) 및 제2 피변환 영상(S2)에 대하여 각각을 처리한 제1 처리후 영상 및 제2 처리후 영상을 생성하고, 제1 피변환 영상(S1) 및 상기 제1 처리후 영상을 좌안 영상 및 우안 영상으로 활용하여 제1 삼차원 입체 영상을 생성하여 디스플레이하며, 제2 피변환 영상(S2) 및 상기 제2 처리후 영상을 좌안 영상 및 우안 영상으로 활용하여 제2 삼차원 입체 영상을 이어서 디스플레이하면, 초당 수십 프레임의 영상이 일정 시간 계속되는 2 차원 영상 콘텐츠물 전체에 대한 3차원 입체 영상을 생성할 수 있는 것이다.

이상에서 본 발명에 따른 실시예들이 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 범위의 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 다음의 특허청구범위에 의해서 정해져야 할 것이다.

Claims (19)

1. 삭제
2. 2차원 영상인 피변환 영상에 대하여 깊이 값을 설정할 대상이 되는 객체를 선택하고, 상기 객체의 경계를 따라 다수의 분할점을 설정하며, 상기 분할점으로 둘러싸인 내부의 영역을 분할 영역으로 인식하고, 상기 분할 영역에 위치하는 각각의 픽셀의 깊이 값을 설정한 다음, 상기 깊이 값에 비례하여 좌 또는 우 방향으로 상기 각각의 픽셀을 이동시킴으로써 처리후 영상을 생성하며, 상기 피변환 영상 및 상기 처리후 영상을 좌안 영상 및 우안 영상으로 활용하여 3 차원 입체 영상을 디스플레이하고,
   상기 분할 영역에 위치하는 모든 픽셀에 동일한 깊이 값을 설정하거나,
   상기 분할점 중에서 선택된 적어도 2 개 이상의 분할점에 대하여 각각의 깊이 값이 미리 입력되면, 상기 분할 영역에 위치한 상기 픽셀의 좌표에 따라 상기 입력된 깊이 값을 보간함으로써, 상기 분할 영역에 위치하는 각각의 픽셀마다 구별되는 깊이 값을 설정하며,
   상기 깊이 값의 보간시, 상기 객체가 평면 구조이면 1차 함수에 의한 상기 깊이 값의 선형 평균을 구하고, 상기 객체가 오목 또는 볼록 구조이면 다차 함수에 의한 상기 깊이 값의 비선형 평균을 구하는 입체 영상 변환 방법.
   
3. 2차원 영상인 피변환 영상에 대하여 깊이 값을 설정할 대상이 되는 객체를 선택하고, 상기 객체의 경계를 따라 다수의 분할점을 설정하며, 상기 분할점으로 둘러싸인 내부의 영역을 분할 영역으로 인식하고, 상기 분할 영역에 위치하는 각각의 픽셀의 깊이 값을 설정한 다음, 상기 깊이 값에 비례하여 좌 또는 우 방향으로 상기 각각의 픽셀을 이동시킴으로써 처리후 영상을 생성하며, 상기 피변환 영상 및 상기 처리후 영상을 좌안 영상 및 우안 영상으로 활용하여 3 차원 입체 영상을 디스플레이하고,
   상기 분할 영역의 내부에 상기 깊이 값이 기입력된 특정 픽셀이 존재하고 상기 분할점 중 적어도 하나의 분할점에 대하여 상기 깊이 값이 입력되면, 상기 특정 픽셀에 대하여 기입력된 상기 깊이 값과 상기 분할점에 입력된 상기 깊이 값을 상기 분할 영역에 위치한 각각의 픽셀의 좌표에 따라 보간함으로써, 상기 분할 영역에 위치하는 각각의 픽셀마다 구별되는 깊이 값을 설정하고,
   상기 깊이 값의 보간시, 상기 객체가 평면 구조이면 1차 함수에 의한 상기 깊이 값의 선형 평균을 구하고, 상기 객체가 오목 또는 볼록 구조이면 다차 함수에 의한 상기 깊이 값의 비선형 평균을 구하는 입체 영상 변환 방법.
   
4. 2차원 영상인 피변환 영상에 대하여 깊이 값을 설정할 대상이 되는 객체를 선택하고, 상기 객체의 경계를 따라 다수의 분할점을 설정하며, 상기 분할점으로 둘러싸인 내부의 영역을 분할 영역으로 인식하고, 상기 분할 영역에 위치하는 각각의 픽셀의 깊이 값을 설정한 다음, 상기 깊이 값에 비례하여 좌 또는 우 방향으로 상기 각각의 픽셀을 이동시킴으로써 처리후 영상을 생성하며, 상기 피변환 영상 및 상기 처리후 영상을 좌안 영상 및 우안 영상으로 활용하여 3 차원 입체 영상을 디스플레이하고,
   상기 분할 영역의 내부에 상기 깊이 값이 기입력된 특정 픽셀이 적어도 2개 이상 존재하면, 상기 특정 픽셀에 대하여 기입력된 상기 깊이 값을 상기 분할 영역에 위치한 각각의 픽셀의 좌표에 따라 보간함으로써, 상기 분할 영역에 위치하는 각각의 픽셀마다 구별되는 깊이 값을 설정하며,
   상기 깊이 값의 보간시, 상기 객체가 평면 구조이면 1차 함수에 의한 상기 깊이 값의 선형 평균을 구하고, 상기 객체가 오목 또는 볼록 구조이면 다차 함수에 의한 상기 깊이 값의 비선형 평균을 구하는 입체 영상 변환 방법.
   
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 2차원 영상인 피변환 영상에 대하여 깊이 값을 설정할 대상이 되는 객체를 선택하고, 상기 객체의 경계를 따라 다수의 분할점을 설정하며, 상기 분할점으로 둘러싸인 내부의 영역을 분할 영역으로 인식하고, 상기 분할 영역에 위치하는 각각의 픽셀의 깊이 값을 설정한 다음, 상기 깊이 값에 비례하여 좌 또는 우 방향으로 상기 각각의 픽셀을 이동시킴으로써 처리후 영상을 생성하며, 상기 피변환 영상 및 상기 처리후 영상을 좌안 영상 및 우안 영상으로 활용하여 3 차원 입체 영상을 디스플레이하고,
   상기 피변환 영상에 대하여 제1 분할 영역 및 제2 분할 영역을 포함하는 분할 영역 지도를 생성하고, 상기 제1 분할 영역 및 상기 제2 분할 영역을 상기 피변환 영상의 수직 방향을 따라 서로 독립적으로 적층된 가상의 제1 레이어 및 제2 레이어로 인식하는 입체 영상 변환 방법.
   
10. 2차원 영상인 피변환 영상에 대하여 깊이 값을 설정할 대상이 되는 객체를 선택하고, 상기 객체의 경계를 따라 다수의 분할점을 설정하며, 상기 분할점으로 둘러싸인 내부의 영역을 분할 영역으로 인식하고, 상기 분할 영역에 위치하는 각각의 픽셀의 깊이 값을 설정한 다음, 상기 깊이 값에 비례하여 좌 또는 우 방향으로 상기 각각의 픽셀을 이동시킴으로써 처리후 영상을 생성하며, 상기 피변환 영상 및 상기 처리후 영상을 좌안 영상 및 우안 영상으로 활용하여 3 차원 입체 영상을 디스플레이하며,
    제1 피변환 영상에 대하여 제1 분할 영역 및 제2 분할 영역을 포함하는 분할 영역 지도를 생성하고, 상기 분할 영역 지도를 적용하여 제2 피변환 영상을 분할할 때, 상기 제1 분할 영역 및 상기 제2 분할 영역을 상기 제2 피변환 영상의 수직 방향을 따라 서로 독립적으로 적층된 가상의 제1 레이어 및 제2 레이어로 인식하는 입체 영상 변환 방법.
    
11. 제10항에 있어서,
    상기 제1 피변환 영상 대비 상기 제2 피변환 영상에서 상기 제1 분할 영역에 대응되는 객체의 위치나 크기가 변화되었다면 상기 제1 분할 영역을 상기 변화된 객체에 맞게 수정하거나 상기 제1 분할 영역의 깊이 값을 수정하는 입체 영상 변환 방법.
    
12. 제9항 또는 제10항에 있어서,
    상기 제1 분할 영역 및 상기 제2 분할 영역이 서로 겹쳐지면 상기 겹쳐진 부분에 위치하는 픽셀은 상기 제1 분할 영역 및 상기 제2 분할 영역 중 눈에서 가까운 깊이 값을 갖는 분할 영역에 속하는 것으로 처리하는 입체 영상 변환 방법.
    
13. 제9항 또는 제10항에 있어서,
    상기 제1 분할 영역이 축소 또는 이동됨으로써 수정되어 상기 제2 분할 영역에 공백의 픽셀이 발생하면, 상기 공백의 픽셀은 상기 제2 분할 영역에 속하는 것으로 처리하며, 상기 제1 분할 영역 또는 상기 제2 분할 영역에 속한 픽셀 정보로부터 상기 공백의 픽셀에 덮어쓸 정보를 추출하는 입체 영상 변환 방법.
    
14. 2 차원 영상인 피변환 영상을 입력받는 단계;
    상기 피변환 영상에 대하여 깊이 값을 설정할 영역의 가장자리를 선으로 연결함으로써 다각형 또는 폐곡선 형상으로 된 분할 영역을 생성하는 단계;
    상기 다각형 또는 폐곡선 상에 존재하거나 상기 분할 영역의 내부에 위치하는 기준 픽셀에 기준 깊이 값을 입력하는 단계;
    상기 분할 영역의 내부에 위치하는 각각의 픽셀과 상기 기준 픽셀과의 거리에 따라 상기 기준 깊이 값을 보간하여 상기 각각의 픽셀의 깊이 값을 설정하는 단계;
    상기 깊이 값에 비례하여 좌 또는 우 방향으로 상기 각각의 픽셀을 이동시킴으로써 처리후 영상을 생성하는 단계;
    상기 피변환 영상 및 상기 처리후 영상을 좌안 영상 및 우안 영상으로 활용하여 3 차원 입체 영상을 디스플레이하는 단계; 를 포함하는 입체 영상 변환 방법.
    
15. 이차원 영상인 제1 피변환 영상에 대하여 제1 분할 영역 및 제2 분할 영역을 포함하는 분할 영역 지도를 생성하는 단계;
    상기 제1 피변환 영상에 대하여 상기 제1 분할 영역 및 상기 제2 분할 영역에 위치하는 각각의 픽셀의 깊이 값을 설정한 다음 상기 깊이 값에 비례하여 좌 또는 우 방향으로 상기 각각의 픽셀을 이동시킴으로써 제1 처리후 영상을 생성하는 단계;
    상기 제1 피변환 영상 및 상기 제1 처리후 영상을 좌안 영상 및 우안 영상으로 활용하여 제1 삼차원 입체 영상을 생성하는 단계;
    또 다른 2 차원 영상인 제2 피변환 영상에 대하여 상기 제1 피변환 영상에서 구한 분할 영역 지도를 적용하되, 상기 제1 분할 영역 및 상기 제2 분할 영역을 상기 제2 피변환 영상의 수직 방향을 따라 서로 독립적으로 적층된 가상의 제1 레이어 및 제2 레이어로 인식하는 단계;
    상기 제1 피변환 영상 대비 상기 제2 피변환 영상에서 상기 제1 분할 영역에 대응되는 객체의 위치나 크기가 변화되었다면 상기 제1 분할 영역을 상기 변화된 객체에 맞게 수정하거나 상기 제1 분할 영역의 깊이 값을 수정하는 단계;
    상기 제2 피변환 영상에 대하여 상기 수정된 제1 분할 영역 및 상기 제2 분할 영역에 위치하는 각각의 픽셀의 깊이 값을 설정한 다음 상기 깊이 값에 비례하여 좌 또는 우 방향으로 상기 각각의 픽셀을 이동시킴으로써 제2 처리후 영상을 생성하는 단계;
    상기 제2 피변환 영상 및 상기 제2 처리후 영상을 좌안 영상 및 우안 영상으로 활용하여 제2 삼차원 입체 영상을 생성하는 단계; 를 포함하는 입체 영상 변환 방법.
    
16. 삭제
17. 2 차원 영상인 피변환 영상을 입력받는 입력부;
    상기 피변환 영상에 대하여 깊이 값을 설정할 영역의 가장자리를 선으로 연결함으로써 다각형 또는 폐곡선 형상으로 된 분할 영역을 생성하는 단계, 상기 다각형 또는 폐곡선 상에 존재하거나 상기 분할 영역의 내부에 위치하는 기준 픽셀에 기준 깊이 값을 입력하는 단계, 상기 분할 영역의 내부에 위치하는 각각의 픽셀과 상기 기준 픽셀과의 거리에 따라 상기 기준 깊이 값을 보간하여 상기 각각의 픽셀의 깊이 값을 설정하는 단계, 상기 깊이 값에 비례하여 좌 또는 우 방향으로 상기 각각의 픽셀을 이동시킴으로써 처리후 영상을 생성하는 단계가 수행되는 제어부;
    상기 피변환 영상 및 상기 처리후 영상을 좌안 영상 및 우안 영상으로 활용하여 3 차원 입체 영상을 디스플레이하는 디스플레이부; 를 포함하는 입체 영상 변환 장치.
    
18. 이차원 영상인 피변환 영상을 입력받는 입력부;
    상기 피변환 영상에 대하여 제1 분할 영역 및 제2 분할 영역을 포함하는 분할 영역 지도를 생성하는 단계, 상기 제1 분할 영역 및 상기 제2 분할 영역을 상기 피변환 영상의 수직 방향을 따라 서로 독립적으로 적층된 가상의 제1 레이어 및 제2 레이어로 인식하는 단계, 상기 피변환 영상에 대하여 상기 제1 레이어 및 상기 제2 레이어에 위치하는 각각의 픽셀의 깊이 값을 설정한 다음 상기 깊이 값에 비례하여 좌 또는 우 방향으로 상기 각각의 픽셀을 이동시킴으로써 처리후 영상을 생성하는 단계를 수행하는 제어부;
    상기 피변환 영상 및 상기 처리후 영상을 좌안 영상 및 우안 영상으로 활용하여 삼차원 입체 영상을 생성하는 단계를 수행하는 디스플레이부; 를 포함하는 입체 영상 변환 장치.
    
19. 이차원 영상인 제1 피변환 영상을 입력받는 입력부;
    상기 제1 피변환 영상에 대하여 제1 분할 영역 및 제2 분할 영역을 포함하는 분할 영역 지도를 생성하는 단계, 상기 제1 피변환 영상에 대하여 상기 제1 분할 영역 및 상기 제2 분할 영역에 위치하는 각각의 픽셀의 깊이 값을 설정한 다음 상기 깊이 값에 비례하여 좌 또는 우 방향으로 상기 각각의 픽셀을 이동시킴으로써 제1 처리후 영상을 생성하는 단계, 또 다른 2 차원 영상인 제2 피변환 영상에 대하여 상기 제1 피변환 영상에서 구한 분할 영역 지도를 적용하되, 상기 제1 분할 영역 및 상기 제2 분할 영역을 상기 제2 피변환 영상의 수직 방향을 따라 서로 독립적으로 적층된 가상의 제1 레이어 및 제2 레이어로 인식하는 단계, 상기 제1 피변환 영상 대비 상기 제2 피변환 영상에서 상기 제1 분할 영역에 대응되는 객체의 위치나 크기가 변화되었다면 상기 제1 분할 영역을 상기 변화된 객체에 맞게 수정하거나 상기 제1 분할 영역의 깊이 값을 수정하는 단계, 상기 제2 피변환 영상에 대하여 상기 수정된 제1 분할 영역 및 상기 제2 분할 영역에 위치하는 각각의 픽셀의 깊이 값을 설정한 다음 상기 깊이 값에 비례하여 좌 또는 우 방향으로 상기 각각의 픽셀을 이동시킴으로써 제2 처리후 영상을 생성하는 단계를 수행하는 제어부;
    상기 제1 피변환 영상 및 상기 제1 처리후 영상을 좌안 영상 및 우안 영상으로 활용하여 제1 삼차원 입체 영상을 생성하는 단계, 상기 제2 피변환 영상 및 상기 제2 처리후 영상을 좌안 영상 및 우안 영상으로 활용하여 제2 삼차원 입체 영상을 생성하는 단계를 수행하는 디스플레이부; 를 포함하는 입체 영상 변환 장치.

Images