KR101089344B1 - 이퀄라이징 깊이지도 생성 기법을 이용한 단일영상의 입체영상 변환 방법 - Google Patents

Abstract

본 발명은 단일영상에서 구성된 객체들을 분리하고 분리된 객체들의 깊이 정보에 대한 관계성 및 깊이 정보를 추출하여 이퀄라이징 기법을 활용하여 깊이지도를 생성하며, 생성된 깊이지도를 이용하여 원본영상을 기준으로 반대측 영상을 생성함으로써 하나의 입체영상으로 변환할 수 있도록 하는 이퀄라이징 깊이지도 생성 기법을 이용한 단일영상의 입체영상 변환 방법에 관한 것이다.
본 발명에 따른 단일영상의 입체영상 변환 방법은 단일영상에서 개별 프레임을 분리하고, 분리된 개별 프레임의 객체별 외곽선을 추출하여 프레임에서 객체를 분리하는 객체 분리단계; 상기 분리된 객체에 높낮이에 따른 등고선을 생성하고, 생성된 등고선 위치에 따라 객체의 볼륨 정보를 추출하여 볼륨지도를 생성하는 볼륨지도 생성단계; 상기 생성된 객체의 볼륨지도를 참조하여 객체들의 전후방 순서를 지정하고, 지정된 전후방 순서에 따라 객체들의 깊이 정보를 추출하여 깊이지도를 생성하는 깊이지도 생성단계; 상기 생성된 깊이지도 정보를 이용하여 객체 및 배경의 위치를 이동시켜 단일영상과 대응되는 반대측 영상을 생성하는 영상 이동단계;를 포함하여 이루어져, 단일영상의 입체영상 변환 과정이 신속하고 정교하게 이루어질 수 있다.

Description

이퀄라이징 깊이지도 생성 기법을 이용한 단일영상의 입체영상 변환 방법 {METHOD FOR TRANSFORMING MONO IMAGE TO 3D IMAGE USING THE DEPTH MAP GENERATED BY EQUALIZING TECHNIQUE}

본 발명은 단일영상의 입체영상 변환 방법에 관한 것으로, 더욱 상세하게는 단일영상에서 구성된 객체들을 분리하고 분리된 객체들의 깊이 정보에 대한 관계성 및 깊이 정보를 추출하여 이퀄라이징 기법을 활용하여 깊이지도를 생성하며, 생성된 깊이지도를 이용하여 원본영상을 기준으로 반대측 영상을 생성함으로써 하나의 입체영상으로 변환할 수 있도록 하는 이퀄라이징 깊이지도 생성 기법을 이용한 단일영상의 입체영상 변환 방법에 관한 것이다.

입체영상은 3차원 공간에 있는 것처럼 보이는 영상으로, 실제로 3차원 영상을 재현하는 방법도 시도되고 있지만, 널리 연구되는 방법은 좌우의 눈에 각기 좌우 방향에서 본 것과 동일한 영상을 제시하여 두 눈에 시각의 차이를 주고 이것을 합성하여 하나의 입체 영상으로 보이게 하는 것이다.

즉, 입체영상은 사람의 좌우 양안을 별도의 영상으로 생성하여 좌안은 좌측영상을 우안은 우측영상을 동시에 시청할 수 있도록 함으로써 입체로 느껴지도록 만들어내는 것으로서, 입체영상의 제작은 좌우영상을 각각 촬영할 수 있는 입체영상 카메라를 사용해 촬영하는 방법과, 3D그래픽 소프트웨어를 이용해 제작된 영상을 소프트웨어 내 가상 카메라 또는 렌즈를 좌안, 우안으로 설정함으로써 각각 영상을 렌더링하는 방식, 단일 렌즈를 사용해 촬영된 또는 제작된 영상을 기준으로 반대측(좌안 또는 우안 영상) 영상을 생성하는 변환(Conversion) 과정을 거쳐 제작되는 형태로 구분된다.

이중, 단일 영상을 기준으로 반대측 영상을 생성하여 입체영상으로 변환하는 방법에는 크게 단일영상을 하드웨어적인 시스템 또는 소프트웨어적인 시스템을 통해 프레임별로 분리하고 각 전,후 프레임을 각각 좌측과 우측 영상으로 지정하여 동시에 재생하는 방법의 자동변환방식과, 단일영상에서 추출한 영상의 시퀀스를 기준으로 깊이지도(Depth Map)를 제작하고 이를 기준으로 반대측 영상을 만들어 이를 통합하여 재생하는 비실시간 방식이 있으며, 그 외 다양한 방법들을 통해 변환되어 활용되고 있다.

상기 단일영상에서 반대측 영상을 만들어 통합 재생하는 비실시간 방식은 입체영상 변환 및 제작을 위해 필요한 객체들을 분리하는 방법, 깊이정보(Depth Information)를 추출하고 이를 자유롭게 조절, 조율, 조정할 수 있는 방법 및 각 객체들의 볼륨지도(Volume Map) 생성하는 방법, 시야각에 따른 객체들의 위치 이동 및 이동에 따라 발생하는 이미지의 차이(Hole)를 자연스럽고 효율적으로 재구성하여 할 수 있는 방법이 적용된다.

이러한 종래 기술들은 각 단계별 변환, 생성 과정이 유사 또는 동일한데, 세부단계를 수행하는 방법이나 그 결과에 있어서는 다음과 같은 문제점이 발생한다.

먼저, 각 영상을 프레임 시퀀스로 분리한 이미지데이터를 통해 개별 프레임(Frame) 별로 객체분리를 진행하는 방법 또는 분리하고자 하는 객체의 외곽선 정보를 프레임 별로 지정하여, 외곽선을 추출하는 방법으로 진행되고 있으나, 이러한 작업진행을 위해서는 많은 시간 및 인력의 투입이 불가피하며, 객체 외곽선이 불규칙하거나, 매끄럽지 않은 외곽선(깃털, 머리카락, 연기 등)을 구성하고 있는 경우 정밀한 외곽선을 추출하는데 한계가 있음은 물론, 전 프레임과 후 프레임간의 외곽라인의 연속성이 결여됨에 이를 다시 영상으로 인코딩(Encoding) 했을 때, 심한 영상의 흔들림, 또는 떨림 현상이 발생할 수 있으며, 세밀한 객체분리의 한계성으로 인해 객체 외곽영역이 부적합한 깊이 정보를 갖게 됨에 따라 깊이지도(Depth Map)을 제작하는 데 있어 부정확한 객체추출을 만들어 내는 원인이 되며, 이에 따라 자연스러운 입체영상의 변환을 해치는 요소로 작용하고 있다.

또한, 깊이정보를 추출, 계획하고 이를 기반으로 깊이지도를 생성하는 단계에 있어서 종래기술은 각 프레임 시퀀스를 기준으로 구성된 각 객체들의 공간상의 위치를 추출하고 계획하는 이를 해당 프레임 시퀀스에 그레이컬러(Gray Color)를 이용해 객체의 공간정보를 적용하고 있으나, 전후 프레임의 연속성을 계획하고 이를 지정, 생성하는데 있어 한계가 있으며, 추후 이를 수정, 재구성하기 위해서는 일일이 수작업을 통해 다시 프레임별로 적용된 그레이컬러를 수정 또는 다시 제작해야 하는 문제점을 가지고 있다. 또한 기존의 영상 그래픽 프로그램을 이용해 다소 연속성을 유지한 깊이지도(Depth Map)를 생성한다 하더라도 각 객체가 가지고 있는 볼륨정보를 적용하는 데는 한계가 있어, 카드를 세워놓은 것 같은 카드보딩(Card Boarding) 현상이 일어나는 등 효과적이고 효율적인 작업진행이 어려운 문제점이 있다.

뿐만 아니라, 각 객체분리 후 깊이정보를 생성한 후에는 기 확보한 한쪽 영상 프레임과 깊이정보를 매칭해 해당 원본 프레임의 외곽정보와 그레이컬러 값을 통해 원본영상의 픽셀(Pixel)을 이동함으로써, 입체영상을 위한 반대쪽 영상을 만들어내게 되는데, 각 객체별로 레이어가 분리되지 않은 원본프레임 이미지를 기반으로 외곽라인의 쉬프트(Shift : 픽셀의 이동)를 적용했을 경우 객체와 객체, 객체와 배경 등의 경계영역에서 유격현상을 유발하게 된다. 이러한 매끄럽지 않은 경계라인의 생성은 후반 보정작업을 유발함으로써, 많은 시간과 비용, 작업인력의 투입이 불가피함은 물론, 입체영상의 깊이를 다양하게 변환, 생성해 가장 적합한 입체영상의 깊이를 결정해야 하는 변환과정에서 한계성을 지니고 있다.

또한, 각 프레임별 객체분리, 깊이지도생성, 객체의 이동과정을 거쳐 생성된 최종 반대쪽 영상은 개별적인 객체이동에 따라 객체와 객체 또는 객체와 배경간의 이격 홀(Hole)현상이 일어나는데, 이러한 홀을 메꾸기 위해 일일이 프레임별로 수정, 보정작업을 진행하거나, 홀 주위의 컬러 중간값을 추출해 이를 이격방향으로 밀어내는 방법 등을 종래에는 사용하고 있으나, 프레임별로 보정작업을 진행하는 데는 많은 인력과, 시간투입을 유발하며, 작업의 세밀화 정도에 따라 결과물에 있어서도 심한 떨림 및 흔들림 현상이 발생할 수 있다. 또한 중간값 추출을 통한 홀 필링(Hole Filling)하는 방법에 있어서는 이격의 픽셀이 극히 작은 경우를 제외하고서는 영상의 늘어짐 현상이 발생됨에 따라, 입체영상 변환 결과물의 품질의 저하를 유발하는 문제점이 발생한다.

한편, 이러한 고품질의 입체영상 변환 및 생성과정은 많은 양의 영상 시퀀스의 프레임을 대상으로 작업이 진행되는 특징에 따라, 무엇보다 각 단계별 공정, 소스, 버전, 백업, 데이터 접근권한 등 총체적인 프로젝트 관리가 중요한 핵심이 될 수 있으나, 프로젝트 관리기법과의 연계방안 또는 방법에 대해서는 아직까지 적용되지 못하고 있는 실정이다.

본 발명은 상술한 종래 기술의 문제점을 해결하기 위하여 제안된 것으로서, 본 발명의 목적은 단일영상의 입체영상 변환을 위해 객체들을 분리하여, 객체들의 볼륨 정보 및 깊이 정보를 추출하여 등고선 및 이퀄라이징 기법을 이용해 각 객체들의 볼륨지도(Volume Map)와 깊이지도(Depth Map) 생성하며, 시야각에 따른 객체들의 위치 이동 및 이동에 따라 발생하는 이미지의 홀(Hole)을 자연스럽고 효율적으로 재구성하여 고품질의 입체영상을 제작할 수 있도록 하는 단일영상의 입체영상 변환 방법을 제공하는 데 있다.

상기 목적을 달성하기 위한 본 발명에 따른 단일영상의 입체영상 변환 방법은 단일영상에서 개별 프레임을 분리하고, 분리된 개별 프레임의 객체별 외곽선을 추출하여 프레임에서 객체를 분리하는 객체 분리단계; 상기 분리된 객체에 높낮이에 따른 등고선을 생성하고, 생성된 등고선 위치에 따라 객체의 볼륨 정보를 추출하여 볼륨지도를 생성하는 볼륨지도 생성단계; 상기 생성된 객체의 볼륨지도를 참조하여 객체들의 전후방 순서를 지정하고, 지정된 전후방 순서에 따라 객체들의 깊이 정보를 추출하여 깊이지도를 생성하는 깊이지도 생성단계; 상기 생성된 깊이지도 정보를 이용하여 객체 및 배경의 위치를 이동시켜 단일영상과 대응되는 반대측 영상을 생성하는 영상 이동단계;를 포함하여 이루어진다.

상기 영상 이동단계에서 객체의 위치 이동에 따라 배경과 객체 사이 또는 객체와 객체 사이에 홀이 발생하면, 해당 프레임의 전후 프레임을 검색하여 홀 주변 색상정보 및 패턴정보를 추출하여 추출된 색상 또는 이미지 패턴으로 해당 홀을 채우는 홀 필링단계가 포함되는데, 이 홀 필링단계에서 해당 프레임의 전후 프레임 검색에 따라 추출된 홀 주변 패턴정보 및 색상정보는 그 중간값이 선택되어 해당 홀 주변의 패턴에 따라 홀이 채워지는 것이 바람직하다.

상기 객체 분리단계는 개별 프레임의 객체 추출을 위한 벡터 기반의 외곽선을 생성하고, 생성된 외곽선 내·외부 영역에 지정범위를 설정하여 설정된 지정범위 내의 유사컬러를 추출한 후 이를 통하여 외곽선을 보정하여 외곽선을 추출하게 되는데, 각 프레임의 객체에 대한 벡터 기반 외곽선 추출이 이루어지면, 프레임별 객체의 외곽선 이동에 따른 벡터 이동 정보를 저장하고, 각 객체별 레이어를 지정하고 분리하여 레이어별로 추출된 객체 프레임을 저장하는 것이 바람직하다. 또한, 상기 객체 분리단계에서 프레임별 객체의 외곽선 이동에 따라 저장된 벡터 이동 정보에 따라, 외곽선이 추출된 프레임 사이에 위치한 중간 프레임의 외각선 추출이 이루어지도록 한다.

한편, 상기 볼륨지도의 생성단계에서 객체의 높낮이에 따라 생성되는 등고선은 객체의 수평 라인에서 객체의 높낮이에 따른 굴곡이 형성되어 시작과 끝 지점이 분리되는 수평 라인 형태의 개방형 등고선, 또는 동일/유사 높이 지점이 연결되어 시작과 끝 지점이 일치하는 원형 형태의 등고선으로 이루어지는데, 상기 분리된 객체에 생성된 등고선의 위치에 따라 등고선 패턴이 생성되고, 생성된 등록선 패턴은 다른 객체의 볼륨지도 작성 시 이용될 수 있도록 라이브러리 형태로 저장되는 것이 바람직하다.

상기 깊이지도 생성단계는 프레임별 객체의 위치를 조절하는 이퀄라이징(Equalizing) 방식을 적용하여 각 프레임에 구성된 객체들의 전후방 위치를 시각적으로 설정하되, 객체의 위치 이동이 설정된 전방위 및 후방위 범위 내에서 이루어지도록 하며, 객체의 위치에 따라 객체의 깊이정보가 생성된다.

또한, 상기 깊이지도 생성단계에서 이퀄라이징 방식에 따라 객체의 위치가 설정된 프레임 사이에 위치하는 중간 프레임의 객체는 위치가 설정된 이전 프레임 및 이후 프레임 객체의 위치 사이에서 적용되는 변화 패턴에 따라 그 위치가 결정되는데, 상기 변화 패턴은 객체의 움직임에 대한 특성을 반영하여 이전 프레임 및 이후 프레임 객체 간의 위치 사이에서 비례 또는 커브 곡선 형태의 패턴인 것이 바람직하다.

한편, 상기 영상 이동단계는 원본 시퀸스의 각 프레임 이미지 및 프레임의 객체별로 지정되는 레이어 정보를 포함하는 깊이지도 데이터를 로드하는 단계와, 객체의 외곽선 보정을 위해 피더(Feather) 및 안티알리아싱(Antialiasing) 정보를 입력받는 단계와, 원본 시퀀스에서 깊이지도의 레이어 별로 객체의 이동값 을 적용한 후 이를 통합하여 이동 영상 프레임을 생성하는 것이 바람직하다.

본 발명에 따른 단일영상의 입체영상 변환 방법은 단일영상의 정교한 객체 분리, 정확하고 빠른 볼륨정보 및 깊이정보 추출에 따른 볼륨지도와 깊이지도의 생성, 객체들의 위치 이동 및 이동에 따라 발생하는 이미지의 차이를 자연스럽고 효율적으로 재구성하여 고품질 입체영상을 제작할 수 있도록 함으로써 단일영상의 입체영상 변환 과정이 신속하고 정교하게 이루어질 수 있는 효과가 있다.

도 1은 본 발명에 따른 단일영상의 입체영상 변환 시스템의 전체적인 네트워크 연결도,
도 2는 본 발명에 따른 입체영상 변환서버의 블록 구성도,
도 3은 본 발명에 따른 데이터베이스 서버의 블록 구성도,
도 4는 본 발명에 따른 단일영상을 입체영상으로 변환하는 전체적인 과정을 나타낸 흐름도,
도 5는 본 발명에 따른 단일영상의 입체영상 변환과정 중 객체 분리단계를 나타낸 흐름도,
도 6은 본 발명에 따른 단일영상의 입체영상 변환과정 중 볼륨지도 생성과정을 나타낸 흐름도,
도 7a는 본 발명에 따라 객체의 형태 정보를 지정하고 생성하기 위하여 사용되는 개방형 등고선 일례,
도 7b는 본 발명에 따라 객체의 형태 정보를 지정하고 생성하기 위하여 사용되는 폐쇄형 등고선의 일례,
도 8은 본 발명에 따른 단일영상의 입체영상 변환과정 중 깊이지도 생성과정을 나타낸 흐름도,
도 9는 본 발명에 따라 프레임 및 객체의 깊이정보를 설정하는 이퀄라이징 설정 화면 일례,
도 10은 본 발명에 따라 깊이정보가 설정된 객체 사이에 위치된 중간 객체의 깊이정보를 자동으로 설정할 때 적용되는 변화 패턴 일례,
도 11은 상기 도 9의 이퀄라이징 설정에 따라 프레임 및 객체의 깊이정보를 그래프로 나타낸 화면 일례,
도 12는 본 발명에 따른 단일영상의 입체영상 변환과정 중 영상 이동과정을 나타낸 흐름도,
도 13은 본 발명에 따른 객체 이동에 따라 발생하는 홀을 채우는 과정을 나타낸 흐름도이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 단일영상의 입체영상 변환 시스템의 전체적인 네트워크 연결도를 나타낸 것이다.

도 1에 도시된 바와 같이, 본 발명에 따른 입체영상 변환 시스템은 입체영상 변환 프로젝트를 관리하는 프로젝트 관리서버(100)와, 입체영상 변환 프로젝트에 따라 단일영상을 입체영상으로 변환하는 입체영상 변환서버(200)와, 상기 입체영상 변환서버(200)에 의해 수행되는 입체영상 변환 프로젝트 데이터가 등록되는 데이터베이스 서버(300)를 포함하여 이루어진다.

상기 프로젝트 관리서버(100)는 입체영상 변환 프로젝트의 관리자가 운영하는 서버 컴퓨터로서, 이 프로젝트 관리서버(100)는 입체영상 변환서버(200)에 입체영상 프로젝트에 관한 업무 사항을 전달하고 입체영상 변환서버(200)에 의해 처리되는 입체영상 변환 프로젝트의 진행 정보를 보고받아 관리하게 된다.

상기 입체영상 변환서버(200)는 단일영상의 각 장면에서 연속적인 객체를 추출하고, 분리된 객체의 볼륨 정보 및 깊이 정보를 부여하여 볼륨지도 및 깊이지도를 작성하며, 입체영상의 생성을 위해 객체의 이동 및 그로 인해 발행하는 홀을 채워 단일영상을 입체영상으로 변환하는 컴퓨터이다.

상기 데이터베이스 서버(300)는 프로젝트 관리서버(100)에 의해 생성되는 입체영상 변환 프로젝트 정보와, 상기 입체영상 변환서버(200)에 의해 처리되는 입체영상 프로젝트 진행 정보 및 처리 결과 정보를 제공받아 저장하고 관리하는 데이터베이스 관리시스템이다.

도 2는 본 발명의 실시예에 따른 입체영상 변환서버의 블록 구성도를 나타낸 것이다.

도 2에 도시된 바와 같이, 본 발명에 따른 입체영상 변환서버(200)는 데이터 입력 및 표시를 위한 입력부(220) 및 출력부(230)와, 네트워크망을 통하여 외부의 컴퓨터 시스템과 통신을 수행하는 통신부(240)와, 외부 주변장치와의 데이터 송수신을 위한 인터페이스부(250)와, 단일영상을 입체영상으로 변환하는 입체영상 변환엔진(260)과, 상기 통신부(240)를 통하여 연결된 프로젝트 관리서버(100) 또는 다른 입체영상 변환서버나 데이터베이스 서버(300)와 입체영상 변환 프로젝트 정보를 공유하여 연동하는 프로젝트 연동부(270)와, 원본 시퀸스 영상 및 입체영상 변환엔진(260)에 의해 변환되는 입체영상 정보를 저정하는 데이터베이스(280)와, 상기 각 구성부의 동작을 제어하는 중앙제어부(210)를 포함하여 이루어진다.

상기 중앙제어부(210)는 입체영상 변환서버(200)의 각 구성부를 제어하고 관리하는 장치로서, 이 중앙제어부(2100)에는 통상의 중앙처리장치(CPU), 램(RAM), 롬(ROM) 등의 하드웨어 장치와 상기 하드웨어 장치를 인식하여 구동하는 소프트웨어가 구비되어 입체영상 변환서버(200)의 전체적인 동작을 제어하게 된다.

상기 입체영상 변환엔진(260)은 중앙제어부(210)의 제어에 의해 동작되어 원본 시퀸스 영상의 객체를 분리하고 볼륨지도 및 깊이지도를 생성하며 객체를 이동시켜 입체영상으로 변환하며 변환되는 입체영상 정보를 데이터베이스(280)에 등록하고 관리하는 프로그램으로서, 이 입체영상 변환엔진(260)에는 객체 분리모듈(261), 볼륨지도 생성모듈(262), 깊이지도 생성모듈(264), 객체 이동모듈(264), 홀 필링모듈(265) 등의 프로그램 모듈이 구비되어 있다.

상기 입체영상 변환엔진(260)에 구비된 객체 분리모듈(261)은 원본 시퀸스의 개별 프레임, 즉 단일영상에 포함된 객체를 분리하는 프로그램 모듈로서, 이 객체 분리모듈(261)은 개별 프레임의 객체 추출을 위한 벡터 기반의 외곽선을 생성하고, 외곽선 내·외부 영역에 지정범위를 설정하여 설정된 지정범위 내의 유사컬러를 추출한 후 이를 통하여 외곽선 보정을 수행함으로써 보다 정확한 개별 프레임 내의 객체를 분리할 수 있도록 한다. 이 객체 분리모듈(261)은 깃털, 머리카락, 구름 등 비정형적이고 외곽 라인이 복잡한 객체를 효과적으로 추출할 수 있으며, 벡터(Vector) 기반의 외곽라인을 각 시퀀스 프레임별 지정하는 과정에서 포인트(Point)의 추가가 용이해 객체의 불규칙한 외곽선을 지정하기 위한 세부작업 진행을 가능하도록 제공한다.

상기 볼륨지도 생성모듈(262)은 객체 분리모듈(261)에 의해 분리되는 객체의 볼륨 정보를 생성하여 볼륨지도를 제작하는 프로그램 모듈로서, 이 볼륨지도 생성모듈(262)은 객체의 볼륨 정보를 생성하기 위하여 객체에 높낮이에 따른 개방형 또는 폐쇄형 등고선을 적용하여 패턴정보를 파악하고, 파악되는 등고선의 패턴정보를 저장한 후 이를 라이브러리 형태로 재구성하여 볼륨지도를 생성하게 된다.

상기 깊이지도 생성모듈(263)은 볼륨지도 생성모듈(262)에 의해 생성되는 객체의 볼륨 정보를 참조하여 객체의 볼륨 정보가 포함된 깊이지도를 생성하는 프로그램 모듈로서, 이 깊이지도 생성모듈(263)은 이퀄라이징(Equalizing) 방식을 적용하여 각 프레임에 구성된 객체들간의 순서, 즉 전방 및 후방 등의 깊이 정보를 시각적으로 설정하고 설정된 프레임 구간을 생성하며, 전체 깊이 위치의 전방위 및 후방위 범위 내에서 객체의 깊이 위치의 변경시 해당 구간 내의 깊이 값을 자동변환시켜 깊이지도를 작성하게 되는데, 각 개체의 깊이에 따른 위치 변화를 객체별 또는 통합적인 그래프 형태로 시각화하여 표현하게 된다.

상기 객체 이동모듈(264)은 깊이지도 정보를 이용하여 각 프레임의 원본 시퀀스 프레임 영상을 기준으로 반대측 영상, 예를 들면 좌측 또는 우측 영상을 생성하는 프로그램 모듈로서, 이 객체 이동모듈(264)은 깊이지도(Depth Map) 정보를 로딩한 후 객체의 외곽선 보정 및 자연스러운 합성을 위해 피더(Feather) 및 안티알리아싱(Antialissing) 정보를 입력받아, 원본 시퀀스에서 깊이지도의 레이어 별로 객체의 이동 값을 적용한 후 이를 통합하여 이동 영상 프레임을 생성하게 된다.

상기 홀 필링모듈(265)은 상기 객체 이동모듈(264)의 객체 이동에 따라 발생하는 배경과 객체의 홀을 자연스럽게 채우기 위한 프로그램 모듈로서, 상기 홀 필링모듈(265)은 배경과 객체의 간격(Gap) 및 객체간의 간격을 채우기 위해 각 프레임의 이동(Shift) 영역의 주변컬러 및 패턴정보를 추출해 해당하는 프레임의 홀을 메꾸는 방식을 적용하거나, 해당 프레임의 전후 프레임의 범위를 지정한 후 지정된 범위의 프레임들을 검색하여 해당 영역의 색상 정보 및 패턴정보를 추출한 후 추출된 색상의 중간값을 선택하여 해당 홀 주변의 패턴에 따라 홀을 채워 자연스러운 홀필링(Hole Filling)이 수행되도록 한다.

상기 프로젝트 연동부(270)는 통신부(240)를 통하여 연결된 프로젝트 관리서(100) 및 다른 입체영상 변환서버를 인증하여 통신을 설정하고, 통신이 설정된 프로젝트 관리서버(100) 및 다른 입체영상 변환서버와 연동하여 입체영상 변환 프로젝트를 진행할 수 있도록 하는 프로그램이다. 이 프로젝트 연동부(270)는 프로젝트 관리서버(100)로부터 입체영상 변환 프로젝트 정보를 전달받고, 다른 입체영상 변환서버와 처리되는 입체영상 변환 프로젝트 진행 정보를 공유하며, 데이터베이스 서버(300)에 진행되는 입체영상 프로젝트 정보를 등록하게 된다.

상기 프로젝트 관리서버(100) 및 입체영상 변환서버(200)에 의해 생성 또는 처리되는 데이터는 데이터베이스 서버(300)에 등록되어 관리되는데, 도 3은 본 발명의 실시예에 따른 데이터베이스 서버의 블록 구성도를 나타낸 것이다.

도 3에 도시된 바와 같이, 본 발명에 따른 데이터베이스 서버(300)는 프로젝트 관리서버(100) 또는 입체영상 변환서버(200)에 의해 생성되는 입체영상 변환 관련 데이터가 등록되는 데이터베이스(320)와, 상기 데이터베이스(320)를 관리하는 DBMS(DataBse Management System)(310)를 포함하여 이루어진다.

상기 데이터베이스(320)에는 입체영상 변환 대상인 원본 시퀸스 영상이 저장디는 원본 시퀸스 DB(321)와, 입체영상 변환서버(200)의 입체영상 변환엔진(260)에 의해 처리되는 분리된 객체 정보가 저장되는 객체 분리정보 DB(322)와, 볼륨지도 정보가 저장되는 볼륨지도 DB(323)와, 깊이지도 정보가 저장되는 깊이지도 DB(324)와, 이동 객체 정보가 등록되는 객체 이동정보 DB(325)와, 입체영상 변환서버(200)의 프로젝트 연동부(270)에 의해 연동되어 수행되는 팀별 입체영상 변환 정보가 저장되는 팀별 인코딩 DB(326)와, 팀별 인코딩 DB(326)에 저장된 입체영상 변환 정보를 통합하여 저장하는 통합 인코딩 DB(327)가 구비된다.

이하, 상기의 구성으로 이루어진 입체영상 변환서버에 의해 단일영상이 입체영상으로 변환되는 과정에 대하여 설명한다.

도 4는 본 발명의 실시예에 따른 단일영상을 입체영상으로 변환하는 전체적인 과정을 나타낸 흐름도이다.

단계 S100 : 본 발명에 따른 단일영상의 입체영상 변환은 먼저, 입체영상 변환엔진(260)의 객체 분리모듈(261)에 의해 원본 시퀸스의 각 프레임, 즉 원본 단일영상의 각 프레임에서 객체가 분리되는 객체 분리과정이 수행된다.

단계 S200, S400 : 상기 과정을 통하여 객체가 분리되면, 볼륨지도 생성모듈(262)에 의해 분리된 각 객체의 볼륨 정보가 생성되는 볼륨지도 생성과정이 수행되며(S200), 깊이지도 생성모듈(263)에 의해 상기 볼륨지도 생성단계를 통하여 생성되는 객체 볼륨 정보를 토대로 객체의 깊이 정보가 생성되는 깊이지도 생성과정이 수행된다(S400).

단계 S700, S800 : 상기 과정을 통하여 객체의 깊이 정보가 생성되면, 객체 이동모듈(264)에 의해 객체의 위치를 이동시키는 객체 이동과정이 수행된 후(S700), 홀 필링모듈(265)에 의해 객체 이동에 따라 발생하는 배경과 객체 사이 또는 객체간에 발생되는 홀을 채우는 홀 필링과정이 수행되어 입체영상으로 변환되게 된다.(S800).

이하에서는 이러한 입체영상 변환과정의 각 단계에 대하여 상세히 설명하기로 한다.

도 5는 본 발명의 실시예에 따른 단일영상의 입체영상 변환과정 중 객체 분리단계를 나타낸 흐름도이다.

본 발명에 따른 객체 분리과정은 원본 시퀀스 영상에서 연속적인 장면을 대상으로 각 신(Scene)을 구성하고 있는 객체들을 분리하는 과정으로서, 먼저 입체영상 변환대상 영상의 원본을 각 장면 그룹별로 분리하고 이를 각각의 프레임을 이미지화하는 시퀀스(Sequence) 추출 과정을 통해 객체분리를 위한 준비과정이 진행되고(S110), 각 해당 프레임의 이미지 내에서 추출하고자 하는 객체들에 벡터 기반의 객체별 외곽라인을 그려 넣어 외곽라인 정보를 입력하게 된다(S115). 벡터 기반을 통해 외곽라인을 추출하는 과정은 연속적인 프레임 내에서 객체가 이동 또는 변형되는 프레임을 선택한 후, 선택된 각 프레임을 대상으로 벡터 포인트(Vector Point)를 이동하여 위치를 저장하고, 선택된 프레임 사이에 위치한 중간 프레임에 벡터 포인트의 이동상황을 적용하여 그에 따른 형태(Shape)를 변형함으로써, 중간 프레임의 외곽라인을 추정, 추출할 수 있도록 한다. 이러한 과정은 객체 추출을 위한 벡터 데이터의 이동 및 변형 간격을 줄일수록 보다 정확한 외곽라인을 추출할 수 있게 된다. 또한 객체 외곽라인을 구성하고 있는 벡터 기반의 포인트는 해당 프레임의 객체 특성 및 형태에 따라 추가 또는 제거할 수 있도록 함으로써, 보다 명확한 외곽라인을 추출할 수 있도록 한다.

상기 과정을 통하여 1차로 벡터 기반의 외곽라인을 지정한 후 2차로 외곽라인 주위의 비트맵 기반 유사 컬러영역을 확대 지정하고(S120), 지정된 유사 컬러영역에서의 색상 변화 값을 추출하여 이를 외곽라인 규정의 보정데이터로 적용함으로써 객체의 외곽 영역의 보정을 수행하게 된다(S125). 이때, 해당 객체의 투명도를 지정 또는 조정할 수 있도록 함으로써, 머리카락, 구름, 연기, 깃털 등의 해당 객체 외곽선을 세밀하게 추출해 낼 수 있도록 한다. 이러한 벡터 기반의 1차 외곽라인 지정 과정(S115)을 통해 객체의 대략적인 형태를 추출하고, 2차 비트맵 기반의 객체 외각선 영역의 유사 컬러값 추출하여 객체 외곽 영역을 보정하는 과정(S125)을 통해 객체의 세밀한 외각라인 설정이 가능해진다.

상기 과정을 통하여 보정된 객체의 외각라인 정보는 벡터 정보로 저장되고(S130), 프레임 별 객체의 움직임을 기준으로 벡터 정보의 이동 정보가 저장된다(S135). 한편, 상기 1차 및 2차로 추출되는 두 가지 형태의 외곽라인 정보를 기반으로 최종 보정되는 객체의 외곽라인 정보를 통하여, 상기 지정된 프레임 사이의 중간 프레임의 객체 외곽라인 정보가 추출될 수 있는데, 이러한 중간 프레임의 외각라인 추출정보는 벡터 정보로 자동 저장된다(S140).

상기 과정을 통하여 추출되는 객체의 외각라인 정보에 따라 프레임내의 벡터 이동정보가 저장되는데, 이러한 객체의 외각라인 추출 및 이동정보 저장은 해당 프레임의 추출 객체 수에 따라 반복 수행되며(S155), 각 객체의 외곽라인 정보 추출 및 이동정보 저장은 해당 프레임의 각 레이어 별로 지정 분리되어(S160), 레이어 별로 외각라인 정보가 추출된 객체 프레임이 저장되어 최종 객체들의 입체영상 제작 및 생성을 위한 객체별 쉬프트(Shift) 또는 병합, 합성을 위한 효율적인 데이터로 생성된다(S150).

도 6은 본 발명의 실시예에 따른 단일영상의 입체영상 변환과정 중 볼륨지도 생성과정을 나타낸 흐름도이다.

본 발명에 따른 볼륨지도 생성과정은 각 장면에서 추출된 객체들의 형태를 지정하는 과정으로서, 먼저 상기 객체 분리단계(S100)를 통하여 추출된 객체를 로드(Load)하여 데이터를 읽어 들인 후(S210), 개방형 또는 폐쇄형 등고선을 선택하여 객체의 형태를 지정하는 과정을 수행하게 된다(S220). 도 7a는 본 발명의 실시예에 따라 객체의 형태 정보를 지정하고 생성하기 위하여 사용되는 개방형 등고선 일례를 나타낸 것이고, 도 7b는 폐쇄형 등고선의 일례를 나타낸 것이다. 도 7a 및 도 7b에 도시된 바와 같이, 개방형 등고선(310)은 등고선 라인의 시작과 끝이 일치하지 않는 개방된 형태의 등고선이고, 폐쇄형 등고선(320)은 등고선 라인의 시작과 끝이 일치하는 폐쇄된 형태의 등고선이다. 객체의 등고선 지정을 통해 객체의 형태를 지정하는 방식은 개방형 등고선(310)의 경우, 객체의 단면정보를 벡터(Vector)를 이용해 점을 찍고 라인의 형태를 지정하는 방식으로 구성되는데, 이때 시작 등고선과 중간 등고선 또는 끝 지점의 등고선의 형태를 지정함으로써, 지정된 지점의 중간 형태의 등고선은 자동 생성된다. 이러한 중간 등고선의 간격 및 지정하는 등고선의 형태를 추가하게 되면 더욱 세밀한 등고선을 형성할 수 있게 된다. 또한 폐쇄형 등고선(320)의 경우는 가장 높은 지점의 등고선 형태를 벡터 기반의 포인트를 이용하여 구성하고, 중간 단계 또는 가장 얕은 지점의 등고선을 지정하는 방식을 적용하여 개방형 등고선(310)과 마찬가지로 중간 등고선 형태를 자동 생성하게 된다. 상기의 과정을 통하여 생성된 등고선은 그레이 컬러(Gray Color : R/G/B) 값을 이용해 지정하게 되는데, 가장 높은 곳은 화이트(R/G/B : 255/255/255), 가장 낮은 곳은 블랙(R/G/B: 0/0/0)에 가깝게 계산 적용된다. 이러한 컬러 값의 높이정보는 후술되는 도 8의 깊이지도 생성에 이용되어, 객체의 위치정보에 따라 컬러 값이 자동 변환되어 그 컬러범위가 변환되게 된다.

한편, 각 객체별 볼륨정보를 생성하는 과정에서 이미 작성된 볼륨정보 패턴을 선택하여 적용함으로써 보다 쉽게 객체별 볼륨정보를 생성할 수 있는데(S230), 이는 생성되는 볼륨 패턴정보를 저장함으로써 추후 유사한 패턴을 가진 객체에 바로 적용할 수 있도록 한다. 또한, 이러한 객체별 볼륨정보 패턴은 포인트의 이동에 따른 라인을 변형함으로써, 해당 객체의 벡터를 이용한 볼륨 등고선 형태변환 및 형태(Shape) 설정에 적용될 수 있다(S240). 상기 과정을 통하여 객체의 등고선 형태가 설정되면, 등고선의 시작점과 중간점 및 끝점에 대한 각 형태가 지정되고, 지정된 등고선 형태에 따라 객체의 볼륨 등고선이 생성된다(S260). 한편, 생성된 객체의 볼륨 등고선을 수정하고자 하는 경우에는 객체의 등고선 포인트를 이동시켜 등고선의 형태를 변환할 수 있는데(S261), 이러한 객체의 볼륨 등고선 생성과정은 각 객체들에 대해 반복 적용되며, 각 객체별로 생성된 등고선을 기준으로 볼륨 깊이 정보가 저장되어 객체의 볼륨지도가 생성되게 된다(S270).

상기의 과정을 통하여 각 객체들의 형태정보인 볼륨지도(Volume Map)가 완성되면, 볼륨지도 정보는 각 객체와 객체의 관계 및 객체와 배경과의 관계설정을 위한 깊이지도 생성단계에서 이용되는 이퀄라이징(Equalizing)으로 이동하여 깊이지도 생성에 이용되게 된다(S280).

도 8은 본 발명의 실시예에 따른 단일영상의 입체영상 변환과정 중 깊이지도 생성과정을 나타낸 흐름도이다.

본 발명에 따른 깊이지도 생성과정은 각 객체간의 관계 및 객체와 배경과의 관계를 설정하는 과정으로서, 먼저 볼륨지도 생성과정을 통하여 생성된 볼륨 정보를 포함한 모든 객체 데이터를 로드하게 되는데, 이때 객체 데이터의 로드는 객체가 포함된 해당 장면(Scene) 전체를 로드하게 된다(S410), 이렇게 로드된 객체들은 각각 레이어로 지정되며(S415), 지정된 레이어들은 가장 앞쪽에 배치된 객체와 뒤쪽에 배치된 객체를 순서별로 재정렬하는 입체순 방식 또는 레이어의 고유 이름을 기준으로 재정렬하는 이름순 정렬 등을 통해 각 프레임별로 정렬된다(S420).

상기의 과정을 통하여 장면을 구성하고 있는 프레임이 저장, 등록된 후에는 각 프레임별 장면에서 나타내는 원경의 깊이(Depth)를 설정하여 저장하게 된다(S425). 원경의 깊이 설정은 장면에서 카메라가 이동하는 과정에서 배경이 가지는 깊이를 의미하는데, 이러한 원경의 깊이 설정의 필요성은 장면이 진행되는 과정에서 발생하는 배경의 깊이 차이에 따른 것으로, 본 발명의 실시예에서는 이러한 장면의 깊이 변화 지정을 위하여 도 9 내지 도 11에 도시된 이퀄라이징(Equalizing) 기법을 이용하게 되는데, 이러한 이퀄라이징 기법을 이용하면 각 프레임의 깊이 한계점과 깊이변화의 일관성을 확보할 수 있게 된다. 도 9는 본 발명의 실시예에 따라 프레임 및 객체의 깊이정보를 설정하는 이퀄라이징 설정 화면 일례를 나타낸 것이고, 도 10은 깊이정보가 설정된 객체 사이에 위치된 중간 객체의 깊이정보를 자동으로 설정할 때 적용되는 변화 패턴 일례를 나타낸 것이며, 도 11은 상기 도 9의 이퀄라이징 설정에 따라 프레임 및 객체의 깊이정보를 그래프로 나타낸 화면 일례를 나타낸 것이다.

프레임별 전체 장면에 대한 원경 깊이가 지정되면, 각 프레임 내에 존재하는 객체들의 깊이 정보를 도 9의 이퀄라이징을 통하여 지정하게 된다(S430). 도 9에 도시된 바와 같이, 이퀄라이징 설정 화면에는 전체 프레임(515)이 표시되는데, 각 프레임의 객체(255)는 고유 색상(530)으로 구분되며, 각 객체(255)에 해당하는 프레임별 고유 색상의 버튼(Button)(525)의 드래그(Drag)를 통해 위치 지정함으로써 깊이정보를 설정하게 되는데, 위치가 지정되는 해당 객체(525)는 이퀄라이징 화면 상단(530)에 표시된다. 이러한 객체들의 위치정보는 가장 앞쪽에 위치하게 되는 전방위와 중간지점, 가장 뒤쪽에 배치되는 후방위(520)의 범위 내에서 위치가 지정되는데, 이러한 전방위와 후방위의 위치 표현은 설명의 편의를 위한 것으로 위쪽을 전방위 또는 아래쪽을 전방위로 표현할 수도 있다. 이러한 이퀄라이저(Equalizer)형태의 깊이정보를 설정하는 방식은 위쪽에서 내려다보는 듯한 가상의 상면도(Top View)를 생성함으로써 직관적인 깊이정보를 제작할 수 있도록 하는데, 상기 도 9에 의해 설정되는 깊이정보는 도 11에서처럼 그래프 형태(610)의 표현됨에 따라 객체의 깊이적 위치변화를 프레임 기준으로 연속적으로 나타내어 위치변화를 한눈에 파악할 수 있게 된다.

한편, 객체들의 깊이 위치 지정은 해당 장면의 구성 및 객체의 이동변화에 따라 중간 프레임을 지정하고 해당 객체를 이동, 저장함으로써, 중간 프레임내의 객체 위치변화를 자동 저장하는 방식을 통해 빠르고 효율적인 깊이 정보를 생성하게 된다(S435). 또한 중간 프레임의 생성에 있어, 이전 프레임에 적용된 객체의 위치와 이후 프레임에 적용된 객체 위치 사이의 변환 패턴을 선택 및 지정하여 중간 프레임의 객체 깊이 정보가 자동으로 설정될 수 있도록 한다(S440). 이때 적용되는 프레임의 변환 패턴은 이전 프레임에 적용된 객체의 위치와 이후 프레임에 적용된 객체 위치를 균등하게 분할해 이전 프레임과 이후 프레임 사이에 위치정보를 변화하는 방식(도 10의 (a))과, 객체의 위치변화가 빠르고 느린 추이를 감안해 위치변화의 빠르기를 곡선을 통해 지정하는 방식으로 중간값을 설정하는 방식(도 10의 (b) 및 (c))을 이용함으로써 섬세한 객체위치 변화에 따른 깊이 정보를 생성할 수 있도록 한다. 이렇게 지정된 프레임과 프레임 사이의 변화패턴의 선택 및 지정에 따라 객체의 깊이정보가 생성되어 저장되며(S445), 원경의 깊이정보와 객체들의 깊이정보를 통합하여 객체별 시퀀스를 저장하거나 레이어가 통합된 시퀸스를 저장 선택하여(S450), 각 프레임별 객체의 깊이정보가 포함된 깊이지도(Depth Map)를 생성하여 저장하게 된다(S455). 또한, 그레이 컬러로 표현되는 깊이지도는 각 배경 및 각 객체들을 별도의 레이어(Layer)로 분리해 생성함으로써, 추후 원활한 수정 및 변형을 용이하게 하는 동시에 프레임의 원본이미지를 이용해 반대측 시각장면을 생성하는 영상 이동단계에서 보다 자연스러운 입체장면을 만들어낼 수 있도록 한다. 상기의 과정은 각각의 객체별로 생성되는데, 각 프레임을 구성하고 있는 배경과 객체들을 통합, 또는 분리한 형태로 깊이지도를 생성하거나, 프레임을 기준으로 객체별 분리를 통해 깊이지도를 생성할 수 있다.

최종 깊이지도 데이터는 프로젝트 데이터로 저장되며(S460), 이 프로젝트 데이터는 버전 정보가 매핑(Mapping)되어, 다음의 과정의 객체 이동을 수행하기 위해 프로젝트 서버(예를 들면, 다른 입체영상 변환서버나 데이터베이스 서버)로 전송된다(S465).

도 12는 본 발명의 실시예에 따른 단일영상의 입체영상 변환과정 중 영상 이동과정을 나타낸 흐름도이다.

본 발명에 따른 영상 이동과정은 각 객체의 분리작업 및 깊이 정보에 따른 객체 레이어별 깊이지도 정보를 이용해 좌측 또는 우측의 영상을 생성하는 과정으로, 먼저, 원본영상을 각 프레임 이미지로 추출한 시퀀스 데이터와 레이어 정보를 포함한 깊이지도 데이터를 로드하게 된다(S710). 이후, 최종 생성된 입체영상이 상영될 스크린의 크기와 시청거리에 대한 시뮬레이션을 통해 객체 이동(Shift)을 위한 최적의 픽셀(Pixel)을 추출한다(S715). 이러한 과정은 입체영상의 상영 시 스크린의 크기와 시청위치에 따라 사람이 인지하는 깊이감의 차이가 나기 때문에 입체영상의 변환, 생성과정에서 반드시 참고해야 할 기준 값이 된다.

생성 또는 변환하고자 하는 입체영상의 깊이에 대한 최적의 값을 추출한 후에는 입체감의 수치, 즉, 장면 내의 객체들의 깊이 위치에 따른 화면상의 이동 값을 픽셀(Pixel) 단위로 입력하고 입체감을 디스플레이를 기준으로 전면 입체감과 후면 입체감을 나타내는 윈도우 포지션 정보를 백분율(％) 단위 또는 픽셀(Pixel) 단위로 입력한다(S720). 또한, 객체의 피더(Feather) 및 안티알리아싱(Antialiasing) 값을 설정하게 되는데, 이는 객체 별 레이어를 기준으로 원본 프레임 시퀀스 이미지를 해당 입체감 수치를 반영해 이동되는 결과물의 자연스러운 외곽선을 유지하고 이를 병합할 수 있도록 하기 위한 것이다(S725).

상기의 과정을 통하여 원본 시퀀스와 깊이지도를 이용해 입체감의 수치부여 및 객체의 표현방식에 대한 정보입력이 이루어지면, 객체이동에 따라 발생하는 홀(Hole)을 채우는 방식을 지정하게 된다(S730).

도 13은 본 발명의 실시예에 따른 객체 이동에 따라 발생하는 홀을 채우는 과정을 나타낸 흐름도이다. 도 13에 도시된 바와 같이, 홀을 채우기 위해 먼저 홀(Hole)이 발생한 영역 정보를 해당 프레임에서 추출하고(S810), 추출된 홀 발생 영역별 해당 레이어를 검색한 후(S815), 홀 영역정보 추출을 위한 전후 프레임의 범위를 설정하여(S820), 전후 프레임의 원본 시퀀스 및 객체별 분리 시퀸스 내에서 해당 홀 영역을 검색하게 된다(S825). 만약, 원본 시퀀스 및 객체별 분리 시퀸스 내에서 해당 홀 영역 데이터, 즉 패턴정보가 포함되어 있다면(S830), 해당 홀 영역 데이터를 이용하여 각 프레임의 하단 레이어부터 순차적으로 홀 필링을 수행하고(S835), 홀 필링이 수행된 레이어별로 분리 저장하거나 통합 저장함으로써 홀 필링을 완료하며(S840), 홀 필링이 완료된 이동 영상에 버전 정보를 매핑하여 프로젝트 서버에 등록하게 된다(S845).

한편, 원본 시퀀스 및 객체별 분리 시퀸스 내에 해당 홀 영역 데이터가 포함되어 있지 않다면(S850), 해당 프레임 내에서 홀 영역의 주변 색상 값을 추출하고(S855), 추출된 정보를 기반으로 중간수치 및 주변의 패턴정보를 생성하여(S860), 생성된 중간수치 및 패턴정보를 이용하여 홀 필링을 수행하며(S865), 홀 필링이 완료된 이동 영상에 버전 정보를 매핑하여 프로젝트 서버에 등록하게 된다(S870).

한편, 상기 과정을 통하여 입체영상을 생성, 변환하기 위한 정보의 입력이 완료된 후에는 생성 데이터의 형태를 선택하고(S735), 최종 미리보기를 통해 확인하여 생성 데이터를 검토하는 과정을 거친다(S740). 이때, 최종 미리보기(Preview) 단계에서 수치의 변경 및 입력 값의 수정이 필요한 경우 상기 단계 S720에서 수치입력을 재설정된다.

최종적으로 정보 입력이 완료되어 적용이 선택되면, 로딩된 원본영상과 깊이지도 정보를 기준으로 장면을 구성하고 있는 모든 프레임을 배치(Batch) 설치 및 저장 옵션을 선택하게 되며(S745), 선택값에 따라 프레임별 시퀀스가 자동 생성되어 저장되게 된다(S750). 상기 과정을 통하여 생성된 데이터는 버전 정보가 매칭되어 프로젝트 서버에 전송되어 관리자에게 통보됨과 동시에 데이터베이스 서버(300)에 최종적으로 등록되게 된다.

상기의 과정을 통하여 원본 시퀸스 영상이 최종적으로 입체영상으로 변환되며, 변환된 입체영상은 원본 시퀀스와 함께 데이터베이스 서버(300)에 등록되어 입체영상으로 디스플레이되게 된다. 한편, 이러한 본 발명은 상술한 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술 분야에서 통상의 지식을 갖는 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구 범위의 균등범위 내에서 다양한 수정 및 변형이 이루어질 수 있음은 물론이다.

100 : 프로젝트 관리서버 200 : 입체영상 변환서버
210 : 중앙제어부 220 : 입력부
230 : 출력부 240 : 통신부
250 : 인터페이스부 260 : 입체영상 변환엔진
261 : 객체 분리모듈 262 : 볼륨지도 생성모듈
263 : 깊이지도 생성모듈 264 : 객체 이동모듈
265 : 홀 필링모듈 270 : 프로젝트 연동부
280 : 데이터베이스 300 : 데이터베이스 서버
310 : DBMS 320 : 데이터베이스

Claims (13)

1. 단일영상의 입체영상 변환 방법에 있어서,
   (a) 단일영상에서 개별 프레임을 분리하고, 분리된 개별 프레임의 객체별 외곽선을 추출하여 프레임에서 객체를 분리하는 객체 분리단계;
   (b) 상기 분리된 객체에 높낮이에 따른 등고선을 생성하고, 생성된 등고선 위치에 따라 객체의 볼륨 정보를 추출하여 볼륨지도를 생성하는 볼륨지도 생성단계;
   (c) 상기 생성된 객체의 볼륨지도를 참조하여 객체들의 전후방 순서를 지정하고, 지정된 전후방 순서에 따라 객체들의 깊이 정보를 추출하여 깊이지도를 생성하는 깊이지도 생성단계;
   (d) 상기 생성된 깊이지도 정보를 이용하여 객체 및 배경의 위치를 이동시켜 단일영상과 대응되는 반대측 영상을 생성하는 영상 이동단계;를 포함하여 이루어지는 것을 특징으로 하는 단일영상의 입체영상 변환 방법.
2. 제 1항에 있어서,
   상기 영상 이동단계(c)에서 객체의 위치 이동에 따라 배경과 객체 사이 또는 객체와 객체 사이에 홀이 발생하면, 해당 프레임의 전후 프레임을 검색하여 홀 주변 색상정보 및 패턴정보를 추출하여 추출된 색상 또는 이미지 패턴으로 해당 홀을 채우는 홀 필링단계(e)가 더 포함되는 것을 특징으로 하는 단일영상의 입체영상 변환 방법.
3. 제 2항에 있어서, 상기 홀 필링단계(e)에서
   해당 프레임의 전후 프레임 검색에 따라 추출된 홀 주변 패턴정보 및 색상정보는 그 중간값이 선택되어 해당 홀 주변의 패턴에 따라 홀이 채워지는 것을 특징으로 하는 단일영상의 입체영상 변환 방법.
4. 제 1항에 있어서, 상기 객체 분리단계(a)는
   개별 프레임의 객체 추출을 위한 벡터 기반의 외곽선을 생성하고, 생성된 외곽선 내·외부 영역에 지정범위를 설정하여 설정된 지정범위 내의 유사컬러를 추출한 후 이를 통하여 외곽선을 보정하여 외곽선을 추출하는 것을 특징으로 하는 단일영상의 입체영상 변환 방법.
5. 제 4항에 있어서, 상기 객체 분리단계(a)에서
   각 프레임의 객체에 대한 벡터 기반 외곽선 추출이 이루어지면, 프레임별 객체의 외곽선 이동에 따른 벡터 이동 정보를 저장하고, 각 객체별 레이어를 지정하고 분리하여 레이어별로 추출된 객체 프레임을 저장하는 것을 특징으로 하는 단일영상의 입체영상 변환 방법.
6. 제 5항에 있어서, 상기 객체 분리단계(a)에서
   상기 프레임별 객체의 외곽선 이동에 따라 저장된 벡터 이동 정보에 따라, 외곽선이 추출된 프레임 사이에 위치한 중간 프레임의 외각선 추출이 이루어지는 것을 특징으로 하는 단일영상의 입체영상 변환 방법.
7. 제 1항에 있어서, 상기 볼륨지도의 생성단계(b)에서
   상기 객체의 높낮이에 따라 생성되는 등고선은 객체의 수평 라인에서 객체의 높낮이에 따른 굴곡이 형성되어 시작과 끝 지점이 분리되는 수평 라인 형태의 개방형 등고선, 또는 동일/유사 높이 지점이 연결되어 시작과 끝 지점이 일치하는 원형 형태의 등고선인 것을 특징으로 하는 단일영상의 입체영상 변환 방법.
8. 제 1항 또는 제 7항에 있어서,
   상기 분리된 객체에 생성된 등고선의 위치에 따라 등고선 패턴이 생성되고, 생성된 등록선 패턴은 다른 객체의 볼륨지도 작성 시 이용될 수 있도록 라이브러리 형태로 저장되는 것을 특징으로 하는 단일영상의 입체영상 변환 방법.
9. 제 1항에 있어서, 상기 깊이지도 생성단계(c)는
   프레임별 객체의 위치를 조절하는 이퀄라이징(Equalizing) 방식을 적용하여 각 프레임에 구성된 객체들의 전후방 위치를 시각적으로 설정하되, 객체의 위치 이동이 설정된 전방위 및 후방위 범위 내에서 이루어지도록 하며, 객체의 위치에 따라 객체의 깊이정보가 생성되는 것을 특징으로 하는 단일영상의 입체영상 변환 방법.
10. 제 9항에 있어서, 상기 깊이지도 생성단계(c)에서
    상기 이퀄라이징 방식에 따라 객체의 위치가 설정된 프레임 사이에 위치하는 중간 프레임의 객체는 위치가 설정된 이전 프레임 및 이후 프레임 객체의 위치 사이에서 적용되는 변화 패턴에 따라 그 위치가 결정되는 것을 특징으로 하는 단일영상의 입체영상 변환 방법.
11. 제 10항에 있어서,
    상기 중간 프레임 객체의 위치를 결정하기 위하여 적용되는 변화 패턴은 객체의 움직임에 대한 특성을 반영하여 이전 프레임 및 이후 프레임 객체 간의 위치 사이에서 비례 또는 커브 곡선 형태의 패턴인 것을 특징으로 하는 단일영상의 입체영상 변환 방법.
12. 제 9항에 있어서, 상기 깊이지도 생성단계(c)에서
    상기 설정된 개체의 위치 정보는 동일 객체의 프레임별 위치 변화 그래프로 시각화하여 표시되는 것을 특징으로 하는 단일영상의 입체영상 변환 방법.
13. 제 1항에 있어서, 상기 영상 이동단계(d)는
    원본 시퀸스의 각 프레임 이미지 및 프레임의 객체별로 지정되는 레이어 정보를 포함하는 깊이지도 데이터를 로드하는 단계와,
    객체의 외곽선 보정을 위해 피더(Feather) 및 안티알리아싱(Antialiasing) 정보를 입력받는 단계와,
    원본 시퀀스에서 깊이지도의 레이어 별로 객체의 이동값 을 적용한 후 이를 통합하여 이동 영상 프레임을 생성하는 것을 특징으로 하는 단일영상의 입체영상 변환 방법.

Images