KR20140058744A - 영상 이동 영역의 메움 처리 기능을 구비한 입체 영상 제작 시스템 및 그 방법 - Google Patents

Abstract

영상 이동 영역의 메움 처리 기능을 구비한 입체 영상 제작 시스템 및 그 방법이 개시된다. 본 발명의 일 실시예에 따른 입체 영상 제작 시스템은 영상에서 이동되는 객체에 대한 이동 영역을 검사하고, 상기 이동 영역의 전경과 배경을 구분하여 상기 이동 영역의 변동 사항을 검출/추적하며 그 결과 정보를 제공하는 이동 영역 검출부; 상기 이동 영역 검출부에 의해 검출된 틈새를 메우고 메워진 메움 영역을 보정하는 메움 오차 처리부; 및 상기 메움 오차 처리부에 의해 보정된 입체 영상을 가시화하는 입체 영상 가시화부를 포함함으로써, 입체 영상을 생성하거나 입체 영상에서의 깊이감 변경에 따라 발생될 수 있는 입체 영상 내 객체 이동에 의한 틈새를 메울 수 있으며, 입체 영상을 제작하는데 걸리는 시간을 줄일 수 있다.

Description

영상 이동 영역의 메움 처리 기능을 구비한 입체 영상 제작 시스템 및 그 방법 {A system for stereoscopic images with hole-filling and method thereof}

본 발명은 입체 영상 제작에 관한 것으로, 더욱 상세하게는 입체 영상을 생성하거나 입체 영상에서의 깊이감 변경에 따라 발생될 수 있는 입체 영상 내 객체 이동에 의한 틈새를 메울 수 있는 영상 이동 영역의 메움 처리 기능을 구비한 입체 영상 제작 시스템 및 그 방법에 관한 것이다.

입체 영상은 3차원 공간에 있는 것처럼 보이는 영상으로, 실제로 3차원(3D) 영상을 재현하는 방법도 시도되고 있지만, 널리 연구되는 방법은 좌우의 눈에 각기 좌우 방향에서 본 것과 동일한 영상을 제시하여 두 눈에 시각의 차이를 주고 이것을 합성하여 하나의 입체 영상으로 보이게 하는 것이다.

즉, 입체 영상은 사람의 좌우 양안을 별도의 영상으로 생성하여 좌안은 좌측영상을 우안은 우측영상을 동시에 시청할 수 있도록 함으로써 입체로 느껴지도록 만들어내는 것으로서, 입체 영상의 제작은 좌우영상을 각각 촬영할 수 있는 입체영상 카메라를 사용해 촬영하는 방법과, 3D 그래픽 소프트웨어를 이용해 제작된 영상을 소프트웨어 내 가상 카메라 또는 렌즈를 좌안, 우안으로 설정함으로써 각각 영상을 렌더링하는 방식, 단일 렌즈를 사용해 촬영된 또는 제작된 영상을 기준으로 반대측(좌안 또는 우안 영상) 영상을 생성하는 변환(Conversion) 과정을 거쳐 제작되는 형태로 구분된다.

이중, 단일 영상을 기준으로 반대측 영상을 생성하여 입체영상으로 변환하는 방법에는 크게 단일영상을 하드웨어적인 시스템 또는 소프트웨어적인 시스템을 통해 프레임별로 분리하고 전후 프레임을 각각 좌측과 우측 영상으로 지정하여 동시에 재생하는 방법의 자동변환방식과, 단일영상에서 추출한 영상의 시퀀스를 기준으로 깊이맵(Depth Map)를 제작하고 이를 기준으로 반대측 영상을 만들어 이를 통합하여 재생하는 비실시간 방식이 있으며, 그 외 다양한 방법들을 통해 변환되어 활용되고 있다.

입체 촬영에는 많은 시간과 장비, 깊이감 표현을 관리하는 스테레오그래퍼(stereographer)와 같은 전문가 등이 필요하며, 촬영 현장에서 원하는 깊이감이나 입체 효과를 확인하는 것이 쉽지 않기 때문에 출력 환경에 표현하고자 하는 효과에 맞게 깊이감(입체감)을 변경하고자 하는 경우가 발생한다. 종래의 깊이감 변경은 HIT(horizontal image transform)과 같이 이동 방향에 따라 영상을 왜곡(warping)시키는 방법을 사용하였으나 입체감을 표현하는 데는 한계가 있어서, 깊이에 따른 객체 이동을 통해 실제 촬영과 유사한 깊이감을 표현할 수 있지만 이동 영역간 발생되는 틈새를 채우는 문제가 발생하여 왔다.

단안 영상에서 양안 입체 영상으로 변환하는 것 또한 단안 영상 내 객체를 양안에서 보이는 위치로 이동하면서 발생하는 객체 이동 영역간 틈새를 채우는 문제가 대두되어 왔다. 종래에는 고품질 입체 영상을 만들기 위해 제작 전문가의 경험을 바탕으로 한 수작업 처리를 해 왔으나 프레임 사이의 일관된 틈새 메우기가 되지 않아 입체 영상 내 깜빡임(flickering) 현상이 발생하여 시각적 피로를 가중시켜 왔다.

따라서, 입체 영상에서 영상 이동에 따라 발생되는 객체 영역 간 틈새를 메울 수 있는 시스템 또는 방법의 필요성이 대두된다.

한국등록특허 제1089344호 (등록일 2011.11.28)

상기와 같은 문제점을 해결하기 위하여 창안된 본 발명의 실시예에 따른 목적은, 입체 영상을 생성하거나 입체 영상에서의 깊이감 변경에 따라 발생될 수 있는 입체 영상 내 객체 이동에 의한 틈새를 메울 수 있는 영상 이동 영역의 메움 처리 기능을 구비한 입체 영상 제작 시스템 및 그 방법을 제공하는데 있다.

또한, 본 발명에 따른 다른 목적은 사용자의 직관적인 판단과 결합하여 최적의 입체 영상을 제작할 수 있는 영상 이동 영역의 메움 처리 기능을 구비한 입체 영상 제작 시스템 및 그 방법을 제공하는데 있다.

상기 목적을 달성하기 위한, 본 발명의 일 실시예에 따른 입체 영상 제작 시스템은 영상에서 이동되는 객체에 대한 이동 영역을 검사하고, 상기 이동 영역의 전경과 배경을 구분하여 상기 이동 영역의 변동 사항을 검출/추적하며 그 결과 정보를 제공하는 이동 영역 검출부; 상기 이동 영역 검출부에 의해 검출된 틈새를 메우고 메워진 메움 영역을 보정하는 메움 오차 처리부; 및 상기 메움 오차 처리부에 의해 보정된 입체 영상을 가시화하는 입체 영상 가시화부를 포함한다.

상기 이동 영역 검출부는 상기 객체의 분할과 분할된 객체의 변경 영역에 의한 차를 이용하여 상기 이동 영역을 계산하는 이동 영역 검사부; 상기 계산된 상기 이동 영역을 상기 객체에 대한 배경으로 처리하고 상기 이동되는 상기 객체에 대해서는 전경으로 처리하는 전경 및 배경 구분부; 각 프레임별로 상기 객체와 상기 이동 영역의 변동 유무를 검사하는 이동 영역 변동 검출부; 및 상기 객체의 변동이 발생한 경우 상기 객체의 추적을 수행하는 이동 영역 추적부를 포함할 수 있다.

나아가, 본 발명에 따른 시스템은 상기 이동 영역에 대한 결과 정보에 기초하여 상기 결과 정보에 대응하는 메움 가이드를 제공하는 메움 가이드부를 더 포함하고, 상기 메움 오차 처리부는 상기 메움 가이드부에 의해 제공되는 상기 메움 가이드에 기초하여 상기 메움 영역을 보정할 수 있다.

상기 메움 가이드부는 상기 객체의 경계 부분의 가시적 영상을 제공하는 경계 가이드부; 상기 이동 영역에 대한 적어도 하나의 메움 방식의 가이드를 제공하는 메움 방식 가이드부; 상기 경계 영역의 블러링에 대한 가이드를 제공하는 경계 블러링 가이드부; 미리 결정된 특정 프레임에 대해 미리 결정된 메임 방식의 가이드를 제공하는 메움 후보 가이드부; 및 인지 기반으로 상기 영상의 포커스 영역과 비포커스 영역에 대해 오차 허용 가이드를 제공하는 휴먼팩터 가이드부를 포함할 수 있다.

상기 메움 오차 처리부는 미리 설정된 값에 따라 경계 정보를 해석 처리하는 경계 정보 처리부; 미리 제공되는 정보를 이용하여 보간, 변형, 추적에 필요한 값을 설정하고 설정값에 따라 이동영역을 메우는 메움 방식 처리부; 및 미리 제공하는 정보에 따라 경계 블러링 값을 설정하고 처리하는 경계 블러링부를 포함할 수 있다.

상기 메움 오차 처리부는 미리 결정된 메움 정보에 따라 상기 틈새를 메우고 시뮬레이션하여 사용자에게 제공하는 메움 정보 선택부를 더 포함할 수 있다.

상기 입체 영상 가시화부는 사용자가 제공하는 초기 깊이감과 상기 이동 영역이 채워질 때 활용되는 깊이감 정보를 가시화하는 깊이감 정보 가시화부; 상기 이동 영역이 고려된 스테레오 영상을 가시화하는 스테레오 영상 가시화부; 상기 영상에서의 깊이감을 판별하고, 상기 판별된 상기 깊이감에 기초하여 상기 영상에서의 불안전 영역을 가시화하는 불안전 영역 가시화부; 및 상기 이동 영역이 메움 처리된 최종 영상을 가시화하는 최종 영상 가시화부를 포함할 수 있다.

본 발명의 일 실시예에 따른 입체 영상 제조 방법은 영상에서 이동되는 객체에 대한 이동 영역을 검사하고, 상기 이동 영역의 전경과 배경을 구분하여 상기 이동 영역의 변동 사항을 검출/추적하며 그 결과 정보를 제공하는 단계; 상기 결과 정보에 기초하여 검출된 틈새를 메우고 메워진 메움 영역을 보정하는 단계; 및 상기 보정된 입체 영상을 가시화하는 단계를 포함한다.

상기 제공하는 단계는 상기 객체의 분할과 분할된 객체의 변경 영역에 의한 차를 이용하여 상기 이동 영역을 계산하는 단계; 상기 계산된 상기 이동 영역을 상기 객체에 대한 배경으로 처리하고 상기 이동되는 상기 객체에 대해서는 전경으로 처리하는 단계; 각 프레임별로 상기 객체와 상기 이동 영역의 변동 유무를 검사하는 단계; 및 상기 객체의 변동이 발생한 경우 상기 객체의 추적을 수행하는 단계를 포함할 수 있다.

나아가, 본 발명에 따른 방법은 상기 이동 영역에 대한 결과 정보에 기초하여 상기 결과 정보에 대응하는 메움 가이드를 제공하는 단계를 더 포함하고, 상기 보정하는 단계는 상기 메움 가이드에 기초하여 상기 메움 영역을 보정할 수 있다.

본 발명에 따르면, 입체 영상을 생성하거나 입체 영상에서의 깊이감 변경에 따라 발생될 수 있는 입체 영상 내 객체 이동에 의한 틈새를 메울 수 있기 때문에 많은 입체 영상 콘텐츠를 제작하는데 많은 도움을 줄 수 있다.

특히, 본 발명은 입체 영상 제작 시 시간을 요하는 부분 중 하나인 영상 내 객체들의 이동 정도 차에 따른 틈새를 시각적 제시를 통한 사용자의 적절한 판단과 결합하여 효과적으로 채우는 방법을 이용하고, 다양한 장면에서도 입체 영상 제작에 적용 가능하도록 할 수 있으며, 이를 통해 입체 영상을 제작하는데 걸리는 시간을 줄일 수 있다.

나아가, 본 발명은 휴먼팩터(human factor)를 고려하여 시각적 피로가 최소화된 입체 영상을 제작할 수 있으며, 따라서 본 발명은 영화, 게임, 광고, 과학적 가시화 등 다양한 분야에 활용될 수 있는 장점이 있다

도 1은 본 발명의 일 실시예에 따른 입체 영상 제작 시스템에 대한 구성을 나타낸 것이다.
도 2는 도 1에 도시된 이동 영역 검출부에 대한 일 실시예 구성을 나타낸 것이다.
도 3은 도 1에 도시된 메움 가이드부에 대한 일 실시예 구성을 나타낸 것이다.
도 4는 도 1에 도시된 메움 오차 처리부에 대한 일 실시예 구성을 나타낸 것이다.
도 5는 도 1에 도시된 입체 영상 가시화부에 대한 일 실시예 구성을 나타낸 것이다.
도 6은 본 발명의 일 실시예에 따른 입체 영상 제작 방법에 대한 동작 흐름도를 나타낸 것이다.

상기 목적 외에 본 발명의 다른 목적 및 특징들은 첨부 도면을 참조한 실시 예에 대한 설명을 통하여 명백히 드러나게 될 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

이하에서는, 본 발명의 일 실시 예에 따른 영상 이동 영역의 메움 처리 기능을 구비한 입체 영상 제작 시스템 및 그 방법을 첨부된 도 1 내지 도 6을 참조하여 상세히 설명한다.

본 발명은 입체 영상 제작 시 특히 시간을 요하는 부분 중 하나인 영상 내 객체들의 이동 정도 차에 따른 틈새를, 시각적 제시를 통한 사용자의 적절한 판단과 결합하여 효과적으로 채우는 방법을 이용함으로써, 다양한 장면에서도 입체 영상 제작에 적용 가능하도록 하여 많은 입체 영상 콘텐츠 제작에 적용하고자 하는 것을 요지로 한다.

또한, 본 발명의 가장 큰 특징은 입체 영상 제작에 관한 것으로 입체로 촬영된 영상의 깊이감 변환과 단안 영상의 스테레오 영상으로의 변환 모두를 포함한다는 것과, 가시화 정보를 통한 사람이 인지하는 깊이감에 대한 사용자의 경험 정보를 충분히 활용하기 위한 사용자 인터페이스를 제공하고, 이를 돕는 가이드 정보와 가시화 정보로 다양한 입체 영상 제작에 적용이 가능한 시스템으로 구성될 수 있다는 것이다.

도 1은 본 발명의 일 실시예에 따른 입체 영상 제작 시스템에 대한 구성을 나타낸 것이다.

도 1을 참조하면, 본 발명에 따른 시스템(100)은 이동 영역 검출부(110), 메움 가이드부(120), 메움 오차 처리부(130) 및 입체 영상 가시화부(140)를 포함한다.

이동 영역 검출부(110)는 영상에서 이동되는 객체에 대한 영역을 검출하는 구성으로, 이동 영역을 검사하고, 이동 영역의 전경과 배경을 구분하여 이동 영역 변동 사항을 검출/추적하여 그 결과 정보를 제공한다.

이동 영역 검출부(110)는 도 2에 도시된 바와 같이 이동 영역 검사부(210), 전경 및 배경 구분부(220), 이동 영역 변동 검출부(230) 및 이동 영역 추적부(240)를 포함한다.

이동 영역 검사부(210)는 객체 이동에 따른 틈새 영역을 구하는 역할을 수행한다.

이 때, 이동 영역 검사부(210)는 양안 영상의 경우 깊이감이 변하면서 제공되는 각 객체별 이동 정보를 통해 객체 이동에 따른 틈새 영역을 구할 수 있고, 단안 영상의 변환에서는 원본과 변경된 영상을 통해 이동에 따른 틈새 영역을 구할 수 있다.

전경 및 배경 구분부(220)는 이동 영역의 전경과 배경을 구분하는 구성으로, 이동 객체에 대한 정보를 이용하여 전경과 배경을 구분할 수도 있고, 객체별 깊이맵 변화를 통해 전경과 배경을 구분할 수도 있다.

이동 영역 변동 검출부(230)는 각 프레임 사이의 변동 여부를 검출하는 구성으로, 변동이 없다면 촬영된 카메라와 동일한 조건으로 볼 수 있다.

이 때, 객체는 카메라가 고정된 장면이면 정지 객체로 볼 수 있고, 카메라가 이동한 장면이면 카메라와 평행 이동한 객체로 볼 수 있다.

이동 영역 추적부(240)는 이동 객체를 프레임별로 추적한다.

여기서, 이동 영역 추적부(240)는 기존의 객체 추적 기술을 활용할 수도 있고, 축적 정확도에 기초하여 적절한 추적 기술을 활용할 수도 있다.

이런 이동 영역 추적부(240)는 적절한 추적 기술을 이용한 정확한 추적을 통하여 깜빡임이 없는 정확한 틈새 메우기를 수행할 수 있도록 한다.

이와 같이, 이동 영역 검출부(110)는 이동 영역 검사부(210)를 통해 이동 객체의 정확한 분할과 분할된 객체의 변경 영역에 의한 차에 의해 이동 영역을 계산하고, 전경 및 배경 구분부(220)를 통해 이동 영역 검사부(210)에 의해 계산된 영역을 이동 객체에 대한 배경으로 하고 이동 객체에 대해서는 전경으로 처리하는 역할을 수행하며, 이동 영역 변동 검출부(230)를 통해 각 프레임별로 이동 객체와 이동 영역의 변동 유무를 검사하고, 이동 영역 추적부(240)를 통해 객체의 변동이 발생한 경우 정확한 객체 추적을 수행함으로써, 각 프레임별로 이동 영역을 정확하게 계산할 수 있다. 즉, 이동 영역 검출부(110)는 정확한 객체 분할(object segmentation)과 객체 추적(object tracking)을 이용하여 이동 영역에 대한 정확한 처리가 가능하고 이를 통해 영상 품질을 높일 수 있다.

메움 가이드부(120)는 미리 분석된 다양한 장면에 따른 분석 정보에 기초하여 획득된 장면에 대응하는 메움 가이드를 제공한다.

여기서, 메움 가이드부(120)는 각 장면별로 사전에 필요한 가이드를 제공하여 사용자 선택 처리를 보조하는 수단으로, 도 3에 도시된 바와 같이 경계 가이드부(310), 메움 방식 가이드부(320), 경계 블러링 가이드부(330), 메움 후보 가이드부(340) 및 휴먼팩터 가이드부(350)를 포함한다.

경계 가이드부(310)는 객체의 경계 부분에 대한 정보를 어느 정도로 처리할 것인가에 따라 메워야 할 영역이나 메움의 후보 정보로 취득할 영역의 범위가 달라질 수 있음으로 이에 대한 경계 부분의 가시적 영상을 제공하여 사용자가 경계의 적절한 범위를 선택할 수 있도록 한다.

여기서, 영상의 경계 범위에 대한 값은 미리 결정된 기본값으로 설정될 수 있다.

메움 방식 가이드부(320)는 동일 프레임이나 여러 프레임에서 정보를 가져오고, 그 가져 온 정보를 어떤 방식으로 채울(메울) 것인가에 대한 가이드를 제공한다.

여기서, 이동 영역에 영상을 채우는(메우는) 방법에는 단일 이미지에서 정보를 가지고 오는 방법, 여러 프레임에서 정보를 가지고 오는 방법, 및 제3의 정보를 이용하는 방법으로 크게 나눌 수 있다.

단일 이미지에서 정보를 가져오는 방법은 이동 영역이 이웃 영역의 연속으로 주변 영상의 보간(interpolation)으로 처리가 가능할 때 주로 사용될 수 있으며, 보간 방법으로는 빠르고 단순한 선형 보간 방법, 수학적인 다항식 보간 방법 또는 스플라인 함수 등에 의한 보간 방법 등이 있을 수 있는데, 영상의 변화 추이에 가장 적합한 보간을 선택하여 처리할 수 있다. 여러 프레임에서 정보를 가지고 오는 방법은 이동 영역의 이웃 영역의 변화가 존재하여 다른 프레임에서 현재 프레임의 이동 영역의 정보를 가져올 수 있는 경우에 사용될 수 있다.

경계 블러링 가이드부(330)는 경계 영역의 부정확성을 블러링을 통해 완화하고 경계 간을 부드럽게 보이도록 하는 기능을 제공하는 것으로, 경계 영역에 대한 블러링의 가이드를 제공한다.

이 때, 경계 블러링 영역이 커지면 그만큼 영상의 선명도가 떨어지기 때문에, 경계 블러링 가이드부(330)는 원본 영상의 경계 크기를 기본으로 경계 영역의 부정확성이 높을수록 더 크게 블러링하는 것이 바람직하다. 물론, 부정확성 여부를 판단하는 기준은 입체 영상 제작자 또는 제작 업체에 의해 결정될 수 있다.

메움 후보 가이드부(340)는 상기 제3의 정보를 이용하는 방법에 대한 가이드를 제공한다.

여기서, 제3의 정보를 이용하는 방법은 주변 정보로 보간 시 오류가 많고 여러 프레임에서 관련 정보가 존재하지 않는 경우로, 대표적인 것은 복잡한 텍스처가 있는 직육면체의 정면을 가까이에서 보는 단안 영상을 직육면체의 옆면을 보게 되는 스테레오스코픽 입체 영상으로 만드는 경우 직육면체의 정면에서 이동된 직육면체의 옆면에 해당하는 이동 영역에 대한 정보를 알 수 없을 때 주로 발생하며, 이 경우에는 사용자가 상식적인 수준에서 이동 영역을 채우고, 필요 시 그 이동 영역의 변동이 프레임별로 나타나면 그에 따라 채워지는 영역도 변동 유형에 맞춰 변동 되도록 처리할 수 있다.

상술한 메움 방식 가이드부(320)와 메움 후보 가이드부(340)는 서로 보완적인 관계로, 특정 프레임(key frame)에 메움 후보 가이드부(340)를 이용하여 채우고, 나머지 프레임은 메움 방식 가이드부(320)을 이용하여 채울 수 있다.

휴먼팩터 가이드부(350)는 인지 기반으로 영상의 포커스(focus) 영역과 비포커스 영역에 대해 각각 다른 오차 허용 가이드를 제공함으로써, 제작되는 입체 영상의 품질을 높이는 기능을 수행한다.

여기서, 휴먼팩터 가이드부(350)는 선명성이 필요한 포커스 영역에 대해서는 오차 허용범위를 좁게 유지하고, 비포커스 영역에 대해서는 오차 허용범위를 확대 가능하도록 하여 경계 블러링 가이드부(330)에서 참조할 수 있다.

이와 같이, 휴먼팩터 가이드부(350)는 영상의 인지적 측면을 고려하여 고품질 입체 영상 제작을 위한 구성이다.

메움 오차 처리부(130)는 입체 영상에서의 객체의 이동에 따라 발생되는 틈새를 메우기 위한, 메움 가이드를 설정하고 처리하는 역할을 수행한다.

이 때, 메움 오차 처리부(130)는 메움 가이드부(120)에서 제공하는 정보와 입체 영상 가시화부(140)에서 제공하는 정보 그리고 입체 영상 제작자의 경험을 바탕으로 메움 가이드를 설정하고 처리할 수 있다.

이런 메움 오차 처리부(130)는 메움 가이드의 설정과 처리를 통해 이동 영역이 메워지면 메움 영역을 보정하여 메워진 영역에 대한 프레임간 오차로 깜빡임이 발생하는 것을 보완한다.

메움 오차 처리부(130)는 도 4에 도시된 바와 같이 경계 정보 처리부(410), 메움 방식 처리부(420), 경계 블러링부(430) 및 메움 정보 선택부(440)를 포함한다.

경계 정보 처리부(410)는 경계 가이드부(310)에서 제공하는 정보를 이용하여 설정된 값에 따라 경계 정보를 해석 처리한다.

메움 방식 처리부(420)는 메움 방식 가이드부(320)에서 제공하는 정보를 이용하여 보간(interpolation), 변형(transform), 추적(tracking)에 필요한 값을 설정하고 설정값에 따라 이동 영역을 채우는 역할을 수행한다.

경계 블러링부(430)는 경계 블러링 가이드부(330)에서 제공하는 정보에 따라 경계 블러링 값을 설정하고 처리하는 역할을 수행한다.

메움 정보 선택부(440)는 제작자에 의해 선택되거나 객체의 이동에 따라 발생되는 틈새에 따라 자동 선택된 메움 정보를 이용하여 메움을 수행하고 시뮬레이션하여 보여주는 역할을 수행하며, 필요 시 처리된다.

입체 영상 가시화부(140)는 입체 영상 제작자가 선택한 결과의 예상 분석 결과 가시화 및 결과 가시화 등을 통해 제작자의 의도에 맞게 잘 제작 되었는지를 판단하는데 도움을 줄 수 있도록 한다. 즉, 입체 영상 가시화부(140)는 메움 오차 처리부(130)에 의해 처리된 입체 영상을 가시화한다.

이런 입체 영상 가시화부(140)는 도 5에 도시된 바와 같이, 깊이감 정보 가시화부(510), 스테레오 영상 가시화부(520), 불안정 영역 가시화부(530) 및 최종 영상 가시화부(540)를 포함한다.

깊이감 정보 가시화부(510)는 사용자가 제공하는 초기 깊이감과 이동 영역이 채워질 때 활용되는 깊이감을 정보를 가시화한다.

이 때, 깊이감 정보 가시화부(510)는 깊이감 정보가 제공되지 않는 경우 사용자가 설정/처리한 깊이감 정보를 가시화한다.

스테레오 영상 가시화부(520)는 스테레오 영상으로 제공 또는 이동 영역이 고려된 스테레오 영상을 가시화 한다.

여기서, 스테레오 영상 가시화부(520)는 이동 영역에 대한 메움 처리가 되지 않은 경우에는 메움 처리가 되지 않은 영역을 사용자 또는 시스템에 의해 미리 정의된 미결정색(예를 들어, 검은색)으로 처리할 수 있다.

불안전 영역 가시화부(530)는 영상에서의 깊이감 정보를 판별할 수 있고 화면 크기 및 관람자와 거리 정보가 제공될 경우에 불안정 영역을 가시화하여 제공하는 구성으로, 특별한 설정이 없는 경우 관람자를 사람으로 간주하여 사람의 양안 간격을 기준으로 처리하고, 특별한 관람자의 양안 간격이 제공되면 그에 따라 가시화할 수 있다.

여기서, 불안정 영역은 판별된 깊이감 정보에 기초하여 판별할 수 있고, 불안정 영역으로의 설정 기준은 사용자에 의해 결정될 수 있으며, 불안정 영역의 설정 기준은 깊이감 정보가 특정 값 이하일 때로 설정할 수 있다. 물론, 불안정 영역을 설정하는 기준과 방식은 상황에 따라 달라질 수 있다.

최종 영상 가시화부(540)는 이동 영역이 메움 처리된 최종 영상을 가시화 한 것으로 사용자가 다른 설정을 하게 되면 그 설정에 맞게 메움 처리된 또 다른 최종 영상을 가시화하여 제공한다.

상술한 바와 같이, 본 발명은 이동 영역 검출부(110)를 이용하여 입체로 촬영된 영상의 깊이감 변경이나 단안 영상의 스테레오 영상 변환에서 발생하는 틈새를 채우는 문제를 모두 처리하고, 메움 가이드부(120)와 입체 영상 가시화부(140)의 도움을 받아 사용자 인터페이스를 이용하여 메움 방식을 결정/처리하는 메움 오차 처리부(130)로 구성되어 다양한 입체 영상 제작에 적용 가능하도록 구성될 수 있다는 점이다.

이와 같이, 본 발명에 따른 입체 영상 제작 시스템은 입체 영상을 생성하거나 입체 영상에서의 깊이감 변경에 따라 발생될 수 있는 입체 영상 내 객체 이동에 의한 틈새를 메움으로써, 입체 영상 제작 시간을 단축할 수 있고, 이를 통해 입체 영상 콘텐츠를 제작하는데 많은 도움을 줄 수 있다.

나아가, 본 발명은 사용자 인터페이스를 통한 휴먼팩터를 고려하여 시각적 피로가 최소화된 입체 영상을 제작할 수 있다.

도 6은 본 발명의 일 실시예에 따른 입체 영상 제작 방법에 대한 동작 흐름도를 나타낸 것이다.

도 6을 참조하면, 본 발명에 따른 입체 영상 제작 방법은 입체 영상에서 객체의 이동에 따른 이동 영역을 검출한다(S610).

이 때, 단계 S610은 양안 영상의 경우 양안 카메라와 양안 영상간의 관계로 영상내 픽셀들의 깊이를 계산할 수 있고, 변경된 양안 카메라에 의해 대응되는 픽셀의 변경 위치를 계산함으로써 이동 영역을 검출할 수 있으며, 단안 영상의 경우 초기 객체 정보와 이동된 객체 정보 차에 의해 이동 영역이 계산되며 이동된 객체 정보를 제외한 초기 객체 정보 부분을 이동 영역으로 검출할 수 있다.

이동 영역이 검출되면 검출된 이동 영역을 추적한다(S620).

여기서, 이동 영역 추적(S620)은 이동 영역 검출(S610) 과정을 반복 수행하는 것과 유사하지만 모든 프레임에서 동일한 정보가 제공되지 않기 때문에, 초기 정보와 다음 프레임의 변화 정보를 이용하여 다음 프레임에서도 유사한 형태로 계산할 수 있다. 이동 영역 추적 단계(S620)에 의하여 이동 영역의 변동 사항을 추적하고 이에 대한 결과 정보를 제공할 수 있다.

상기 단계 S610과 S620은 객체의 분할과 분할된 객체의 변경 영역에 의한 차를 이용하여 상기 이동 영역을 계산하고, 계산된 이동 영역을 객체에 대한 배경으로 처리하고 이동되는 이동 객체에 대해서는 전경으로 처리하며, 각 프레임별로 객체와 이동 영역의 변동 유무를 검사하여 객체의 변동이 발생한 경우 객체의 추적을 수행하는 과정으로 이루어질 수 있다.

그 다음, 검출된 이동 영역과 각 프레임별로 추적된 이동 영역에 대해 영역을 보간/변형/추적 방법에 의해 이동 영역을 메운다(S630).

여기서, 이동 영역 메우기 단계(S630)는 사용자 인터페이스를 이용하여 사용자의 선택에 의하여 수행될 수도 있다.

예컨대, 사용자가 장면에 따라 선택한 메움 방식 설정에 의하여 이동 영역 메우기를 처리하는데, 추가적으로 사용자의 메움 방식 설정을 돕기 위하여 장면에 따른 메움 가이드 정보를 제공하고, 선택된 메움 방식에 따라 이동 영역을 메웠을 때의 결과 정보를 영상 가시화하여 제공할 수도 있다.

이 때, 메움 가이드는 이동 영역에 대한 결과 정보에 기초하여 결과 정보에 대응하는 메움 가이드를 제공할 수 있으며, 메움 가이드는 객체의 경계 부분의 가시적 영상을 제공하고, 이동 영역에 대한 적어도 하나의 메움 방식의 가이드를 제공하며, 경계 영역의 블러링에 대한 가이드를 제공하고, 미리 결정된 특정 프레임에 대해 미리 결정된 메임 방식의 가이드를 제공하며, 인지 기반으로 영상의 포커스 영역과 비포커스 영역에 대해 오차 허용 가이드를 제공하는 과정에 의하여 제공될 수 있다.

이동 영역이 메워지면 메움 영역을 보정하여 메워진 영역에 대한 프레임간 오차로 깜빡임이 발생하는 것을 보완한다(S640).

이 때, 메움 영역을 보정하는 과정은 영상 블러링(blurring) 과정을 포함할 수 있으며, 메움 가이드에 기초하여 메움 영역을 보정할 수 있다.

메움 영역 보정 단계(S640) 또한 사용자 인터페이스를 이용하여 추가적으로 보정될 수 있다.

예컨대, 이동 영역 메움의 결과가 좋으면 사용자 인터페이스에 의해 선택한 메움 방식 설정의 메움 보정 값에 따라 보정하고, 이동 영역 메움 결과가 좋지 않거나 보정 결과가 좋지 않은 경우는 이동 영역 검출 단계(S610)로 되돌아 가서 객체 분할/추적 정보를 추가한 이동 영역 검출을 좀 더 정확하게 보강하여 수행하는 반복 과정으로 구성될 수도 있다. 즉, 사용자의 입력을 통하여 사용자를 만족시킨 입체 영상을 제작할 수 있다.

여기서, 메움 영역 보정 단계(S640)는 미리 설정된 값에 따라 경계 정보를 해석 처리하는 단계, 미리 제공되는 정보를 이용하여 보간, 변형, 추적에 필요한 값을 설정하고 설정값에 따라 이동영역을 메우는 단계, 미리 제공하는 정보에 따라 경계 블러링 값을 설정하고 처리하는 단계 및 미리 결정된 메움 정보에 따라 틈새를 메우고 시뮬레이션하여 사용자에게 제공하는 단계를 포함할 수 있다.

메움 영역을 보정하기 위하여 입체 영상을 가시화함으로써, 입체 영상 제작자로 하여금 만족할만한 입체 영상을 제작할 수 있도록 도와줄 수 있다.

여기서, 입체 영상을 가시화하는 과정은 사용자가 제공하는 초기 깊이감과 이동 영역이 채워질 때 활용되는 깊이감 정보를 가시화하고, 이동 영역이 고려된 스테레오 영상을 가시화하며, 영상에서의 깊이감을 판별하고, 판별된 깊이감에 기초하여 영상에서의 불안전 영역을 가시화하고, 이동 영역이 메움 처리된 최종 영상을 가시화하는 과정을 포함할 수 있다.

메움 영역 보정 과정이 마치면 최종 입체 영상을 획득할 수 있다.

본 발명의 방법에서는 초기 양안 영상, 초기 양안 카메라 정보 및 변경 양안 카메라 정보를 제공하거나, 초기 단안 영상과 이동 객체 정보 및 이동 후 객체 정보를 기본으로 제공할 수도 있다. 이는 양안 및 단안에서 깊이감 정보가 주어지면 정보 처리가 더 쉬워지고, 단안 영상에서의 경우 이동 객체와 이동 영역간의 깊이 관계가 주어지면 처리가 좀 더 정확해 질 수 있기 때문이다.

이와 같이, 본 발명에 따른 입체 영상 제작 방법은 사용자 인터페이스를 이용한 입체 영상 이동 영역 처리 과정을 통해 사용자의 경험을 최대한 활용하여 이동 영역에 대한 메움 처리를 함으로써, 장면에 따라 처리 오류가 많은 발생되는 문제를 최소화하여 보다 일반적인 입체 영상 제작에 활용하고, 메움 가이드와 영상 가시화 등의 직관적인 정보 제공을 바탕으로 고품질의 입체 영상을 제작하도록 지원할 수 있다.

본 발명의 일 실시예에 따른 영상 이동 영역의 메움 처리 기능을 구비한 입체 영상 제작 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (13)

1. 영상에서 이동되는 객체에 대한 이동 영역을 검사하고, 상기 이동 영역의 전경과 배경을 구분하여 상기 이동 영역의 변동 사항을 검출/추적하며 그 결과 정보를 제공하는 이동 영역 검출부;
   상기 이동 영역 검출부에 의해 검출된 틈새를 메우고 메워진 메움 영역을 보정하는 메움 오차 처리부; 및
   상기 메움 오차 처리부에 의해 보정된 입체 영상을 가시화하는 입체 영상 가시화부
   를 포함하는 입체 영상 제작 시스템.
2. 제1항에 있어서,
   상기 이동 영역 검출부는
   상기 객체의 분할과 분할된 객체의 변경 영역에 의한 차를 이용하여 상기 이동 영역을 계산하는 이동 영역 검사부;
   상기 계산된 상기 이동 영역을 상기 객체에 대한 배경으로 처리하고 상기 이동되는 상기 객체에 대해서는 전경으로 처리하는 전경 및 배경 구분부;
   각 프레임별로 상기 객체와 상기 이동 영역의 변동 유무를 검사하는 이동 영역 변동 검출부; 및
   상기 객체의 변동이 발생한 경우 상기 객체의 추적을 수행하는 이동 영역 추적부
   를 포함하는 것을 특징으로 하는 입체 영상 제작 시스템.
3. 제1항에 있어서,
   상기 이동 영역에 대한 결과 정보에 기초하여 상기 결과 정보에 대응하는 메움 가이드를 제공하는 메움 가이드부
   를 더 포함하고,
   상기 메움 오차 처리부는
   상기 메움 가이드부에 의해 제공되는 상기 메움 가이드에 기초하여 상기 메움 영역을 보정하는 것을 특징으로 하는 입체 영상 제작 시스템.
4. 제3항에 있어서,
   상기 메움 가이드부는
   상기 객체의 경계 부분의 가시적 영상을 제공하는 경계 가이드부;
   상기 이동 영역에 대한 적어도 하나의 메움 방식의 가이드를 제공하는 메움 방식 가이드부;
   상기 경계 영역의 블러링에 대한 가이드를 제공하는 경계 블러링 가이드부;
   미리 결정된 특정 프레임에 대해 미리 결정된 메임 방식의 가이드를 제공하는 메움 후보 가이드부; 및
   인지 기반으로 상기 영상의 포커스 영역과 비포커스 영역에 대해 오차 허용 가이드를 제공하는 휴먼팩터 가이드부
   를 포함하는 것을 특징으로 하는 입체 영상 제작 시스템.
5. 제1항에 있어서,
   상기 메움 오차 처리부는
   미리 설정된 값에 따라 경계 정보를 해석 처리하는 경계 정보 처리부;
   미리 제공되는 정보를 이용하여 보간, 변형, 추적에 필요한 값을 설정하고 설정값에 따라 이동영역을 메우는 메움 방식 처리부; 및
   미리 제공하는 정보에 따라 경계 블러링 값을 설정하고 처리하는 경계 블러링부
   를 포함하는 것을 특징으로 하는 입체 영상 제작 시스템.
6. 제5항에 있어서,
   상기 메움 오차 처리부는
   미리 결정된 메움 정보에 따라 상기 틈새를 메우고 시뮬레이션하여 사용자에게 제공하는 메움 정보 선택부
   를 더 포함하는 것을 특징으로 하는 입체 영상 제작 시스템.
7. 제1항에 있어서,
   상기 입체 영상 가시화부는
   사용자가 제공하는 초기 깊이감과 상기 이동 영역이 채워질 때 활용되는 깊이감 정보를 가시화하는 깊이감 정보 가시화부;
   상기 이동 영역이 고려된 스테레오 영상을 가시화하는 스테레오 영상 가시화부;
   상기 영상에서의 깊이감을 판별하고, 상기 판별된 상기 깊이감에 기초하여 상기 영상에서의 불안전 영역을 가시화하는 불안전 영역 가시화부; 및
   상기 이동 영역이 메움 처리된 최종 영상을 가시화하는 최종 영상 가시화부
   를 포함하는 것을 특징으로 하는 입체 영상 제작 시스템.
   
8. 영상에서 이동되는 객체에 대한 이동 영역을 검사하고, 상기 이동 영역의 전경과 배경을 구분하여 상기 이동 영역의 변동 사항을 검출/추적하며 그 결과 정보를 제공하는 단계;
   상기 결과 정보에 기초하여 검출된 틈새를 메우고 메워진 메움 영역을 보정하는 단계; 및
   상기 보정된 입체 영상을 가시화하는 단계
   를 포함하는 입체 영상 제작 방법.
9. 제8항에 있어서,
   상기 제공하는 단계는
   상기 객체의 분할과 분할된 객체의 변경 영역에 의한 차를 이용하여 상기 이동 영역을 계산하는 단계;
   상기 계산된 상기 이동 영역을 상기 객체에 대한 배경으로 처리하고 상기 이동되는 상기 객체에 대해서는 전경으로 처리하는 단계;
   각 프레임별로 상기 객체와 상기 이동 영역의 변동 유무를 검사하는 단계; 및
   상기 객체의 변동이 발생한 경우 상기 객체의 추적을 수행하는 단계
   를 포함하는 것을 특징으로 하는 입체 영상 제작 방법.
10. 제8항에 있어서,
    상기 이동 영역에 대한 결과 정보에 기초하여 상기 결과 정보에 대응하는 메움 가이드를 제공하는 단계
    를 더 포함하고,
    상기 보정하는 단계는
    상기 메움 가이드에 기초하여 상기 메움 영역을 보정하는 것을 특징으로 하는 입체 영상 제작 방법.
11. 제10항에 있어서,
    상기 메움 가이드를 제공하는 단계는
    상기 객체의 경계 부분의 가시적 영상을 제공하는 단계;
    상기 이동 영역에 대한 적어도 하나의 메움 방식의 가이드를 제공하는 단계;
    상기 경계 영역의 블러링에 대한 가이드를 제공하는 단계;
    미리 결정된 특정 프레임에 대해 미리 결정된 메임 방식의 가이드를 제공하는 단계; 및
    인지 기반으로 상기 영상의 포커스 영역과 비포커스 영역에 대해 오차 허용 가이드를 제공하는 단계
    를 포함하는 것을 특징으로 하는 입체 영상 제작 방법.
12. 제8항에 있어서,
    상기 보정하는 단계는
    미리 설정된 값에 따라 경계 정보를 해석 처리하는 단계;
    미리 제공되는 정보를 이용하여 보간, 변형, 추적에 필요한 값을 설정하고 설정값에 따라 이동영역을 메우는 단계;
    미리 제공하는 정보에 따라 경계 블러링 값을 설정하고 처리하는 단계; 및
    미리 결정된 메움 정보에 따라 상기 틈새를 메우고 시뮬레이션하여 사용자에게 제공하는 단계
    를 포함하는 것을 특징으로 하는 입체 영상 제작 방법.
13. 제8항에 있어서,
    상기 가시화하는 단계는
    사용자가 제공하는 초기 깊이감과 상기 이동 영역이 채워질 때 활용되는 깊이감 정보를 가시화하는 단계;
    상기 이동 영역이 고려된 스테레오 영상을 가시화하는 단계;
    상기 영상에서의 깊이감을 판별하고, 상기 판별된 상기 깊이감에 기초하여 상기 영상에서의 불안전 영역을 가시화하는 단계; 및
    상기 이동 영역이 메움 처리된 최종 영상을 가시화하는 단계
    를 포함하는 것을 특징으로 하는 입체 영상 제작 방법.

Images