KR101065863B1 - 두 영상 간의 수직성분 보정에 의한 3ｄ 영상 형성방법 및 저장매체 - Google Patents

Abstract

본 발명은 두 영상 간의 수직성분 보정에 의한 3D영상 형성방법에 대한 것이다. 본 발명에 의한 두 영상 간의 수직성분 보정에 의한 3D영상 형성방법은, 원본영상의 현재 프레임을 구성하는 각 블록에 대해 이전 프레임에 대한 모션벡터를 검출하는 모션벡터 검출단계와; 상기 각 블록의 모션벡터 중 모션벡터에 수직성분이 있는 블록을 검출하는 수직벡터 검출단계와; 검출된 모션벡터에 수직성분이 있는 블록이 있는 경우 그 블록의 모션벡터를 대신하여 그 블록의 모션벡터 수평성분이나 그 블록에 인접한 블록의 모션벡터 수평성분으로 치환하는 모션벡터 치환단계와; 상기 모션벡터 치환단계에 의해 모션벡터가 치환된 블록을 포함한 프레임의 오브젝트에 대한 이미지 마스크를 형성하는 마스크 형성 단계와; 상기 이미지 마스크를 이용하여 상기 현재 프레임에 대응하는 보정프레임을 형성하기 위하여 이미지 와핑을 수행하는 이미지 와핑 단계를 포함하여 구성되는 것을 특징으로 한다.

Description

두 영상 간의 수직성분 보정에 의한 3Ｄ 영상 형성방법 및 저장매체{A 3D Movie Generating Method By Compensating Vertical Component Of Motion Vector Wherebetween Two Pictures And A Storage Medium}

본 발명은 두 영상 간의 수직성분 보정에 의한 3D영상 형성방법에 대한 것으로, 더욱 상세하게는 원본 영상의 두 프레임 간 모션벡터가 수직성분을 포함한 블록이 있는 경우 그 블록의 모션벡터를 인접 블록 모션벡터의 수평성분 벡터로 치환 적용하여 입체감을 향상시키며 이미지 겹침 현상으로 인한 눈의 피로 발생을 방지하는 두 영상 간의 수직성분 보정에 의한 3D영상 형성방법에 대한 것이다.

도 1a에 도시된 바와 같이, 인간의 좌안과 우안은 좌우 일정 간격 이격되어 사물을 응시하므로, 좌안과 우안은 각각 다른 영상을 보지만 뇌에서 하나의 영상으로 합성되어 그 대상 사물이 입체로 인식될 수 있다.

이처럼 좌안과 우안의 이격에 의한 시차에 의하여 입체가 인식되는, 양안시차의 원리는 3차원 입체영상을 형성하는 기본 원리로 입체카메라에 적용된다. 하지만, 기존에 제작된 수많은 2차원 영상은 입체카메라를 적용하여 다시 제작하기는 불가능하므로 2차원 영상을 3차원 영상으로 전환하기 위한 다양한 이론들과 방안이 제시되고 있다.

예컨대, 양안의 시간적인 지연이 입체감을 느끼는 원인이 된다는 J. Ross가 발견한 Ross 현상에 기반하여 3차원 동영상을 생성하는 기술로 MTD(Modified Time Difference) 방식이 알려져 있다.

MTD 방식은 기존 2차원 영상물에서 카메라 및 물체 운동이 존재할 때에 현재 영상과 지연 영상을 각각 사람의 좌안과 우안에 보이게 함으로써 3차원 입체효과를 발생시키는 것이며, 스테레오 카메라를 이용한 제작과정을 거치지 않기 때문에 비용과 시간을 절약할 수 있으며 이미 제작된 2차원 영상물이나 방송프로그램을 3차원 영상물로 손쉽게 변환할 수 있다.

예컨대, 도 1b에 도시된 바와 같이, 2차원 동영상은 'N프레임', 'N+1프레임', ..., 'N+M 프레임'으로 구성되며, MTD 방식은 도 1c, 도 1d에 예시된 바와 같이 좌안에는 'N프레임'을 우안에는 'N+1프레임'을 배치하는 방식으로 시간의 진행에 따른 양안 지연 시차에 의해 영상 속의 객체가 앞쪽으로 튀어나오거나 들어가 보이는 듯한 효과를 줌으로써 3차원 입체 동영상을 형성하게 된다.

그러나, 상기와 같은 종래의 2 차원 동영상을 3차원 동영상으로 전환하는 MTD 방식에는 다음과 같은 문제점이 발생하게 된다.

종래 MTD 방법에 의하여 2D 영상을 3D 영상으로 전환시키는 경우에 오브젝트가 수평방향으로 이동하는 경우에는 수평방향의 이동에 의해 양안시차의 효과를 발생시켜 최적 입체감의 3D 영상을 형성하는 것이 가능하다.

하지만, 수직방향 이동의 경우에는 프레임 간의 시간적인 지연에 의해 양안시차의 효과를 발생시키지도 못하며 좌안영상과 우안영상 간 오브젝트의 수직방향 위치가 다르므로 이미지의 겹침 현상이 발생하고 눈의 피로를 발생시키는 문제가 발생한다.

본 발명의 목적은, MTD 방식에 의해 2D 영상을 3D 영상으로 전환하는 과정에 모션벡터의 수직방향 성분에 의한 이미지 겹침 현상을 보정하여 최적화된 입체영상을 형성하는 것이 가능한 두 영상 간의 수직성분 보정에 의한 3D영상 형성방법을 구현하는 것이다.

상기 목적을 달성하기 위한 본 발명에 의한 두 영상 간의 수직성분 보정에 의한 3D영상 형성방법은, 원본영상의 현재 프레임을 구성하는 각 블록에 대해 이전 프레임에 대한 모션벡터를 검출하는 모션벡터 검출단계와; 상기 각 블록 중 모션벡터에 수직성분이 있는 블록을 검출하는 수직벡터 검출단계와; 검출된 모션벡터에 수직성분이 있는 블록이 있는 경우 그 블록의 모션벡터를 대신하여 그 블록의 모션벡터 수평성분이나 그 블록에 인접한 블록의 모션벡터 수평성분으로 치환하는 모션벡터 치환단계와; 상기 모션벡터 치환단계에 의해 모션벡터가 치환된 블록을 포함한 프레임의 오브젝트에 대한 이미지 마스크를 형성하는 마스크 형성 단계와; 상기 이미지 마스크를 이용하여 상기 현재 프레임에 대응하는 보정프레임을 형성하기 위하여 이미지 와핑을 수행하는 이미지 와핑 단계를 포함하여 구성되는 것을 특징으로 한다.

상기 목적을 달성하기 위한 본 발명에 의한 두 영상 간의 수직성분 보정에 의한 3D영상 형성방법은, 원본영상의 이전 프레임을 구성하는 각 블록에 대해 현재 프레임에 대한 모션벡터를 검출하는 모션벡터 검출단계와; 상기 각 블록 중 모션벡터에 수직성분이 있는 블록을 검출하는 수직벡터 검출단계와; 검출된 모션벡터에 수직성분이 있는 블록이 있는 경우 그 블록의 모션벡터를 대신하여 그 블록의 모션벡터 수평성분이나 그 블록에 인접한 블록의 모션벡터 수평성분으로 치환하는 모션벡터 치환단계와; 상기 모션벡터 치환단계에 의해 모션벡터가 치환된 블록을 포함한 프레임의 오브젝트에 대한 이미지 마스크를 형성하는 마스크 형성 단계와; 상기 이미지 마스크를 이용하여 상기 이전 프레임에 대응하는 보정프레임을 형성하기 위하여 이미지 와핑을 수행하는 이미지 와핑 단계를 포함하여 구성되는 것을 특징으로 한다.

상기 모션벡터 치환단계에서, 상기 블록의 모션벡터가 수직성분만으로 구성된 경우에는 인접한 블록 모션벡터의 수평성분에 의해 상기 블록의 모션벡터가 치환되는 것을 특징으로 한다.

상기 블록에 인접한 블록의 모션벡터에 수평성분이 없는 경우에는 그 크기를 0으로 하고, 상기 블록에 인접한 양측 블록 모션벡터에 모두 수평성분이 있는 경우에는 수평성분의 스칼라값이 작은 것을 선택하는 것을 특징으로 한다.

상기 블록의 모션벡터가 수직성분과 수평성분을 포함하는 경우에는, 상기 블록에 인접한 블록의 모션벡터에 수평성분이 없는 경우에는 상기 블록의 모션벡터를 자신의 수평성분으로 치환하며, 상기 블록에 인접한 블록의 모션벡터에 수평성분이 있는 경우에는 그 수평성분으로 상기 블록의 모션벡터를 치환하는 것을 특징으로 한다.

상기 블록의 모션벡터에 수직성분이 있어서 보정프레임이 형성되는 경우 상기 원본영상의 현재프레임과 상기 이전프레임에 대한 보정프레임이 좌안영상 또는 우안영상이 되며, 상기 블록의 모션벡터에 수직성분이 없는 경우에는 상기 원본영상의 현재프레임과 이전프레임이 좌안영상 또는 우안영상이 되도록 좌우영상을 선택 형성하는 좌우영상 생성단계를 더 포함하는 것을 특징으로 한다.

상기 블록의 모션벡터에 수직성분이 있어서 보정프레임이 형성되는 경우 상기 원본영상의 이전프레임과 상기 현재프레임에 대한 보정프레임이 좌안영상 또는 우안영상이 되며, 상기 블록의 모션벡터에 수직성분이 없는 경우에는 상기 원본영상의 현재프레임과 이전프레임이 좌안영상 또는 우안영상이 되도록 상기 좌우영상을 선택 형성하는 좌우영상 생성단계를 더 포함하는 것을 특징으로 한다.

상기 목적을 달성하기 위한 본 발명에 의한 저장매체는, 상술한 바의 두 영상 간의 수직성분 보정에 의한 3D 영상 형성방법의 각 단계를 컴퓨터 시스템 상에서 수행하기 위한 컴퓨터 프로그램을 저장한 것을 특징으로 한다.

본 발명은 상기와 같은 구성에 의해 MTD 방식에 의한 입체영상을 형성하는 경우 오브젝트의 수직방향 이동시 발생할 수 있는 입체효과 형성이 곤란한 문제를 해결하며, 오브젝트의 수직방향의 불일치에 따른 화면 겹침 현상 등에 의해 눈의 피로발생을 방지할 수 있고 입체감 있는 생생한 3D 영상을 형성하는 것이 가능해진다.

도 1a는 양안 시차에 의한 입체영상의 원리를 설명하는 개요도.
도 1b는 2차원 동영상을 구성하는 프레임을 예시한 개요도.
도 1c는 MTD 방식에 의한 좌/우안에 현재프레임과 지연프레임을 배치한 상태를 예시한 개요도.
도 1d는 2차원 영상을 3차원 영상으로 전환시 움직임 벡터의 방향성에 따른 좌/우 영상 결정방법을 예시한 도표.
도 2는 본 발명의 실시예의 두 영상 간의 수직성분 보정에 의한 3D 영상 형성을 위한 시스템의 예시구성도.
도 3은 본 발명의 실시예의 두 영상 간의 수직성분 보정에 의한 3D 영상 형성방법의 제어흐름을 예시한 개요도.
도 4a는 본 발명의 실시예의 두 영상 간의 수직성분 보정에 의한 3D 영상 형성방법에 의해 오브젝트의 수직방향 움직임에 대한 프레임 보정 과정을 예시한 개요도.
도 4b는 도 4a 과정에 의해 형성된 현재프레임(a)과 보정프레임(b)을 예시한 개요도.
도 5a는 현재 프레임의 이전프레임에 대한 움직임을 나타내는 모션벡터를 검출하는 과정을 예시한 도면.
도 5b는 본 발명의 실시예의 두 영상 간의 수직성분 보정에 의한 3D 영상 형성을 위한 방법에 의해 모션벡터를 수정하는 과정을 예시한 개요도.
도 5c는 본 발명의 실시예의 두 영상 간의 수직성분 보정에 의한 3D 영상 형성방법에 의해 수정된 모션벡터를 이전프레임에 적용한 상태를 예시한 개요도.
도 6은 본 실시예의 두 영상 간의 수직성분 보정에 의한 3D 영상 형성방법의 각 단계를 예시한 흐름도.

이하 상기와 같은 구성의 본 발명에 의한 두 영상 간의 수직성분 보정에 의한 3D 영상 형성방법의 바람직한 실시예의 구성을 첨부된 도면을 참조하여 상세하게 설명한다.

도 2와 도 3에 도시된 바와 같이 본 실시예의 두 영상 간의 수직성분 보정에 의한 3D 영상 형성하는 시스템은, 2차원 동영상을 입력하는 2D 영상 입력수단(20)과, 3D 영상 처리 프로그램을 실행하여 입력된 2차원 영상을 3D 영상으로 생성하는 3D 영상 처리수단(30), 2D 원본영상 및 2D 원본영상에 의해 생성된 3D 영상을 저장하는 영상저장수단(63), 그리고, 생성된 3D 영상을 출력하는 3D 영상출력수단(50)을 포함한다.

본 발명의 바람직한 실시예에서 2차원 동영상은 다양한 형식의 2D 압축되지 않은 일반 동영상을 대상으로 하고 있으나, 실시예에 따라 H.261, MPEG 2, H.264, MPEG 4 등의 형식에 의해 압축된 동영상에 대하여도 본 발명이 적용되는 것이 가능한다.

본 실시예의 3D 영상처리수단(30)은 압축되지 않은 2차원 동영상을 실시간으로 외부에서 입력받아 3D 동영상을 생성하여 실시간으로 출력하거나, 영상저장수단(63)에 저장된 2D 동영상을 읽어 이에 대한 3D 동영상을 생성하여 영상저장수단(63)에 저장하거나 외부장치, 즉 3D 모니터(79), 모바일(71), 3D TV(73), 외부 저장수단(75) 등으로 출력하는 것이 가능하다.

본 실시예의 3D 영상처리수단(30)은, 입력받은 2차원 동영상을 구성하는 원본 프레임에 대한 각 블록의 모션벡터를 검출하는 모션벡터 검출수단(31)과, 검출된 모션벡터 중 수직성분이 있는 모션벡터가 있는 경우 그 모션벡터를 수평성분 벡터로 치환하여 보정된 모션벡터를 생성하는 모션벡터 치환수단(33)과, 보정된 모션벡터가 적용된 블록을 포함한 프레임의 오브젝트에 대한 이미지 마스크를 형성하는 마스크 형성수단(35)과, 이미지 마스크에 대해 와핑을 수행하여 보정 프레임을 형성하는 프레임 와핑수단(37), 원본영상의 프레임 및 보정 프레임으로부터 좌안영상과 우안영상을 생성하는 좌우영상 형성수단(38)과, 최적 입체감 형성을 위해 휴먼팩터를 고려하여 영상 쉬프트를 수행하는 영상쉬프트 수단(39)을 포함한다.

본 실시예의 3D 영상처리 수단(30)은 두 영상 간의 수직성분 보정에 의한 3D 영상 형성방법을 컴퓨터상에서 수행하기 위한 컴퓨터 프로그램을 저장한 메모리와 그 컴퓨터 프로그램을 실행하는 프로세서에 의해 구성되는 것이 가능하고, 영상처리수단 각 구성부분을 독립된 모듈로 하여 하드웨어적으로 구성할 수도 있는 것이며 여러 실시예가 제공될 수 있다.

도 4a, 도 4b, 도 5a 내지 도 5c에 도시된 바와 같이, 본 실시예의 모션벡터 검출수단(31)은, 입력받은 2차원 원본 영상의 임의 프레임 즉 N 프레임을 구성하는 각 블록에 대하여 직전 프레임인 N-1 프레임에서 대응하는 블록을 검출하고, 두 프레임 사이의 블록단위 움직임을 나타내는 모션벡터를 검출한다(도 4a, 도 5a).

본 발명의 바람직한 실시예에서 모션벡터 검출수단(31)은 원본영상의 프레임을 블록단위로 분해하고 이전 프레임에서 대응하는 블록을 찾아서 두 블록의 프레임간 움직임에 해당하는 모션벡터를 검출한다.

한편, 본 발명의 다른 실시예에서 모션벡터 검출수단(31)은 입력되는 영상의 압축형식 즉 H.261, H.264, MPEG2, MPEG4 등에 따라 영상 압축에 포함된 정보에 의하여 모션벡터를 검출하는 것도 가능하며 실시예에 따라 여러 방식이 적용될 수 있다.

본 실시예의 모션벡터 치환수단(33)은 검출된 모션벡터의 수평성분과 수직성분을 검출하며, 모션벡터에 수직성분이 있는 경우에는 인접한 블록의 모션벡터에 의해 수직성분이 있는 모션벡터를 수정한다.

예컨대, 도 5a 내지 도 5c에 도시된 바와 같이 모션벡터가 수직성분만 있는 경우에는 인접블록의 모션벡터 수평성분의 크기와 방향으로 모션벡터를 치환하며, 인접한 양측 블록에 수평성분이 있는 경우 눈의 피로를 덜기 위해 모션벡터 수평성분이 작은 측을 취할 수 있다.

이 경우에 양측 모션벡터의 수평성분이 0인 경우는 그 크기를 0으로 선택하며, 일측의 모션벡터만 수평방향 성분이 있는 경우에는 그 수평성분의 크기와 방향으로 수직성분 모션벡터를 수정한다.

예컨대, 모션벡터가 수직성분과 수평성분을 모두 포함한 경우에는, 수직성분은 주위 블럭의 모션벡터에 수평성분이 있는 경우에는 주위 모션벡터의 수평성분을 취하며, 주위 블럭의 모션벡터가 수평성분이 없는 경우에는 원래 모션벡터의 수평성분을 적용한다. 그리고, 양쪽에 수평성분이 있는 경우에도 원래 모션벡터의 수평성분을 적용하거나 수평성분이 변화가 작은 측을 선택하거나 원래 모션벡터와 수평성분이 크기가 비슷한 것을 선택하도록 설정하는 것도 가능하다. 이처럼 본 발명의 바람직한 실시예에서는 주위 모션벡터의 수평성분을 선택하여 모션벡터의 수정에 의한 영상 왜곡으로 눈이 아프거나 어지러움 발생 등을 방지할 수 있도록 모션벡터를 수정한다.

또한 모션벡터의 수정에 의한 N 프레임의 변경상황을 살펴보면 다음과 같다. 즉, 도 4a에 도시된 바와 같이, 기존의 N 프레임과 N-1프레임 사이 오브젝트(사각형상)는 수직방향으로 이동한다. 즉, 좌안영상으로 N 프레임, 우안영상으로 N-1 프레임을 선택하는 경우 오브젝트의 상하 위치가 일치하지 않아 입체감을 느낄 수 없음은 물론 이미지 겹침의 발생으로 눈의 피로를 주게 된다.

하지만, 도 4b에 도시된 바와 같이, 본 실시예에 의한 모션벡터 수정을 수행한 경우, 현재 영상에 해당하는 N프레임을 좌안영상으로 하고, 보정된 지연프레임 즉 (N-1)´을 우안영상으로 하는 경우 N 프레임은 (N-1)´프레임과 오브젝트의 수직방향 위치가 동일하며 수평방향으로 오브젝트가 쉬프트 되어 있으므로, 오브젝트가 수평이동을 하는 경우처럼 적절한 입체감을 형성할 수 있게 된다.

본 실시예의 마스크 형성수단(35)은 수정된 모션벡터가 적용된 블록들에 의해 형성된 오브젝트에 대한 이미지 마스크를 형성하며, 본 실시예의 와핑수단(37)은 원본 영상의 N프레임을 이용하여 이미지 와핑을 수행하여 모션벡터의 수정에 의한 공백을 메꾸고 왜곡된 주변을 원본 N프레임과 N-1 프레임과 대응되도록 하여 보정프레임 N-1을 형성한다.

원본 영상을 형성하는 전체프레임에 대하여 와핑이 수행되면, 본 실시예의 좌우영상 형성수단은 N프레임을 좌안영상으로 배치하고 (N-1)´프레임을 우안영상으로 배치하며, 또한, (N+1) 프레임을 좌안영상으로 배치하고 보정된 프레임인 N´프레임을 우안영상으로 배치하는 방식에 의해 좌안영상과 우안영상을 형성한다.

하지만 본 발명의 실시예에서 좌안영상과 우안영상의 결정방식은 직전 프레임인 N-1 프레임을 좌안영상으로 하고 보정된 현재 프레임인 N´프레임을 우안영상으로 배치하는 것과 같이 상기 예에 한정되는 것이 아니며 오브젝트의 움직임의 방향에 의해서 결정될 수 있는 것이다.

또한, 본 발명의 바람직한 실시예에서 원본 영상 현재 프레임과 직전 프레임에 대하여 보안프레임을 형성하고 좌안영상과 우안영상으로 배치 형성하고 있지만, 다른 실시예에서는 현재 프레임을 좌안영상으로 하고 1 또는 2개 이전 프레임에 대한 수직방향 움직임을 보완하여 우안영상으로 배치하는 것도 가능하며, 현재영상에 대한 이전프레임은 수개의 프레임 중에서 선택된 프레임을 보정하여 형성할 수도 있는 것이다.

본 발명의 실시예의 영상쉬프트 수단(39)은 영상 출력 형식이나 출력될 스크린의 규격, 해상도, 시청자의 위치 및 입체감을 느낄 수 있는 시차 범위 등의 휴먼팩터를 고려하여 좌안영상과 우안영상에 대한 쉬프트 알고리즘을 적용 시청자의 입장에서 최적의 입체감을 느낄 수 있도록 하여 3D 영상을 형성한다.

본 실시예에서 형성된 3D 영상은 영상저장수단이나 외부 저장수단에 저장되는 것도 가능하며, 3D TV 나 모바일 등으로 실시간 전송되어 시청자에 제공되는 것도 가능하다.

본 발명의 실시예에서 수직성분 보정은 각 블록단위 모션벡터에 대하여 수행하고 있지만, 본 발명의 다른 실시예에서 수직성분 보정은 오브젝트 단위의 모션벡터에 대하여 수행될 수도 있는 것이며 실시예에 따라 모션벡터의 설정은 달라질 수 있는 것이다.

다음은 본 발명의 실시예의 두 영상 간의 수직성분 보정에 의한 3D 영상 형성방법의 각 단계를 설명한다.

도 3과 도 6에 도시된 바와 같이, 2차원 동영상의 컷을 구성하는 프레임이 계속하여 입력되면(제100단계), 현재 프레임은 다수의 블록(예컨대 3x3 또는 9x9 픽셀단위 블록, 즉 매크로블록)으로 분획되며, 모션벡터 검출수단(31)은 현재 프레임을 구성하는 각 블록에 대해 직전프레임에서 대응하는 블록을 찾아서 두 벡터 사이 화면상의 움직임에 해당하는 모션벡터를 검출한다(제110단계).

이때, 모션벡터의 검출은 모션벡터의 수직성분과 수평성분에 대한 검출을 포함하며, 대상 프레임을 구성하는 블록 중에서 움직임이 없는 블록이나 수평방향으로만 움직임이 있는 블록은 수직방향 모션벡터 스칼라값은 0이 되므로 이 경우 해당 블록의 모션벡터는 수정대상이 되지 않는다(제120단계).

한편, 모션벡터 치환수단(33)은 수직방향 움직임이 있는 블록을 검출하여 모션벡터의 수직성분을 수평성분으로 치환하며, 모션벡터가 수직성분만 있는 경우에는 주위 블록의 모션벡터에서 수평 성분이 있는 것을 검출하고 다시 수평 성분이 모두 있는 경우에는 수평 성분의 스칼라값이 작은 것의 크기와 방향을 선택하며, 어느 일방에만 수평성분이 있는 경우 그 수평성분의 크기와 방향을 선택한다. 한편 인접한 블록의 모션벡터가 모두 수평 성분이 없는 경우 수평성분은 크기가 0으로 선택된다.

또한, 해당블록의 모션벡터가 수평성분과 수직성분을 모두 포함한 경우에는 프로그램된 상태에 따라 자신의 수평성분의 크기와 방향을 선택하거나 주위 블록의 수평성분의 크기와 방향을 선택하는 것이 가능하며, 실시예에 따라 설정변경이 가능하다(제130단계).

모션벡터 치환수단(33)에 의한 모션벡터 수정이 완료되면 수정된 모션벡터를 적용하여 대상 프레임의 오브젝트를 검출하며 대상 프레임의 오브젝트에 대한 이미지 마스크를 형성하는 과정을 수행한다(제140단계).

원본 영상의 현재 프레임인 N 프레임을 참조하여 N-1 프레임의 수정된 모션벡터를 적용한 이미지 마스크에 대한 와핑을 수행하여 보정된 프레임인 (N-1)´프레임을 생성한다(제150단계).

원본 영상의 현재프레임의 모션벡터가 수직성분을 포함하지 않는 경우 원본영상의 현재프레임과 직전프레임에 의해 좌안영상과 우안영상이 형성된다.

한편, 원본 영상의 현재 프레임의 모션벡터가 수직성분을 포함한 경우, 현재프레임인 N 프레임을 좌안영상으로, 직전프레임인 N-1프레임의 보정프레임인 (N-1)´프레임을 우안영상으로 배치하는 방식으로 좌안영상과 우안영상을 형성한다(제160단계).

또한, 형성된 좌안영상과 우안영상에 대하여는 휴먼팩터를 고려하여 최적의 입체감을 형성할 수 있도록 이미지를 쉬프트 시키는 과정을 수행하며 최종적으로 형성된 좌안영상과 우안영상으로 형성된 3D 동영상은 외부 장치 예컨대 입체 TV나 모바일등으로 전송 출력되어 시청자에 제공되거나 영상저장수단에 저장되는 것이 가능하다(제170단계,제180단계).

본 발명의 권리범위는 상기 실시예에 한정되는 것이 아니라 특허청구범위에 기재된 사항에 의해 정해지며, 특허청구범위에 기재된 사항과 균등범위에서 당업자가 행한 다양한 변형과 개작을 포함함은 자명하다.

20........영상입력수단 30........3D 영상처리수단
31........모션벡터 검출수단 33........모션벡터 치환수단
35........마스크 형성수단 37........이미지 와핑수단
38........좌우영상 형성수단 39........영상 쉬프트 수단
63........영상저장수단 50........3D 영상출력수단

Claims (8)

1. 원본영상의 현재 프레임을 구성하는 각 블록에 대해 이전 프레임에 대한 모션벡터를 검출하는 모션벡터 검출단계와;
   상기 각 블록의 모션벡터 중 모션벡터에 수직성분이 있는 블록을 검출하는 수직벡터 검출단계와;
   검출된 모션벡터에 수직성분이 있는 블록이 있는 경우 그 블록의 모션벡터를 대신하여 그 블록의 모션벡터 수평성분이나 그 블록에 인접한 블록의 모션벡터 수평성분으로 치환하는 모션벡터 치환단계와;
   상기 모션벡터 치환단계에 의해 모션벡터가 치환된 블록을 포함한 프레임의 오브젝트에 대한 이미지 마스크를 형성하는 마스크 형성 단계와;
   상기 이미지 마스크를 이용하여 상기 현재 프레임에 대응하는 보정프레임을 형성하기 위하여 이미지 와핑을 수행하는 이미지 와핑 단계를 포함하여 구성되는 것을 특징으로 하는 두 영상 간의 수직성분 보정에 의한 3D영상 형성방법.
   
2. 원본영상의 이전 프레임을 구성하는 각 블록에 대해 현재 프레임에 대한 모션벡터를 검출하는 모션벡터 검출단계와;
   상기 각 블록의 모션벡터 중 모션벡터에 수직성분이 있는 블록을 검출하는 수직벡터 검출단계와;
   검출된 모션벡터에 수직성분이 있는 블록이 있는 경우 그 블록의 모션벡터를 대신하여 그 블록의 모션벡터 수평성분이나 그 블록에 인접한 블록의 모션벡터 수평성분으로 치환하는 모션벡터 치환단계와;
   상기 모션벡터 치환단계에 의해 모션벡터가 치환된 블록을 포함한 프레임의 오브젝트에 대한 이미지 마스크를 형성하는 마스크 형성 단계와;
   상기 이미지 마스크를 이용하여 상기 이전 프레임에 대응하는 보정프레임을 형성하기 위하여 이미지 와핑을 수행하는 이미지 와핑 단계를 포함하여 구성되는 것을 특징으로 하는 두 영상 간의 수직성분 보정에 의한 3D영상 형성방법.
   
3. 청구항 1 또는 2에 있어서, 상기 모션벡터 치환단계에서,
   상기 블록의 모션벡터가 수직성분만으로 구성된 경우에는 인접한 블록 모션벡터의 수평성분에 의해 상기 블록의 모션벡터가 치환되는 것을 특징으로 하는 두 영상 간의 수직성분 보정에 의한 3D 영상 형성방법.
   
4. 청구항 3에 있어서, 상기 블록에 인접한 블록의 모션벡터에 수평성분이 없는 경우에는 그 크기를 0으로 하고, 상기 블록에 인접한 양측 블록 모션벡터에 모두 수평성분이 있는 경우에는 수평성분의 스칼라값이 작은 것을 선택하는 것을 특징으로 하는 두 영상 간의 수직성분 보정에 의한 3D영상 형성방법.
   
5. 청구항 1 또는 2에 있어서, 상기 블록의 모션벡터가 수직성분과 수평성분을 포함하는 경우에는,
   상기 블록에 인접한 블록의 모션벡터에 수평성분이 없는 경우에는 상기 블록의 모션벡터를 자신의 수평성분으로 치환하며,
   상기 블록에 인접한 블록의 모션벡터에 수평성분이 있는 경우에는 그 수평성분으로 상기 블록의 모션벡터를 치환하는 것을 특징으로 하는 두 영상 간의 수직성분 보정에 의한 3D 영상 형성방법.
   
6. 청구항 1에 있어서, 상기 블록의 모션벡터에 수직성분이 있어서 보정프레임이 형성되는 경우 상기 원본영상의 현재프레임과 상기 이전프레임에 대한 보정프레임이 좌안영상 또는 우안영상이 되며,
   상기 블록의 모션벡터에 수직성분이 없는 경우에는 상기 원본영상의 현재프레임과 이전프레임이 좌안영상 또는 우안영상이 되도록 상기 좌안영상과 우안영상을 선택 형성하는 좌우영상 생성단계를 더 포함하는 것을 특징으로 하는 두 영상 간의 수직성분 보정에 의한 3D영상 형성방법.
   
7. 청구항 2에 있어서, 상기 블록의 모션벡터에 수직성분이 있어서 보정프레임이 형성되는 경우 상기 원본영상의 이전프레임과 상기 현재프레임에 대한 보정프레임이 좌안영상 또는 우안영상이 되며,
   상기 블록의 모션벡터에 수직성분이 없는 경우에는 상기 원본영상의 현재프레임과 이전프레임이 좌안영상 또는 우안영상이 되도록 상기 좌안영상과 우안영상을 선택 형성하는 좌우영상 생성단계를 더 포함하는 것을 특징으로 하는 두 영상 간의 수직성분 보정에 의한 3D영상 형성방법.
   
8. 청구항 1, 2, 6 ,7 중 어느 하나의 청구항 있어서의 두 영상 간의 수직성분 보정에 의한 3D 영상 형성방법의 각 단계를 컴퓨터 시스템 상에서 수행하기 위한 컴퓨터 프로그램을 저장한 것을 특징으로 하는 저장매체.
   
   

Images