KR20160003355A

KR20160003355A - 3차원 입체 영상 처리 방법 및 시스템

Info

Publication number: KR20160003355A
Application number: KR1020140080828A
Authority: KR
Inventors: 황용수; 박영범
Original assignee: 주식회사 유니에보
Priority date: 2014-06-30
Filing date: 2014-06-30
Publication date: 2016-01-11

Abstract

본 발명은 3차원 입체 영상 처리 방법 및 시스템에 관한 것이다. 본 발명의 실시예들에 따른 3차원 입체 영상 처리 방법은, 3차원 공간 정보를 가지는 적어도 하나의 제1 단위 객체를 포함하는 제1 객체를 입력 받는 단계와, 상기 제1 객체를 향하는 제1 시점을 중심으로 양안 시차(Binocular Disparity)를 가지고, 상기 적어도 하나의 제1 단위 객체의 전부 또는 일부에 대응하는 적어도 하나의 제2 단위 객체 및 적어도 하나의 제3 단위 객체를 각각 포함하는 제2 객체 및 제3 객체를 추출하는 단계와, 상기 제1 객체에 포함된 적어도 하나의 제1 단위 객체, 상기 제2 객체에 포함된 적어도 하나의 제2 단위 객체 및 상기 제3 객체에 포함된 적어도 하나의 제3 단위 객체를 이용하여 3차원 입체 영상을 생성하는 단계 및 상기 3차원 입체 영상을 출력하는 단계를 포함하는 것을 특징으로 한다.

Description

3차원 입체 영상 처리 방법 및 시스템{Method and system for processing 3-dimensional image}

본 발명은 3차원 입체 영상 처리 방법에 관한 것으로, 보다 상세하게는 별도의 카메라를 구비하지 않고도 보다 간단한 방법으로 정확한 3차원 입체 영상을 용이하게 생성할 수 있는 3차원 입체 영상 처리 방법 및 시스템에 관한 것이다.

일반적으로 3차원 입체 영상(3-dimensional image)은 2차원 평면 영상보다 현실감이 뛰어나 멀티미디어 시대의 차세대 영상 시스템으로 점차 활용도가 높아지고 있으며, 3D TV 또는 입체 영화로 구현되어 활용되는 것은 물론, 원격 제어용 영상, 훈련 시뮬레이션, 입체 화상통신 등에도 유용하게 응용될 것이다.

인간이 느끼는 입체감은 관찰하고자 하는 물체의 위치에 따른 수정체의 두께 변화 정도, 양쪽 눈과 대상물과의 각도 차이, 그리고 좌우 눈에 보이는 대상물의 위치 및 형태의 차이, 대상물의 운동에 따라 생기는 시차, 그 밖에 각종 심리 및 기억에 의한 효과 등이 복합적으로 작용해 생긴다고 알려져 있다.

이러한 점을 이용하여, 3차원 입체 영상을 구현하는 가장 기본적인 방법은 사람의 양 눈과 같은 위치에 두 대의 카메라를 설치하고, 두 대의 카메라를 통해 촬영하여 획득한 2차원 평면 이미지를 각각 양 눈에 보여 주는 방법이며, 이를 특히 스테레오(stereo) 입체 영상이라고 한다. 스테레오 입체 영상에서는 사용자(시청자)가 촬영된 두 개의 2차원 평면 이미지로부터 생성된 입체 영상만을 수동적으로 볼 수 밖에 없고, 사용자가 움직임에 따라 다른 입체 면을 볼 수 있는 운동 시차(Motion parallax)는 주어지지 않는다는 단점이 있음에도 불구하고, 스테리오 입체 영상 시스템의 단순성 때문에 이 방식이 많이 사용되고 있다.

그러나, 종래의 스테레오 입체 영상 등 3차원 입체 영상은, 두 대의 카메라를 이용하여 각각 좌안과 우안에 해당하는 2차원 평면 영상을 획득하므로, 3차원 입체 영상을 생성하기 위한 시스템을 구현하기 위한 비용이 증가할 뿐 아니라 두 대의 카메라를 정확하게 위치시키고 동기화를 해야 하므로 시스템 구축에 어려움이 있었다. 또한, 종래의 3차원 입체 영상은 2차원 평면 영상이 획득되어 사용자의 움직임에 따른 제한이 존재한다는 문제점이 있었다.

따라서, 별도의 카메라를 구비하지 않고도 보다 간단한 방법으로 정확한 3차원 입체 영상을 용이하게 생성할 수 있는 3차원 입체 영상 처리 방법 및 시스템이 요구된다.

본 발명은 상기한 문제점을 개선하기 위해 고안된 것으로, 본 발명이 해결하고자 하는 과제는, 3차원 공간 정보를 가지는 제1 객체로부터 양안 시차를 가지는 제2 객체와 제3 객체를 추출한 후 이를 이용하여 3차원 입체 영상을 생성함으로써, 별도의 카메라를 구비하지 않고도 보다 간단한 방법으로 정확한 3차원 입체 영상을 용이하게 생성할 수 있는 3차원 입체 영상 처리 방법 및 시스템을 제공하는 것이다.

본 발명의 기술적 과제는 이상에서 언급한 것들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제는 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 과제를 달성하기 위하여, 본 발명의 실시예들에 따른 3차원 입체 영상 처리 방법은, 3차원 공간 정보를 가지는 적어도 하나의 제1 단위 객체를 포함하는 제1 객체를 입력 받는 단계와, 상기 제1 객체를 향하는 제1 시점을 중심으로 양안 시차(Binocular Disparity)를 가지고, 상기 적어도 하나의 제1 단위 객체의 전부 또는 일부에 대응하는 적어도 하나의 제2 단위 객체 및 적어도 하나의 제3 단위 객체를 각각 포함하는 제2 객체 및 제3 객체를 추출하는 단계와, 상기 제1 객체에 포함된 적어도 하나의 제1 단위 객체, 상기 제2 객체에 포함된 적어도 하나의 제2 단위 객체 및 상기 제3 객체에 포함된 적어도 하나의 제3 단위 객체를 이용하여 3차원 입체 영상을 생성하는 단계 및 상기 3차원 입체 영상을 출력하는 단계를 포함하는 것을 특징으로 한다.

또한, 상기 과제를 달성하기 위하여, 본 발명의 실시예들에 따른 3차원 입체 영상 처리 시스템은, 3차원 공간 정보를 가지는 적어도 하나의 제1 단위 객체를 포함하는 제1 객체를 입력 받는 객체 입력부와, 상기 제1 객체를 향하는 제1 시점을 중심으로 양안 시차(Binocular Disparity)를 가지고, 상기 적어도 하나의 제1 단위 객체의 전부 또는 일부에 대응하는 적어도 하나의 제2 단위 객체 및 적어도 하나의 제3 단위 객체를 각각 포함하는 제2 객체 및 제3 객체를 추출하며, 상기 제1 객체에 포함된 적어도 하나의 제1 단위 객체, 상기 제2 객체에 포함된 적어도 하나의 제2 단위 객체 및 상기 제3 객체에 포함된 적어도 하나의 제3 단위 객체를 이용하여 3차원 입체 영상을 생성하는 영상 생성부 및 상기 3차원 입체 영상을 출력하는 영상 출력부를 포함하는 것을 특징으로 한다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명의 실시예들에 따른 3차원 입체 영상 처리 방법 및 시스템에 따르면, 3차원 공간 정보를 가지는 제1 객체로부터 양안 시차를 가지는 제2 객체와 제3 객체를 추출한 후 이를 이용하여 3차원 입체 영상을 생성함으로써, 별도의 카메라를 구비하지 않고도 3차원 입체 영상을 용이하게 생성할 수 있다.

또한, 본 발명의 실시예들에 따른 3차원 입체 영상 처리 방법 및 시스템에 따르면, 3차원 공간 정보를 가지는 제1 객체에 포함된 제1 단위 객체들을 동적 객체와 정적 객체로 나누어 처리하여 좌안 영상과 우안 영상을 생성한 후 이를 이용하여 3차원 입체 영상을 생성함으로써, 3차원 객체의 3차원 공간 정보를 이용하여 보다 간단한 방법으로 정확한 3차원 입체 영상을 생성할 수 있다.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 실시예들에 따른 3차원 입체 영상 처리 시스템의 구성을 개략적으로 나타내는 블록도이다.
도 2는 본 발명의 실시예들에 따른 3차원 입체 영상 처리 방법을 나타내는 순서도이다.
도 3은 본 발명의 실시예들에 따른 3차원 입체 영상 처리 방법에서 제1 객체로부터 3차원 입체 영상을 생성하는 과정을 나타내는 도면이다.
도 4a 내지 도 4c는 본 발명의 실시예들에 따른 3차원 입체 영상 처리 방법에서 제1 객체로부터 3차원 입체 영상을 생성한 예를 나타내는 도면이다.
도 5는 본 발명의 제1 실시예에 따른 3차원 입체 영상 처리 방법에서 영상 생성부가 제1 객체로부터 제2 객체 및 제3 객체를 추출하고 3차원 입체 영상을 생성하는 과정을 나타내는 순서도이다.
도 6은 본 발명의 제1 실시예에 따른 3차원 입체 영상 처리 방법에서 영상 생성부가 제1 객체로부터 제2 객체 및 제3 객체를 추출하고 3차원 입체 영상을 생성하는 과정을 나타내는 도면이다.
도 7a 내지 도 7d는 본 발명의 제1 실시예에 따른 3차원 입체 영상 처리 방법에서 제1 객체로부터 3차원 입체 영상을 생성한 예를 나타내는 도면이다.
도 8은 본 발명의 제1 실시예에 따른 3차원 입체 영상 처리 방법에서 영상 생성부가 제1 객체에 포함된 제1 단위 객체들을 제1 동적 객체와 제2 정적 객체로 결정하는 과정을 나타내는 순서도이다.
도 9는 본 발명의 제2 실시예에 따른 3차원 입체 영상 처리 방법에서 영상 생성부가 제1 객체로부터 제2 객체 및 제3 객체를 추출하고 3차원 입체 영상을 생성하는 과정을 나타내는 순서도이다.
도 10은 본 발명의 제2 실시예에 따른 3차원 입체 영상 처리 방법에서 영상 생성부가 제1 객체로부터 제2 객체 및 제3 객체를 추출하고 3차원 입체 영상을 생성하는 과정을 나타내는 도면이다.
도 11은 본 발명의 제3 실시예에 따른 3차원 입체 영상 처리 방법에서 영상 생성부가 제1 객체로부터 제2 객체 및 제3 객체를 추출하고 3차원 입체 영상을 생성하는 과정을 나타내는 순서도이다.
도 12는 본 발명의 제2 실시예에 따른 3차원 입체 영상 처리 방법에서 영상 생성부가 제1 객체로부터 제2 객체 및 제3 객체를 추출하고 3차원 입체 영상을 생성하는 과정을 나타내는 도면이다.
도 13은 본 발명의 제4 실시예에 따른 3차원 입체 영상 처리 방법에서 영상 생성부가 제1 객체로부터 제2 객체 및 제3 객체를 추출하고 3차원 입체 영상을 생성하는 과정을 나타내는 순서도이다.
도 14는 본 발명의 제4 실시예에 따른 3차원 입체 영상 처리 방법에서 영상 생성부가 제1 객체로부터 제2 객체 및 제3 객체를 추출하고 3차원 입체 영상을 생성하는 과정을 나타내는 도면이다.

이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명하면 다음과 같다.

실시예를 설명함에 있어서 본 발명이 속하는 기술 분야에 익히 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.

마찬가지 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시되었다. 또한, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 각 도면에서 동일한 또는 대응하는 구성요소에는 동일한 참조 번호를 부여하였다.

이하, 본 발명의 실시예들에 의하여 3차원 입체 영상 처리 방법 및 시스템을 설명하기 위한 도면들을 참고하여 본 발명에 대해 설명하도록 한다.

도 1은 본 발명의 실시예들에 따른 3차원 입체 영상 처리 시스템의 구성을 개략적으로 나타내는 블록도이다.

도 1에 도시된 바와 같이, 본 발명의 실시예들에 따른 3차원 입체 영상 처리 시스템(100)은, 객체 입력부(110), 영상 생성부(120) 및 영상 출력부(130)를 포함하여 구성될 수 있다.

객체 입력부(110)는 3차원 공간 정보를 가지는 적어도 하나의 제1 단위 객체를 포함하는 제1 객체(10)를 입력 받을 수 있다. 제1 객체(10)는 다양한 종류의 3차원 모델링 소프트웨어를 통해 생성된 3차원 객체(3차원 오브젝트)로, 적어도 하나의 제1 단위 객체로 이루어질 수 있다. 각각의 제1 단위 객체는 기하 정보(Geometry Information), 위상 정보(Topology Information) 등의 3차원 공간 정보를 포함하며, 점(point), 선(curve), 면(surface) 등의 기하 객체(Geometric entity)에 대한 정보와, 꼭지점(vertex), 모서리(edge, fin), 면(face), 루프(loop), 쉘(shell), 바디(body) 등의 위상 객체(Topological entity)에 대한 정보를 포함할 수 있다. 바람직하게는, 제1 객체(10)는 3차원 공간에 배치되는 복수의 제1 단위 객체를 포함할 수 있다.

영상 생성부(120)는 제1 객체(10)를 향하는 제1 시점을 중심으로 양안 시차(Binocular Disparity)를 가지고, 적어도 하나의 제1 단위 객체의 전부 또는 일부에 대응하는 적어도 하나의 제2 단위 객체 및 적어도 하나의 제3 단위 객체를 각각 포함하는 제2 객체(20) 및 제3 객체(30)를 추출할 수 있다. 또한, 영상 생성부(120)는 제1 객체(10)에 포함된 적어도 하나의 제1 단위 객체, 제2 객체(20)에 포함된 적어도 하나의 제2 단위 객체 및 제3 객체(30)에 포함된 적어도 하나의 제3 단위 객체를 이용하여 3차원 입체 영상(50)을 생성할 수 있다.

특히, 본 발명의 실시예들에 따른 3차원 입체 영상 처리 시스템(100)은 제1 객체(10) 등 3차원 객체에 포함된 단위 객체를 동적 객체와 정적 객체로 나누어 처리하여 좌안 영상과 우안 영상을 생성한 후 이를 이용하여 3차원 입체 영상(50)을 생성할 수 있다. 여기서, 동적 객체는 3차원 객체에 정의된 3차원 공간 내에서 움직임(위치 변화, 크기 변화 등)을 가지는 단위 객체를 의미하며, 영상 생성부(120)에 의해 좌안 영상과 우안 영상으로 각각 생성될 수 있다. 또한, 제1 정적 객체는 3차원 공간 내에서 움직임이 없는 단위 객체(예를 들어, 배경)를 의미하며, 영상 생성부(120)에 의해 좌안 영상과 우안 영상으로 생성되지 않고, 2차원 평면 영상으로 처리되는 단위 객체를 의미한다. 후술하겠지만, 본 발명의 실시예들에 따른 3차원 입체 영상 처리 시스템(100)은 3차원 객체에 포함된 단위 객체 중 제1 시점으로부터의 거리가 미리 설정된 값 이하인 단위 객체는 동적 객체로 결정하고, 미리 설정된 값 이상인 단위 객체는 정적 객체로 결정할 수 있다.

한편, 본 발명의 실시예들에 따른 3차원 입체 영상 처리 시스템(100)은 3차원 입체 영상(50)이 좌안 영상 및 우안 영상에 스위처블 배리어(Switchable barrier) 방식을 적용하여 생성될 수 있다. 스위처블 배리어(Switchable barrier) 방식은 3차원 입체 영상(50)을 구현하는 방식 중 하나로, 후술할 영상 출력부(130)가 가상의 벽(Barrier)을 두어 좌안과 우안의 양안 시차를 만들어 내어 좌안 영상과 우안 영상을 생성하고 사용자의 양 눈에 직접 전달하는는 방식이다. 스위처블 배리어(Switchable barrier) 방식에 대해서는 잘 알려져 있으므로, 여기서 자세한 설명은 생략하기로 한다.

한편, 영상 생성부(120)가 3차원 공간 정보를 가지는 제1 객체(10)로부터 3차원 입체 영상(50)을 생성하는 방법에 대해서는 도 2 내지 도 14를 참조하여 자세히 후술하기로 한다.

영상 출력부(130)는 제1 객체(10)로부터 생성된 3차원 입체 영상(50)을 입력 받아 디스플레이부에 출력할 수 있다.

일반적으로 3차원 입체 영상(50)을 구현하는 방식은 편광 안경 등 특수 안경을 사용하는 방식과, 특수 안경을 사용하지 않는 방식으로 나눌 수 있으며, 편광 안경을 사용하는 방식은 다시 3차원 입체 영상(50)을 출력하는 방법에 따라 3차원 입체 영상(50)에 포함된 좌안 영상과 우안 영상을 동시에 출력하는 패시브(Passive) 방식과, 좌안 영상과 우안 영상을 교대로 출력하는 액티브(Active) 방식으로 나눌 수 있다.

먼저, 패시브 방식은 영상 출력부(130)가 좌안 영상과 우안 영상이 짝홀수 라인 패턴으로 이루어진 하나의 영상 프레임(스틸 이미지)을 필름 편광판을 통해 동시에 출력하며, 사용자는 편광 안경을 통해 디스플레이부에 출력된 좌안 영상과 우안 영상을 필터링하여 볼 수 있다. 이에 반해, 액티브 방식은 영상 출력부(130)가 좌안 영상으로 이루어진 영상 프레임과 우안 영상으로 이루어진 영상 프레임을 교대로 번갈아 출력하며, 사용자는 영상 출력부(130)로부터 출력되는 좌안 영상 및 우안 영상을 영상 출력부(130)와 동기화되는 3차원 안경을 통해 볼 수 있다.

또한, 특수 안경을 사용하지 않는 방식은 영상 출력부(130)가 자체적으로 좌안 영상과 우안 영상을 사용자의 양 눈에 맞제 전달하는 방식으로, 렌티큘러(Lenticular) 방식, 패렐렉스 베리어(Parallax barrier) 또는 스위처블 배리어(Switchable barrier) 방식 등이 있다. 3차원 입체 영상(50)을 구현하는 방식은 잘 알려져 있으므로, 여기서 자세한 설명은 생략하기로 한다.

본 발명의 실시예들에 따른 3차원 입체 영상 처리 시스템(100)에서 생성되는 3차원 입체 영상(50)은 패시브 방식 또는 액티브 방식의 특수 안경을 사용하는 방법은 물론, 특수 안경을 사용하지 않는 방식에도 적용 가능하다.

바람직하게는, 본 발명의 실시예들에 따른 3차원 입체 영상 처리 시스템(100)은 3차원 입체 영상(50)이 패시브 방식의 일 예인 필름 패턴 편광(Flim-type Patterned Retarder, FPR) 방식을 이용하여 출력될 수 있다.

설명의 편의상, 본 발명에서는 영상 출력부(130)가 좌안 영상과 우안 영상으로 구성된 3차원 입체 영상(50)을 출력하기 위한 1 대의 3차원 프로젝터 또는 2 대의 2차원 프로젝터로 구성되고, 디스플레이부는 일반 광목 천이나 특수 코팅 처리된 스크린 등으로 구성된 예를 설명하기로 한다. 그러나, 본 발명에 기재된 영상 출력부(130)와 디스플레이부는 예시적인 것으로서, 이에 한정되지 않으며, 당업자에 의해 얼마든지 변경 가능하다.

이상, 본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

상기와 같이 구성되는 본 발명의 실시예들에 따른 3차원 입체 영상 처리 방법을 설명하면 다음과 같다.

도 2는 본 발명의 실시예들에 따른 3차원 입체 영상 처리 방법을 나타내는 순서도이고, 도 3은 본 발명의 실시예들에 따른 3차원 입체 영상 처리 방법에서 제1 객체로부터 3차원 입체 영상을 생성하는 과정을 나타내는 도면이며, 도 4a 내지 도 4c는 본 발명의 실시예들에 따른 3차원 입체 영상 처리 방법에서 제1 객체로부터 3차원 입체 영상을 생성한 예를 나타내는 도면이다.

먼저, 도 2에 도시된 바와 같이, 객체 입력부(110)는 3차원 공간 정보를 가지는 적어도 하나의 제1 단위 객체를 포함하는 제1 객체(10)를 입력 받을 수 있다(S210).

도 3, 도 4a 내지 도 4c에서는 제1 객체(10)가 3 개의 제1 단위 객체, 즉, 제1 단위 객체 A1인 '동상', 제1 단위 객체 B1인 '나무' 및 제1 단위 객체 C1인 '집'을 포함하는 예를 도시하고 있다. 도 3, 도 4a 내지 도 4d에 도시된 바와 같이, 제1 객체(10)는 제1 단위 객체 A1인 '동상', 제1 단위 객체 B1인 '나무' 및 제1 단위 객체 C1인 '집'으로 이루어지고, 제1 객체(10)는 제1 단위 객체 A1인 '동상'에 대한 3차원 공간 정보, 제1 단위 객체 B1인 '나무'에 대한 3차원 공간 정보, 제1 단위 객체 A1인 '집'에 대한 3차원 공간 정보 및 3 개의 단위 객체로 이루어진 제1 객체(10) 전체에 대한 3차원 공간 정보를 포함할 수 있다.

다시 도 2를 참조하면, 객체 입력부(110)가 제1 객체(10)를 입력 받은 후(S210), 영상 생성부(120)는 제1 객체(10)를 향하는 제1 시점을 중심으로 양안 시차(Binocular Disparity)를 가지고, 적어도 하나의 제1 단위 객체의 전부 또는 일부에 대응하는 적어도 하나의 제2 단위 객체 및 적어도 하나의 제3 단위 객체를 각각 포함하는 제2 객체(20) 및 제3 객체(30)를 추출할 수 있다(S220). 여기서 제2 객체(20)는 제1 시점을 기준으로 제1 객체(10)를 바라볼 때에 좌안에 해당하는 가상의 3차원 객체를 의미하고, 제3 객체(30)는 제1 시점을 기준으로 제1 객체(10)를 바라볼 때에 우안에 해당하는 가상의 3차원 객체를 의미한다.

도 3 및 도 4a에 도시된 바와 같이, 영상 생성부(120)는 제1 객체(10)를 향하는 제1 시점(v1)을 중심으로 양안 시차를 가지도록 좌안에 해당하는 제2 시점(v2)으로부터 제1 객체(10)에 대한 제2 객체(20)를 추출하고, 우안안에 해당하는 제3 시점(v3)으로부터 제1 객체(10)에 대한 제3 객체(30)를 추출할 수 있다.

도 3 및 도 4b에 도시된 바와 같이, 제2 객체(20)는 제1 객체(10)에 포함된 모든 제1 단위 객체에 대응하는 3 개의 제2 단위 객체를 포함하고, 제3 객체(30)는 제1 객체(10)에 포함된 모든 제1 단위 객체에 대응하는 3 개의 제3 단위 객체를 포함할 수 있다. 즉, 제2 객체(20)는 제2 시점(v2)을 기준으로 제2 단위 객체 A2인 '동상', 제2 단위 객체 B2인 '나무' 및 제2 단위 객체 C2인 '집'을 포함하고, 제3 객체(30)는 제3 시점(v3)을 기준으로 제3 단위 객체 A3인 '동상', 제3 단위 객체 B3인 '나무' 및 제3 단위 객체 C3인 '집'을 포함할 수 있다.

한편, 도 3, 도 4b 및 도 4c에서는 제2 객체(20)가 제1 객체(10)의 모든 제1 단위 객체에 해당하는 제2 단위 객체를 포함하고, 제3 객체(30)가 제1 객체(10)의 모든 제1 단위 객체에 해당하는 제3 단위 객체를 포함하는 예를 도시하고 있으나, 제2 객체(20) 또는 제3 객체(30)는 각각 제1 단위 객체의 일부를 포함하는 제2 단위 객체 또는 제3 단위 객체를 포함할 수도 있다. 예를 들어, 제2 객체(20) 및 제3 객체(30)는 제1 단위 객체 중 제1 단위 객체 A1인 '동상'과 제1 단위 객체 B1인 '나무' 만을 포함하는 제2 단위 객체(A2, B2) 및 제3 단위 객체(A3, B3)를 포함할 수도 있다.

다시 도 2를 참조하면, 영상 생성부(120)는 제1 객체(10)로부터 제2 객체(20) 및 제3 객체(30)를 추출한 후(S220), 제1 객체(10)에 포함된 적어도 하나의 제1 단위 객체, 제2 객체(20)에 포함된 적어도 하나의 제2 단위 객체 및 제3 객체(30)에 포함된 적어도 하나의 제3 단위 객체를 이용하여 3차원 입체 영상(50)을 생성할 수 있다(S230).

일 예로, 영상 생성부(120)는 제2 시점(v2)을 기준으로 추출된 제2 객체(20)의 3차원 공간 정보와, 제3 시점(v3)을 기준으로 추출된 제3 객체(30)의 3차원 공간 정보를 이용하여 3차원 입체 영상(50)을 생성하기 위한 가상의 제4 객체(도시되지 않음)를 생성한 후, 가상의 제4 객체(40)로부터 좌안 영상과 우안 영상을 생성한 후, 이들을 이용하여 3차원 입체 영상(50)을 생성할 수 있다.

다른 예로, 영상 생성부(120)는 제2 시점(v2)을 기준으로 제2 객체(20)에 포함된 제2 단위 객체 A2인 '동상', 제2 단위 객체 B2인 '나무' 및 제2 단위 객체 C2인 '집'에 대한 좌안 영상을 생성할 수 있다. 도 4b에서는 제1 시점(v1)에서 바라본 제1 객체(10)의 원래 영상을 이중 쇄선으로 표현하고, 제2 시점(v2)에서 바라본 제2 객체(20)의 좌안 영상과 제3 시점(v2)에서 바라본 제3 객체(30)의 우안 영상은 실선으로 표현하고 있다. 그리고, 영상 생성부(120)는 제2 객체(20)로부터 생성된 좌안 영상과 제3 객체(30)로부터 생성된 우안 영상을 이용하여 도 4c에 도시된 예와 같은 3차원 입체 영상(50)을 생성할 수 있다.

한편, 영상 생성부(120)가 제1 객체(10)로부터 제2 객체(20) 및 제3 객체(30)를 추출하는 방법과, 제2 객체(20) 및 제3 객체(30)를 이용하여 3차원 입체 영상(50)을 생성하는 방법에 대한 다양한 실시예는 도 5 내지 도 14를 참조하여 자세히 후술하기로 한다.

다시 도 2를 참조하면, 영상 생성부(120)가 제2 객체(20) 및 제3 객체(30)를 이용하여 3차원 입체 영상(50)을 생성한 후(S230), 영상 출력부(130)는 영상 생성부(120)로부터 생성된 3차원 입체 영상(50)을 전송 받아 디스플레이부에 출력할 수 있다(S240). 이 때, 영상 출력부(130)는 필름 패턴 편광(Flim-type Patterned Retarder, FPR) 방식을 이용하여 3차원 입체 영상(50)을 출력할 수 있다. 영상 출력부(130)가 3차원 입체 영상(50)을 출력하는 방법은 도 1을 참조하여 설명했으므로, 여기서 자세한 설명은 생략하기로 한다.

이하, 영상 생성부(120)가 제1 객체(10)로부터 제2 객체(20) 및 제3 객체(30)를 추출하는 방법과, 제2 객체(20) 및 제3 객체(30)를 이용하여 3차원 입체 영상(50)을 생성하는 방법에 대한 다양한 실시예를 설명하기로 한다.

먼저, 본 발명의 제1 실시예에 따른 3차원 입체 영상 처리 방법의 경우, 영상 생성부(120)는 입력된 제1 객체(10)의 제1 단위 객체들을 제1 동적 객체와 제1 정적 객체로 분리하고, 제1 객체(10)로부터 추출된 제2 객체(20) 및 제3 객체(30)의 3차원 공간 정보를 이용하여 가상의 제4 객체(40)를 생성한 후, 가상의 제4 객체(40)로부터 좌안 영상과 우안 영상을 생성하여 3차원 입체 영상(50)을 생성할 수 있다.

도 5는 본 발명의 제1 실시예에 따른 3차원 입체 영상 처리 방법에서 영상 생성부가 제1 객체로부터 제2 객체 및 제3 객체를 추출하고 3차원 입체 영상을 생성하는 과정을 나타내는 순서도이고, 도 6은 본 발명의 제1 실시예에 따른 3차원 입체 영상 처리 방법에서 영상 생성부가 제1 객체로부터 제2 객체 및 제3 객체를 추출하고 3차원 입체 영상을 생성하는 과정을 나타내는 도면이며, 도 7a 내지 도 7d는 본 발명의 제1 실시예에 따른 3차원 입체 영상 처리 방법에서 제1 객체로부터 3차원 입체 영상을 생성한 예를 나타내는 도면이다.

먼저, 도 5 및 도 6에 도시된 바와 같이, 영상 생성부(120)는 제1 객체(10)에 포함된 적어도 하나의 제1 단위 객체 중 제1 동적 객체와 제1 정적 객체를 결정할 수 있다(S221a). 상술한 바와 같이, 제1 동적 객체는 3차원 객체에 정의된 3차원 공간 내에서 움직임(위치 변화, 크기 변화 등)을 가지는 단위 객체를 의미하며, 제1 정적 객체는 3차원 공간 내에서 움직임이 없는 단위 객체(예를 들어, 배경)를 의미한다. 이러한 제1 동적 객체는 영상 생성부(120)에 의해 좌안 영상과 우안 영상으로 각각 생성되고, 제1 정적 객체는 영상 생성부(120)에 의해 2차원 평면 영상으로 처리될 수 있다.

도 7a 내지 도 7d에서는 제1 객체(10)가 3 개의 제1 단위 객체, 즉, 제1 단위 객체 A1인 '티라노사우루스', 제1 단위 객체 B1인 '가르고일레오사우루스' 및 제1 단위 객체 C1인 '쥬라기 공원'을 포함하는 예를 도시하고 있다. 또한, 도 6, 도 7a 내지 도 7d에서는 제1 객체(10)에 포함된 3 개의 제1 단위 객체 중, 제1 단위 객체 A1인 '티라노사우루스', 제1 단위 객체 B1인 '가르고일레오사우루스'를 제1 동적 객체로 결정하고, 제1 단위 객체 C1인 '쥬라기 공원'을 제1 정적 객체로 결정한 예를 도시하고 있다.

한편, 본 발명의 제1 실시예에 따른 3차원 입체 영상 처리 방법의 경우, 영상 생성부(120)는 제1 객체(10)에 포함된 제1 단위 객체들을 제1 동적 객체와 제2 정적 객체로 결정하기 위해, 제1 단위 객체 각각에 대해 제1 시점으로부터의 거리를 미리 설정된 값과 비교할 수 있다. 바람직하게는, 영상 생성부(120)는 제1 객체(10)에 포함된 적어도 하나의 제1 단위 객체 중 제1 시점으로부터의 거리가 미리 설정된 값 이하인 제1 단위 객체를 제1 동적 객체로 결정하고, 미리 설정된 값 이상인 제1 단위 객체는 제1 정적 객체로 결정할 수 있다.

도 8은 본 발명의 제1 실시예에 따른 3차원 입체 영상 처리 방법에서 영상 생성부가 제1 객체에 포함된 제1 단위 객체들을 제1 동적 객체와 제2 정적 객체로 결정하는 과정을 나타내는 순서도이다.

먼저, 도 8에 도시된 바와 같이, 영상 생성부(120)는 제1 객체(10)에 포함된 적어도 하나의 제1 단위 객체 각각에 대한 3차원 공간 정보를 추출할 수 있다(S221a-1). 그리고, 영상 생성부(120)는 적어도 하나의 제1 단위 객체 각각에 대한 3차원 공간 정보를 이용하여, 제1 시점(v1)으로부터의 거리에 따라 적어도 하나의 제1 단위 객체를 정렬할 수 있다(S221a-2).

상술한 바와 같이, 각각의 제1 단위 객체에 포함된 3차원 공간 정보는 기하 정보(Geometry Information), 위상 정보(Topology Information) 등을 포함하므로, 영상 생성부(120)는 각각의 제1 단위 객체에 대해 제1 시점(v1)으로부터의 거리를 구할 수 있다. 3차원 공간 내에 위치하는 3차원 객체(오브젝트)들의 좌표 정보에 따라 3차원 객체들의 배치 순서를 구하여 정렬하는 방법에 대해서는 잘 알려져 있으므로, 여기서 자세한 설명은 생략하기로 한다.

영상 생성부(120)는 적어도 하나의 제1 단위 객체를 제1 시점(v1)으로부터의 거리에 따라 정렬한 후(S221a-2), 적어도 하나의 제1 단위 객체 각각에 대해 제1 시점으로부터의 거리가 미리 설정된 값 이상인지 판단할 수 있다(S221a-3). 만약, 단계 S221a-4에서의 판단 결과, 제1 단위 객체의 제1 시점으로부터의 거리가 미리 설정된 값 이하인 경우(단계 S221a-4에서의 아니오), 영상 생성부(120)는 제1 단위 객체를 제1 동적 객체로 결정할 수 있다(S221a-4). 반면에, 단계 S221a-4에서의 판단 결과, 제1 단위 객체의 제1 시점으로부터의 거리가 미리 설정된 값 이하인 경우(단계 S221a-4에서의 예), 영상 생성부(120)는 제1 단위 객체를 제1 정적 객체로 결정할 수 있다(S221a-4).

한편, 도 8에 도시된 영상 생성부(120)가 제1 객체(10)에 포함된 제1 단위 객체들을 제1 동적 객체와 제2 정적 객체로 결정하는 방법은 예시적인 것으로서, 이에 한정되지 않으며, 당업자에 의해 얼마든지 변경 가능하다.

다시 도 5 및 도 6을 참조하면, 영상 생성부(120)는 제1 객체(10)에 포함된 제1 단위 객체 중 제1 동적 객체와 제1 정적 객체를 결정한 후(S221a), 제1 시점(v1)을 중심으로 좌안(Left eye)에 해당하는 제2 시점(v2)에서 제1 동적 객체로부터 생성된 제2 동적 객체를 포함하는 제2 객체(20)를 추출할 수 있다(S222a). 즉, 제2 객체(20)는 제1 객체(10)의 제1 동적 객체에 해당하는 제1 단위 객체 A1인 '티라노사우루스'와 제1 단위 객체 B1인 '가르고일레오사우루스'를 각각 제2 단위 객체 A2와 제2 단위 객체 B2로 포함하고, 제1 단위 객체 C1인 '쥬라기 공원'은 제2 단위 객체로 포함하지 않는다. 그러나, 이는 예시적인 것일 뿐, 필요에 따라 제2 객체(20)는 제1 객체(10)의 제1 단위 객체 C1인 '쥬라기 공원'을 그대로 제2 단위 객체로 포함할 수도 있다.

다시 도 5 및 도 6을 참조하면, 영상 생성부(120)는 제1 객체(10)로부터 제2 객체(20)를 추출한 후(S222a), 제1 시점을 중심으로 우안(Right eye)에 해당하는 제3 시점에서 제1 동적 객체로부터 생성된 제3 동적 객체를 포함하는 제3 객체(30)를 추출할 수 있다(S223a). 영상 생성부(120)에서 제1 객체(10)로부터 제3 객체(30)를 추출하는 방법은 제2 객체(20)를 추출하는 방법(S222a)과 실질적으로 동일하다.

도 7b에 도시된 바와 같이, 제2 객체(20)는 제2 동적 객체, 즉, 제2 단위 객체 A2인 '티라노사우루스'와 제2 단위 객체 B2인 '가르고일레오사우루스'는 제2 시점(v2)를 기준으로 생성하여 포함하고, 제2 정적 객체(즉, 제1 정적 객체)인 제1 단위 객체 C1 '쥬라기 공원'은 제1 객체(10)에 포함된 제1 정적 객체 그대로 포함하는 것을 알 수 있다. 또한, 도 7c에 도시된 바와 같이, 제3 객체(30)는 제3 동적 객체, 즉, 제3 단위 객체 A3인 '티라노사우루스'와 제3 단위 객체 B3인 '가르고일레오사우루스'는 제3 시점(v3)를 기준으로 생성하여 포함하고, 제3 정적 객체(즉, 제1 정적 객체)인 제1 단위 객체 C1 '쥬라기 공원'은 제1 객체(10)에 포함된 제1 정적 객체 그대로 포함하는 것을 알 수 있다.

다시 도 5 및 도 6을 참조하면, 영상 생성부(120)는 제1 객체(10)로부터 제2 객체(20)를 추출한 후(S222a), 제1 객체(10)에 포함된 제1 정적 객체, 제2 객체(20)에 포함된 제2 동적 객체 및 제3 객체(30)에 포함된 제3 동적 객체로부터 가상의 제4 객체(40)를 생성할 수 있다(S231a). 도 6 및 도 7d에 도시된 바와 같이, 제2 객체(20)와 제3 객체(30)로부터 생성된 제4 객체(40)는 제2 객체(20)의 제2 동적 객체인 제2 단위 객체 A2 및 제2 단위 객체 B2를 포함하고, 제3 객체(30)의 제3 동적 객체인 제3 단위 객체 A3 및 제3 단위 객체 B3를 포함하며, 제1 객체(10)의 제1 정적 객체인 제1 단위 객체 C1를 포함하여 구성될 수 있다.

마지막으로, 다시 도 5 및 도 6을 참조하면, 영상 생성부(120)는 제1 시점을 중심으로 제2 시점 및 제3 시점에서 제4 객체(40)의 좌안 영상 및 우안 영상을 생성하고(S232a), 좌안 영상과 우안 영상을 이용하여 3차원 입체 영상(50)을 생성할 수 있다(S233a). 이 때, 영상 생성부(120)는 좌안 영상 및 우안 영상에 스위처블 배리어(Switchable barrier) 방식을 적용하여 3차원 입체 영상(50)을 생성할 수 있다.

한편, 본 발명의 제2 실시예에 따른 3차원 입체 영상 처리 방법의 경우, 영상 생성부(120)는 입력된 제1 객체(10)의 제1 단위 객체들을 제1 동적 객체와 제1 정적 객체로 분리하고, 제1 객체(10)로부터 추출된 제2 객체(20) 및 제3 객체(30)로부터 각각 좌안 영상과 우안 영상을 생성한 후, 이를 이용하여 3차원 입체 영상(50)을 생성할 수 있다.

도 9는 본 발명의 제2 실시예에 따른 3차원 입체 영상 처리 방법에서 영상 생성부가 제1 객체로부터 제2 객체 및 제3 객체를 추출하고 3차원 입체 영상을 생성하는 과정을 나타내는 순서도이고, 도 10은 본 발명의 제2 실시예에 따른 3차원 입체 영상 처리 방법에서 영상 생성부가 제1 객체로부터 제2 객체 및 제3 객체를 추출하고 3차원 입체 영상을 생성하는 과정을 나타내는 도면이다.

도 9 및 도 10에 도시된 본 발명의 제2 실시예에 따른 3차원 입체 영상 처리 방법은, 도 5 내지 도 8에 도시된 본 발명의 제1 실시예에 따른 3차원 입체 영상 처리 방법과는 달리, 영상 생성부(120)가 제1 객체(10)로부터 추출된 제2 객체(20) 및 제3 객체(30)로부터 가상의 제4 객체(40)를 생성하는 것이 아니라, 제2 객체(20) 및 제3 객체(30)로부터 직접 좌안 영상(22)과 우안 영상(32)을 생성한 후, 이를 이용하여 3차원 입체 영상(50)을 생성할 수 있다. 설명의 편의상, 본 발명의 제1 실시예에 따른 3차원 입체 영상 처리 방법과의 차이점을 위주로 설명한다.

도 9 및 도 10에 도시된 바와 같이, 영상 생성부(120)가 제1 객체(10)로부터 제2 객체(20) 및 제3 객체(30)를 추출하는 과정인 단계 S221b 내지 단계 S223b는, 도 5에 도시된 제1 실시예의 단계 S221a 내지 단계 S223a와 실질적으로 동일하다. 즉, 도 9 및 도 10에 도시된 본 발명의 제2 실시예에 따른 3차원 입체 영상 처리 방법은 제1 실시예와 비교할 때에, 3차원 입체 영상(50)을 생성하는 과정에 차이가 있다.

도 9에 도시된 바와 같이, 영상 생성부(120)는 제1 객체(10)로부터 제2 객체(20) 및 제3 객체(30)를 추출하고 난 후(단계 S221b 내지 단계 S223b), 제1 객체(10)에 포함된 제1 정적 객체로부터 제1 영상을 생성하고, 제2 객체(20)에 포함된 제2 동적 객체로부터 제2 영상을 생성하며, 제3 객체(30)에 포함된 제3 동적 객체로부터 제3 영상을 생성할 수 있다(S231b). 이 때에, 제1 영상 내지 제3 영상은 제1 정적 객체, 제2 동적 객체 및 제3 동적 객체를 각각 제1 시점, 제2 시점 및 제3 시점에서 바라 본 2차원 평면 영상을 의미한다. 이는 도 7a 내지 도 7d에 도시된 예를 참조하면 쉽게 이해할 수 있다.

마지막으로, 영상 생성부(120)는 제1 영상과 제2 영상을 이용하여 좌안 영상(22)을 생성하고, 제1 영상과 제3 영상을 이용하여 우안 영상(32)을 생성한 후(S232b), 좌안 영상(22)과 우안 영상(32)을 이용하여 3차원 입체 영상(50)을 생성할 수 있다(S233b)

한편, 본 발명의 제3 실시예에 따른 3차원 입체 영상 처리 방법의 경우, 영상 생성부(120)는 입력된 제1 객체(10)로부터 양안 시차를 가지는 제2 객체(20) 및 제3 객체(30)를 생성하고 제2 객체(20) 및 제3 객체(30) 각각에 포함된 제2 단위 객체들과 제3 단위 객체들을 동적 객체와 정적 객체로 분리하여 제2 객체(20) 및 제3 객체(30)를 추출한 후, 제2 객체(20) 및 제3 객체(30)의 3차원 공간 정보를 이용하여 가상의 제4 객체(40)를 생성한 후, 가상의 제4 객체(40)로부터 좌안 영상과 우안 영상을 생성하여 3차원 입체 영상(50)을 생성할 수 있다.

도 11은 본 발명의 제3 실시예에 따른 3차원 입체 영상 처리 방법에서 영상 생성부가 제1 객체로부터 제2 객체 및 제3 객체를 추출하고 3차원 입체 영상을 생성하는 과정을 나타내는 순서도이고, 도 12는 본 발명의 제2 실시예에 따른 3차원 입체 영상 처리 방법에서 영상 생성부가 제1 객체로부터 제2 객체 및 제3 객체를 추출하고 3차원 입체 영상을 생성하는 과정을 나타내는 도면이다.

도 11 및 도 12에 도시된 본 발명의 제3 실시예에 따른 3차원 입체 영상 처리 방법은, 도 5 내지 도 8에 도시된 본 발명의 제1 실시예에 따른 3차원 입체 영상 처리 방법과는 달리, 입력된 제1 객체(10)의 제1 단위 객체들을 제1 동적 객체와 제1 정적 객체로 분리하고 제2 객체(20) 및 제3 객체(30)를 추출하는 것이 아니라, 입력된 제1 객체(10)로부터 그대로 생성된 제2 객체(20) 및 제3 객체(30) 각각에 포함된 제2 단위 객체들과 제3 단위 객체들을 동적 객체와 정적 객체로 분리하여 제2 객체(20) 및 제3 객체(30)를 추출할 수 있다.

먼저, 도 11 및 도 12에 도시된 바와 같이, 영상 생성부(120)는 제1 시점을 중심으로 좌안(Left eye)에 해당하는 제2 시점에서 적어도 하나의 제1 단위 객체 전부로부터 생성된 적어도 하나의 제2 단위 객체를 포함하는 제2 객체(20)를 생성할 수 있다(S221c). 여기서, 제1 객체(10)에 포함된 제1 단위 객체들과 제2 객체(20)에 포함된 제2 단위 객체들은 각각 제1 시점(v1)과 제2 시점(v2)을 기준으로 생성된 3차원 공간 정보만 다를 뿐이다. 마찬가지 방법으로, 영상 생성부(120)는 제1 시점을 중심으로 우안(Right eye)에 해당하는 제3 시점에서 적어도 하나의 제1 단위 객체 전부로부터 생성된 적어도 하나의 제3 단위 객체를 포함하는 제3 객체(30)를 생성할 수 있다(S222c).

도 11 및 도 12에 도시된 바와 같이, 영상 생성부(120)는 제1 객체(10)로부터 그대로 제2 객체(20)와 제3 객체(30)를 생성한 후, 제2 객체(20)에 포함된 적어도 하나의 제2 단위 객체 중 제2 동적 객체와 제2 정적 객체를 결정하고, 제2 동적 객체를 포함하는 제2 객체(20)를 추출하고(S223c), 제3 객체(30)에 포함된 적어도 하나의 제3 단위 객체 중 제3 동적 객체와 제3 정적 객체를 결정하고, 제3 동적 객체를 포함하는 제3 객체(30)를 추출할 수 있다(S224c). 영상 생성부(120)가 제2 객체(20)에 포함된 제2 단위 객체 중 제2 동적 객체와 제2 정적 객체를 결정하는 방법과, 제3 객체(30)에 포함된 제3 단위 객체 중 제3 동적 객체와 제3 정적 객체를 결정하는 방법은 도 8에 도시된 예와 실질적으로 동일하다.

이후, 영상 생성부(120)가 제1 객체(10)로부터 추출된 제2 객체(20) 및 제3 객체(30)로부터 3차원 입체 영상(50)을 생성하는 과정인 단계 S231c 내지 단계 S233c는, 도 5에 도시된 제1 실시예의 단계 S231a 내지 단계 S233a와 실질적으로 동일하다. 즉, 도 11 및 도 12에 도시된 본 발명의 제3 실시예에 따른 3차원 입체 영상 처리 방법은 제1 실시예와 비교할 때에, 제1 객체(10)로부터 제2 객체(20) 및 제3 객체(30)를 추출하는 과정에 차이가 있다.

마지막으로, 본 발명의 제4 실시예에 따른 3차원 입체 영상 처리 방법의 경우, 영상 생성부(120)는 입력된 제1 객체(10)로부터 양안 시차를 가지는 제2 객체(20) 및 제3 객체(30)를 생성하고 제2 객체(20) 및 제3 객체(30) 각각에 포함된 제2 단위 객체들과 제3 단위 객체들을 동적 객체와 정적 객체로 분리하여 제2 객체(20) 및 제3 객체(30)를 추출한 후, 제1 객체(10)로부터 추출된 제2 객체(20) 및 제3 객체(30)로부터 각각 좌안 영상과 우안 영상을 생성한 후, 이를 이용하여 3차원 입체 영상(50)을 생성할 수 있다.

도 13은 본 발명의 제4 실시예에 따른 3차원 입체 영상 처리 방법에서 영상 생성부가 제1 객체로부터 제2 객체 및 제3 객체를 추출하고 3차원 입체 영상을 생성하는 과정을 나타내는 순서도이고, 도 14는 본 발명의 제4 실시예에 따른 3차원 입체 영상 처리 방법에서 영상 생성부가 제1 객체로부터 제2 객체 및 제3 객체를 추출하고 3차원 입체 영상을 생성하는 과정을 나타내는 도면이다.

도 13 및 도 14에 도시된 본 발명의 제4 실시예에 따른 3차원 입체 영상 처리 방법은, 본 발명의 제3 실시예에 따른 3차원 입체 영상 처리 방법에서 제1 객체(10)로부터 제2 객체(20) 및 제3 객체(30)를 추출하는 방법과, 본 발명의 제2 실시예에 따른 3차원 입체 영상 처리 방법에서 제1 객체(10)로부터 추출된 제2 객체(20) 및 제3 객체(30)로부터 3차원 입체 영상(50)을 생성하는 방법을 조합한 것이라 볼 수 있다.

즉, 도 13 및 도 14에 도시된 바와 같이, 영상 생성부(120)가 제1 객체(10)로부터 제2 객체(20) 및 제3 객체(30)를 추출하는 과정인 단계 S221d 내지 단계 S223d는, 도 5에 도시된 제1 실시예의 단계 S221a 내지 단계 S223a와 실질적으로 동일하다. 또한, 영상 생성부(120)가 제1 객체(10)로부터 추출된 제2 객체(20) 및 제3 객체(30)로부터 3차원 입체 영상(50)을 생성하는 과정인 단계 S231d 내지 단계 S233d는, 도 9에 도시된 제2 실시예의 단계 S231b 내지 단계 S233b와 실질적으로 동일하다.

상술한 바와 같이, 본 발명의 실시예들에 따른 3차원 입체 영상 처리 방법 및 시스템의 경우, 3차원 공간 정보를 가지는 제1 객체로부터 양안 시차를 가지는 제2 객체와 제3 객체를 추출한 후 이를 이용하여 3차원 입체 영상을 생성함으로써, 별도의 카메라를 구비하지 않고도 3차원 입체 영상을 용이하게 생성할 수 있다. 또한, 3차원 공간 정보를 가지는 제1 객체에 포함된 제1 단위 객체들을 동적 객체와 정적 객체로 나누어 처리하여 좌안 영상과 우안 영상을 생성한 후 이를 이용하여 3차원 입체 영상을 생성함으로써, 3차원 객체의 3차원 공간 정보를 이용하여 보다 간단한 방법으로 정확한 3차원 입체 영상을 생성할 수 있다.

한편, 본 발명에서는 3차원 모델링 소프트웨어 등에 의해 생성된 3차원 객체로부터 3차원 입체 영상을 생성하는 경우를 예로 들어 설명하고 있으나, 본 발명의 적용 범위는 이에 한정되지 않으며, 본 발명은 다양한 종류의 소프트웨어, 다양한 종류의 기기로부터 생성된 3차원 객체에 얼마든지 적용될 수 있다.

한편, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

<도면의 주요 부분에 대한 부호의 설명>
100: 3차원 입체 영상 처리 시스템
10: 제1 객체 20: 제2 객체
30: 제3 객체 40: 제4 객체
50: 3차원 입체 영상
110: 객체 입력부 120: 영상 생성부
130: 영상 출력부

Claims

3차원 공간 정보를 가지는 적어도 하나의 제1 단위 객체를 포함하는 제1 객체를 입력 받는 단계;
상기 제1 객체를 향하는 제1 시점을 중심으로 양안 시차(Binocular Disparity)를 가지고, 상기 적어도 하나의 제1 단위 객체의 전부 또는 일부에 대응하는 적어도 하나의 제2 단위 객체 및 적어도 하나의 제3 단위 객체를 각각 포함하는 제2 객체 및 제3 객체를 추출하는 단계;
상기 제1 객체에 포함된 적어도 하나의 제1 단위 객체, 상기 제2 객체에 포함된 적어도 하나의 제2 단위 객체 및 상기 제3 객체에 포함된 적어도 하나의 제3 단위 객체를 이용하여 3차원 입체 영상을 생성하는 단계; 및
상기 3차원 입체 영상을 출력하는 단계를 포함하는 것을 특징으로 하는 3차원 입체 영상 처리 방법.
제 1 항에 있어서,
상기 제2 객체 및 상기 제3 객체를 추출하는 단계는,
상기 제1 객체에 포함된 상기 적어도 하나의 제1 단위 객체 중 제1 동적 객체와 제1 정적 객체를 결정하는 단계;
상기 제1 시점을 중심으로 좌안(Left eye)에 해당하는 제2 시점에서 상기 제1 동적 객체로부터 생성된 제2 동적 객체를 포함하는 상기 제2 객체를 추출하는 단계; 및
상기 제1 시점을 중심으로 우안(Right eye)에 해당하는 제3 시점에서 상기 제1 동적 객체로부터 생성된 제3 동적 객체를 포함하는 상기 제3 객체를 추출하는 단계를 포함하는 것을 특징으로 하는 3차원 입체 영상 처리 방법.
제 2 항에 있어서,
상기 3차원 입체 영상을 생성하는 단계는,
상기 제1 객체에 포함된 상기 제1 정적 객체, 상기 제2 객체에 포함된 상기 제2 동적 객체 및 상기 제3 객체에 포함된 상기 제3 동적 객체로부터 제4 객체를 생성하는 단계;
상기 제1 시점을 중심으로 상기 제2 시점 및 상기 제3 시점에서 상기 제4 객체의 좌안 영상 및 우안 영상을 생성하는 단계; 및
상기 좌안 영상과 상기 우안 영상을 이용하여 상기 3차원 입체 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 3차원 입체 영상 처리 방법.
제 2 항에 있어서,
상기 3차원 입체 영상을 생성하는 단계는,
상기 제1 객체에 포함된 상기 제1 정적 객체로부터 제1 영상을 생성하는 단계;
상기 제2 객체에 포함된 상기 제2 동적 객체로부터 제2 영상을 생성하는 단계;
상기 제3 객체에 포함된 상기 제3 동적 객체로부터 제3 영상을 생성하는 단계;
상기 제1 영상과 상기 제2 영상을 이용하여 좌안 영상을 생성하고, 상기 제1 영상과 상기 제3 영상을 이용하여 우안 영상을 생성하는 단계; 및
상기 좌안 영상과 상기 우안 영상을 이용하여 상기 3차원 입체 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 3차원 입체 영상 처리 방법.
제 1 항에 있어서,
상기 제2 객체 및 상기 제3 객체를 추출하는 단계는,
상기 제1 시점을 중심으로 좌안(Left eye)에 해당하는 제2 시점에서 상기 적어도 하나의 제1 단위 객체 전부로부터 생성된 적어도 하나의 제2 단위 객체를 포함하는 상기 제2 객체를 생성하는 단계;
상기 제1 시점을 중심으로 우안(Right eye)에 해당하는 제3 시점에서 상기 적어도 하나의 제1 단위 객체 전부로부터 생성된 적어도 하나의 제3 단위 객체를 포함하는 상기 제3 객체를 생성하는 단계;
상기 제2 객체에 포함된 상기 적어도 하나의 제2 단위 객체 중 제2 동적 객체와 제2 정적 객체를 결정하고, 상기 제2 동적 객체를 포함하는 상기 제2 객체를 추출하는 단계; 및
상기 제3 객체에 포함된 상기 적어도 하나의 제3 단위 객체 중 제3 동적 객체와 제3 정적 객체를 결정하고, 상기 제3 동적 객체를 포함하는 상기 제3 객체를 추출하는 단계를 포함하는 것을 특징으로 하는 3차원 입체 영상 처리 방법.
제 5 항에 있어서,
상기 3차원 입체 영상을 생성하는 단계는,
상기 제1 객체에 포함된 상기 적어도 하나의 제1 단위 객체 중 제1 동적 객체와 제1 정적 객체를 결정하는 단계;
상기 제1 객체에 포함된 상기 제1 정적 객체, 상기 제2 객체에 포함된 상기 제2 동적 객체 및 상기 제3 객체에 포함된 상기 제3 동적 객체로부터 제4 객체를 생성하는 단계;
상기 제1 시점을 중심으로 상기 제2 시점 및 상기 제3 시점에서 상기 제4 객체의 좌안 영상 및 우안 영상을 생성하는 단계; 및
상기 좌안 영상과 상기 우안 영상을 이용하여 상기 3차원 입체 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 3차원 입체 영상 처리 방법.
제 5 항에 있어서,
상기 3차원 입체 영상을 생성하는 단계는,
상기 제1 객체에 포함된 상기 적어도 하나의 제1 단위 객체 중 제1 정적 객체와 제1 동적 객체를 결정하는 단계;
상기 제1 객체에 포함된 상기 제1 정적 객체로부터 제1 영상을 생성하는 단계;
상기 제2 객체에 포함된 상기 제2 동적 객체로부터 제2 영상을 생성하는 단계;
상기 제3 객체에 포함된 상기 제3 동적 객체로부터 제3 영상을 생성하는 단계;
상기 제1 영상과 상기 제2 영상을 이용하여 좌안 영상을 생성하고, 상기 제1 영상과 상기 제3 영상을 이용하여 우안 영상을 생성하는 단계; 및
상기 좌안 영상과 상기 우안 영상을 이용하여 상기 3차원 입체 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 3차원 입체 영상 처리 방법.
제 2 항 내지 제 7항 중 어느 한 항에 있어서,
상기 제1 정적 객체, 제2 정적 객체 및 제3 정적 객체는 각각,
상기 적어도 하나의 제1 단위 객체, 제2 단위 객체 및 제3 단위 객체 중 상기 제1 시점으로부터의 거리가 미리 설정된 값 이상인 단위 객체인 것을 특징으로 하는 3차원 입체 영상 처리 방법.
제 3 항, 제 4 항, 제 6 항 및 제 7 항 중 어느 한 항에 있어서,
상기 3차원 입체 영상은 상기 좌안 영상 및 상기 우안 영상에 스위처블 배리어(Switchable barrier) 방식을 적용하여 생성하는 것을 특징으로 하는 3차원 입체 영상 처리 방법.
제 9 항에 있어서,
상기 3차원 입체 영상은 필름 패턴 편광(Flim-type Patterned Retarder, FPR) 방식을 이용하여 출력하는 것을 특징으로 하는 3차원 입체 영상 처리 방법.
3차원 공간 정보를 가지는 적어도 하나의 제1 단위 객체를 포함하는 제1 객체를 입력 받는 객체 입력부;
상기 제1 객체를 향하는 제1 시점을 중심으로 양안 시차(Binocular Disparity)를 가지고, 상기 적어도 하나의 제1 단위 객체의 전부 또는 일부에 대응하는 적어도 하나의 제2 단위 객체 및 적어도 하나의 제3 단위 객체를 각각 포함하는 제2 객체 및 제3 객체를 추출하며, 상기 제1 객체에 포함된 적어도 하나의 제1 단위 객체, 상기 제2 객체에 포함된 적어도 하나의 제2 단위 객체 및 상기 제3 객체에 포함된 적어도 하나의 제3 단위 객체를 이용하여 3차원 입체 영상을 생성하는 영상 생성부; 및
상기 3차원 입체 영상을 출력하는 영상 출력부를 포함하는 것을 특징으로 하는 3차원 입체 영상 처리 시스템.
제 11 항에 있어서,
상기 영상 생성부는,
상기 제1 객체에 포함된 상기 적어도 하나의 제1 단위 객체 중 제1 동적 객체와 제1 정적 객체를 결정하고, 상기 제1 시점을 중심으로 좌안(Left eye)에 해당하는 제2 시점에서 상기 제1 동적 객체로부터 생성된 제2 동적 객체를 포함하는 상기 제2 객체를 추출한 후, 상기 제1 시점을 중심으로 우안(Right eye)에 해당하는 제3 시점에서 상기 제1 동적 객체로부터 생성된 제3 동적 객체를 포함하는 상기 제3 객체를 추출하는 것을 특징으로 하는 3차원 입체 영상 처리 시스템.
제 12 항에 있어서,
상기 영상 생성부는,
상기 제1 객체에 포함된 상기 제1 정적 객체, 상기 제2 객체에 포함된 상기 제2 동적 객체 및 상기 제3 객체에 포함된 상기 제3 동적 객체로부터 제4 객체를 생성하고, 상기 제1 시점을 중심으로 상기 제2 시점 및 상기 제3 시점에서 생성된 상기 제4 객체의 좌안 영상 및 우안 영상을 이용하여 상기 3차원 입체 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 3차원 입체 영상 처리 시스템.
제 12 항에 있어서,
상기 영상 생성부는,
상기 제1 객체에 포함된 상기 제1 정적 객체로부터 제1 영상을 생성하고, 상기 제2 객체에 포함된 상기 제2 동적 객체로부터 제2 영상을 생성하며, 상기 제3 객체에 포함된 상기 제3 동적 객체로부터 제3 영상을 생성한 후, 상기 제1 영상과 상기 제2 영상을 이용하여 생성된 좌안 영상과, 상기 제1 영상과 상기 제3 영상을 이용하여 생성된 우안 영상을 이용하여 상기 3차원 입체 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 3차원 입체 영상 처리 시스템.
제 11 항에 있어서,
상기 영상 생성부는,
상기 제1 시점을 중심으로 좌안(Left eye)에 해당하는 제2 시점에서 상기 적어도 하나의 제1 단위 객체 전부로부터 생성된 적어도 하나의 제2 단위 객체를 포함하는 상기 제2 객체를 생성하고, 상기 제1 시점을 중심으로 우안(Right eye)에 해당하는 제3 시점에서 상기 적어도 하나의 제1 단위 객체 전부로부터 생성된 적어도 하나의 제3 단위 객체를 포함하는 상기 제3 객체를 생성한 후,
상기 제2 객체에 포함된 상기 적어도 하나의 제2 단위 객체 중 제2 동적 객체와 제2 정적 객체를 결정하고, 상기 제2 동적 객체를 포함하는 상기 제2 객체를 추출하고, 상기 제3 객체에 포함된 상기 적어도 하나의 제3 단위 객체 중 제3 동적 객체와 제3 정적 객체를 결정하고, 상기 제3 동적 객체를 포함하는 상기 제3 객체를 추출하는 것을 특징으로 하는 3차원 입체 영상 처리 시스템.
제 15 항에 있어서,
상기 영상 생성부는,
상기 제1 객체에 포함된 상기 적어도 하나의 제1 단위 객체 중 제1 동적 객체와 제1 정적 객체를 결정하고, 상기 제1 객체에 포함된 상기 제1 정적 객체, 상기 제2 객체에 포함된 상기 제2 동적 객체 및 상기 제3 객체에 포함된 상기 제3 동적 객체로부터 제4 객체를 생성한 후, 상기 제1 시점을 중심으로 상기 제2 시점 및 상기 제3 시점에서 생성된 상기 제4 객체의 좌안 영상 및 우안 영상을 이용하여 상기 3차원 입체 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 3차원 입체 영상 처리 시스템.
제 15 항에 있어서,
상기 영상 생성부는,
상기 제1 객체에 포함된 상기 적어도 하나의 제1 단위 객체 중 제1 정적 객체와 제1 동적 객체를 결정한 후, 상기 제1 객체에 포함된 상기 제1 정적 객체로부터 제1 영상을 생성하고, 상기 제2 객체에 포함된 상기 제2 동적 객체로부터 제2 영상을 생성하며, 상기 제3 객체에 포함된 상기 제3 동적 객체로부터 제3 영상을 생성한 후, 상기 제1 영상과 상기 제2 영상을 이용하여 생성된 좌안 영상과, 상기 제1 영상과 상기 제3 영상을 이용하여 생성된 우안 영상을 이용하여 상기 3차원 입체 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 3차원 입체 영상 처리 시스템.
제 12 항 내지 제 17항 중 어느 한 항에 있어서,
상기 제1 정적 객체, 제2 정적 객체 및 제3 정적 객체는 각각,
상기 적어도 하나의 제1 단위 객체, 제2 단위 객체 및 제3 단위 객체 중 상기 제1 시점으로부터의 거리가 미리 설정된 값 이상인 단위 객체인 것을 특징으로 하는 3차원 입체 영상 처리 시스템.
제 13 항, 제 14 항, 제 16 항 및 제 17 항 중 어느 한 항에 있어서,
상기 3차원 입체 영상은 상기 좌안 영상 및 상기 우안 영상에 스위처블 배리어(Switchable barrier) 방식을 적용하여 생성하는 것을 특징으로 하는 3차원 입체 영상 처리 시스템.
제 19 항에 있어서,
상기 3차원 입체 영상은 필름 패턴 편광(Flim-type Patterned Retarder, FPR) 방식을 이용하여 출력하는 것을 특징으로 하는 3차원 입체 영상 처리 시스템.