KR101408719B1 - 3차원 영상의 스케일 변환 장치 및 그 방법 - Google Patents

Abstract

본 발명은 3D 영상의 해상도나 스케일 변환 시 깊이정보를 변환할 3D 영상의 해상도에 알맞게 조절할 수 있으며, 또한 3D 영상을 다른 화면 사이즈나 해상도를 갖는 3D 디스플레이 장치에서 시청할 경우 그 3D 영상의 해상도와 깊이정보를 자동으로 조절하여 최대한 본래 3D 영상에서 느낄 수 있던 입체감을 느낄 수 있도록 하는 효과가 있으며, 또한 3D 영상의 스케일 변환 시 물리적인 이미지 사이즈뿐만 아니라 입체감에 관련된 정보들의 값을 3D 영상을 디스플레이할 3D 영상의 해상도에 알맞게 자동으로 조절할 수 있으며, 또한 사용자가 원하는 3D 디스플레이 장치를 선택하면 그 선택된 디스플레이 장치에서 적절한 입체감을 느낄 수 있도록 하는 입체감에 관련된 정보를 데이터베이스에서 자동으로 찾아 변환함으로써 사용자의 편의성을 향상시킬 수 있도록 하는 3D 영상의 스케일 변환 장치 및 그 방법에 관한 것이다.

Description

3차원 영상의 스케일 변환 장치 및 그 방법{AN APPARATUS FOR CONVERTING SCALES IN THREE-DIMENSIONAL IMAGES AND THE METHOD THEREOF}

본 발명은 3차원(3D) 영상의 스케일 변환 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 3D 영상의 스케일 변환 시 깊이정보와 같은 입체감에 관련된 정보를 원래 해상도에 비해서 입체감이 손상되지 않도록, 변환할 3차원 영상의 해상도에 알맞게 조절할 수 있는 3D 영상의 스케일 변환 장치 및 그 방법에 관한 것이다.

최근 3D 입체 영상에 대한 사용자의 관심도가 증가하고 있으며, 그에 따라 2차원 영상시대에서 빠르게 3차원 입체 영상시대로의 전환이 이루어지고 있는 상황이다. 상기와 같은 사용자의 요구에 따라 최근 영상 관련 업계에서도 3D 영화와 3D 게임, 3D 방송과 같은 3D 정보를 이용한 다양한 멀티미디어 서비스를 제공하고 있으며, 영상 장치 업계에서도 상기 3D 영상이나 3D 정보를 디스플레이하기 위한 다양한 종류의 3D 디스플레이 장치(예 : TV, 모니터, 모바일 폰, 프로젝터 등)를 제작하여 제공하고 있다. 이때 상기 3D 디스플레이 장치들은 그 용도와 목적에 따라 다양한 사이즈 및 해상도를 가진다.

따라서 사용자들은 상기 3D 영상을 원하는 3D 디스플레이 장치에서 재생하기 위하여 스케일(크기)의 변환이 필요하게 되었다. 즉, 지금까지의 3D 영상은 대부분 영화와 같은 대형 화면에서 사용하기 위하여 제작되어 왔기 때문에 최근 보급이 확대되고 있는 3DTV나 스마트폰 또는 태블릿 PC와 같이 작은 화면 사이즈와 해상도를 가지는 3D 디스플레이 장치에서 상기 3D 영상을 디스플레이하기 위해서는 스케일의 변환이 필요한 것이다.

그런데 상기 3D 영상은 디스플레이 장치의 해상도나 화면 사이즈에 따라서 각기 다른 입체감이 전달되는 특성이 있다. 왜냐하면 사람의 양안시차는 디스플레이 장치의 화면 사이즈가 큰 경우보다 작을 경우에 상대적으로 더 작아지기 때문에 동일한 3D 영상에 대하여 큰 화면 사이즈의 디스플레이 장치에서 느끼던 입체감을 작은 화면 사이즈의 디스플레이 장치에서는 느끼기 힘들게 되는 특성이 있다.

따라서 기존에 2D 영상의 스케일을 변환시키는 것처럼, 상기 3D 영상을 3D 디스플레이 장치의 화면 사이즈나 해상도에 따라 단순히 동일비율로 작게 스케일 변환시킬 경우, 객체들의 깊이 간격이 좁아지기 때문에 사용자가 상기 스케일 변환된 3D 영상을 시청할 때 대형 화면에서 느끼던 입체감을 느끼지 못하게 될 뿐만 아니라, 오히려 눈의 피로감만 더 느끼게 되는 문제점이 발생할 수 있다.

다시 말해, 3D 영상의 스케일 변환 시 깊이정보를 고려하지 않고, 일반적인 2D 영상처럼 단순한 스케일 변환(또는 해상도 변환)을 수행할 경우, 사용자가 느끼는 입체감이 현저하게 감소할 수 있으며, 또한 3D 디스플레이 장치에 자체적으로 구비된 기능을 이용하여 입체강도를 보다 크게 적용할 경우, 각각의 객체를 고려하지 않고 단순히 입체강도만 조절하는 것이기 때문에 사용자가 입체감을 느끼더라도 어색하거나 깊이에 반전이 발생할 수 있는 문제점이 있다.

본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 3D 영상의 해상도나 스케일 변환 시 깊이정보를 원래 해상도에 비해서 입체감이 손상되지 않도록, 변환할 3차원 영상의 해상도에 알맞게 조절할 수 있는 영상의 스케일 변환 장치 및 그 방법을 제공하는데 목적이 있다.

또한 본 발명은 3D 영상을 다른 화면 사이즈나 해상도를 갖는 3D 디스플레이 장치에서 시청하더라도 최대한 본래 3D 영상에서 느낄 수 있던 입체감을 느낄 수 있도록 깊이정보를 자동으로 조절하는 영상의 스케일 변환 장치 및 그 방법을 제공하는데 목적이 있다.

또한 본 발명은 3D 영상의 스케일 변환 시 물리적인 이미지 사이즈뿐만 아니라 입체감에 관련된 정보들의 값을 3D 영상을 디스플레이 할 3D 디스플레이 장치의 화면 사이즈에 알맞게 자동으로 조절하는 영상의 스케일 변환 장치 및 그 방법을 제공하는데 목적이 있다.

또한 본 발명은 적어도 하나 이상의 3D 디스플레이 장치의 입체감에 관련된 정보들을 미리 데이터베이스에 저장한 후 사용자가 원하는 3D 디스플레이 장치를 선택하면 상기 데이터베이스를 참조하여 그 선택된 디스플레이 장치에서 적절한 입체감을 느낄 수 있도록 3D 영상의 스케일을 자동으로 변환하는 영상의 스케일 변환 장치 및 그 방법을 제공하는데 목적이 있다.

본 발명의 일 측면에 따른 3차원 영상의 스케일 변환 장치는 스케일 변환할 3D 입력 영상에서 기준영상을 추출하는 기준영상 추출부; 상기 기준영상에 대한 뎁스맵을 생성하는 뎁스맵 생성부; 상기 기준영상의 이미지 스케일을 원하는 해상도에 맞춰 조절하는 스케일 조절부; 깊이정보, Parallax, Zero point 정보, 또는 그들의 조합 중 적어도 어느 하나를 포함하는 상기 3D 입력 영상의 입체감 조절에 관련된 정보를 원하는 해상도에 알맞게 변환하는 입체감 정보 변환부; 상기 스케일 조정된 기준영상과 입체감 조절에 관련된 정보들을 이용하여 가상시점영상을 생성하는 가상시점영상 생성부; 및 상기 스케일 조정된 기준영상과 상기 가상시점영상을 합성하여 스케일 조정된 영상을 생성하는 합성부;를 포함하여 구성하고, 상기 기준영상은, 상기 3D 입력 영상에서 좌영상이나 우영상 중 어느 하나이며, 상기 기준영상이 아닌 다른 영상은, 별도로 저장하였다가 홀 영역의 복원 시 사용하며, 상기 해상도에 따른 스케일 조절을 위한 정보들, 또는 입체감 조절에 관련된 정보들을 저장하는 데이터베이스;를 더 포함하고, 그 데이터베이스의 정보를 참조하여 상기 기준영상과 뎁스맵의 이미지 스케일 및 입체감 정보를 자동으로 변환하고, 상기 데이터베이스는, 입력 영상의 스케일 변환에 관련된 정보들로서, 3D 디스플레이 장치의 종류, 제조사, 모델명, 화면 사이즈, 해상도, 입체감 조절에 관련된 정보들, 또는 그들의 조합 중 적어도 하나 이상을 포함하여 구성되며, 상기 입체감 조절에 관련된 정보들 중 깊이정보는, 해상도가 작아질수록 뎁스맵에 적용된 전체적인 깊이정보의 분포 범위를 더 넓게 조절하고, 상기 해상도는, 사용자의 선택, 또는 3D 디스플레이 장치에서 자신이 이미 알고 있는 정보를 이용하여 자동으로 선택할 수 있는 것을 특징으로 한다.

본 발명의 일 측면에 따른 3차원 영상의 스케일 변환 방법은 스케일 변환할 3D 입력 영상에서 기준영상을 추출하는 단계; 상기 기준영상에 대한 뎁스맵을 생성하는 단계; 상기 기준영상과 뎁스맵의 이미지 스케일을 원하는 해상도에 맞춰 조절하는 단계; 깊이정보, Parallax, Zero point 정보, 또는 그들의 조합 중 적어도 어느 하나를 포함하는 상기 3D 입력 영상의 입체감 조절에 관련된 정보를 원하는 해상도에 알맞게 변환하는 단계; 상기 스케일 조정된 기준영상과 입체감 조절에 관련된 정보들을 이용하여 가상시점영상을 생성하는 단계; 및 상기 스케일 조정된 기준영상과 상기 가상시점영상을 합성하여 스케일 조정된 영상을 생성하는 단계; 포함하여 구성되고, 상기 기준영상은, 상기 3D 입력 영상에서 좌영상이나 우영상 중 어느 하나이며, 상기 기준영상이 아닌 다른 영상은, 별도로 저장하였다가 홀 영역의 복원 시 사용하며, 상기 화면 사이즈에 따른 스케일 조절을 위한 정보들, 또는 입체감 조절에 관련된 정보들을 저장하는 단계;를 더 포함하고, 그 저장된 정보를 참조하여 상기 기준영상과 뎁스맵의 이미지 스케일 및 입체감 정보를 자동으로 변환하며, 상기 입체감 조절에 관련된 정보들 중 깊이정보는, 해상도가 작아질수록 뎁스맵에 적용된 전체적인 깊이정보의 분포 범위를 더 넓게 조절하는 것을 특징으로 한다.

본 발명은 3D 영상의 해상도나 스케일 변환 시 깊이정보를 원래 해상도에 비해서 입체감이 손상되지 않도록, 변환할 3차원 영상의 해상도에 알맞게 조절할 수 있으며, 또한 본 발명은 3D 영상을 다른 화면 사이즈나 해상도를 갖는 3D 디스플레이 장치에서 시청할 경우 그 3D 영상의 해상도와 깊이정보를 자동으로 조절하여 최대한 본래 3D 영상에서 느낄 수 있던 입체감을 느낄 수 있도록 하는 효과가 있으며, 또한 본 발명은 3D 영상의 스케일 변환 시 물리적인 이미지 사이즈뿐만 아니라 입체감에 관련된 정보들의 값을, 변환할 3차원 영상의 해상도에 알맞게 자동으로 조절할 수 있으며, 또한 본 발명은 사용자가 원하는 3D 디스플레이 장치를 선택하면 그 선택된 디스플레이 장치에서 적절한 입체감을 느낄 수 있도록 하는 입체감에 관련된 정보를 데이터베이스에서 자동으로 찾아 변환함으로써 사용자의 편의성을 향상시킬 수 있도록 하는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 3D 영상의 스케일 변환 장치를 보인 예시도.
도 2는 상기 도 1에 있어서, 스케일 조절부의 동작을 설명하기 위한 예시도.
도 3은 상기 도 1에 있어서, 데이터베이스에 저장되는 정보들의 구성을 설명하기 위한 예시도.
도 4는 상기 도 1에 있어서, 입체감 정보 변환부에서 깊이정보 변환 방법을 설명하기 위한 예시도.
도 5는 본 발명의 일 실시예에 따른 3D 영상의 스케일 변환 방법을 보인 흐름도.

일반적으로 3D 디스플레이 장치의 화면 사이즈와 해상도는 반드시 정비례하는 것은 아니며, 더구나 최근에는 스마트 폰과 같이 화면 사이즈가 작더라도 해상도가 높을 수 있다. 하지만, 통상적으로는 해상도와 화면 사이즈가 정비례하는 경우가 많고, 대부분의 사용자들도 해상도와 화면 사이즈를 거의 비슷한 의미로 이해하는 경우가 많으며, 사실상 해상도가 작을 경우에도 입체감이 떨어지기 때문에, 이하 본 실시예에서는 편의상 해상도와 화면 사이즈를 별도로 구분하여 설명하지는 않기로 한다.

한편 상기 3D 영상은 다수의 카메라 또는 3D 입체 카메라(3D 전용 카메라)를 이용하여 촬영하는 방식으로 제작되거나, 기존의 2D 영상에서 뎁스맵(Depth Map)을 생성하여 3D 입체 영상으로 변환하는 방식으로 제작된다.

먼저 첫 번째 방식으로서 상기 카메라를 이용하여 직접 제작한 3D 영상은 이미 특정 3D 디스플레이 장치에 알맞게 촬영되어져 있기 때문에 본 실시예에서는 두 개의 영상(예: 좌영상, 우영상)을 모두 사용할 수는 없으며, 그 두 개의 영상 중 하나의 영상(예: 우영상)은 버리고, 나머지 하나의 영상(예: 좌영상)을 기준으로 뎁스맵을 생성하여, 스케일 변환 시 변환할 3차원 영상의 해상도에 알맞게 상기 뎁스맵의 깊이정보를 조절하여 가상시점영상(즉, 새로운 우영상)을 생성함으로써 스케일 변환된 새로운 3D 영상을 생성하게 된다. 이때 상기 버리게 되는 영상(예: 우영상)은 상기 가상시점영상(즉, 새로운 우영상)을 생성할 때 발생하는 홀 영역을 복원할 때 사용할 수 있다.

그리고 두 번째 방식으로서 상기 2D 영상을 입체 변환하여 생성한 3D 영상은 이미 기준영상(예: 좌영상)과 뎁스맵이 생성되어져 있기 때문에 본 실시예에서는 3D 영상의 스케일 변환 시 더욱 쉽게 변환할 3차원 영상의 해상도에 알맞게 상기 뎁스맵의 깊이정보를 조절할 수 있게 된다.

또한 본 실시예에서 3D 영상의 스케일 변환이란, 고 해상도의 3D 영상(예: 영화 전용 Full HD 3D 영상)을 저 해상도의 3D 영상으로 변환하거나, 그 반대로 변환하는 것을 의미한다.

통상적으로는 스케일 변환을 할 경우 정보가 유실되거나(고 해상도에서 저 해상도로 변환 시) 부정확한 정보를 부가(저 해상도에서 고 해상도로 변환 시)하게 되는데, 3D 영상의 경우 실제 영상의 해상도 변환 이외에 깊이정보에 대한 해상도 변환을 추가로 고려하여야 하고, 상기 깊이정보의 해상도 변환은 영상 자체의 해상도 변환과 다르게 취급되어야 한다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 영상의 스케일 변환 장치 및 그 방법의 일 실시예를 설명한다.

도 1은 본 발명의 일 실시예에 따른 3D 영상의 스케일 변환 장치를 보인 예시도로서, 이에 도시된 바와 같이 스케일 변환할 3D 영상에서 기준영상(예 : 좌영상)을 추출하는 기준영상 추출부(110), 상기 기준영상에 대한 뎁스맵을 생성하는 뎁스맵 생성부(120), 상기 기준영상과 뎁스맵을 원하는 변환할 3D 영상의 해상도에 알맞은 스케일로 조절하는 스케일 조절부(130), 적어도 하나 이상의 3D 디스플레이 장치의 화면 사이즈에 따라 적절히 입체감을 조절할 수 있는 정보들을 저장하는 데이터베이스(140), 상기 데이터베이스에 저장된 입체감 조절에 관련된 정보들을 원하는 3D 디스플레이 장치에 알맞게 변환하는 입체감 정보 변환부(150), 상기 스케일 조절된 기준영상(예 : 좌영상)과 상기 입체감 조절에 관련된 정보들을 이용하여 가상시점영상(예 : 우영상)을 생성하는 가상시점영상 생성부(160) 및 상기 스케일 조정된 기준영상(예 : 좌영상)과 상기 가상시점영상(예 : 우영상)을 합성하여 스케일 조정된 3D 영상을 생성하는 합성부(170)를 포함한다.

여기서 상기 기준영상 추출부(110)는 스케일 변환할 3D 영상에서 기준영상(예: 좌영상)을 추출한다. 상기 3D 영상은 상술한 바와 같이 3D 입체 카메라를 이용해서 촬영된 영상이거나, 2D 영상을 3D로 입체 변환하여 생성된 영상중 하나이다. 따라서 기준영상 추출부(110)는 상기 3D 영상을 좌영상과 우영상으로 분리하고, 그 중 하나(예: 좌영상)를 선택하여 기준영상으로 사용한다.

이때 기준영상이 아닌 나머지 다른 영상(예: 우영상)은 홀 영역을 복원을 위하여 별도로 저장해둘 수 있다. 여기서 상기 홀 영역은 상기 기준영상에서 우영상을 생성하기 위하여 객체를 분리시켜 이동할 때 발생하는 영역으로서, 홀 영역은 해당 화소가 값을 가지지 않기 때문에 검은색으로 표현되어 잡음처럼 보이는 영역이다.

상기 뎁스맵 생성부(120)는 상기 기준영상에 대한 뎁스맵을 추출하거나 생성하는 것으로서, 상기 3D 영상이 2D에서 3D로 입체변환 된 영상인 경우 상기 원본 2D 영상(기준영상)과 그의 뎁스맵을 생성하며, 상기 3D 영상이 카메라를 이용하여 직접 촬영된 영상인 경우 그 3D 영상에서 분리된 기준영상(예: 좌영상)과 그의 뎁스맵을 생성한다.

여기서 상기 뎁스맵은 3D 영상의 거리 정보를 영상으로 나타낸 것으로서, 일반적으로 256 레벨의 뎁스 값을 포함하는 그레이(gray) 영상으로 제공된다. 상기 뎁스 맵의 화소 값은 해당 위치에서의 깊이 정보를 의미한다. 만약 상기 3D 영상과 함께 제공되는 뎁스맵이 있을 경우에는 그 뎁스맵을 그대로 이용할 수 있다.

상기 스케일 조절부(130)는, 도 2에 도시된 바와 같이, 상기 기준영상(예: 좌영상)과 뎁스맵의 이미지 스케일을 원하는 3D 디스플레이 장치의 화면 사이즈에 알맞게 조절하는 것으로서, 일반적인 2D 영상의 스케일 조정방법(Image Resize 방법)을 이용하여 이미지 스케일을 조절한다. 그리고 데이터베이스(140)에 저장된 화면 사이즈 정보를 참조하여 자동으로 기준영상(예: 좌영상)과 뎁스맵의 이미지 스케일을 조절할 수도 있다.

예컨대 영화 전용 Full HD 3D 영상을 사용자가 원하는 3D 영상의 해상도에 알맞게 스케일을 조절하는 것이다. 이때 상기 스케일 조절을 위한 정보들은 별도의 데이터베이스를 이용해서 관리할 수 있다. 그리고 사용자가 원하는 변환 스케일을 쉽게 선택할 수 있도록 하기 위하여 사용자 인터페이스를 통해서 데이터베이스(140)에서 제공하는 다양한 선택 옵션(예 : 장치종류(TV, 모니터, 스마트폰 등), 제조사, 모델명, 화면 사이즈(inch 혹은 cm 단위), 해상도)을 제공할 수 있다. 또는 디스플레이할 3D 영상의 해상도에 알고 있을 경우 데이터베이스를 참조하여 자동으로 기준영상(예: 좌영상)과 뎁스맵의 이미지 스케일을 조절할 수 있다.

상기 데이터베이스(140)는, 도 3에 도시된 바와 같이, 적어도 하나 이상의 디스플레이할 3D 영상의 해상도에서 적절한 입체감을 얻을 수 있는 깊이정보 및 Parallax, Zero point 정보 등을 저장한다. 상기 Parallax는 왼쪽과 오른쪽으로 습득되는 두 이미지 간의 시차를 의미하는 것으로서, Y축에서 발생한 수직시차(Vertical Parallax)와 X축에서 발생한 수평시차(Horizontal Parallax)가 있으며, 수평시차를 통해 입체감의 강약을 조절할 수 있다.

이때 상기 적절한 입체감을 얻기 위한 정보들(예 : 깊이정보, Parallax, Zero point 정보 등)은 변환(혹은 디스플레이)할 3D 영상의 해상도에 비례적으로 변화하는 것이 아니라, 실제 사용자(또는 영상 작업자)들이 제작한 3D 영상을 실제로 디스플레이 장치에서 입체감을 확인해보고 실험한 값을 테이블 형식으로 데이터베이스화하거나 수식으로 이끌어 내어 적용할 수 있다. 즉, 사람이 느끼는 입체감의 차이는 매우 민감하게 반응하고, 또 매우 주관적이어서 모든 사용자들이 정해진 수식대로 느끼지 못하므로, 다양한 실험 데이터를 데이터베이스로 만들어서 적용하는 것이 가장 효율적이라고 할 수 있다.

예컨대 상기 데이터베이스(140)에는 사용자가 3D 영상의 스케일 변환을 위해서 선택 가능한 다양한 옵션(예 : 장치종류(TV, 모니터, 스마트폰 등), 제조사, 모델명, 화면 사이즈(inch 혹은 cm 단위), 해상도, 깊이정보, Parallax, Zero point)을 제공할 수 있다. 상기 적절한 입체감을 얻기 위한 정보들(예 : 깊이정보, Parallax, Zero point 정보 등)은 특정한 한 가지 값이거나 일정한 범위(즉, 가장 돌출된 객체와 가장 후퇴한 객체 사이의 물리적인 입체거리 혹은 그 영역)를 나타내는 값일 수 있으며, 새로운 3D 디스플레이 장치가 출시될 때마다 데이터베이스를 업데이트할 수 있다.

상기 입체감 정보 변환부(150)는, 도 4에 도시된 바와 같이, 상기 데이터베이스에 저장된 깊이정보를 이용하여 상기 스케일 조정된 뎁스맵에서 해당 객체의 깊이정보를 조절하거나, Parallax, Zero point 정보 등을 상기 3D 디스플레이 장치에 알맞게 조절한다. 상기 3D 디스플레이 장치에 대한 정보(예: 해상도 정보, 화면 사이즈 정보, 모델 정보 등)는 사용자의 선택이나 3D 디스플레이 장치 자신이 자동으로 알 수 있다.

예컨대, 화면 사이즈가 작아질수록 3D 영상의 시차 정보는 점점 커져야 비로소 사용자가 입체감을 느낄 수 있기 때문에 원본 3D 영상의 뎁스맵에 적용된 전체적인 깊이정보 영역을 더 넓게 조절한다. 즉, 원본 3D 영상의 뎁스맵에 적용된 전체적인 깊이정보의 분포 범위가 50 ~ 100 이었다면, 새로 조절되는 뎁스맵의 깊이정보 영역의 분포를 30 ~ 130으로 더 넓게 조절하는 것이다. 이는 마치 콘트라스트 효과처럼 어두운 것은 더욱 어둡게 조절하고 밝은 것은 더욱 밝게 조절하여 그 차이가 더욱 명확하게 나타날 수 있도록 하는 원리다.

상기와 같이 기준영상(예: 좌영상) 및 뎁스맵의 이미지 사이즈와 깊이정보를 변환한 후에는 시차정보에 필요한 Parallax, Zero point 값을 디스플레이할 3D 디스플레이 장치의 화면 사이즈에 알맞게 변환한다.

상기 가상시점영상 생성부(160)는 상기 스케일 변환된 기준영상(예 : 좌영상)과 깊이정보가 변환된 뎁스맵 및 Parallax와 Zero point 정보 등을 이용하여 가상시점영상(예 : 우영상)을 생성한다. 이때 상기 가상시점영상(예: 우영상)은 스케일 변환된 기준영상을 이용하여 생성한 것이므로 추가적인 이미지 사이즈 변환을 수행하지 않는다.

그리고 합성부(170)는 상기 스케일 조정된 기준영상(예: 좌영상)과 가상시점영상(예: 우영상)을 합성함으로써 원하는 3D 디스플레이 장치의 화면 사이즈에 알맞게 스케일 조절된 3D 영상을 생성하며, 그 생성된 3D 영상은 원하는 3D 디스플레이 장치에서 적절한 입체감을 나타낼 수 있다. 이때 만약 상기 가상시점영상(예 : 우영상)의 생성 시 홀 영역이 발생할 경우, 상기 기준영상 추출부에서 기준영상으로 추출되지 않은 나머지 영상(예: 우영상)을 이용하여 홀 영역의 복원에 사용할 수 있다.

이하 상기와 같이 구성된 스케일 변환 장치를 이용한 3D 영상의 스케일 변환 방법에 대해서 설명한다.

도 5는 본 발명의 일 실시예에 따른 3D 영상의 스케일 변환 방법을 보인 흐름도로서, 이에 도시된 바와 같이 스케일 변환할 3D 영상이 입력되면 본 발명의 실시예에 따른 스케일 변환 장치는 상기 3D 영상에서 기준영상(예: 좌영상)을 추출한다(S101).

그리고 상기 기준영상에 대한 뎁스맵을 생성한다(S102). 만약 뎁스맵이 이미 생성되어 있을 경우 뎁스맵을 추가로 생성하지 않아도 된다.

상기와 같이 기준영상과 그의 뎁스맵이 준비되었으면, 그 기준영상과 뎁스맵의 이미지 스케일을 사용자가 원하는 3D 영상의 해상도에 알맞게 조절한다(S103).

상기와 같이 기준영상과 뎁스맵에 대한 물리적인 스케일 변환이 완료되면, 입체감 조절에 관련된 정보들(예 : 깊이정보, Parallax, Zero point 정보 등)을 사용자가 원하는 3D 영상의 해상도에 알맞게 조절한다(S104). 즉, 일반적인 2D 영상의 스케일 변환은 단순히 사이즈를 조절하는 것으로 완료되지만, 3D 영상의 스케일 변환은 입체감에 관련된 정보들도 조절해줘야만 스케일 변환이 완료되는 것이다.

상기와 같이 기준영상과 뎁스맵에 대한 물리적인 이미지 사이즈와 입체감에 관련된 정보들의 조절이 완료되면, 그 기준영상과 뎁스맵 및 입체감에 관련된 정보들을 이용하여 가상시점영상(예: 우영상)을 생성하고(S105), 상기 스케일 조절된 기준영상(예: 좌영상)과 그 기준영상으로부터 생성된 가상시점영상(예: 우영상)을 합성한다(S106). 즉, 상기 기준영상(예 : 좌영상)을 이용하여 3D 입체 변환을 수행하는 것이다.

한편 상기와 같이 본 발명의 일 실시예에 따른 3D 영상의 스케일 변환 장치 및 그 방법은 3D 영상의 스케일링 변환에 대해서만 설명하였으나 그에 한정하지 않고 2D 영상을 3D 영상으로 입체 변환할 경우에도 스케일링 변환을 자동으로 수행할 수 있다. 예컨대 본 발명에 따른 장치 및 방법을 DTV에 설치할 경우 무선이나 유선(케이블)으로 수신되는 3D 영상(또는 2D 영상)을 DTV 자신의 화면 사이즈에 알맞게 자동으로 스케일링 변환(2D 영상은 3D 입체 변환 후 스케일링 변환)함으로써 사용자는 언제나 자신의 DTV에서 디스플레이 되는 모든 영상을 최적의 입체감으로 시청할 수 있게 된다.

이상으로 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.

110 : 기준영상 추출부 120 : 뎁스맵 생성부
130 : 스케일 조절부 140 : 데이터베이스
150 : 입체감 정보 변환부 160 : 가상시점영상 생성부
170 : 합성부

Claims (10)

1. 스케일 변환할 3D 입력 영상에서 기준영상을 추출하는 기준영상 추출부;
   상기 기준영상에 대한 뎁스맵을 생성하는 뎁스맵 생성부;
   상기 기준영상의 이미지 스케일을 원하는 해상도에 맞춰 조절하는 스케일 조절부;
   깊이정보, 패럴랙스(Parallax), 제로 포인트(Zero point) 정보 또는 이들의 조합 중 적어도 어느 하나를 포함하는 상기 3D 입력 영상의 입체감 조절에 관련된 정보를 원하는 해상도에 알맞게 변환하는 입체감 정보 변환부;
   상기 스케일 조절된 기준영상과 입체감 조절에 관련된 정보들을 이용하여 가상시점영상을 생성하는 가상시점영상 생성부; 및
   상기 스케일 조절된 기준영상과 상기 가상시점영상을 합성하여 스케일 조절된 영상을 생성하는 합성부;를 포함하여 구성된 것을 특징으로 하는 3D 영상의 스케일 변환 장치.
2. 청구항 1에 있어서, 상기 기준영상은,
   상기 3D 입력 영상에서 좌영상이나 우영상 중 어느 하나이며, 상기 기준영상이 아닌 다른 영상은, 별도로 저장하였다가 홀 영역의 복원 시 사용하는 것을 특징으로 하는 3D 영상의 스케일 변환 장치.
   
3. 청구항 1에 있어서,
   상기 해상도에 따른 스케일 조절을 위한 정보들, 또는 입체감 조절에 관련된 정보들을 저장하는 데이터베이스;를 더 포함하고,
   그 데이터베이스의 정보를 참조하여 상기 기준영상과 뎁스맵의 이미지 스케일 및 입체감 정보를 자동으로 변환하는 것을 특징으로 하는 3D 영상의 스케일 변환 장치.
   
4. 청구항 3에 있어서, 상기 데이터베이스는,
   입력 영상의 스케일 변환에 관련된 정보들로서, 3D 디스플레이 장치의 종류, 제조사, 모델명, 화면 사이즈, 해상도, 입체감 조절에 관련된 정보들, 또는 그들의 조합 중 적어도 하나 이상을 포함하여 구성되는 것을 특징으로 하는 3D 영상의 스케일 변환 장치.
   
5. 청구항 1에 있어서, 상기 입체감 조절에 관련된 정보들 중 깊이정보는,
   해상도가 작아질수록 뎁스맵에 적용된 전체적인 깊이정보의 분포 범위를 더 넓게 조절하는 것을 특징으로 하는 3D 영상의 스케일 변환 장치.
   
6. 청구항 1에 있어서, 상기 해상도는,
   사용자의 선택, 또는 3D 디스플레이 장치에서 자신이 이미 알고 있는 정보를 이용하여 자동으로 선택할 수 있는 것을 특징으로 하는 3D 영상의 스케일 변환 장치.
   
7. 스케일 변환할 3D 입력 영상에서 기준영상을 추출하는 단계;
   상기 기준영상에 대한 뎁스맵을 생성하는 단계;
   상기 기준영상과 뎁스맵의 이미지 스케일을 원하는 해상도에 맞춰 조절하는 단계;
   깊이정보, 패럴랙스(Parallax), 제로 포인트(Zero point) 정보 또는 이들의 조합 중 적어도 어느 하나를 포함하는 상기 3D 입력 영상의 입체감 조절에 관련된 정보를 원하는 해상도에 알맞게 변환하는 단계;
   상기 스케일 조절된 기준영상과 입체감 조절에 관련된 정보들을 이용하여 가상시점영상을 생성하는 단계; 및
   상기 스케일 조절된 기준영상과 상기 가상시점영상을 합성하여 스케일 조절된 영상을 생성하는 단계; 포함하여 구성된 것을 특징으로 하는 3D 영상의 스케일 변환 방법.
8. 청구항 7에 있어서, 상기 기준영상은,
   상기 3D 입력 영상에서 좌영상이나 우영상 중 어느 하나이며, 상기 기준영상이 아닌 다른 영상은, 별도로 저장하였다가 홀 영역의 복원 시 사용하는 것을 특징으로 하는 3D 영상의 스케일 변환 방법.
   
9. 청구항 7에 있어서,
   화면 사이즈에 따른 스케일 조절을 위한 정보들, 또는 입체감 조절에 관련된 정보들을 저장하는 단계;를 더 포함하고,
   그 저장된 정보를 참조하여 상기 기준영상과 뎁스맵의 이미지 스케일 및 입체감 정보를 자동으로 변환하는 것을 특징으로 하는 3D 영상의 스케일 변환 방법.
10. 청구항 7에 있어서, 상기 입체감 조절에 관련된 정보들 중 깊이정보는,
    해상도가 작아질수록 뎁스맵에 적용된 전체적인 깊이정보의 분포 범위를 더 넓게 조절하는 것을 특징으로 하는 3D 영상의 스케일 변환 방법.
    

Images