KR20110113924A

KR20110113924A - 영상 변환 장치 및 이를 포함하는 입체 영상 표시 장치

Info

Publication number: KR20110113924A
Application number: KR1020100033266A
Authority: KR
Inventors: 박문산; 박철우; 민웅규
Original assignee: 삼성전자주식회사
Priority date: 2010-04-12
Filing date: 2010-04-12
Publication date: 2011-10-19
Also published as: US20110249886A1; KR101690297B1; JP2011223566A

Abstract

본 발명의 한 실시예에 따른 영상 변환 장치는 2차원 영상을 다운스케일하여 하나 이상의 다운스케일 영상을 생성하는 다운스케일부, 다운스케일 영상으로부터 특징정보를 추출하여 특징맵을 생성하고, 특징맵은 복수개의 객체를 포함하는 특징맵 생성부, 복수개의 객체를 분할하는 객체 분할부, 복수개의 객체의 깊이 순서를 결정하고, 복수개의 객체 중 얕은 깊이를 갖는 객체에 제1 가중치를 더하는 객체 순서 결정부, 그리고 특징맵의 시각적 관심도에 기초하여 로우-레벨 관심 맵을 생성하는 시각적 관심 계산부를 포함할 수 있다.

Description

영상 변환 장치 및 이를 포함하는 입체 영상 표시 장치{IMAGE CONVERTING DEVICE AND THREE DIMENSIONAL IMAGE DISPLAY DEVICE INCLUDING THE SAME}

영상 변환 장치 및 이를 포함하는 입체 영상 표시 장치가 제공된다.

일반적으로, 3차원 영상표시 기술에서는 근거리에서 입체감을 인식하는 가장 큰 요인인 양안시차(binocular parallax)를 이용하여 물체의 입체감을 표현한다. 즉, 왼쪽 눈(좌안)과 오른쪽 눈(우안)에는 각각 서로 다른 2차원 영상이 비춰지고, 좌안에 비춰지는 영상(이하, "좌안 영상(left eye image) "이라 함)과 우안에 비춰지는 영상(이하, "우안 영상(right eye image) "이라 함)이 뇌로 전달되면, 좌안 영상과 우안 영상은 뇌에서 융합되어 깊이감(depth perception)을 갖는 3차원 영상으로 인식된다.

입체 영상 표시 장치는 양안시차를 이용하는 것으로, 셔터 글래스(shutter glasses), 편광 안경(polarized glasses) 등의 안경을 이용하는 안경식(stereoscopic) 방법과, 안경을 이용하지 않고 표시 장치에 렌티큘러 렌즈(lenticular lens), 패럴랙스 배리어(parallax barrier) 등을 배치하는 비안경식(autostereoscopic) 방법이 있다.

일반적으로 3차원 영상을 제공하기 위해서는 여러 시점의 2차원 영상(multi-view 2D image)들이 필요하였으나, 이와 같은 방식은 과거에 제작된 단일시점 2차원 영상(single-view 2D image)을 활용할 수 없었다.

따라서, 2차원 영상의 3차원 영상으로의 변환은 과거에 제작된 컨텐츠를 차세대 디스플레이 장치에 적극적으로 활용하기 위한 작업이다. 2차원 영상을 3차원 영상으로 변환하기 위해서는 깊이 정보(depth information)를 생성하고, 시차를 생성하여, 좌안 영상과 우안 영상을 생성하였으나, 깊이 정보를 생성하는 과정에서 기술적으로 어려운 점이 많았다.

본 발명에 따른 한 실시예는 겹쳐져 있는 물체들을 분리하고 그 물체들 간의 배치 순서를 명확하게 함으로써, 깊이 정보를 갖는 이미지의 품질을 개선하기 위한 것이다.

본 발명에 따른 한 실시예는 데이터 연산량을 줄이고, 메모리 자원(memory resource)을 절약하기 위한 것이다.

상기 과제 이외에도 구체적으로 언급되지 않은 다른 과제를 달성하는 데 사용될 수 있다.

본 발명의 한 실시예에 따른 영상 변환 장치는 2차원 영상을 다운스케일하여 하나 이상의 다운스케일 영상을 생성하는 다운스케일부, 상기 다운스케일 영상으로부터 특징정보를 추출하여 특징맵을 생성하고, 상기 특징맵은 복수개의 객체를 포함하는 특징맵 생성부, 상기 복수개의 객체를 분할하는 객체 분할부, 상기 복수개의 객체의 깊이 순서를 결정하고, 상기 복수개의 객체 중 얕은 깊이를 갖는 객체에 제1 가중치를 더하는 객체 순서 결정부, 그리고 상기 특징맵의 시각적 관심도에 기초하여 로우-레벨 관심 맵을 생성하는 시각적 관심 계산부를 포함할 수 있다. 상기 얕은 깊이를 갖는 객체의 블록 세일리언시에 상기 제1 가중치를 더할 수 있다.

상기 객체 순서 결정부는 상기 복수개의 객체의 경계를 추출하는 경계 추출부, 상기 경계 주변에서의 블록 적률 또는 블록 세일리언시에 기초하여 상기 복수개의 객체의 깊이 순서를 판단하는 블록 비교부, 그리고 상기 가중치를 더하는 가중부를 포함할 수 있다.

상기 객체 순서 결정부는 상기 경계의 개수를 카운트하는 경계 개수부를 더 포함할 수 있다.

상기 블록 비교부는 상기 경계의 개수가 짝수인지 또는 홀수인지에 기초하여 상기 복수개의 객체 중 겹쳐져 있는 객체를 판별할 수 있다.

상기 복수개의 객체 중 깊은 깊이를 갖는 객체는 제2 가중치가 더해지거나 더해지지 않을 수 있고, 상기 제2 가중치는 상기 제1 가중치보다 작을 수 있다. 상기 깊은 깊이를 갖는 객체의 블록 세일리언시에 상기 제2 가중치를 더할 수 있다.

상기 로우-레벨 관심맵은 복수개가 존재할 수 있으며, 상기 복수개의 로우-레벨 관심맵을 결합하는 이미지 결합부를 더 포함할 수 있고, 상기 결합된 복수개의 로우-레벨 관심맵으로부터 시각적 관심맵이 생성될 수 있다.

상기 영상 변환 장치는 상기 결합된 복수개의 로우-레벨 관심맵을 필터링하는 이미지 필터링부를 더 포함할 수 있다.

상기 특징 맵은 중앙 영역과 주변 영역을 포함할 수 있고, 상기 시각적 관심도는 상기 중앙 영역의 히스토그램과 상기 주변 영역의 히스토그램의 차이에 기초하여 결정될 수 있다.

상기 특징 맵은 중앙 영역과 주변 영역을 포함할 수 있고, 상기 주변 영역과 상기 중앙 영역은 하나 이상의 단위블록을 포함할 수 있고, 그리고 상기 시각적 관심도는 블록 적률, 블록 세일리언시 또는 이들 모두에 기초하여 결정될 수 있다.

상기 영상 변환 장치는 상기 로우-레벨 관심맵을 필터링하는 이미지 필터링부를 더 포함할 수 있다.

상기 영상 변환 장치는 상기 시각적 관심맵과 상기 2차원 영상에 기초하여 시차 정보를 생성하는 시차 정보 생성부, 그리고 상기 시차 정보와 상기 2차원 영상에 기초하여 3차원 영상을 렌더링하는 입체 영상 렌더링부를 더 포함할 수 있다.

본 발명의 한 실시예에 따른 영상 변환 방법은 2차원 영상을 다운스케일하여 하나 이상의 다운스케일 영상을 생성하는 단계, 상기 다운스케일 영상으로부터 특징정보를 추출하여 특징맵을 생성하는 단계, 상기 특징맵은 복수개의 객체를 포함하고, 상기 복수개의 객체를 분할하는 단계, 상기 복수개의 객체의 깊이 순서를 결정하는 단계, 상기 복수개의 객체 중 얕은 깊이를 갖는 객체에 제1 가중치를 더하는 단계, 그리고 상기 특징맵의 시각적 관심도에 기초하여 로우-레벨 관심 맵을 생성하는 단계를 포함할 수 있다.

상기 영상 변환 방법은 상기 복수개의 객체의 경계를 추출하는 단계를 더 포함할 수 있고, 상기 경계 주변에서의 블록 적률 또는 블록 세일리언시에 기초하여 상기 복수개의 객체의 깊이 순서를 판단할 수 있다.

상기 영상 변환 방법은 상기 경계의 개수를 카운트하는 단계를 더 포함할 수 있다.

상기 영상 변환 방법은 상기 경계의 개수가 짝수인지 또는 홀수인지에 기초하여 상기 복수개의 객체 중 겹쳐져 있는 객체를 판별하는 단계를 더 포함할 수 있다.

상기 복수개의 객체 중 깊은 깊이를 갖는 객체는 제2 가중치가 더해지거나 더해지지 않고, 상기 제2 가중치는 상기 제1 가중치보다 작을 수 있다.

상기 영상 변환 방법은 상기 로우-레벨 관심맵은 복수개가 존재하며, 상기 복수개의 로우-레벨 관심맵을 결합하는 단계를 더 포함할 수 있고, 상기 결합된 복수개의 로우-레벨 관심맵으로부터 시각적 관심맵이 생성될 수 있다.

상기 영상 변환 방법은 상기 결합된 복수개의 로우-레벨 관심맵을 필터링하는 단계를 더 포함할 수 있다.

상기 다운스케일 영상은 상기 2 차원 영상이 가로 방향, 세로 방향 또는 가로 및 세로 방향으로 다운스케일되어 있을 수 있다.

상기 다운스케일 영상은 복수개가 존재할 수 있으며, 상기 복수개의 다운스케일 영상은 하나의 프레임에서 처리될 수 있다.

상기 영상 변환 방법은 상기 시각적 관심맵과 상기 2차원 영상에 기초하여 시차 정보를 생성하는 단계, 그리고 상기 시차 정보와 상기 2차원 영상에 기초하여 3차원 영상을 렌더링하는 단계를 더 포함할 수 있다.

본 발명의 한 실시예에 따른 입체 영상 장치는 복수의 화소를 포함하는 표시 패널, 그리고 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치를 포함할 수 있다.

상기 영상 변환 장치는 2차원 영상을 다운스케일하여 하나 이상의 다운스케일 영상을 생성하는 다운스케일부, 상기 다운스케일 영상으로부터 특징정보를 추출하여 특징맵을 생성하고, 상기 특징맵은 복수개의 객체를 포함하는 특징맵 생성부, 상기 복수개의 객체를 분할하는 객체 분할부, 상기 복수개의 객체의 깊이 순서를 결정하고, 상기 복수개의 객체 중 얕은 깊이를 갖는 객체에 제1 가중치를 더하는 객체 순서 결정부, 그리고 상기 특징맵의 시각적 관심도에 기초하여 로우-레벨 관심 맵을 생성하는 시각적 관심 계산부를 포함할 수 있다.

본 발명에 따른 한 실시예는 겹쳐져 있는 객체들을 분리할 수 있고, 그 객체들 간의 배치 순서를 명확하게 할 수 있으며, 깊이 정보를 갖는 이미지의 품질을 개선할 수 있고, 데이터 연산량을 줄일 수 있고, 메모리 자원을 절약할 수 있다.

도 1은 본 발명의 한 실시예에 따른 영상 변환 장치를 개략적으로 타나내는 블럭도이다.
도 2는 본 발명의 한 실시예에 따른 시각적 관심 계산부를 개략적으로 나타내는 블럭도이다.
도 3은 본 발명의 한 실시예에 따른 객체 순서 결정부를 개략적으로 나타내는 블록도이다.
도 4는 본 발명의 한 실시예에 따른 다운 스케일부에 의해 처리된 이미지를 나타내는 도면이다.
도 5는 본 발명의 한 실시예에 따른 영역 설정부의 처리 방법을 나타내는 도면이다.
도 6은 본 발명의 한 실시예에 따른 로우 레베 관심 계산 방법을 나타내는 도면이다.
도 7 및 도 8은 본 발명의 한 실시예에 따른 객체 순서 결정 방법을 타나내는 처리 방법을 나타내는 도면이다.

첨부한 도면을 참고로 하여 본 발명의 실시예에 대해 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 도면부호가 사용되었다. 또한 널리 알려져 있는 공지기술의 경우 그 구체적인 설명은 생략한다.

그러면, 본 발명의 실시예에 따른 입체 영상 표시 장치에 대하여 도 1 내지 도 8을 참고하여 상세하게 설명한다.

여기서 입체 영상 표시 장치는 셔터 글래스, 편광 안경 등의 안경을 이용하는 안경식 입체 영상 표시 장치, 렌티큘러 렌즈, 패럴랙스 배리어 등을 이용하는 비안경식 입체 영상 표시 장치 등을 모두 포함할 수 있다. 입체 영상 표시 장치는 복수의 화소를 포함하는 표시 패널을 포함한다.

도 1은 본 발명의 한 실시예에 따른 영상 변환 장치를 개략적으로 타나내는 블럭도이다.

여기서 영상 변환 장치는 입체 영상 표시 장치에 임베디드(embedded)될 수 있다. 이외에도 영상 변환 장치는 지상파 방송 튜너, 위성 방송 수신 단말기, 케이블 텔레비전 수신 컨버터, VCR, DVD 플레이어, HDTV 방송 수신기, 플루레이 디스크 플레이어, 게임 콘솔 등 다양한 영상 수신 및 재생 장비에 임베디드될 수 있다.

도 1을 참고하면, 영상 변환 장치는 다운스케일부(downscaling unit)(10), 특징 맵 생성부(feature map generating unit)(20), 시각적 관심 계산부(visual attention calculating unit)(30), 영상 결합부(image combination unit)(40), 영상 확장부(image expansion unit)(50), 영상 필터링부(image filtering unit)(60), 시차 정보 생성부(parallax information generating unit)(70), 입체 영상 렌더링부(3D image rendering unit)(80), 객체 분할부(object segmentation unit)(90), 및 객체 순서 결정부(object order determination unit)(100)를 포함할 수 있다. 영상 변환 장치는 메모리를 포함하거나 외부 메모리에 연결될 수 있다. 영상 변환 장치는 메모리를 이용하여 후술하는 다양한 종류의 연산이 수행될 수 있다.

영상 변환 장치는 2차원 영상(2D image)을 3차원 영상(3D image)으로 변환한다. 여기서, 2차원 영상이란 단일 시점을 갖는 전형적인 2차원 영상을 의미하며, 3차원 영상이란 스테레오 시점(stereo-view) 등의 다중 시점(multi-view)을 갖는 2차원 영상을 의미한다. 예를 들어, 3차원 영상은 좌안 영상, 우안 영상 또는 이들 모두를 의미할 수 있으며, 좌안 영상과 우안 영상 각각은 2차원 평면 상에 표시되는 영상이다. 또한, 좌안 영상과 우안 영상은 동시에 2 차원 평면 상에 출력될 수도 있고, 좌안 영상과 우안 영상이 순차적으로 2 차원 평면 상에 출력될 수도 있다.

영상 변환 장치로 입력된 2차원 영상은 깊이 정보를 갖는 시각적 관심 맵(visual attention map)으로 변환되고, 시각적 관심 맵과 입력된 2차원 영상에 기초하여 시차 정보 생성부(70)가 시차 정보(parallax information)를 생성한다. 여기서, 시차 정보는 이미지의 각 화소 별로 또는 화소 그룹별로 생성될 수 있다. 입체 영상 렌더링부(80)는 원본 2차원 영상과 시차 정보에 기초하여 3차원 영상을 렌더링한다. 예를 들어, 입체 영상 렌더링부(80)는 입력된 2차원 영상과 시차 정보에 기초하여 좌안 영상과 우안 영상을 렌더링할 수 있다.

시각적 관심도(visual attention)는 인간의 뇌와 인지 시스템이 일반적으로 영상의 특정 영역에 더 집중한다는 것을 의미하며, 이러한 것은 다양한 분야에서 입증되었다. 시각적 관심도는 생리학(physiology), 심리학(psychology), 신경계학(neural systems), 컴퓨터 비전(computer vision) 등에서 오랜 시간 연구가 이루어지고 있는 주제이다. 아울러, 시각적 관심도는 컴퓨터 비전에서, 물체 인식, 추적, 발견 등과 관련한 솔루션에 이용되고 있다.

시각적 관심 맵이란, 2차원 영상에 대한 시각적 관심도를 계산함으로써 생성되는 이미지이며, 2차원 영상에서의 객체(object)에 대한 중요도와 관련된 정보를 포함할 수 있다. 예를 들어, 시각적으로 흥미로운 영역을 관찰자에게 가깝게 배치하고, 시각적으로 흥미롭지 않은 영역을 관찰자로부터 멀리 배치할 수 있다. 즉, 시각적으로 흥미로운 영역은 관찰자에게 가깝게 배치하기 위하여 밝게(즉, 그레이 값을 크게) 나타나고, 시각적으로 흥미롭지 않은 영역을 관찰자로부터 멀리 배치하기 위하여, 어둡게(즉, 그레이 값을 작게) 나타난다. 객체와 배경을 포함하고 있는 이미지에서, 객체는 밝게 나타나고 배경은 어둡게 나타날 수 있으며, 이에 따라 객체가 배경으로부터 돌출되어 있는 것처럼 보일 수 있다. 시각적 관심 맵의 크기는 960x1080일 수 있다.

이하에서, 2차원 영상으로부터 시각적 관심 맵을 생성하는 과정에 대하여 상세하게 설명한다.

도 1을 참고하면, 다운스케일부(10)는 2차원 영상을 다운스케일하여 하나 이상의 다운스케일 영상을 생성한다. 예를 들어, 2차원 영상을 가로로 m번, 세로로 n번 다운스케일하여 직사각 영상의 피라미드(rectangular pyramid)를 생성할 수 있다. 다운스케일부(10)는 가로 다운스케일부 및 세로 다운스케일부를 포함할 수 있다. 가로 다운스케일부는 2차원 영상을 가로 방향으로 다운스케일하여 하나 이상의 다운스케일 영상을 생성할 수 있고, 세로 다운스케일부는 2차원 영상을 세로 방향으로 다운스케일하여 하나 이상의 다운스케일 영상을 생성할 수 있다.

도 3을 참고하면, 가로 방향으로 2번, 세로방향으로 2번 각각 다운스케일한 직사각 영상의 피라미드가 도시되어 있다. 즉, 2차원 영상(210)은 가로로 2 번 다운스케일되어 두 개의 다운스케일 영상(213, 214)이 생성될 수 있다. 3 개의 영상(210, 213, 214)은 각각 세로로 2 번 다운스케일되어 6 개의 다운스케일 영상(211, 212, 215, 216, 217, 218)이 생성될 수 있다. 결국, 9 개의 영상으로 구성된 직사각 영상의 피라미드가 생성될 수 있다. 예를 들어, 3 개의 영상(210, 213, 214)의 세로 해상도는 각각 540, 270, 135일 수 있으며, 3 개의 영상(210, 211, 212)의 가로 해상도는 각각 960, 480, 240일 수 있다. 여러 개의 다운스케일된 직사각 영상들이 하나의 프레임에서 처리될 수 있으므로, 빠른 영상 처리가 가능하다.

도 1 및 도 6을 참고하면, 특징맵 생성부(20)는 2차원 영상 및 하나 이상의 다운스케일 영상으로부터 특징정보(feature information)를 추출하여 하나 이상의 특징맵(feature map)을 생성할 수 있다. 여기서, 특징정보는 휘도(luminance), 색(color), 텍스쳐(texture), 모션(motion), 방향성(orientation) 등일 수 있다. 예를 들어, 직사각 영상의 피라미드에서각 화소 별로 또는 임의의 화소 그룹별로 휘도 정보를 추출하여 이미지를 생성할 수 있으며, 생성된 이미지는 하나의 특징 맵이 될 수 있다.

시각적 관심 계산부(30)는 하나 이상의 특징맵을 이용하여 로우 레벨 관심 계산(low-level attention computation)을 수행하고, 로우 레벨 관심 계산의 결과에 기초하여 로우 레벨 관심맵을 생성할 수 있다. 예를 들어, 시각적 관심 계산부(30)는 로우 레벨 관심 계산을 수행하기 위해 중앙 영역의 히스토그램과 주변 영역의 히스토그램의 차이를 이용할 수 있다.

도 2를 참고하면, 시각적 관심 계산부(30)는 영역 설정부(area setup unit)(31), 히스토그램 계산부(histogram calculating unit)(32) 및 관심맵 생성부(attention map generating unit)(33)를 포함할 수 있다.

영역 설정부(31)는 하나 이상의 특징맵에 대하여 중앙 영역 및 주변 영역을 설정할 수 있으며, 주변 영역은 중앙 영역을 둘러싸고 있을 수 있다. 영역 설정부(31)는 단위블록 설정부(unit-block setup unit), 중앙영역 설정부(center-area setup unit) 및 주변영역 설정부(surrounding-area setup unit)를 포함할 수 있다.

단위블록 설정부는 정사각형 또는 직사각형의 단위블록을 설정할 수 있다. 예를 들어, 단위블록은 8 (pixels) x 8 (pixels) 크기를 가질 수 있다. 여기서, 중앙 영역과 주변 영역의 가능한 조합의 수는 2차원 영상 크기에 따라 기하급수적으로 증가할 수 있으므로, 중앙 영역과 주변 영역의 가능한 조합의 수를 줄이기 위해 단위블록이 사용될 수 있다. 이에 따라, 데이터 연산량이 감소될 수 있다.

중앙영역 설정부는 중앙 영역을 단위블록의 크기로 설정하고, 주변영역 설정부는 주변 영역을 단위블록을 복수 개 합산한 크기로 설정할 수 있다. 도 5를 참고하면, 임의의 크기의 단위블록이 설정되고, 중앙 영역과 주변 영역이 단위블록의 조합으로만 이루어질 수 있다. 예를 들어, 2차원 영상은 다운스케일되어 다양한 스케일의 영상이 생성될 수 있고, 중앙 영역은 하나의 단위블록에 대응될 수 있다. 이때, 주변 영역은 중앙 영역에 대응되는 블록을 포함하는 k개의 이웃 블록(neighborhood block)으로 설정될 수 있다. 예를 들어, 도 5를 참고하면, 중앙 영역이 B0 블록(310) 하나로 설정하고, 주변 영역은 B1 블록(311), B2 블록(312), B3 블록(313), B4 블록(314)으로 설정될 수 있다. 따라서, B0 블록(310)의 히스토그램과 B1 블록 내지 B4 블록(311, 312, 313, 314)의 히스토그램의 차이를 구할 수 있다.

히스토그램 계산부(32)는 중앙 영역의 특징정보 히스토그램과 주변 영역의 특징정보 히스토그램의 차이를 계산할 수 있다. 여기서, 히스토그램은 인텐시티 히스토그램(intensity histogram), 컬러 히스토그램(color histogram) 등일 수 있다.

도 5를 참고하여, 히스토그램의 차이를 계산하는 과정을 상세하게 설명한다.

중앙-주변 히스토그램(center-surround histogram)을 사용하기 위해, 특징맵(410)의 임의의 픽셀을 기준으로 두 가지 타입의 이웃 영역(neighbor area)을 정의할 수 있다. 즉, 기준이 되는 픽셀에 따라서 중앙 영역(center area)(411), 주변 영역(surrounding area)(412)을 정의할 수 있다. 주변 영역(412)은 중앙 영역(411)을 포함할 수 있으며, 주변 영역(412)의 면적은 중앙 영역(411)의 면적보다 클 수 있다.

따라서, 상기 중앙 영역 및 상기 주변 영역의 히스토그램을 추출하고, 다양한 히스토그램 차이 측정(histogram distance measure) 방법을 사용하여 중앙 영역 및 주변 영역의 특징 값의 차이(421)를 구할 수 있다. 따라서, 중앙 영역 및 주변 영역의 특징의 차이 값에 따른 로우 레벨 관심맵(420)을 생성할 수 있다.

히스토그램 차이를 계산하기 위해 다양한 방법이 사용될 수 있다. 예를 들어, 카이제곱(chi square,

)을 사용할 수 있다. 즉, 중앙 영역을 R이라 하고, 주변을 Rs라 하면, Ri를 휘도(Luminance), 색(Color), 텍스쳐(Texture) 등을 사용할 수 있는 히스토그램의 i번째 빈(Bin)이라고 했을 때, 중앙-주변 히스토그램은 중앙 영역 히스토그램과 주변 영역 히스토그램의 카이제곱 차이와 같으며, 아래 [수학식 1]과 같이 표현될 수 있다.

[수학식 1]

관심맵 생성부(33)는 특징정보 히스토그램의 차이를 이용하여 로우-레벨 관심맵을 생성할 수 있다.

한편, 하나 이상의 특징맵을 이용하여 로우 레벨 관심 계산을 수행하기 위해 중앙-주변 히스토그램의 전부를 이용하지 않고, 히스토그램의 적률(moment)을 이용할 수 있다. 여기서, 적률은 평균(mean), 분산(variance), 표준편차(standard deviation), 및 비대칭도(skewness) 중 적어도 하나를 포함할 수 있다. 예를 들어, 하나의 단위블록에 포함되어 있는 복수의 화소의 휘도값들에 대하여 평균, 분산, 표준편차 및 비대칭도를 계산할 수 있다. 히스토그램의 적률을 이용함으로써, 메모리 자원을 절약할 수 있다.

예를 들어, i 번째 블록의 j번째 픽셀의 값이 Pij 라면, i 번째 블록의 적률들은 아래 [수학식 2]와 같이 표현될 수 있다.

[수학식 2]

여기서,

는 평균을,

는 분산을,

는 비대칭도를 각각 의미한다.

또한, 이 경우, 특정 블록의 세일리언시(saliency)는 아래 [수학식 3]과 같이 정의할 수 있다.

[수학식 3]

여기서, 파라미터 w들은 적률간의 상대적 중요도를 조절하는 가중치이고, 기본 설정 값은 1일 수 있다. 또한, B0, B1, B2, B3, B4는 도 4에 도시된 블록일 수 있다. 예를 들어, B0 내지 B4에 대한 블록 적률을 계산한 후, B0 내지 B4에 대한 블록 적률을 이용하여 하나의 블록 세일리언시를 구할 수 있다.

도 1을 참고하면, 특징정보 히스토그램의 차이를 이용하여 로우-레벨 관심 맵을 생성하는 과정에서, 객체 분할부(90)와 객체 순서 결정부(100)가 수행된 결과가 추가적으로 이용될 수 있다. 또는 로우-레벨 관심 맵을 생성한 후, 객체 분할부(90)와 객체 순서 결정부(100)가 수행된 결과가 로우-레벨 관심 맵에 반영될 수도 있다. 객체 분할부(90)에 의해 겹쳐진 객체들이 분할되고, 객체 순서 결정부(100)에 의해 분할된 객체들과 배경의 깊이 순서가 결정될 수 있다.

객체 분할부(90)는 하나의 이미지에 여러 개의 객체들, 배경 등이 포함되어 있는 이미지에서 겹쳐져 있는 객체들를 분할할 수 있다. 도 8에 도시된 것처럼, 객체 분할부(90)에 의해 겹쳐진 객체들이 두 개로 분할될 수 있다. 겹쳐진 객체들이 분할되지 않은 상태로 이미지 필터링이 수행될 경우, 겹쳐진 객체들이 하나의 객체인 것으로 인식되어 필터링될 수 있고, 이에 따라 객체들 간의 깊이 순서를 정하는 것이 어려울 수 있다.

객체들을 분할 하는 방법으로는 분할 알고리듬(segmentation algorithm)이 이용될 수 있으며, 분할 알고리듬으로 워터셔드(watershed) 알고리듬 등이 있다.

객체 순서 결정부(100)는 가로 방향 또는 세로 방향으로 스캐닝(scanning)을 하면서 객체들과 배경의 깊이 순서를 결정할 수 있다. 여기서 배경은 생략될 수 있다. 즉, 객체들 중 어느 것이 관찰자에게 가깝게 배치되어 있는지(깊이가 얕은지), 어느 것이 관찰자로부터 멀리 배치되어 있는지(깊이가 깊은지)를 결정할 수 있다. 여기서 배경은 일반적으로 객체들보다 관찰자로부터 멀리 배치되어 있을 수 있다. 도 3에 도시된 것처럼, 객체 순서 결정부(100)는 경계 추출부(edge extraction unit)(110), 경계 계수부(edge counting unit)(120), 블록 비교부(130) 및 가중부(weighting unit)를 포함할 수 있다.

경계 추출부(110)는 이미지에 포함되어 있는 객체들의 외곽선을 추출할 수 있다. 예를 들어, 객체들의 외곽선을 추출하기 위하여, 하이패스필터(high pass filter) 등이 이용될 수 있다. 도 7의 이미지 또는 도 8의 이미지를 하이패스필터에 의해 필터링하면, 좌측 원의 외곽선과 우측 원의 외곽선이 추출될 수 있다. 예를 들어, 좌측 원과 우측 원의 외곽선의 그레이 값은 255일 수 있으며, 원의 내부 영역과 외부 영역의 그레이 값은 모두 0일 수 있다.

경계 계수부(120)는 가로 방향 또는 세로 방향으로 스캐닝을 하면서 외곽선(또는 경계)의 개수를 셀 수 있다. 도 7을 참고하면, 경계 계수부(120)가 가로 방향으로 스캐닝을 할 때, 경계 계수부(120)는 그레이 값을 갖는 외곽선을 3 회 카운팅할 수 있다. 도 8을 참고하면, 경계 계수부(120)가 가로 방향으로 스캐닝을 할 때, 경계 계수부(120)는 255의 그레이 값을 갖는 외곽선을 4 회 카운팅할 수 있다. 경계 계수부(120)는 생략될 수도 있다.

블록 비교부(130)는 경계 주변에서의 블록들의 블록 적률(block moment) 또는 블록 세일리언시(block saliency)에 기초하여, 객체들과 배경의 깊이 순서를 결정할 수 있다. 또는 블록 비교부(130)는 추가적으로 경계의 개수가 짝수인지 또는 홀수인지에 기초하여, 객체들이 겹쳐져 있는지 여부를 판별할 수 있다.

가중부(140)는 객체들과 배경의 깊이 순서가 정해진 후, 관찰자에게 더 가까이 배치되어 있는 객체들일수록 가중치를 크게 부여할 수 있다. 예를 들어, 특징 정보가 휘도인 경우, 관찰자에게 가까이 배치되어 있는 객체의 블록 세일리언시에 큰 그레이 값을 더할 수 있고, 관찰자로부터 멀리 배치되어 있는 객체의 블록 세일리언시에 작은 그레이 값을 더하거나 더하지 않을 수 있다. 따라서 관찰자에게 가까이 배치되어 있는 객체와 관찰자로부터 멀리 떨어져 있는 객체의 구분이 명확해질 수 있으며, 깊이 정보를 갖는 이미지의 품질이 개선될 수 있다. 나아가, 객체 간의 깊이 순서를 명확하게 하였으므로, 이미지 필터링이 수행되어도 객체 간의 깊이 순서가 뒤바뀌지 않을 수 있다. 객체들이 겹쳐져 있는지 여부에 기초하여 가중치 부여 여부를 결정할 수 있다. 즉, 객체들이 겹쳐져 있는 경우에는 관찰자에게 더 가까이 배치되어 있는 객체에 가중치를 크게 부여할 수 있고, 객체들이 겹쳐져 있지 않은 경우에는 어느 객체에도 가중치를 부여하지 않을 수 있다. 또는, 객체들이 겹쳐져 있는지 여부와 무관하게, 관찰자에게 더 가까이 배치되어 있는 객체에 항상 더 큰 가중치를 부여할 수 있다. 가중치는 실험에 의해 적절하게 정해질 수 있다.

예를 들어, 도 7 및 도 8에 도시된 것처럼, 특징 정보가 휘도이며, 이미지가 2 개의 객체를 포함하고 있는 경우에 대해 상세하게 설명한다.

경계의 개수가 홀수인 경우, 도 7에 도시된 것처럼, 2 개의 객체는 겹쳐져 있을 수 있으며, 2 개의 객체 중 블록 적률 또는 블록 세일리언시가 더 큰 객체가 더 밝을 수 있으며, 관찰자에게 더 가까이 배치되어 있을 수 있다. 따라서 블록 세일리언시가 더 큰 객체의 블록 세일리언시에 더 큰 가중치를 더할 수 있다. 도 7의 경우, 제5 블록(B5)의 세일리언시가 제4 블록(B4)의 세일리언시보다 더 크므로, 제5 블록(B5)이 포함되어 있는 객체가 제4 블록(B4)가 포함되어 있는 객체보다 관찰자에게 더 가까이 배치되어 있으며, 이에 따라 제 5 블록(B5)의 세일리언시에 더 큰 가중치를 더할 수 있다.

또한, 경계의 개수가 짝수인 경우, 도 8에 도시된 것처럼, 2 개의 객체는 겹쳐져 있지 않을 수 있다. 이 경우, 2 개의 객체의 블록 세일리언시에 가중치를 더하지 않을 수 있다. 또는 떨어져 있는 2 개의 객체 사이의 깊이감을 더 명확하게 만들기 위하여, 2 개의 객체 중 더 큰 블록 세일리언시를 갖는 객체의 블록 세일리언시에 가중치를 더할 수도 있다. 도 8의 경우, 경계의 개수가 4 개이므로, 2 개의 객체에 가중치를 부여하지 않을 수 있다. 또는, 제3 블록(B3)의 세일리언시가 제1 블록(B1)의 세일리언시보다 더 크므로, 제 3 블록(B3)의 세일리언시에 더 큰 가중치를 더할 수도 있다.

이외에도, 경계의 개수를 카운팅하지 않는 경우, 경계 주변에서 경계를 기준으로 좌측 블록의 세일리언시와 우측 블록의 세일리언시를 비교한 후, 우측 블록의 세일리언시가 큰 경우, 우측 블록의 세일리언시에 큰 가중치를 더할 수 있고, 좌측 블록의 세일리언시에는 가중치를 더하지 않거나 작은 가중치를 더할 수 있다. 우측 블록의 세일리언시가 작은 경우, 좌측 블록의 세일리언시와 우측 블록의 세일리언시에 가중치를 더하지 않을 수 있다.

도 7을 참고하면, 가로 방향으로 스캐닝을 할 때, 제4 블록 및 제5 블록(B4, B5)의 블록 적률 또는 블록 세일리언시를 비교하여, 좌측 원과 우측 원의 깊이 순서를 결정할 수 있다. 가로 방향으로 배치되어 있는 경계들 중에서 가운데 경계보다 왼쪽에 위치하는 제4 블록(B4)의 적률 또는 세일리언시, 그리고 가운데 경계보다 오른쪽에 위치하는 제5 블록(B5)의 적률 또는 세일리언시를 비교할 수 있다. 예를 들어, 적률이 평균인 경우, 그레이 값에 대한 평균이 계산될 수 있다. 각 블록(B4, B5)의 적률은 해당 블록 안에 포함되어 있는 화소들의 그레이 값에 대한 평균이다. 각 블록(B4, B5)의 세일리언시는 임의의 블록(B4, B5)의 적률과 임의의 블록(B4, B5)의 상하좌우에 위치하는 4 개의 블록들의 적률에 기초하여 계산될 수 있다. 예를 들어, 제4 블록(B4)의 세일리언시는 150, 제5 블록(B5)의 세일리언시는 300일 수 있다. "제4 블록(B4)의 세일리언시 < 제5 블록(B5)의 세일리언시"이므로, 더 큰 값을 가지는 제5 블록(B5) 세일리언시에 가중치 30을 더할 수 있고, 제4 블록(B4)의 세일리언시에 가중치를 더하지 않거나 가중치 5를 더할 수 있다. 또는 블록 적률 값들의 비교에 기초하여 블록 세일리언시에 가중치를 더할 수 있다. 나아가, 제4 블록(B4)이 위치하는 좌측 원 전체에 동일한 가중치를 동시에 더할 수 있으며, 제5 블록(B5)이 위치하는 좌측 원 전체에 동일한 가중치를 동시에 더할 수 있다.

도 8을 참고하면, 가로 방향으로 스캐닝을 할 때, 제1 블록 내지 제3 블록(B1, B2, B3)의 블록 적률 또는 블록 세일리언시를 비교하여, 좌측 원, 우측 원 및 배경의 깊이 순서를 결정할 수 있다. 가로 방향으로 배치되어 있는 경계들 중에서 가운데 2 개의 경계들 사이의 제2 블록(B2)의 적률 또는 세일리언시, 가운데 2 개의 경계들 중 좌측의 경계보다 왼쪽에 위치하는 제1 블록(B1)의 적률 또는 세일리언시, 그리고 가운데 2 개의 경계들 중 우측의 경계보다 오른쪽에 위치하는 제3 블록(B3)의 적률 또는 세일리언시를 비교할 수 있다. 예를 들어, 적률이 평균인 경우, 그레이 값에 대한 평균이 계산될 수 있다. 각 블록(B1, B2, B3)의 적률은 해당 블록 안에 포함되어 있는 화소들의 그레이 값에 대한 평균이다. 각 블록(B1, B2, B3)의 세일리언시는 임의의 블록(B1, B2, B3)의 적률과 임의의 블록(B1, B2, B3)의 상하좌우에 위치하는 4 개의 블록들의 적률에 기초하여 계산될 수 있다. 예를 들어, 제1 블록(B1)의 세일리언시는 150, 제2 블록(B2)의 세일리언시는 50, 제3 블록(B3)의 세일리언시는 300일 수 있다. "제2 블록(B2)의 세일리언시 < 제1 블록(B1)의 세일리언시 < 제3 블록(B3)의 세일리언시"이므로, 제3 블록(B3)의 세일리언시에 30의 가중치를 더할 수 있고, 제1 블록(B1)의 세일리언시에 5의 가중치를 더할 수 있고, 제2 블록(B2)의 세일리언시에는 가중치를 더하지 않을 수 있다. 또는 블록 적률 값들의 비교에 기초하여 블록 세일리언시에 가중치를 더할 수 있다. 나아가, 제3 블록(B3)이 위치하는 우측 원 전체에 동일한 가중치를 동시에 더할 수 있으며, 제1 블록(B1)이 위치하는 좌측 원 전체에 동일한 가중치를 동시에 더할 수 있다.

하나 이상의 다운스케일 영상 별로 생성된 로우-레벨 관심 맵은 선택적으로 이미지 필터링부(60)에 의해 처리될 수 있다. 예를 들어, 필터링하는 방법은 정규화 곡선(normalization curve)을 이용하는 방법, 시그모이드 곡선(sigmoid curve)을 이용하는 방법, 바이래터럴 필터(bilateral filter)를 이용하는 방법 등이 있으며, 1 가지 이상의 방법이 순차적으로 이용될 수 있다. 구체적으로, 바이래터럴 필터는 10x10 데시메이션(decimation)을 수행한 후, 5x5x5 로우 패스 필터(low pass filter)를 사용하여 필터링한 후, 10x10 보간(interpolation)을 수행할 수 있다.

로우-레벨 관심맵은 이미지 확장부(50)에 의해 업스케일될 수 있다. 예를 들어, 업스케일시에는 바이큐빅 보간(bi-cubic interpolation) 등을 사용할 수 있다. 여기서, 이미지를 업스케일하는 과정에서, 각 화소별 이미지 데이터에 가중치를 더할 수 있다. 여기서 각 화소별 이미지 데이터는 배경 이미지에 해당할 수 있다. 즉, 로우-레벨 관심맵에서 하부에 위치하는 이미지 데이터에 가중치를 부여하지 않거나, 점점 감소하는 가중치를 더할 수 있다. 이에 따라, 이미지를 필터링해도, 이미지는 상부에서 어두운 그레이 값을 가지며, 아래 방향으로 점점 밝아지는 그레이 값을 가질 수 있다. 따라서, 그레이값의 왜곡이 방지될 수 있고, 이미지의 품질이 개선될 수 있다.

만약, 이미지의 하부에 더해지는 가중치가 점점 증가한다면, 직사각 영상의 피라미드를 필터링할 때, 직사각 영상의 피라미드의 상하 방향으로 서로 인접한 두 개의 이미지에서 상부 이미지의 하단의 밝은 그레이 값이 하부 이미지의 상단의 어두운 그레이 값에 영향을 주기 때문에, 필터링 결과 하부 이미지의 상단은 어두운 그레이 값을 가질 수 없고, 밝은 그레이 값을 가질 수 있다. 따라서, 필터링에 의해 이미지의 그레이 값이 왜곡될 수 있다.

이미지 결합부(40)는 이미지 확장부(50)에 의해 확장된 동일한 크기의 하나 이상의 이미지를 서로 결합한다. 예를 들어, 하나 이상의 이미지를 서로 겹친 후 더할 수 있다.

다음, 결합된 이미지는 이미지 필터링부(60)에 의해 필터링될 수 있다. 이미지 필터링부(60)는 전술한 것처럼, 한 가지 이상의 필터링 방법이 순차적으로 수행될 수 있다.

또한, 결합된 이미지는 이미지 확장부(50)에 의해 확장될 수 있다. 예를 들어, 결합된 이미지 크기가 960x540일 경우, 이미지 확장부(50)에 의해 960x1080의 크기를 갖는 이미지로 확장될 수 있다.

이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량형태 또한 본 발명의 권리범위에 속하는 것이다.

10: 다운스케일부 20: 특징 맵 생성부
30: 시각적 관심 계산부 40: 영상 결합부
50: 영상 확장부 60: 영상 필터링부
70: 시차 정보 생성부 80: 입체 영상 렌더링부
90: 객체 분할부 100: 객체 순서 결정부

Claims

2차원 영상을 다운스케일하여 하나 이상의 다운스케일 영상을 생성하는 다운스케일부,
상기 다운스케일 영상으로부터 특징정보를 추출하여 특징맵을 생성하고, 상기 특징맵은 복수개의 객체를 포함하는 특징맵 생성부,
상기 복수개의 객체를 분할하는 객체 분할부,
상기 복수개의 객체의 깊이 순서를 결정하고, 상기 복수개의 객체 중 얕은 깊이를 갖는 객체에 제1 가중치를 더하는 객체 순서 결정부, 그리고
상기 특징맵의 시각적 관심도에 기초하여 로우-레벨 관심 맵을 생성하는 시각적 관심 계산부
를 포함하는 영상 변환 장치.
제1항에서,
상기 객체 순서 결정부는
상기 복수개의 객체의 경계를 추출하는 경계 추출부,
상기 경계 주변에서의 블록 적률 또는 블록 세일리언시에 기초하여 상기 복수개의 객체의 깊이 순서를 판단하는 블록 비교부, 그리고
상기 가중치를 더하는 가중부
를 포함하는 영상 변환 장치.
제2항에서,
상기 얕은 깊이를 갖는 객체의 블록 세일리언시에 상기 제1 가중치를 더하는 영상 변환 장치.
제2항에서,
상기 객체 순서 결정부는 상기 경계의 개수를 카운트하는 경계 개수부를 더 포함하는 영상 변환 장치.
제4항에서,
상기 블록 비교부는 상기 경계의 개수가 짝수인지 또는 홀수인지에 기초하여 상기 복수개의 객체 중 겹쳐져 있는 객체를 판별하는 영상 변환 장치.
제1항에서,
상기 복수개의 객체 중 깊은 깊이를 갖는 객체는 제2 가중치가 더해지거나 더해지지 않고, 상기 제2 가중치는 상기 제1 가중치보다 작은 영상 변환 장치.
제4항에서,
상기 깊은 깊이를 갖는 객체의 블록 세일리언시에 상기 제2 가중치를 더하는 영상 변환 장치.
제1항에서,
상기 로우-레벨 관심맵은 복수개가 존재하며, 상기 복수개의 로우-레벨 관심맵을 결합하는 이미지 결합부를 더 포함하고, 상기 결합된 복수개의 로우-레벨 관심맵으로부터 시각적 관심맵이 생성되는 영상 변환 장치.
제8항에서,
상기 결합된 복수개의 로우-레벨 관심맵을 필터링하는 이미지 필터링부를 더 포함하는 상기 영상 변환 장치.
제9항에서,
상기 특징 맵은 중앙 영역과 주변 영역을 포함하고, 상기 시각적 관심도는 상기 중앙 영역의 히스토그램과 상기 주변 영역의 히스토그램의차이에 기초하여 결정되는 영상 변환 장치.
제9항에서,
상기 특징 맵은 중앙 영역과 주변 영역을 포함하고, 상기 주변 영역과 상기 중앙 영역은 하나 이상의 단위블록을 포함하고, 그리고 상기 시각적 관심도는 블록 적률, 블록 세일리언시 또는 이들 모두에 기초하여 결정되는 영상 변환 장치.
제1항에서,
상기 로우-레벨 관심맵을 필터링하는 이미지 필터링부를 더 포함하는 영상 변환 장치.
제1항에서,
상기 시각적 관심맵과 상기 2차원 영상에 기초하여 시차 정보를 생성하는 시차 정보 생성부, 그리고
상기 시차 정보와 상기 2차원 영상에 기초하여 3차원 영상을 렌더링하는 입체 영상 렌더링부
를 더 포함하는 영상 변환 장치.
2차원 영상을 다운스케일하여 하나 이상의 다운스케일 영상을 생성하는 단계,
상기 다운스케일 영상으로부터 특징정보를 추출하여 특징맵을 생성하는 단계,
상기 특징맵은 복수개의 객체를 포함하고, 상기 복수개의 객체를 분할하는 단계,
상기 복수개의 객체의 깊이 순서를 결정하는 단계,
상기 복수개의 객체 중 얕은 깊이를 갖는 객체에 제1 가중치를 더하는 단계, 그리고
상기 특징맵의 시각적 관심도에 기초하여 로우-레벨 관심 맵을 생성하는 단계
를 포함하는 영상 변환 방법.
제14항에서,
상기 복수개의 객체의 경계를 추출하는 단계를 더 포함하고,
상기 경계 주변에서의 블록 적률 또는 블록 세일리언시에 기초하여 상기 복수개의 객체의 깊이 순서를 판단하는 영상 변환 방법.
제15항에서,
상기 경계의 개수를 카운트하는 단계를 더 포함하는 영상 변환 방법.
제16항에서,
상기 경계의 개수가 짝수인지 또는 홀수인지에 기초하여 상기 복수개의 객체 중 겹쳐져 있는 객체를 판별하는 단계를 더 포함하는 영상 변환 방법.
제14항에서,
상기 복수개의 객체 중 깊은 깊이를 갖는 객체는 제2 가중치가 더해지거나 더해지지 않고, 상기 제2 가중치는 상기 제1 가중치보다 작은 영상 변환 방법.
제14항에서,
상기 로우-레벨 관심맵은 복수개가 존재하며, 상기 복수개의 로우-레벨 관심맵을 결합하는 단계를 더 포함하고, 상기 결합된 복수개의 로우-레벨 관심맵으로부터 시각적 관심맵이 생성되는 영상 변환 방법.
제19항에서,
상기 결합된 복수개의 로우-레벨 관심맵을 필터링하는 단계를 더 포함하는 상기 영상 변환 방법.
제14항에서,
상기 다운스케일 영상은 상기 2 차원 영상이 가로 방향, 세로 방향 또는 가로 및 세로 방향으로 다운스케일되어 있는 영상 변환 방법
제21항에서,
상기 다운스케일 영상은 복수개가 존재하며, 상기 복수개의 다운스케일 영상은 하나의 프레임에서 처리되는 영상 변환 방법
제14항에서,
상기 시각적 관심맵과 상기 2차원 영상에 기초하여 시차 정보를 생성하는 단계, 그리고
상기 시차 정보와 상기 2차원 영상에 기초하여 3차원 영상을 렌더링하는 단계
를 더 포함하는 영상 변환 방법.
복수의 화소를 포함하는 표시 패널, 그리고
2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치
를 포함하고,
상기 영상 변환 장치는
2차원 영상을 다운스케일하여 하나 이상의 다운스케일 영상을 생성하는 다운스케일부,
상기 다운스케일 영상으로부터 특징정보를 추출하여 특징맵을 생성하고, 상기 특징맵은 복수개의 객체를 포함하는 특징맵 생성부,
상기 복수개의 객체를 분할하는 객체 분할부,
상기 복수개의 객체의 깊이 순서를 결정하고, 상기 복수개의 객체 중 얕은 깊이를 갖는 객체에 제1 가중치를 더하는 객체 순서 결정부, 그리고
상기 특징맵의 시각적 관심도에 기초하여 로우-레벨 관심 맵을 생성하는 시각적 관심 계산부
를 포함하는 입체 영상 표시 장치.