KR101674568B1 - 영상 변환 장치 및 이를 포함하는 입체 영상 표시 장치 - Google Patents

영상 변환 장치 및 이를 포함하는 입체 영상 표시 장치 Download PDF

Info

Publication number
KR101674568B1
KR101674568B1 KR1020100033265A KR20100033265A KR101674568B1 KR 101674568 B1 KR101674568 B1 KR 101674568B1 KR 1020100033265 A KR1020100033265 A KR 1020100033265A KR 20100033265 A KR20100033265 A KR 20100033265A KR 101674568 B1 KR101674568 B1 KR 101674568B1
Authority
KR
South Korea
Prior art keywords
image
low
interest
map
level
Prior art date
Application number
KR1020100033265A
Other languages
English (en)
Other versions
KR20110113923A (ko
Inventor
박문산
박철우
민웅규
Original Assignee
삼성디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성디스플레이 주식회사 filed Critical 삼성디스플레이 주식회사
Priority to KR1020100033265A priority Critical patent/KR101674568B1/ko
Priority to US12/913,265 priority patent/US8610735B2/en
Publication of KR20110113923A publication Critical patent/KR20110113923A/ko
Application granted granted Critical
Publication of KR101674568B1 publication Critical patent/KR101674568B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N2013/40—Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene
    • H04N2013/405—Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene the images being stereoscopic or three dimensional

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 한 실시예에 따른 영상 변환 장치는 2차원 영상을 다운스케일하여 하나 이상의 다운스케일 영상을 생성하는 다운스케일부, 다운스케일 영상으로부터 특징정보를 추출하여 특징맵을 생성하는 특징맵 생성부, 특징맵의 시각적 관심도에 기초하여 로우-레벨 관심 맵을 생성하는 시각적 관심 계산부, 그리고 로우-레벨 관심맵을 업스케일하는 이미지 확장부를 포함할 수 있다. 로우-레벨 관심맵에서 상부에 위치하는 이미지 데이터에 점차 증가하는 그레이 값이 더해질 수 있고, 하부에 위치하는 이미지 데이터에 0 또는 점차 감소하는 그레이 값이 더해질 수 있다.

Description

영상 변환 장치 및 이를 포함하는 입체 영상 표시 장치{IMAGE CONVERTING DEVICE AND THREE DIMENSIONAL IMAGE DISPLAY DEVICE INCLUDING THE SAME}
영상 변환 장치 및 이를 포함하는 입체 영상 표시 장치가 제공된다.
일반적으로, 3차원 영상표시 기술에서는 근거리에서 입체감을 인식하는 가장 큰 요인인 양안시차(binocular parallax)를 이용하여 물체의 입체감을 표현한다. 즉, 왼쪽 눈(좌안)과 오른쪽 눈(우안)에는 각각 서로 다른 2차원 영상이 비춰지고, 좌안에 비춰지는 영상(이하, "좌안 영상(left eye image) "이라 함)과 우안에 비춰지는 영상(이하, "우안 영상(right eye image) "이라 함)이 뇌로 전달되면, 좌안 영상과 우안 영상은 뇌에서 융합되어 깊이감(depth perception)을 갖는 3차원 영상으로 인식된다.
입체 영상 표시 장치는 양안시차를 이용하는 것으로, 셔터 글래스(shutter glasses), 편광 안경(polarized glasses) 등의 안경을 이용하는 안경식(stereoscopic) 방법과, 안경을 이용하지 않고 표시 장치에 렌티큘러 렌즈(lenticular lens), 패럴랙스 배리어(parallax barrier) 등을 배치하는 비안경식(autostereoscopic) 방법이 있다.
일반적으로 3차원 영상을 제공하기 위해서는 여러 시점의 2차원 영상(multi-view 2D image)들이 필요하였으나, 이와 같은 방식은 과거에 제작된 단일시점 2차원 영상(single-view 2D image)을 활용할 수 없었다.
따라서, 2차원 영상의 3차원 영상으로의 변환은 과거에 제작된 컨텐츠를 차세대 디스플레이 장치에 적극적으로 활용하기 위한 작업이다. 2차원 영상을 3차원 영상으로 변환하기 위해서는 깊이 정보(depth information)를 생성하고, 시차를 생성하여, 좌안 영상과 우안 영상을 생성하였으나, 깊이 정보를 생성하는 과정에서 기술적으로 어려운 점이 많았다.
본 발명에 따른 한 실시예는 깊이 정보를 갖는 이미지의 품질을 개선하기 위한 것이다.
본 발명에 따른 한 실시예는 데이터 연산량을 줄이고, 메모리 자원(memory resource)을 절약하기 위한 것이다.
상기 과제 이외에도 구체적으로 언급되지 않은 다른 과제를 달성하는 데 사용될 수 있다.
본 발명의 한 실시예에 따른 영상 변환 장치는 2차원 영상을 다운스케일하여 하나 이상의 다운스케일 영상을 생성하는 다운스케일부, 상기 다운스케일 영상으로부터특징정보를 추출하여 특징맵을 생성하는 특징맵 생성부, 상기 특징맵의 시각적 관심도에 기초하여 로우-레벨 관심 맵을 생성하는 시각적 관심 계산부, 그리고 상기 로우-레벨 관심맵을 업스케일하는 이미지 확장부를 포함할 수 있다.
상기 로우-레벨 관심맵에서 상부에 위치하는 이미지 데이터에 점차 증가하는 그레이 값이 더해질 수 있고, 하부에 위치하는 이미지 데이터에 0 또는 점차 감소하는 그레이 값이 더해질 수 있다.
상기 로우-레벨 관심맵은 복수개가 존재할 수 있으며, 상기 복수개의 로우-레벨 관심맵을 결합하는 이미지 결합부를 더 포함할 수 있고, 상기 결합된 복수개의 로우-레벨 관심맵으로부터 시각적 관심맵이 생성될 수 있다.
상기 영상 변환 장치는 상기 결합된 복수개의 로우-레벨 관심맵을 필터링하는 이미지 필터링부를 더 포함할 수 있다.
상기 특징 맵은 중앙 영역과 주변 영역을 포함할 수 있고, 상기 시각적 관심도는 상기 중앙 영역의 히스토그램과 상기 주변 영역의 히스토그램의 차이에 기초하여 결정될 수 있다.
상기 특징 맵은 중앙 영역과 주변 영역을 포함할 수 있고, 상기 주변 영역과 상기 중앙 영역은 하나 이상의 단위블록을 포함할 수 있고, 그리고 상기 시각적 관심도는 상기 단위블록에 포함되어 있는 복수의 화소의 휘도값들에 대한 적률에 기초하여 결정될 수 있다.
상기 이미지 확장부는 결합된 복수개의 로우-레벨 관심맵을 확장할 수 있다.
상기 영상 변환 장치는 상기 로우-레벨 관심맵을 필터링하는 이미지 필터링부를 더 포함할 수 있다.
상기 다운스케일 영상은 상기 2 차원 영상이 가로 방향, 세로 방향 또는 가로 및 세로 방향으로 다운스케일되어 있을 수 있다.
상기 다운스케일 영상은 복수개가 존재할 수 있으며, 상기 복수개의 다운스케일 영상은 하나의 프레임에서 처리될 수 있다.
상기 영상 변환 장치는 상기 시각적 관심맵과 상기 2차원 영상에 기초하여 시차 정보를 생성하는 시차 정보 생성부를 더 포함할 수 있다.
상기 영상 변환 장치는 상기 시차 정보와 상기 2차원 영상에 기초하여 3차원 영상을 렌더링하는 입체 영상 렌더링부를 더 포함할 수 있다.
본 발명의 다른 실시예에 따른 영상 변환 방법은 2차원 영상을 다운스케일하여 하나 이상의 다운스케일 영상을 생성하는 단계, 상기 다운스케일 영상으로부터 특징정보를 추출하여 특징맵을 생성하는 단계, 상기 특징맵의 시각적 관심도에 기초하여 로우-레벨 관심 맵을 생성하는 단계, 그리고 상기 로우-레벨 관심맵을 업스케일하는단계를 포함할 수 있다.
상기 로우-레벨 관심맵에서 상부에 위치하는 이미지 데이터에 점차 증가하는 그레이 값이 더해질 수 있고, 하부에 위치하는 이미지 데이터에 0 또는 점차 감소하는 그레이 값이 더해질 수 있다.
상기 영상 변환 방법은 상기 로우-레벨 관심맵은 복수개가 존재하며, 상기 복수개의 로우-레벨 관심맵을 결합하는 단계를 더 포함할 수 있고, 상기 결합된 복수개의 로우-레벨 관심맵으로부터 시각적 관심맵이 생성될 수 있다.
상기 영상 변환 방법은 상기 결합된 복수개의 로우-레벨 관심맵을 필터링하는 단계를 더 포함할 수 있다.
상기 영상 변환 방법은 상기 시각적 관심맵과 상기 2차원 영상에 기초하여 시차 정보를 생성하는 단계를 더 포함할 수 있다.
상기 영상 변환 방법은 상기 시차 정보와 상기 2차원 영상에 기초하여 3차원 영상을 렌더링하는 단계를 더 포함할 수 있다.
본 발명의 다른 실시예에 따른 입체 영상 표시 장치는 복수의 화소를 포함하는 표시 패널, 그리고 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치를 포함할 수 있다.
상기 영상 변환 장치는 상기 2차원 영상을 다운스케일하여 하나 이상의 다운스케일 영상을 생성하는 다운스케일부, 상기 다운스케일 영상으로부터 특징정보를 추출하여 특징맵을 생성하는 특징맵 생성부, 상기 특징맵의 시각적 관심도에 기초하여 로우-레벨 관심 맵을 생성하는 시각적 관심 계산부, 그리고 상기 로우-레벨 관심맵을 업스케일하는 이미지 확장부를 포함할 수 있다.
상기 로우-레벨 관심맵에서 상부에 위치하는 이미지 데이터에 점차 증가하는 그레이 값이 더해질 수 있고, 하부에 위치하는 이미지 데이터에 0 또는 점차 감소하는 그레이 값이 더해질 수 있다.
본 발명에 따른 한 실시예는 깊이 정보를 갖는 이미지의 품질을 개선할 수 있고, 데이터 연산량을 줄일 수 있고, 메모리 자원을 절약할 수 있다.
도 1은 본 발명의 한 실시예에 따른 영상 변환 장치를 개략적으로 타나내는 블럭도이다.
도 2는 본 발명의 한 실시예에 따른 시각적 관심 계산부를 개략적으로 나타내는 블럭도이다.
도 3은 본 발명의 한 실시예에 따른 다운 스케일부에 의해 처리된 이미지를 나타내는 도면이다.
도 4는 본 발명의 한 실시예에 따른 영역 설정부의 처리 방법을 나타내는 도면이다.
도 5는 본 발명의 한 실시예에 따른 로우 레베 관심 계산 방법을 나타내는 도면이다.
도 6 내지 도 8은 본 발명의 한 실시예에 따른 영상 확장부의 처리 방법을 나타내는 도면이다.
도 9는 본 발명의 한 실시예에 따른 원본 이미지와 시각적 관심 맵을 나타내는 도면이다.
첨부한 도면을 참고로 하여 본 발명의 실시예에 대해 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 도면부호가 사용되었다. 또한 널리 알려져 있는 공지기술의 경우 그 구체적인 설명은 생략한다.
그러면, 본 발명의 실시예에 따른 입체 영상 표시 장치에 대하여 도 1 내지 도 9를 참고하여 상세하게 설명한다.
여기서 입체 영상 표시 장치는 셔터 글래스, 편광 안경 등의 안경을 이용하는 안경식 입체 영상 표시 장치, 렌티큘러 렌즈, 패럴랙스 배리어 등을 이용하는 비안경식 입체 영상 표시 장치 등을 모두 포함할 수 있다. 입체 영상 표시 장치는 복수의 화소를 포함하는 표시 패널을 포함한다.
도 1은 본 발명의 한 실시예에 따른 영상 변환 장치를 개략적으로 타나내는 블럭도이다.
여기서 영상 변환 장치는 입체 영상 표시 장치에 임베디드(embedded)될 수 있다. 이외에도 영상 변환 장치는 지상파 방송 튜너, 위성 방송 수신 단말기, 케이블 텔레비전 수신 컨버터, VCR, DVD 플레이어, HDTV 방송 수신기, 플루레이 디스크 플레이어, 게임 콘솔 등 다양한 영상 수신 및 재생 장비에 임베디드될 수 있다.
도 1을 참고하면, 영상 변환 장치는 다운스케일부(downscaling unit)(10), 특징 맵 생성부(feature map generating unit)(20), 시각적 관심 계산부(visual attention calculating unit)(30), 영상 결합부(image combination unit)(40), 영상 확장부(image expansion unit)(50), 영상 필터링부(image filtering unit)(60), 시차 정보 생성부(parallax information generating unit)(70) 및 입체 영상 렌더링부(3D image rendering unit)(80)를 포함할 수 있다. 영상 변환 장치는 메모리를 포함하거나 외부 메모리에 연결될 수 있다. 영상 변환 장치는 메모리를 이용하여 후술하는 다양한 종류의 연산이 수행될 수 있다.
영상 변환 장치는 2차원 영상(2D image)을 3차원 영상(3D image)으로 변환한다. 여기서, 2차원 영상이란 단일 시점을 갖는 전형적인 2차원 영상을 의미하며, 3차원 영상이란 스테레오 시점(stereo-view) 등의 다중 시점(multi-view)을 갖는 2차원 영상을 의미한다. 예를 들어, 3차원 영상은 좌안 영상, 우안 영상 또는 이들 모두를 의미할 수 있으며, 좌안 영상과 우안 영상 각각은 2차원 평면 상에 표시되는 영상이다. 또한, 좌안 영상과 우안 영상은 동시에 2 차원 평면 상에 출력될 수도 있고, 좌안 영상과 우안 영상이 순차적으로 2 차원 평면 상에 출력될 수도 있다.
입력된 2차원 영상이 깊이 정보를 갖는 시각적 관심 맵(visual attention map)으로 변환되고, 시각적 관심 맵과 입력된 2차원 영상에 기초하여 시차 정보 생성부(70)가 시차 정보(parallax information)를 생성한다. 여기서, 시차 정보는 이미지의 각 화소 별로 또는 화소 그룹별로 생성될 수 있다. 입체 영상 렌더링부(80)는 입력된 2차원 영상과 시차 정보에 기초하여 3차원 영상을 렌더링한다. 예를 들어, 입체 영상 렌더링부(80)는 원본 2차원 영상과 시차 정보에 기초하여 좌안 영상과 우안 영상을 렌더링할 수 있다.
시각적 관심도(visual attention)는 인간의 뇌와 인지 시스템이 일반적으로 영상의 특정 영역에 더 집중한다는 것을 의미하며, 이러한 것은 다양한 분야에서 입증되었다. 시각적 관심도는 생리학(physiology), 심리학(psychology), 신경계학(neural systems), 컴퓨터 비전(computer vision) 등에서 오랜 시간 연구가 이루어지고 있는 주제이다. 아울러, 시각적 관심도는 컴퓨터 비전에서, 물체 인식, 추적, 발견 등과 관련한 솔루션에 이용되고 있다.
시각적 관심 맵이란, 2차원 영상에 대한 시각적 관심도를 계산함으로써 생성되는 이미지이며, 2차원 영상에서의 객체(object)에 대한 중요도에 대한 정보를 포함할 수 있다. 예를 들어, 시각적으로 흥미로운 영역을 관찰자에게 가깝게 배치하고, 시각적으로 흥미롭지 않은 영역을 관찰자로부터 멀리 배치할 수 있다. 도 9를 참고하면, 좌측에는 원본 2차원 영상이 도시되어 있으며, 우측에는 원본 2차원 영상에 대한 시각적 관심 맵이 도시되어 있다. 시각적으로 흥미로운 영역은 관찰자에게 가깝게 배치하기 위하여 밝게(즉, 그레이 값을 크게) 나타나고, 시각적으로 흥미롭지 않은 영역을 관찰자로부터 멀리 배치하기 위하여, 어둡게(즉, 그레이 값을 작게) 나타난다. 객체와 배경을 포함하고 있는 이미지에서, 객체는 밝게 나타나고 배경은 어둡게 나타날 수 있으며, 이에 따라 객체가 배경으로부터 돌출되어 있는 것처럼 보일 수 있다. 좌측 영상과 우측 영상의 크기는 각각 960x1080일 수 있다.
이하에서, 2차원 영상으로부터 시각적 관심 맵을 생성하는 과정에 대하여 상세하게 설명한다.
도 1을 참고하면, 다운스케일부(10)는 2차원 영상을 다운스케일하여 하나 이상의 다운스케일 영상을 생성할 수 있다. 예를 들어, 2차원 영상을 가로로 m번, 세로로 n번 다운스케일하여 직사각 영상의 피라미드(rectangular pyramid)를 생성할 수 있다. 다운스케일부(10)는 가로 다운스케일부 및 세로 다운스케일부를 포함할 수 있다. 가로 다운스케일부는 2차원 영상을 가로 방향으로 다운스케일하여 하나 이상의 다운스케일 영상을 생성할 수 있고, 세로 다운스케일부는 2차원 영상을 세로 방향으로 다운스케일하여 하나 이상의 다운스케일 영상을 생성할 수 있다.
도 3을 참고하면, 가로 방향으로 2번, 세로방향으로 2번 각각 다운스케일한 직사각 영상의 피라미드가 도시되어 있다. 즉, 2차원 영상(210)은 가로로 2 번 다운스케일되어 두 개의 다운스케일 영상(213, 214)이 생성될 수 있다. 3 개의 영상(210, 213, 214)은 각각 세로로 2 번 다운스케일되어 6 개의 다운스케일 영상(211, 212, 215, 216, 217, 218)이 생성될 수 있다. 결국, 9 개의 영상으로 구성된 직사각 영상의 피라미드가 생성될 수 있다. 예를 들어, 3 개의 영상(210, 213, 214)의 세로 해상도는 각각 540, 270, 135일 수 있으며, 3 개의 영상(210, 211, 212)의 가로 해상도는 각각 960, 480, 240일 수 있다. 여러 개의 다운스케일된 직사각 영상들이 하나의 프레임에서 처리될 수 있으므로, 빠른 영상 처리가 가능하다.
도 1 및 도 6을 참고하면, 특징맵 생성부(20)는 2차원 영상 및 하나 이상의 다운스케일 영상으로부터 특징정보(feature information)를 추출하여 하나 이상의 특징맵(feature map)을 생성할 수 있다. 여기서, 특징정보는 휘도(luminance), 색(color), 텍스쳐(texture), 모션(motion), 방향성(orientation) 등일 수 있다. 예를 들어, 직사각 영상의 피라미드에서 각 화소 별로 또는 임의의 화소 그룹별로 휘도 정보를 추출하여 이미지를 생성할 수 있으며, 생성된 이미지는 하나의 특징 맵이 될 수 있다.
시각적 관심 계산부(30)는 하나 이상의 특징맵을 이용하여 로우 레벨 관심 계산(low-level attention computation)을 수행하고, 로우 레벨 관심 계산의 결과에 기초하여 로우 레벨 관심맵을 생성할 수 있다. 예를 들어, 시각적 관심 계산부(30)는 로우 레벨 관심 계산을 수행하기 위해 중앙 영역의 히스토그램과 주변 영역의 히스토그램의 차이를 이용할 수 있다.
도 2를 참고하면, 시각적 관심 계산부(30)는 영역 설정부(area setup unit)(31), 히스토그램 계산부(histogram calculating unit)(32) 및 관심맵 생성부(attention map generating unit)(33)를 포함할 수 있다.
영역 설정부(31)는 하나 이상의 특징맵에 대하여 중앙 영역 및 상기 중앙 영역을 포함하는 주변 영역을 설정할 수 있다. 영역 설정부(31)는 단위블록 설정부, 중앙영역 설정부 및 주변영역 설정부를 포함할 수 있다.
단위블록 설정부는 정사각형 또는 직사각형의 단위블록을 설정할 수 있다. 예를 들어, 단위블록은 8 (pixels) x 8 (pixels) 크기를 가질 수 있다. 여기서, 중앙 영역과 주변 영역의 가능한 조합의 수는 2차원 영상 크기에 따라 기하급수적으로 증가할 수 있으므로, 중앙 영역과 주변 영역의 가능한 조합의 수를 줄이기 위해 단위블록이 사용될 수 있다. 이에 따라, 데이터 연산량이 감소될 수 있다.
중앙영역 설정부는 중앙 영역을 단위블록의 크기로 설정하고, 주변영역 설정부는 주변 영역을 단위블록을 복수 개 합산한 크기로 설정할 수 있다. 도 4를 참고하면, 임의의 크기의 단위블록이 설정되고, 중앙 영역과 주변 영역이 단위블록의 조합으로만 이루어질 수 있다. 예를 들어, 2차원 영상은 다운스케일되어 다양한 스케일의 영상이 생성되고, 중앙 영역은 하나의 단위블록에 대응될 수 있다. 이때, 주변 영역은 중앙 영역에 대응되는 블록을 포함하는 k개의 이웃 블록(neighborhood block)으로 설정될 수 있다. 예를 들어, 도 4를 참고하면, 중앙 영역이 B0 블록(310) 하나로 설정하고, 주변 영역은 B1 블록(311), B2 블록(312), B3 블록(313), B4 블록(314)으로 설정할 수 있다. 따라서, B0 블록(310)의 히스토그램과 B1 블록 내지 B4 블록(311, 312, 313, 314)의 히스토그램 차이를 구할 수 있다.
히스토그램 계산부(32)는 중앙 영역의 특징정보 히스토그램과 주변 영역의 특징정보 히스토그램의 차이를 계산할 수 있다. 여기서, 히스토그램은 인텐시티 히스토그램(intensity histogram), 컬러 히스토그램(color histogram) 등일 수 있다.
도 5를 참고하여, 히스토그램의 차이를 계산하는 과정을 상세하게 설명한다.
중앙-주변 히스토그램(center-surround histogram)을 사용하기 위해, 특징맵(410)의 임의의 픽셀을 기준으로 두 가지 타입의 이웃 영역(neighbor area)을 정의할 수 있다. 즉, 기준이 되는 픽셀에 따라서 중앙 영역(center area)(411), 주변 영역(surround area)(412)을 정의할 수 있다. 주변 영역(412)은 중앙 영역(411)을 포함할 수 있으며, 주변 영역(412)의 면적은 중앙 영역(411)의 면적보다 클 수 있다.
따라서, 상기 중앙 영역 및 상기 주변 영역의 히스토그램을 추출하고, 다양한 히스토그램 차이 측정(histogram distance measure) 방법을 사용하여 중앙 영역 및 주변 영역의 특징 값의 차이(421)를 구할 수 있다. 따라서, 중앙 영역 및 주변 영역의 특징의 차이 값에 따른 로우 레벨 관심맵(420)을 생성할 수 있다.
히스토그램 차이를 계산하기 위해 다양한 방법이 사용될 수 있다. 예를 들어, 카이제곱(chi square,
Figure 112010023110585-pat00001
)을 사용할 수 있다. 즉, 중앙 영역을 R이라 하고, 주변을 Rs라 하면, Ri를 휘도(Luminance), 색(Color), 텍스쳐(Texture) 등을 사용할 수 있는 히스토그램의 i번째 빈(Bin)이라고 했을 때, 중앙-주변 히스토그램은 중앙 영역 히스토그램과 주변 영역 히스토그램의 카이제곱 차이와 같으며, 아래 [수학식 1]과 같이 표현될 수 있다.
[수학식 1]
Figure 112010023110585-pat00002
관심맵 생성부(33)는 특징정보 히스토그램의 차이를 이용하여 로우-레벨 관심맵을 생성할 수 있다.
한편, 하나 이상의 특징맵을 이용하여 로우 레벨 관심 계산을 수행하기 위해 중앙-주변 히스토그램의 전부를 이용하지 않고, 히스토그램의 적률(moment)을 이용할 수 있다. 여기서, 적률은 평균(mean), 분산(variance), 표준편차(standard deviation), 및 비대칭도(skewness) 중 적어도 하나를 포함할 수 있다. 예를 들어, 하나의 단위블록에 포함되어 있는 복수의 화소의 휘도값들에 대하여 평균, 분산, 표준편차 및 비대칭도를 계산할 수 있다. 히스토그램의 적률을 이용함으로써, 메모리 자원을 절약할 수 있다.
예를 들어, i 번째 블록의 j번째 픽셀의 값이 Pij 라면, i 번째 블록의 적률들은 아래 [수학식 2]와 같이 표현될 수 있다.
[수학식 2]
Figure 112010023110585-pat00003
여기서,
Figure 112010023110585-pat00004
는 평균을,
Figure 112010023110585-pat00005
는 분산을,
Figure 112010023110585-pat00006
는 비대칭도를 각각 의미한다.
또한, 이 경우, 특정 블록의 두드러진 영역(saliency)은 아래 [수학식 3]과 같이 정의할 수 있다.
[수학식 3]
Figure 112010023110585-pat00007
여기서, 파라미터 w들은 적률간의 상대적 중요도를 조절하는 가중치이고, 기본 설정 값은 1일 수 있다. 또한, B0, B1, B2, B3, B4는 도 4에 도시된 블록일 수 있다.
하나 이상의 다운스케일 영상 별로 생성된 로우-레벨 관심 맵은 선택적으로 이미지 필터링부(60)에 의해 처리될 수 있다. 예를 들어, 필터링하는 방법은 정규화 곡선(normalization curve)을 이용하는 방법, 시그모이드 곡선(sigmoid curve)을 이용하는 방법, 바이래터럴 필터(bilateral filter)를 이용하는 방법 등이 있으며, 1 가지 이상의 방법이 순차적으로 이용될 수 있다. 구체적으로, 바이래터럴 필터는 10x10 데시메이션(decimation)을 수행한 후, 5x5x5 로우 패스 필터(low pass filter)를 사용하여 필터링한 후, 10x10 보간(interpolation)을 수행할 수 있다.
로우-레벨 관심맵은 이미지 확장부(50)에 의해 업스케일될 수 있다. 예를 들어, 업스케일시에는 바이큐빅 보간(bi-cubic interpolation) 등을 사용할 수 있다. 여기서, 이미지를 업스케일하는 과정에서, 각 화소별 이미지 데이터에 가중치를 더할 수 있다. 여기서 각 화소별 이미지 데이터는 배경 이미지에 해당할 수 있다. 즉, 로우-레벨 관심맵에서 하부에 위치하는 이미지 데이터에 가중치를 부여하지 않거나, 점점 감소하는 가중치를 더할 수 있다. 예를 들어, 도 6 내지 도 8에 도시된 것처럼, 로우-레벨 관심맵에서 하부에 위치하는 일정 영역(ΔX)에서 더해지는 가중치가 0이거나 점점 감소한다. 예를 들어, 일정 영역(ΔX)은 25일 수 있다. 이외에도, 감소하는 그래프의 형태는 다양하게 변형될 수 있다. 도 6 내지 도 8에서 세로 선 번호(column line number)에서 X1은 이미지의 세로 해상도이며, 예를 들어 540, 270, 135 등일 수 있다. 또한 그레이(gray) 또는 깊이값(depth value)은 블랙에서 화이트까지의 값을 가질 수 있으며, 예를 들어, 블랙은 0일 수 있고, 화이트는 255일 수 있다.
구체적으로, 이미지의 크기가 960 X 540일 때, 이미지 데이터에 더해지는 가중치는 세로 선 번호가 0에서 515로 갈수록 점점 증가할 수 있다. 다음, 세로 선 번호가 515에서 540으로 갈수록, 이미지 데이터에 더해지는 가중치는 점점 감소할 수 있다. 이에 따라, 이미지를 필터링해도, 이미지는 상부에서 어두운 그레이 값을 가지며, 아래 방향으로 점점 밝아지는 그레이 값을 가질 수 있다. 따라서, 그레이값의 왜곡이 방지될 수 있고, 이미지의 품질이 개선될 수 있다.
만약, 도 6 내지 도 9의 그래프와는 달리, 이미지의 하부에 더해지는 가중치가 점점 증가한다면, 직사각 영상의 피라미드를 필터링할 때, 직사각 영상의 피라미드의 상하 방향으로 서로 인접한 두 개의 이미지에서 상부 이미지의 하단의 밝은 그레이 값이 하부 이미지의 상단의 어두운 그레이 값에 영향을 주기 때문에, 필터링 결과 하부 이미지의 상단은 어두운 그레이 값을 가질 수 없고, 밝은 그레이 값을 가질 수 있다. 따라서, 필터링에 의해 이미지의 그레이 값이 왜곡될 수 있다.
이미지 결합부(40)는 이미지 확장부(50)에 의해 확장된 동일한 크기의 하나 이상의 이미지를 서로 결합한다. 예를 들어, 하나 이상의 이미지를 서로 겹친 후 더할 수 있다.
다음, 결합된 이미지는 이미지 필터링부(60)에 의해 필터링될 수 있다. 이미지 필터링부(60)는 전술한 것처럼, 한 가지 이상의 필터링 방법이 순차적으로 수행될 수 있다.
또한, 결합된 이미지는 이미지 확장부(50)에 의해 확장될 수 있다. 예를 들어, 결합된 이미지 크기가 960x540일 경우, 이미지 확장부(50)에 의해 960x1080의 크기를 갖는 이미지로 확장될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량형태 또한 본 발명의 권리범위에 속하는 것이다.
10: 다운스케일부 20: 특징 맵 생성부
30: 시각적 관심 계산부 40: 영상 결합부
50: 영상 확장부 60: 영상 필터링부
70: 시차 정보 생성부 80: 입체 영상 렌더링부

Claims (20)

  1. 2차원 영상을 다운스케일하여 하나 이상의 다운스케일 영상을 생성하는 다운스케일부,
    상기 다운스케일 영상으로부터 특징정보를 추출하여 특징맵을 생성하는 특징맵 생성부,
    상기 특징맵의 시각적 관심도에 기초하여 로우-레벨 관심 맵을 생성하는 시각적 관심 계산부, 그리고
    상기 로우-레벨 관심맵을 업스케일하는 이미지 확장부
    를 포함하고,
    상기 로우-레벨 관심맵에서 상부에 위치하는 이미지 데이터에 점차 증가하는 그레이 값이 더해지고, 하부에 위치하는 이미지 데이터에 0 또는 점차 감소하는 그레이 값이 더해지며,
    상기 다운스케일 영상은 복수개가 존재하며, 상기 복수개의 다운스케일 영상은 하나의 프레임에서 처리되는 영상 변환 장치.
  2. 제1항에서,
    상기 로우-레벨 관심맵은 복수개가 존재하며, 상기 복수개의 로우-레벨 관심맵을 결합하는 이미지 결합부를 더 포함하고, 상기 결합된 복수개의 로우-레벨 관심맵으로부터 시각적 관심맵이 생성되는 영상 변환 장치.
  3. 제2항에서,
    상기 결합된 복수개의 로우-레벨 관심맵을 필터링하는 이미지 필터링부를 더 포함하는 상기 영상 변환 장치.
  4. 제3항에서,
    상기 특징 맵은 중앙 영역과 주변 영역을 포함하고, 상기 시각적 관심도는 상기 중앙 영역의 히스토그램과 상기 주변 영역의 히스토그램의차이에 기초하여 결정되는 영상 변환 장치.
  5. 제3항에서,
    상기 특징 맵은 중앙 영역과 주변 영역을 포함하고, 상기 주변 영역과 상기 중앙 영역은 하나 이상의 단위블록을 포함하고, 그리고 상기 시각적 관심도는 상기 단위블록에 포함되어 있는 복수의 화소의 휘도값들에 대한 적률에 기초하여 결정되는 영상 변환 장치.
  6. 제2항에서,
    상기 이미지 확장부는 결합된 복수개의 로우-레벨 관심맵을 확장하는 영상 변환 장치.
  7. 제1항에서,
    상기 로우-레벨 관심맵을 필터링하는 이미지 필터링부를 더 포함하는 영상 변환 장치.
  8. 제7항에서,
    상기 특징 맵은 중앙 영역과 주변 영역을 포함하고, 상기 주변 영역과 상기 중앙 영역은 하나 이상의 단위블록을 포함하고, 그리고 상기 시각적 관심도는 상기 단위블록에 포함되어 있는 복수의 화소의 휘도값들에 대한 적률에 기초하여 결정되는 영상 변환 장치.
  9. 제1항에서,
    상기 다운스케일 영상은 상기 2 차원 영상이 가로 방향, 세로 방향 또는 가로 및 세로 방향으로 다운스케일되어 있는 영상 변환 장치.
  10. 삭제
  11. 제2항에서,
    상기 시각적 관심맵과 상기 2차원 영상에 기초하여 시차 정보를 생성하는 시차 정보 생성부, 그리고
    상기 시차 정보와 상기 2차원 영상에 기초하여 3차원 영상을 렌더링하는 입체 영상 렌더링부
    를 더 포함하는 영상 변환 장치.
  12. 2차원 영상을 다운스케일하여 하나 이상의 다운스케일 영상을 영상 변환 장치에 의해 생성하는 단계,
    상기 다운스케일 영상으로부터 특징정보를 추출하여 특징맵을 영상 변환 장치에 의해 생성하는 단계,
    상기 특징맵의 시각적 관심도에 기초하여 로우-레벨 관심 맵을 영상 변환 장치에 의해 생성하는 단계, 그리고
    상기 로우-레벨 관심맵을 영상 변환 장치에 의해 업스케일하는 단계
    를 포함하고,
    상기 로우-레벨 관심맵에서 상부에 위치하는 이미지 데이터에 점차 증가하는 그레이 값이 더해지고, 하부에 위치하는 이미지 데이터에 0 또는 점차 감소하는 그레이 값이 더해지며,
    상기 다운스케일 영상은 복수개가 존재하며, 상기 복수개의 다운스케일 영상은 하나의 프레임에서 처리되는 영상 변환 방법.
  13. 제12항에서,
    상기 로우-레벨 관심맵은 복수개가 존재하며, 상기 복수개의 로우-레벨 관심맵을 결합하는 단계를 더 포함하고, 상기 결합된 복수개의 로우-레벨 관심맵으로부터 시각적 관심맵이 생성되는 영상 변환 방법.
  14. 제13항에서,
    상기 결합된 복수개의 로우-레벨 관심맵을 필터링하는 단계를 더 포함하는 상기 영상 변환 방법.
  15. 제14항에서,
    상기 특징 맵은 중앙 영역과 주변 영역을 포함하고, 상기 시각적 관심도는 상기 중앙 영역의 히스토그램과 상기 주변 영역의 히스토그램의차이에 기초하여 결정되는 영상 변환 방법.
  16. 제14항에서,
    상기 특징 맵은 중앙 영역과 주변 영역을 포함하고, 상기 주변 영역과 상기 중앙 영역은 하나 이상의 단위블록을 포함하고, 그리고 상기 시각적 관심도는 상기 단위블록에 포함되어 있는 복수의 화소의 휘도값들에 대한 적률에 기초하여 결정되는 영상 변환 방법.
  17. 제12항에서,
    상기 다운스케일 영상은 상기 2 차원 영상이 가로 방향, 세로 방향 또는 가로 및 세로 방향으로 다운스케일되어 있는 영상 변환 방법.
  18. 삭제
  19. 제13항에서,
    상기 시각적 관심맵과 상기 2차원 영상에 기초하여 시차 정보를 생성하는 단계, 그리고
    상기 시차 정보와 상기 2차원 영상에 기초하여 3차원 영상을 렌더링하는 단계
    를 더 포함하는 영상 변환 방법.
  20. 복수의 화소를 포함하는 표시 패널, 그리고
    2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치
    를 포함하고,
    상기 영상 변환 장치는
    상기 2차원 영상을 다운스케일하여 하나 이상의 다운스케일 영상을 생성하는 다운스케일부,
    상기 다운스케일 영상으로부터 특징정보를 추출하여 특징맵을 생성하는 특징맵 생성부,
    상기 특징맵의 시각적 관심도에 기초하여 로우-레벨 관심 맵을 생성하는 시각적 관심 계산부, 그리고
    상기 로우-레벨 관심맵을 업스케일하는이미지 확장부
    를 포함하고,
    상기 로우-레벨 관심맵에서 상부에 위치하는 이미지 데이터에 점차 증가하는 그레이 값이 더해지고, 하부에 위치하는 이미지 데이터에 0 또는 점차 감소하는 그레이 값이 더해지며,
    상기 다운스케일 영상은 복수개가 존재하며, 상기 복수개의 다운스케일 영상은 하나의 프레임에서 처리되는 입체 영상 표시 장치.
KR1020100033265A 2010-04-12 2010-04-12 영상 변환 장치 및 이를 포함하는 입체 영상 표시 장치 KR101674568B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100033265A KR101674568B1 (ko) 2010-04-12 2010-04-12 영상 변환 장치 및 이를 포함하는 입체 영상 표시 장치
US12/913,265 US8610735B2 (en) 2010-04-12 2010-10-27 Image converting device and three dimensional image display device including the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100033265A KR101674568B1 (ko) 2010-04-12 2010-04-12 영상 변환 장치 및 이를 포함하는 입체 영상 표시 장치

Publications (2)

Publication Number Publication Date
KR20110113923A KR20110113923A (ko) 2011-10-19
KR101674568B1 true KR101674568B1 (ko) 2016-11-10

Family

ID=44760600

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100033265A KR101674568B1 (ko) 2010-04-12 2010-04-12 영상 변환 장치 및 이를 포함하는 입체 영상 표시 장치

Country Status (2)

Country Link
US (1) US8610735B2 (ko)
KR (1) KR101674568B1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9071833B1 (en) 2012-07-10 2015-06-30 Sprint Communications Company L.P. Two-dimensional supplementary information in a three-dimensional image
KR102264591B1 (ko) * 2015-02-27 2021-06-15 삼성전자주식회사 영상 처리 방법 및 이를 지원하는 전자 장치
DE102015223175A1 (de) * 2015-11-24 2017-05-24 Conti Temic Microelectronic Gmbh Fahrerassistenzsystem mit adaptiver Umgebungsbilddatenverarbeitung
US10776659B2 (en) 2016-08-26 2020-09-15 Goodrich Corporation Systems and methods for compressing data
JP7075252B2 (ja) * 2018-03-23 2022-05-25 キヤノン株式会社 情報処理装置およびその制御方法、プログラム
CN110378976B (zh) * 2019-07-18 2020-11-13 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN112580694B (zh) * 2020-12-01 2024-04-19 中国船舶重工集团公司第七0九研究所 基于联合注意力机制的小样本图像目标识别方法及系统
KR102260519B1 (ko) * 2021-02-25 2021-06-03 (주)에이피피커뮤니케이션즈 3차원 입체영상 변환방법
CN115565479A (zh) * 2022-09-20 2023-01-03 杭州海康慧影科技有限公司 一种多显示屏图像显示方法、装置及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001320731A (ja) * 1999-11-26 2001-11-16 Sanyo Electric Co Ltd ２次元映像を３次元映像に変換する装置及びその方法
US20100046837A1 (en) * 2006-11-21 2010-02-25 Koninklijke Philips Electronics N.V. Generation of depth map for an image

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3310157B2 (ja) 1996-03-05 2002-07-29 日本電信電話株式会社 立体表示装置およびその駆動方法
KR100251016B1 (ko) 1997-06-30 2000-04-15 전주범 3차원 깊이데이타의 정보량 감소방법
JP2000172201A (ja) 1998-12-04 2000-06-23 Aroaro Internatl:Kk 三次元表示装置
RU2411690C2 (ru) * 2005-12-02 2011-02-10 Конинклейке Филипс Электроникс Н.В. Способ и устройство отображения стереоскопического изображения, способ для создания данных 3d изображения из входных данных 2d изображения и устройство для создания данных 3d изображения из входных данных 2d изображения
KR20090004265A (ko) 2007-07-06 2009-01-12 (주)플렛디스 실시간 입체 콘텐츠 제공시스템 및 제공방법
KR101497503B1 (ko) * 2008-09-25 2015-03-04 삼성전자주식회사 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법 및 장치
KR101584115B1 (ko) * 2009-03-31 2016-01-12 삼성전자주식회사 시각적 관심맵 생성 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001320731A (ja) * 1999-11-26 2001-11-16 Sanyo Electric Co Ltd ２次元映像を３次元映像に変換する装置及びその方法
US20100046837A1 (en) * 2006-11-21 2010-02-25 Koninklijke Philips Electronics N.V. Generation of depth map for an image

Also Published As

Publication number Publication date
US20110248988A1 (en) 2011-10-13
KR20110113923A (ko) 2011-10-19
US8610735B2 (en) 2013-12-17

Similar Documents

Publication Publication Date Title
KR101690297B1 (ko) 영상 변환 장치 및 이를 포함하는 입체 영상 표시 장치
KR101674568B1 (ko) 영상 변환 장치 및 이를 포함하는 입체 영상 표시 장치
JP6147275B2 (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
JP5969537B2 (ja) 視覚的関心に基づいた２次元映像の３次元映像変換器および変換方法
US9525858B2 (en) Depth or disparity map upscaling
JP6027034B2 (ja) 立体映像エラー改善方法及び装置
JP6094863B2 (ja) 画像処理装置、画像処理方法、プログラム、集積回路
CN102741879B (zh) 由单眼图像产生深度图的方法及其系统
WO2012086120A1 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム
KR101584115B1 (ko) 시각적 관심맵 생성 장치 및 방법
US20140071131A1 (en) Image processing apparatus, image processing method and program
JP2013527646A5 (ko)
KR20120049997A (ko) 영상 변환 장치 및 이를 이용하는 디스플레이 장치와 그 방법들
JP2015156607A (ja) 画像処理装置、画像処理装置、及び電子機器
Mao et al. Expansion hole filling in depth-image-based rendering using graph-based interpolation
CN102368826A (zh) 双视点视频到多视点视频的实时自适应生成方法
US10298914B2 (en) Light field perception enhancement for integral display applications
JP2015012429A (ja) 画像処理装置、画像処理方法および画像処理プログラム
US10939092B2 (en) Multiview image display apparatus and multiview image display method thereof
JP2014072809A (ja) 画像生成装置、画像生成方法、画像生成装置用プログラム
CN103037236A (zh) 图像处理方法以及装置
US20130050420A1 (en) Method and apparatus for performing image processing according to disparity information
CN102404583A (zh) 三维影像的深度加强系统及方法
CN103096100B (zh) 三维影像处理方法与应用其的三维影像显示装置
Sharma 2D to 3D Conversion Using SINGLE Input by Spatial Transformation Using MATLAB

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
GRNT Written decision to grant