KR20160056132A - 영상 변환 장치 및 그 영상 변환 방법 - Google Patents

영상 변환 장치 및 그 영상 변환 방법 Download PDF

Info

Publication number
KR20160056132A
KR20160056132A KR1020140156144A KR20140156144A KR20160056132A KR 20160056132 A KR20160056132 A KR 20160056132A KR 1020140156144 A KR1020140156144 A KR 1020140156144A KR 20140156144 A KR20140156144 A KR 20140156144A KR 20160056132 A KR20160056132 A KR 20160056132A
Authority
KR
South Korea
Prior art keywords
image
depth
input
information corresponding
processor
Prior art date
Application number
KR1020140156144A
Other languages
English (en)
Inventor
강진모
손광훈
최성환
이호영
Original Assignee
삼성전자주식회사
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 연세대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020140156144A priority Critical patent/KR20160056132A/ko
Publication of KR20160056132A publication Critical patent/KR20160056132A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/158—Switching image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

영상 변환 장치가 개시된다. 영상 변환 장치는, 2D 영상을 입력받는 입력부 및, 2D 샘플 영상 및 이에 대응되는 뎁스 정보를 기초로, 입력된 2D 영상에 대응되는 뎁스 그래디언트(depth gradient) 정보를 추정하고, 추정된 뎁스 그래디언트 정보에 기초하여 상기 입력된 2D 영상을 3D 영상으로 변환하는 프로세서를 포함한다.

Description

영상 변환 장치 및 그 영상 변환 방법 { IMAGE CONVERSION APPARATUS AND IMAGE CONVERSION METHOD THEREOF}
본 발명은 영상 변환 장치 및 그 영상 변환 방법에 관한 것으로, 더욱 상세하게는 2D 영상을 3D 영상으로 변환하는 영상 변환 장치 및 그 영상 변환 방법에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자기기가 개발 및 보급되고 있다. 특히, 일반 가정에서 가장 많이 사용되고 있는 가전 제품 중 하나인 TV와 같은 디스플레이 장치는 최근 수년 간 급속도로 발전하고 있다.
디스플레이 장치의 성능이 고급화되면서, 디스플레이 장치에서 디스플레이하는 컨텐츠의 종류도 다양하게 증대되었다. 특히, 최근에는 3D 컨텐츠까지 시청할 수 있는 입체 디스플레이 시스템이 개발되어 보급되고 있다.
한편, 3D 컨텐츠의 제작은 어렵고, 시간이 걸리는 과정이었다. 컨텐츠 제작자는, 예를 들면, 두 개의 카메라를 사용하여 피사체(subject)를 촬영하고, 각 카메라로부터의 비디오 또는 이미지를 결합하고, 3D 효과가 정확하게 보이도록 특별한 소프트웨어를 사용하며, 이는 일반적으로 고도의 기술 및 고가의 수작업 과정을 포함한다.
또한, 2D 컨텐츠를 3D 컨텐츠로 변환하는 종래의 Learning 기반 영상 변환 기술은 오브젝트 간 뎁스 순서를 명확히 추정하지 못한다는 문제점이 있었다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은, 스크롤 방식의 채널 탐색을 제공하는 디스플레이 장치 및 그 제어 방법을 제공함에 있다.
본 발명의 상술한 목적을 달성하기 위한 일 실시 예에 따른 영상 변환 장치는, 2D 영상을 입력받는 입력부 및, 2D 샘플 영상 및 이에 대응되는 뎁스 정보를 기초로, 상기 입력된 2D 영상에 대응되는 뎁스 그래디언트(depth gradient) 정보를 추정하고, 추정된 뎁스 그래디언트 정보에 기초하여 상기 입력된 2D 영상을 3D 영상으로 변환하는 프로세서를 포함한다.
또한, 상기 2D 샘플 영상 및 이에 대응되는 뎁스 정보를 저장하는 데이터베이스 서버와 통신을 수행하는 통신부를 더 포함하며, 상기 프로세서는, 상기 데이터 베이스 서버에 액세스하여, 상기 데이터 서버에 저장된 정보를 기초로 상기 입력된 2D 영상에 대응되는 뎁스 그래디언트(depth gradient) 정보를 추정할 수 있다.
또한, 상기 2D 샘플 영상 및 이에 대응되는 뎁스 정보를 저장하는 저장부를 더 포함하며, 상기 프로세서는, 상기 저장부에 저장된 정보를 기초로 상기 입력된 2D 영상에 대응되는 뎁스 그래디언트(depth gradient) 정보를 추정할 수 있다.
또한, 상기 프로세서는, 상기 2D 샘플 영상 중 상기 입력된 2D 영상과 유사한 복수 개의 영상을 추출하고, 추출된 복수 개의 영상에 대응되는 뎁스 정보에 기초하여 상기 입력된 2D 영상에 포함된 모든 픽셀에 대한 뎁스 그래디언트를 추정하고, 추정된 뎁스 그래디언트에 기초하여 상기 입력된 2D 영상에 대응되는 뎁스 맵을 생성할 수 있다.
또한, 상기 프로세서는, 상기 입력된 2D 영상에 포함된 적어도 하나의 오브젝트 영역에 대응되는 오브젝트 마스크를 생성하고, 상기 생성된 뎁스 맵에 상기 생성된 오브젝트 마스크를 적용하여 상기 뎁스 맵을 보정하며, 상기 보정된 뎁스 맵에 기초하여 상기 입력된 2D 영상을 3D 영상으로 변환할 수 있다.
또한, 상기 프로세서는, 관심 영역 검출 및 모션 검출 중 적어도 하나를 통해 상기 입력된 영상에 포함된 적어도 하나의 오브젝트 영역을 검출하고, 상기 검출된 오브젝트 영역에 기초하여 상기 오브젝트 마스크를 생성할 수 있다.
또한, 상기 프로세서는, 상기 생성된 뎁스 맵에 상기 오브젝트 마스크를 적용하여 상기 적어도 하나의 오브젝트 영역 내부에 균일한 뎁스를 부여하여 상기 뎁스 맵을 보정할 수 있다.
또한, 상기 프로세서는, 상기 2D 샘플 영상 및 이에 대응되는 뎁스 정보를 기초로 뎁스 그래디언트(depth gradient) 정보를 미리 학습하여 저장하고, 저장된 학습 정보에 기초하여 상기 입력된 2D 영상을 3D 영상으로 변환할 수 있다.
또한, 디스플레이부를 더 포함하며, 상기 프로세서는, 상기 변환된 3D 영상에 기초하여 다시점 영상을 렌더링하고, 상기 다시점 영상을 기설정된 배치 패턴으로 배치하여 디스플레이하도록 제어할 수 있다.
또는, 상기 프로세서는, 상기 변환된 3D 영상을 외부 디스플레이 장치로 전송하도록 제어할 수 있다.
한편, 본 발명의 일 실시 예에 따른 영상 변환 장치의 영상 변환 방법은, 2D 영상을 입력받는 단계, 2D 샘플 영상 및 이에 대응되는 뎁스 정보를 기초로, 상기 입력된 2D 영상에 대응되는 뎁스 그래디언트(depth gradient) 정보를 추정하는 단계 및, 상기 추정된 뎁스 그래디언트 정보에 기초하여 상기 입력된 2D 영상을 3D 영상으로 변환하는 단계를 포함한다.
또한, 상기 2D 샘플 영상 및 이에 대응되는 뎁스 정보를 저장하는 데이터베이스 서버와 통신을 수행하는 단계를 더 포함하며, 상기 뎁스 그래디언트 정보를 추정하는 단계는, 상기 데이터 베이스 서버에 액세스하여, 상기 데이터 서버에 저장된 정보를 기초로 상기 입력된 2D 영상에 대응되는 뎁스 그래디언트(depth gradient) 정보를 추정할 수 있다.
또한, 상기 뎁스 그래디언트 정보를 추정하는 단계는, 기저장된 2D 샘플 영상 및 이에 대응되는 뎁스 정보를 기초로 상기 입력된 2D 영상에 대응되는 뎁스 그래디언트(depth gradient) 정보를 추정할 수 있다.
또한, 상기 뎁스 그래디언트 정보를 추정하는 단계는, 상기 2D 샘플 영상 중 상기 입력된 2D 영상과 유사한 복수 개의 영상을 추출하고, 추출된 복수 개의 영상에 대응되는 뎁스 정보에 기초하여 상기 입력된 2D 영상에 포함된 모든 픽셀에 대한 뎁스 그래디언트를 추정하고, 추정된 뎁스 그래디언트에 기초하여 상기 입력된 2D 영상에 대응되는 뎁스 맵을 생성할 수 있다.
또한, 상기 입력된 2D 영상에 포함된 적어도 하나의 오브젝트 영역에 대응되는 오브젝트 마스크를 생성하는 단계 및, 상기 생성된 뎁스 맵에 상기 생성된 오브젝트 마스크를 적용하여 상기 뎁스 맵을 보정하는 단계를 더 포함하며, 상기 입력된 2D 영상을 3D 영상으로 변환하는 단계는, 상기 보정된 뎁스 맵에 기초하여 상기 입력된 2D 영상을 3D 영상으로 변환할 수 있다.
또한, 상기 오브젝트 마스크를 생성하는 단계는, 관심 영역 검출 및 모션 검출 중 적어도 하나를 통해 상기 입력된 영상에 포함된 적어도 하나의 오브젝트 영역을 검출하고, 상기 검출된 오브젝트 영역에 기초하여 상기 오브젝트 마스크를 생성할 수 있다.
또한, 상기 뎁스 맵을 보정하는 단계는, 상기 생성된 뎁스 맵에 상기 오브젝트 마스크를 적용하여 상기 적어도 하나의 오브젝트 영역 내부에 균일한 뎁스를 부여하여 상기 뎁스 맵을 보정할 수 있다.
또한, 상기 2D 샘플 영상 및 이에 대응되는 뎁스 정보를 기초로 뎁스 그래디언트(depth gradient) 정보를 미리 학습하여 저장하는 단계를 더 포함하며, 상기 입력된 2D 영상을 3D 영상으로 변환하는 단계는, 상기 저장된 학습 정보에 기초하여 상기 입력된 2D 영상을 3D 영상으로 변환할 수 있다.
또한, 상기 변환된 3D 영상에 기초하여 다시점 영상을 렌더링하고, 상기 다시점 영상을 기설정된 배치 패턴으로 배치하여 디스플레이하는 단계를 더 포함할 수 있다.
또는, 상기 변환된 3D 영상을 외부 디스플레이 장치로 전송하는 단계를 더 포함할 수 있다.
본 발명의 다양한 실시 예에 따르면, 2D 영상에 포함된 오브젝트들이 적합한 뎁스 순서를 갖도록 뎁스를 추정할 수 있게 되므로 선명한 3D 영상을 제공할 수 있게 된다.
도 1은 본 발명의 일 실시 예에 따른 영상 변환 시스템의 구성을 설명하기 위한 도면이다.
도 2a 내지 도 2d는 본 발명의 다양한 실시 예에 따른 영상 변환 장치의 구성을 설명하기 위한 도면들이다.
도 3은 본 발명의 일 실시 예에 따라 저장부에 저장되는 구성을 설명하기 위한 도면이다.
도 4a 및 도 4b는 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 나타내는 블럭도이다.
도 5, 도 6a 내지 도 6e는 본 발명의 일 실시 예에 따른 영상 변환 동작을 순차적으로 설명하기 위한 도면들이다.
도 7은 본 발명의 일 실시 예에 따른 영상 변환 방법을 설명하기 위한 흐름도이다.
이하 본 발명의 다양한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 일 실시 예에 따른 영상 변환 시스템의 구성을 설명하기 위한 도면이다.
도 1에 따르면, 본 발명의 일 실시 예에 따른 영상 변환 시스템은 다양한 타입의 영상 제공 장치(10, 20, 30), 영상 변환 장치(100) 및 3D 디스플레이 장치(200)를 포함한다.
영상 제공 장치(10, 20, 30)는 2D 컬러 영상(이하, 2D 영상)을 제공하며, 방송국, 웹 서버, 외부의 저장 매체 등 다양한 타입의 장치로 구현될 수 있다.
영상 변환 장치(100)는 영상 제공 장치(1O, 20, 30)로부터 제공된 2D 영상을 3D 영상으로 변환한다. 구체적으로, 영상 변환 장치(100)는 본 발명에 따른 영상 변환 소프트웨어를 이용하여 2D 영상을 3D 영상으로 변환한다. 여기서, 영상 변환 장치(100)는, 도시된 바와 같이 별도의 서버 형태로 구현가능하지만, 이에 한정되는 것은 아니며, 3D 디스플레이 장치(200)에 구비된 임베디드 서버, 3D 디스플레이 장치(200)에 구현된 프로그램 모듈 등으로 구현될 수도 있다.
구체적으로, 영상 변환 장치(100)는 샘플 이미지 및 그에 대한 뎁스 정보(예를 들어 뎁스 맵)에 기초하여 입력된 이미지에 대응되는 뎁스 정보를 추정할 수 있다. 영상 변환 장치(100)는 입력된 이미지와 유사한 샘플 이미지를 검색하고, 샘플 이미지에 대한 뎁스 정보에 기초하여 입력된 이미지에 대한 뎁스 정보를 추정할 수 있다. 이 경우, 본 발명의 일 실시 예에 따른 영상 변환 장치(100)는 입력 이미지와 유사한 샘플 이미지의 뎁스 정보를 그대로 이용하지 않고, 각 픽셀 간 뎁스 차를 나타내는 뎁스 그래디언트 정보를 이용할 수 있는데 이에 대한 자세한 설명은 후술하도록 한다.
3D 디스플레이 장치(200)는 영상 변환 장치(100)에서 변환된 3D 영상을 디스플레이한다. 예를 들어, 3D 디스플레이 장치(200)는 무안경 3D 영상을 제공하는 디지털 TV, 모니터, PC, 키오스크, 태블릿 PC, 전자 액자, 키오스크, 휴대폰 등과 같은 다양한 유형의 디스플레이 장치로 구현될 수 있다. 다만 이에 한정되는 것은 아니며, 안경식 3D 디스플레이 장치로 구현되는 것도 가능하다.
특히, 본 발명에 따른 영상 변환 장치(100)는 학습(Learning) 기반 2D-3D 변환 방법(Depth Extraction from Video Using Non-parametric Sampling, ECCV 2012, Learning-Based, Automatic 2D-to-3D Image and Video Conversion, TIP 2013)에 기초하여 영상 변환을 수행할 수 있는데, 이하에서는 도면을 참조하여 본 발명의 다양한 실시 예에 대해 자세히 설명하도록 한다.
도 2a 내지 도 2d는 본 발명의 다양한 실시 예에 따른 영상 변환 장치의 구성을 설명하기 위한 도면들이다.
도 2a에 도시된 바에 따르면, 영상 변환 장치(100)는 영상 입력부(110) 및 프로세서(120)를 포함한다.
영상 입력부(110)는 영상을 입력받는다. 구체적으로, 영상 입력부(110)는 외부의 저장 매체, 방송국, 웹 서버 등과 같은 각종 외부 장치로부터 영상을 입력받을 수 있다. 여기서, 일반적인 촬영 장치에 의해 촬영된 단일 시점 영상 즉, 2D 영상이 될 수 있다.
프로세서(120)는 입력된 2D 영상에 대응되는 뎁스 그래디언트(depth gradient) 정보를 추정하고, 추정된 뎁스 그래디언트 정보에 기초하여 입력된 2D 영상을 3D 영상으로 변환한다. 이 경우, 프로세서(120)는 2D 샘플 영상 및 이에 대응되는 뎁스 정보를 기초로 입력된 2D 영상에 대응되는 뎁스 그래디언트 정보를 추정할 수 있다. 여기서, 2D 샘플 영상 및 이에 대응되는 뎁스 정보는 영상 변환 장치(100)에 기 저장되어 있을 수도 있으나, 별도의 데이터 서버에 저장되어 있을 수도 있으며, 후자의 경우 프로세서(120)는 해당 데이터 서버에 액세스하여 2D 샘플 영상 및 이에 대응되는 뎁스 정보를 이용할 수 있다(K. Karsch, C. Liu, and S. B. Kang. Depthtransfer: Depth extraction from video using non-parametric sampling. IEEE Trans. Pattern Anal. Mach. Intell., 2014., J. Konrad, M. Wang, P. Ishwar, C. Wu, and D. Mukherjee. Learning-based, automatic 2d-to-3d image and video conversion. IEEE Trans. Image Process., 22(9):3485-3496, Sept 2013.). 한편, 2D 샘플 영상 및 이에 대응되는 뎁스 정보를 저장하는 DB는 플래시 메모리, 자기 또는 광학 디스크, 또는 테이프 드라이브를 포함할 수 있는 하나 이상의 대용량 저장 장치, ROM(Read-Only Memory), RAM(Random-Access Memory), 소거 및 프로그램 가능한 메모리(erasable programmable memory)(예컨대, EPROM 및 EEPROM), 플래시 메모리, 또는 임의의 다른 유형의 저장 매체 중 적어도 하나의 형태로 구현될 수 있다.
일반적으로 영상의 뎁스(Depth)는 영상의 각각 픽셀 별로 부여된 깊이 값으로, 일 예로, 8bit의 뎁스는 0~255까지의 그레이 스케일(grayscale) 값을 가질 수 있다. 예를 들어, 흑/백을 기준으로 나타낼 때, 검은색(낮은 값)이 시청자로부터 먼 곳을 나타내며, 흰색(높은 값)이 시청자로부터 가까운 곳을 나타낼 수 있다.
또한, 뎁스 그래디언트(depth gradient)는 각 픽셀 별로 부여된 깊이 값의 차이를 나타내는 값으로, 예를 들어, 인접 픽셀과 깊이 값이 동일한 경우 뎁스 그래디언트는 0 값이 될 수 있다.
뎁스(depth) 정보란 3D 영상의 뎁스를 나타내는 정보로, 3D 영상을 구성하는 좌안 영상과 우안 영상 사이의 양안 시차 정도에 대응되는 정보이다. 뎁스 정보에 따라 사람이 느끼는 입체감의 정도가 달라진다. 즉, 뎁스가 큰 경우 좌우 양안 시차가 크게 되므로 입체감이 상대적으로 크게 느껴지고, 뎁스가 작은 경우 좌우 양안 시차가 작게 되므로 입체감이 상대적으로 작게 느껴지게 된다. 뎁스 정보는 일반적으로, 스테레오 정합(Stereo matching) 등과 같이 영상의 2차원적 특성만을 가지고 얻는 수동적인 방법과 깊이 카메라(Depth camera)와 같은 장비를 이용하는 능동적 방법을 통하여 획득될 수 있다. 한편, 뎁스 정보는 뎁스 맵 형태가 될 수 있다.
뎁스 맵(Depth map)이란 영상의 각 영역 별 뎁스 정보를 포함하고 있는 테이블을 의미한다. 영역은 픽셀 단위로 구분될 수도 있고, 픽셀 단위보다 큰 기설정된 영역으로 정의될 수도 있다. 일 예에 따라 뎁스 맵은 0~255까지의 그레이 스케일(grayscale) 값 중 127 또는 128을 기준 값 즉, 0(또는 포컬 플레인)으로 하여 127 또는 128 보다 작은 값을 - 값으로 나타내고, 큰 값을 + 값으로 나타내는 형태가 될 수 있다. 포컬 플레인의 기준값은 0~255 사이에서 임의로 선택할 수 있다. 값은 침강을 의미하며, + 값은 돌출을 의미한다.
또한, 프로세서(120)는 2D 샘플 영상 중 입력된 2D 영상과 유사한 복수 개의 영상을 추출하고, 추출된 복수 개의 영상에 대응되는 뎁스 정보에 기초하여 뎁스 그래디언트 정보를 추정하고, 추정된 뎁스 그래디언트 정보에 기초하여 입력된 2D 영상에 대응되는 뎁스 맵을 생성할 수 있다(What is the range of surface reconstructions from a gradient field, ECCV 2006).
구체적으로, 프로세서(120)는 모션(또는 연관 모션 벡터), 위치, 질감, 에지(edge), 색상, 컨텍스트 등 이미지를 구성하는 다양한 요소에 의해 입력된 2D 영상과 유사한 샘플 영상을 판단할 수 있다.
이어서, 프로세서(120)는 동일 또는 유사한 이미지 내의 오브젝트 들이 동일 또는 유사한 뎁스를 가질 수 있다는 가정에 기초하여 샘플 이미지 내의 동일 또는 유사한 픽셀 값에 대한 뎁스 값을 이용하여 입력된 이미지를 구성하는 모든 픽셀에 대한 뎁스 그래디언트를 추정할 수 있다.
또한, 프로세서(120)는 입력된 2D 영상에 포함된 적어도 하나의 오브젝트 영역에 대응되는 오브젝트 마스크를 생성하고, 생성된 뎁스 맵에 오브젝트 마스크를 적용하여 뎁스 맵을 보정하며, 보정된 뎁스 맵에 기초하여 입력된 2D 영상을 3D 영상으로 변환할 수 있다.
이 경우, 프로세서(120)는 관심 영역 검출 및 모션 검출 중 적어도 하나를 통해 입력된 영상에 포함된 적어도 하나의 오브젝트 영역을 검출하고, 검출된 오브젝트 영역에 기초하여 오브젝트 마스크를 생성할 수 있다. 이 경우, 프로세서(120)는 생성된 뎁스 맵에 오브젝트 마스크를 적용하여 적어도 하나의 오브젝트 영역 내부에 균일한 뎁스를 부여하여 뎁스 맵을 보정할 수 있다.
구체적으로, 프로세서(120)는 입력된 영상에 기설정된 알고리즘을 적용하여 영상을 분석하고 관심 이미지(또는 관심 맵 이미지)를 생성하고 이에 기초하여 사용자의 관심 영역을 추출할 수 있다(Estimating Scene-Oriented Pseudo Depth With Pictorial Depth Cues, TBC 2013). 여기서, 기설정된 알고리즘으로는 관심 맵 생성을 위한 기존의 다양한 알고리즘이 적용될 수 있다. 예를 들어, 논문 Salient Region Detection and Segmentation(Radhakrishna Achanta, Francisco Estrada, Patricia Wils, and Sabine SAusstrunk)에 개시된 관심 영역 검출 방법이 이용될 수 있으나, 이에 한정되는 것은 아니다.
일 예로, 입력된 영상으로부터 특징 정보(feature information)를 추출하여 하나 이상의 특징맵(feature map)을 생성할 수 있다. 여기서, 특징정보는 휘도(Luminance), 색(Color), 텍스쳐(Texture), 모션(Motion), 및 방향성(Orientation) 중 적어도 하나를 포함할 수 있다. 이 후, 특징맵을 이용하여 로우 레벨 관심 계산(Low-level Attention Computation)을 수행하고, 로우 레벨 관심 계산의 결과에 기초하여 입력된 영상에 대한 관심 맵 이미지를 생성할 수 있다.
경우에 따라 프로세서(120)는 2D 샘플 영상 및 이에 대응되는 뎁스 정보를 기초로 뎁스 그래디언트(depth gradient) 정보를 미리 학습하여 저장하고, 저장된 학습 정보에 기초하여 입력된 2D 영상을 3D 영상으로 변환할 수도 있다.
한편, 프로세서(120)는 상술한 방식에 따라 변환된 3D 영상을 외부 디스플레이 장치로 전송하도록 제어할 수 있다.
도 2b에 도시된 바에 따르면, 영상 변환 장치(100-1)는 영상 입력부(110), 프로세서(120) 및 통신부(130)를 포함한다. 도 2b에 도시된 구성 중 도 2a에 도시된 구성과 중복되는 부분에 대해서는 자세한 설명을 생략하도록 한다.
통신부(130)는 2D 샘플 영상 및 이에 대응되는 뎁스 정보를 저장하는 데이터베이스 서버와 통신을 수행한다.
이 경우, 프로세서(120)는 데이터 베이스 서버에 액세스하여, 데이터 서버에 저장된 정보를 기초로 입력된 2D 영상에 대응되는 뎁스 그래디언트(depth gradient) 정보를 추정할 수 있다.
도 2c에 도시된 바에 따르면, 영상 변환 장치(100-2)는 영상 입력부(110), 프로세서(120) 및 DB(140)를 포함한다. 도 2b에 도시된 구성 중 도 2a에 도시된 구성과 중복되는 부분에 대해서는 자세한 설명을 생략하도록 한다.
DB(140)는 2D 샘플 영상 및 이에 대응되는 뎁스 정보를 저장한다.
이 경우, 프로세서(120)는 DB(140)에 저장된 정보를 기초로 입력된 2D 영상에 대응되는 뎁스 그래디언트(depth gradient) 정보를 추정할 수 있다.
한편, 도 2a 내지 도 2c에 따른 영상 변환 장치에 적용되는 뎁스 그래디언트 분석 알고리즘에 대해 간략히 설명하도록 한다.
예를 들어, RGB-D(epth) 이미지들 {(Ii, Di｜i=1,...., N)}(여기서, Ii는 컬러 이미지, Di 는 컬러 이미지 각각에 관련된 뎁스 맵)이 데이터베이스에 저장되어 있는 경우를 가정하도록 한다.
우선, 데이터베이스로부터 트레이닝 페어 C = {(Ik, Dk)｜k = 1,...., K }(K《N)를 검색하고, 입력 이미지 및 트레이닝 이미지들 간에 로컬 대응 검색을 수행하여 가상의 뎁스 그래디언트를 샘플링하여 입력 이미지의 모든 픽셀에 대해 K 개의 뎁스 그래디언트 샘플을 도출한다. 각 픽셀에 대한 뎁스 그래디언트는 K 개의 뎁스 그래디언트 샘플로부터 결정될 수 있다. 이 후, 뎁스 그래디언트 필드로부터 초기 뎁스 필드 D를 재구성하고, 필터를 적용하여 공간 스무스 처리를 수행할 수 있다.
한편, 트레이닝 RGB-D 이미지를 검색하는 방식은 참고문헌 A. Bosch, A. Zisserman, and X. Munoz. Representing shape with a spatial pyramid kernel. In Proc. ACM Int. Conf. Image and Video Retrieval, pages 401-408. ACM, 2007.에, 뎁스 그래디언트를 샘플링하는 방식은 참고문헌 J. Kim, C. Liu, F. Sha, and K. Grauman. Deformable spatial pyramid matching for fast dense correspondences. In Proc. 및 IEEE Conf. Comput. Vis. Pattern Recognit., pages 2307-2314. IEEE, 2013., 등에, 그래디언트로부터 뎁스를 산출하는 방식은 A. Agrawal, R. Raskar, and R. Chellappa. What is the range of surface reconstructions from a gradient field In Proc. European Conf. Comput. Vis., pages 578?591. Springer, 2006. 및 H.-S. Ng, T.-P. Wu, and C.-K. Tang. Surface-from-gradients without discrete integrability enforcement: a gaussian kernel approach. IEEE Trans. Pattern Anal. Mach. Intell.,32(11):2085-2099, 2010.에 기재된 종래의 방식을 활용할 수 있으므로 자세한 설명은 생략하도록 한다.
도 2d는 도 2a에 도시된 영상 변환 장치의 세부 구성을 나타내는 블럭도이다.
프로세서(120)는 영상 변환 장치(100)의 동작을 전반적으로 제어한다.
구체적으로, 프로세서(120)는 RAM(121), ROM(122), 메인 CPU(123), 그래픽 처리부(124), 제1 내지 n 인터페이스(125-1 ~ 125-n), 버스(126)를 포함한다.
RAM(121), ROM(122), 메인 CPU(123), 그래픽 처리부(124), 제1 내지 n 인터페이스(125-1 ~ 125-n) 등은 버스(126)를 통해 서로 연결될 수 있다.
제1 내지 n 인터페이스(125-1 내지 125-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
메인 CPU(123)는 저장부(140)에 액세스하여, 저장부(140)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 저장부(140)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
ROM(122)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, 메인 CPU(123)는 ROM(122)에 저장된 명령어에 따라 저장부(140)에 저장된 O/S를 RAM(121)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(123)는 저장부(140)에 저장된 각종 프로그램을 RAM(121)에 복사하고, RAM(121)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다.
그래픽 처리부(124)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부(미도시)는 수신된 제어 명령에 기초하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부(미도시)는 연산부(미도시)에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다.
한편, 상술한 프로세서(120)의 동작은 저장부(150)에 저장된 프로그램에 의해 이루어질 수 있다.
저장부(150)는 영상 변환 장치(100)를 구동시키기 위한 O/S(Operating System) 소프트웨어 모듈, 각종 멀티미디어 컨텐츠와 같은 다양한 데이터를 저장한다.
특히, 저장부(150)에는 2D-3D 영상 변환을 위한 소프트웨어가 저장될 수 있다. 일 예로, 저장부(150)에는 도 3에 도시된 바와 같이 유사 판단 모듈(151), 뎁스 그래디언트 추정 모듈(152), 뎁스 맵 생성 모듈(153) 및 이미지 렌더링 모듈(154)을 포함한다.
프로세서(120)는 유사 판단 모듈(151)을 이용하여 내부 DB 또는 외부 데이터 베이스 서버에 저장된 샘플 영상으로부터 입력된 영상에 대응되는 유사 영상(또는 트레이닝 영상)을 검색할 수 있다. 이 경우, 유사 영상을 검색하기 위한 임계값이 정의될 수 있으며, 이는 입력 영상과 데이터 베이스에 저장된 영상 사이에 공유되어야 하는 특징 또는 특성의 수로 정의될 수 있다.
프로세서(120)는 뎁스 그래디언트 추정 모듈(152)을 이용하여 검색된 복수의 유사 영상에 대한 뎁스 정보로부터 입력된 이미지에 포함된 모든 픽셀에 대한 뎁스 그래디언트를 추정할 수 있다. 이 경우, 프로세서(120)는 복수의 유사 영상 중 픽셀 별로 가장 유사한 영상을 검색하여 해당 영상에 대응되는 뎁스 정보로부터 해당 픽셀에 대응되는 뎁스 그래디언트를 추정할 수 있다. 다만, 이에 한정되는 것은 아니며 복수의 유사 영상의 뎁스 정보를 평균하여 뎁스 그래디언트를 추정하거나, 복수의 유사 영상 중 픽셀 별로 가장 유사한 적어도 두 개의 영상의 뎁스를 평균하여 뎁스 그래디언트를 추정하는 등 다양한 방식에 따라 뎁스 그래디언트를 추정할 수 있다.
프로세서(120)는 뎁스 맵 생성 모듈(153)을 이용하여 추정된 뎁스 그래디언트에 대응되는 뎁스 맵을 생성할 수 있다. 뎁스 맵에 대해서는 상술한 바 있으므로 더 이상의 설명은 생략하도록 한다.
프로세서(120)는 이미지 렌더링 모듈(154)을 이용하여 입력 이미지 및 뎁스 맵 생성 모듈(153)을 이용하여 생성된 뎁스 맵에 기초하여 3D 출력 이미지(즉, 스테레오 이미지 쌍)를 렌더링할 수 있다. 일 구현 예에서, 이미지 렌더링 모듈(154)은 3D 이미지를 생성하기 위하여 깊이 이미지 기반 렌더링(Depth Image Based Rendering: DIBR) 기법들을 사용한다. DIBR 기법들은 다른 2D 이미지 및 화소 당(per pixel) 깊이 맵에 기초하여 2D 이미지를 렌더링할 수 있다. 원본 2D 이미지는 3D 이미지를 구성하는 두 개의 뷰들 중 하나가 되고, DIBR-렌더링된 2D 이미지는 제 2 뷰가 된다. 일구현예에서, 원본 2D 이미지는 좌측 뷰(left view)이지만, 렌더링된 2D 이미지는 우측 뷰(right view)이다. 다른 구현 예에서, 이는 반대로 될 수 있다.
도 4a는 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 나타내는 블럭도이다.
도 4a에 따르면, 디스플레이 장치(200)는 영상 수신부(210), 렌더링부(220), 디스플레이부(230), 제어부(240) 및 저장부(250)를 포함한다.
디스플레이 장치(200)는 TV, 모니터, PC, 키오스크, 태블릿 PC, 전자 액자, 키오스크, 휴대폰 등과 같은 다양한 유형의 디스플레이 장치로 구현될 수 있다.
영상 수신부(210)는 영상 변환 장치(100)로부터 변환된 3D 영상을 수신한다. 다만, 구현 예에 따라 영상 변환 장치(100)가 디스플레이 장치(100) 내부에 구비되는 경우, 영상 수신부(210)는 2D 영상을 입력받을 수도 있다.
렌더링부(220)는 영상 수신부(210)를 통해 수신된 영상을 이용하여 다시점 영상을 렌더링할 수 있다.
구체적으로, 렌더링부(220)는 멀티 뷰 즉, N 개의 뷰 및 대응되는 N 개의 뎁스 정보가 입력되는 경우 입력된 N 개의 뷰 및 뎁스 정보 중 적어도 하나의 뷰 및 뎁스 정보에 기초하여 다시점 영상을 렌더링할 수 있다. 또는 렌더링부(120)는 N 개의 뷰 만 입력되는 경우, N 개의 뷰로부터 뎁스 정보 추출 후, 추출된 뎁스 정보에 기초하여 다시점 영상을 렌더링할 수 있다.
디스플레이부(230)는, 멀티 뷰(또는 멀티 광학 뷰)를 제공하는 기능을 한다. 이를 위해, 디스플레이부(230)는 멀티 뷰 제공을 위한 디스플레이 패널(231) 및 시역 분리부(232)를 포함한다.
디스플레이 패널(231)은 복수의 서브 픽셀로 구성된 복수의 픽셀을 포함한다. 여기에서, 서브 픽셀은 R(Red), G(Green), B(Blue)로 구성될 수 있다. 즉, R, G, B의 서브 픽셀로 구성된 픽셀이 복수의 행 및 열 방향으로 배열되어 디스플레이 패널(231)을 구성할 수 있다. 이 경우, 디스플레이 패널(231)는 액정 디스플레이 패널(Liquid Crystal Display Panel: LCD Panel), 플라즈마 디스플레이 패널(Plasma Display Panel: PDP), 유기발광 소자(Organic Light Emitting Diode, OLED), VFD(Vacuum Fluorescent Display), FED(Field Emission Display), ELD(Electro Luminescence Display) 등과 같은 다양한 디스플레이 유닛으로 구현될 수 있다.
디스플레이 패널(231)은 영상 프레임을 디스플레이한다. 구체적으로, 디스플레이 패널(231)은 서로 다른 시점의 복수의 이미지가 순차적으로 반복 배치된 영상 프레임을 디스플레이할 수 있다.
한편, 도 4a에 도시하지 않았지만, 디스플레이 패널(231)이 LCD 패널로 구현되는 경우, 디스플레이 장치(200)는 디스플레이 패널(231)에 백라이트를 공급하는 백라이트부(미도시) 및 영상 프레임을 구성하는 각 픽셀들의 픽셀 값에 따라 디스플레이 패널(231)의 픽셀들을 구동하는 패널 구동부(미도시)를 더 구비할 수 있다.
시역 분리부(232)는 디스플레이 패널(231)의 전면에 배치되어 시청 영역 별로 상이한 시점 즉, 멀티 뷰를 제공할 수 있다. 이 경우, 시역 분리부(232)는 렌티큘러 렌즈(Lenticular lens) 또는, 패러랙스 배리어(Parallax Barrier)로 구현될 수 있다.
예를 들어, 시역 분리부(232)는 복수의 렌즈 영역을 포함하는 렌티큘러 렌즈로 구현될 수 있다. 이에 따라, 렌티큘러 렌즈는 복수의 렌즈 영역을 통해 디스플레이 패널(231)에서 디스플레이되는 영상을 굴절시킬 수 있다. 각 렌즈 영역은 적어도 하나의 픽셀에 대응되는 크기로 형성되어, 각 픽셀을 투과하는 광을 시청 영역별로 상이하게 분산시킬 수 있다.
다른 예로, 시역 분리부(232)는 패러랙스 배리어로 구현될 수 있다. 패러랙스 배리어는 복수의 배리어 영역을 포함하는 투명 슬릿 어레이로 구현된다. 이에 따라, 배리어 영역 간의 슬릿(slit)을 통해 광을 차단하여 시청 영역별로 상이한 시점의 영상이 출사되도록 할 수 있다.
도 4b는 본 발명의 일 실시 예에 따라 시역 분리부(232)가 렌티큘러 렌즈 어레이로 구현된 경우를 예를 들어 설명하도록 한다.
도 4b에 따르면, 디스플레이부(130)는 디스플레이 패널(231), 렌티큘러 렌즈 어레이(232') 및 백라이트 유닛(233)을 포함한다.
도 4b에 따르면, 디스플레이 패널(231)은 복수의 열(column)로 구분되는 복수의 픽셀을 포함한다. 각 열 별로 상이한 시점의 이미지가 배치된다. 도 4b에 따르면, 서로 다른 시점의 복수의 이미지 1, 2, 3, 4가 순차적으로 반복 배치되는 형태를 나타낸다. 즉, 각 픽셀 열은 1, 2, 3, 4로 넘버링된 그룹으로 배열된다. 패널로 인가되는 그래픽 신호는 픽셀열 1이 첫 번째 이미지를 디스플레이하고, 픽셀열 2가 두 번째 이미지를 디스플레이하도록 배열된다.
백라이트 유닛(233)은 디스플레이 패널(231)로 광을 제공한다. 백라이트 유닛(233)으로부터 제공되는 광에 의해, 디스플레이 패널(231)에 형성되는 각 이미지 1, 2, 3, 4는 렌티큘러 렌즈 어레이(132')로 투사되고, 렌티큘러 렌즈 어레이(232')는 투사되는 각 이미지 1, 2, 3, 4의 광을 분산시켜 시청자 방향으로 전달한다. 즉, 렌티큘러 렌즈 어레이(232')는 시청자의 위치, 즉, 시청 거리에 출구동공(exit pupils)을 생성한다.
제어부(240)는 디스플레이 장치(200)의 전반적인 동작을 제어하며, 저장부(250)는 디스플레이 장치(200)를 구동시키기 위한 O/S(Operating System) 소프트웨어 모듈, 각종 멀티미디어 컨텐츠와 같은 다양한 데이터를 저장한다.
도 5, 도 6a 내지 도 6e는 본 발명의 일 실시 예에 따른 영상 변환 동작을 순차적으로 설명하기 위한 도면들이다.
도 5에 도시된 바에 따르면, 입력 영상(예를 들어, 도 6a)에 대해 샘플 영상 DB로부터 씬 매칭(Scene matching)(510)을 수행하여 유사한 영상을 검색한다. 여기서, 씬 매칭은 프레임 단위로 수행될 수 있으나, 이에 한정되는 것은 아니다.
이어서, 검색된 유사한 영상에 대응되는 뎁스 정보로부터 뎁스 그래디언트를 샘플링(520)하고, 샘플링된 뎁스 그래디언트(도 6b)로부터 뎁스 정보에 기초하여 추정 뎁스 맵(예를 들어, 도 6c)을 생성(530)한다.
한편, 입력 영상에 대한 관심 영역 검출(540)을 통해 오브젝트 마스크(예를 들어, 도 6d)를 생성(550)한다. 다만, 오브젝트 마스크 생성시, 모션 검출 등 다양한 다른 방식이 추가적 또는 독자적으로 활용될 수 있음은 물론이다.
이 후, 생성된 뎁스 맵과 오브젝트 마스크를 PF(Prior Fusion)(560)하여 보정된 뎁스 맵(예를 들어, 도 6e)을 생성한다.
도 7은 본 발명의 일 실시 예에 따른 영상 변환 방법을 설명하기 위한 흐름도이다.
도 7에 도시된 본 발명의 일 실시 예에 따른 영상 변환 장치의 영상 변환 방법은, 2D 영상이 입력되면(S710), 2D 샘플 영상 및 이에 대응되는 뎁스 정보를 기초로, 입력된 2D 영상에 대응되는 뎁스 그래디언트(depth gradient)를 추정한다(S720).
이어서, 추정된 뎁스 그래디언트 정보에 기초하여 입력된 2D 영상을 3D 영상으로 변환한다(S730).
또한, 영상 변환 방법은, 2D 샘플 영상 및 이에 대응되는 뎁스 정보를 저장하는 데이터베이스 서버와 통신을 수행하는 단계를 더 포함할 수 있다. 이 경우, 뎁스 그래디언트 정보를 추정하는 S720 단계에서는, 데이터 베이스 서버에 액세스하여, 데이터 서버에 저장된 정보를 기초로 입력된 2D 영상에 대응되는 뎁스 그래디언트(depth gradient) 정보를 추정할 수 있다.
또한, 뎁스 그래디언트 정보를 추정하는 S720 단계에서는, 기저장된 2D 샘플 영상 및 이에 대응되는 뎁스 정보를 기초로 입력된 2D 영상에 대응되는 뎁스 그래디언트(depth gradient) 정보를 추정할 수 있다.
또한, 뎁스 그래디언트 정보를 추정하는 S720 단계에서는, 2D 샘플 영상 중 입력된 2D 영상과 유사한 복수 개의 영상을 추출하고, 추출된 복수 개의 영상에 대응되는 뎁스 정보에 기초하여 뎁스 그래디언트 정보를 추정하고, 추정된 뎁스 그래디언트 정보에 기초하여 입력된 2D 영상에 대응되는 뎁스 맵을 생성할 수 있다.
또한, 영상 변환 방법은, 입력된 2D 영상에 포함된 적어도 하나의 오브젝트 영역에 대응되는 오브젝트 마스크를 생성하는 단계 및, 생성된 뎁스 맵에 생성된 오브젝트 마스크를 적용하여 상기 뎁스 맵을 보정하는 단계를 더 포함하며, 입력된 2D 영상을 3D 영상으로 변환하는 S730에서는 보정된 뎁스 맵에 기초하여 입력된 2D 영상을 3D 영상으로 변환할 수 있다.
또한, 오브젝트 마스크를 생성하는 단계에서는, 관심 영역 검출 및 모션 검출 중 적어도 하나를 통해 입력된 영상에 포함된 적어도 하나의 오브젝트 영역을 검출하고, 검출된 오브젝트 영역에 기초하여 오브젝트 마스크를 생성할 수 있다.
또한, 뎁스 맵을 보정하는 단계에서는, 생성된 뎁스 맵에 오브젝트 마스크를 적용하여 적어도 하나의 오브젝트 영역 내부에 균일한 뎁스를 부여하여 뎁스 맵을 보정할 수 있다.
또한, 영상 변환 방법은, 2D 샘플 영상 및 이에 대응되는 뎁스 정보를 기초로 뎁스 그래디언트(depth gradient) 정보를 미리 학습하여 저장하는 단계를 더 포함하며, 입력된 2D 영상을 3D 영상으로 변환하는 단계는, 저장된 학습 정보에 기초하여 입력된 2D 영상을 3D 영상으로 변환할 수 있다.
또한, 영상 변환 방법은, 변환된 3D 영상에 기초하여 다시점 영상을 렌더링하고,다시점 영상을 기설정된 배치 패턴으로 배치하여 디스플레이하는 단계를 더 포함할 수 있다.
또는, 영상 변환 방법은, 변환된 3D 영상을 외부 디스플레이 장치로 전송하는 단계를 더 포함할 수 있다.
이상과 같이 본 발명의 다양한 실시 예에 따르면, 2D 영상에 포함된 오브젝트들이 적합한 뎁스 순서를 갖도록 뎁스를 추정할 수 있게 되므로 선명한 3D 영상으로 변환할 수 있게 된다.
상술한 다양한 실시 예에 따른 다시점 영상 디스플레이 방법은 프로그램으로 구현되어 디스플레이 장치에 제공될 수 있다.
일 예로, 2D 샘플 영상 및 이에 대응되는 뎁스 정보를 기초로, 입력된 2D 영상에 대응되는 뎁스 그래디언트(depth gradient) 정보를 추정하는 단계 및, 추정된 뎁스 그래디언트 정보에 기초하여 입력된 2D 영상을 3D 영상으로 변환하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110 : 영상 입력부 120 : 프로세서

Claims (20)

  1. 2D 영상을 입력받는 입력부; 및
    2D 샘플 영상 및 이에 대응되는 뎁스 정보를 기초로, 상기 입력된 2D 영상에 대응되는 뎁스 그래디언트(depth gradient) 정보를 추정하고, 추정된 뎁스 그래디언트 정보에 기초하여 상기 입력된 2D 영상을 3D 영상으로 변환하는 프로세서;를 포함하는 영상 변환 장치.
  2. 제1항에 있어서,
    상기 2D 샘플 영상 및 이에 대응되는 뎁스 정보를 저장하는 데이터베이스 서버와 통신을 수행하는 통신부;를 더 포함하며,
    상기 프로세서는,
    상기 데이터 베이스 서버에 액세스하여, 상기 데이터 서버에 저장된 정보를 기초로 상기 입력된 2D 영상에 대응되는 뎁스 그래디언트(depth gradient) 정보를 추정하는 것을 특징으로 하는 영상 변환 장치.
  3. 제1항에 있어서,
    상기 2D 샘플 영상 및 이에 대응되는 뎁스 정보를 저장하는 저장부;를 더 포함하며,
    상기 프로세서는,
    상기 저장부에 저장된 정보를 기초로 상기 입력된 2D 영상에 대응되는 뎁스 그래디언트(depth gradient) 정보를 추정하는 것을 특징으로 하는 영상 변환 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 2D 샘플 영상 중 상기 입력된 2D 영상과 유사한 복수 개의 영상을 추출하고, 추출된 복수 개의 영상에 대응되는 뎁스 정보에 기초하여 상기 입력된 2D 영상에 포함된 모든 픽셀에 대한 뎁스 그래디언트를 추정하고, 추정된 뎁스 그래디언트에 기초하여 상기 입력된 2D 영상에 대응되는 뎁스 맵을 생성하는 것을 특징으로 하는 영상 변환 장치.
  5. 제4항에 있어서,
    상기 프로세서는,
    상기 입력된 2D 영상에 포함된 적어도 하나의 오브젝트 영역에 대응되는 오브젝트 마스크를 생성하고, 상기 생성된 뎁스 맵에 상기 생성된 오브젝트 마스크를 적용하여 상기 뎁스 맵을 보정하며, 상기 보정된 뎁스 맵에 기초하여 상기 입력된 2D 영상을 3D 영상으로 변환하는 것을 특징으로 하는 영상 변환 장치.
  6. 제5항에 있어서,
    상기 프로세서는,
    관심 영역 검출 및 모션 검출 중 적어도 하나를 통해 상기 입력된 영상에 포함된 적어도 하나의 오브젝트 영역을 검출하고, 상기 검출된 오브젝트 영역에 기초하여 상기 오브젝트 마스크를 생성하는 것을 특징으로 하는 영상 변환 장치.
  7. 제5항에 있어서,
    상기 프로세서는,
    상기 생성된 뎁스 맵에 상기 오브젝트 마스크를 적용하여 상기 적어도 하나의 오브젝트 영역 내부에 균일한 뎁스를 부여하여 상기 뎁스 맵을 보정하는 것을 특징으로 하는 영상 변환 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 2D 샘플 영상 및 이에 대응되는 뎁스 정보를 기초로 뎁스 그래디언트(depth gradient) 정보를 미리 학습하여 저장하고, 저장된 학습 정보에 기초하여 상기 입력된 2D 영상을 3D 영상으로 변환하는 것을 특징으로 하는 영상 변환 장치.
  9. 제1항에 있어서,
    디스플레이부;를 더 포함하며,
    상기 프로세서는,
    상기 변환된 3D 영상에 기초하여 다시점 영상을 렌더링하고, 상기 다시점 영상을 기설정된 배치 패턴으로 배치하여 디스플레이하도록 제어하는 것을 특징으로 하는 영상 변환 장치.
  10. 제1항에 있어서,
    상기 프로세서는,
    상기 변환된 3D 영상을 외부 디스플레이 장치로 전송하도록 제어하는 것을 특징으로 하는 영상 변환 장치.
  11. 영상 변환 장치의 영상 변환 방법에 있어서,
    2D 영상을 입력받는 단계;
    2D 샘플 영상 및 이에 대응되는 뎁스 정보를 기초로, 상기 입력된 2D 영상에 대응되는 뎁스 그래디언트(depth gradient) 정보를 추정하는 단계; 및
    상기 추정된 뎁스 그래디언트 정보에 기초하여 상기 입력된 2D 영상을 3D 영상으로 변환하는 단계;를 포함하는 영상 변환 방법.
  12. 제11항에 있어서,
    상기 2D 샘플 영상 및 이에 대응되는 뎁스 정보를 저장하는 데이터베이스 서버와 통신을 수행하는 단계;를 더 포함하며,
    상기 뎁스 그래디언트 정보를 추정하는 단계는,
    상기 데이터 베이스 서버에 액세스하여, 상기 데이터 서버에 저장된 정보를 기초로 상기 입력된 2D 영상에 대응되는 뎁스 그래디언트(depth gradient) 정보를 추정하는 것을 특징으로 하는 영상 변환 방법.
  13. 제11항에 있어서,
    상기 뎁스 그래디언트 정보를 추정하는 단계는,
    기저장된 2D 샘플 영상 및 이에 대응되는 뎁스 정보를 기초로 상기 입력된 2D 영상에 대응되는 뎁스 그래디언트(depth gradient) 정보를 추정하는 것을 특징으로 하는 영상 변환 방법.
  14. 제11항에 있어서,
    상기 뎁스 그래디언트 정보를 추정하는 단계는,
    상기 2D 샘플 영상 중 상기 입력된 2D 영상과 유사한 복수 개의 영상을 추출하고, 추출된 복수 개의 영상에 대응되는 뎁스 정보에 기초하여 상기 입력된 2D 영상에 포함된 모든 픽셀에 대한 뎁스 그래디언트를 추정하고, 추정된 뎁스 그래디언트에 기초하여 상기 입력된 2D 영상에 대응되는 뎁스 맵을 생성하는 것을 특징으로 하는 영상 변환 방법.
  15. 제14항에 있어서,
    상기 입력된 2D 영상에 포함된 적어도 하나의 오브젝트 영역에 대응되는 오브젝트 마스크를 생성하는 단계; 및,
    상기 생성된 뎁스 맵에 상기 생성된 오브젝트 마스크를 적용하여 상기 뎁스 맵을 보정하는 단계;를 더 포함하며,
    상기 입력된 2D 영상을 3D 영상으로 변환하는 단계는,
    상기 보정된 뎁스 맵에 기초하여 상기 입력된 2D 영상을 3D 영상으로 변환하는 것을 특징으로 하는 영상 변환 방법.
  16. 제15항에 있어서,
    상기 오브젝트 마스크를 생성하는 단계는,
    관심 영역 검출 및 모션 검출 중 적어도 하나를 통해 상기 입력된 영상에 포함된 적어도 하나의 오브젝트 영역을 검출하고, 상기 검출된 오브젝트 영역에 기초하여 상기 오브젝트 마스크를 생성하는 것을 특징으로 하는 영상 변환 방법.
  17. 제15항에 있어서,
    상기 뎁스 맵을 보정하는 단계는,
    상기 생성된 뎁스 맵에 상기 오브젝트 마스크를 적용하여 상기 적어도 하나의 오브젝트 영역 내부에 균일한 뎁스를 부여하여 상기 뎁스 맵을 보정하는 것을 특징으로 하는 영상 변환 방법.
  18. 제11항에 있어서,
    상기 2D 샘플 영상 및 이에 대응되는 뎁스 정보를 기초로 뎁스 그래디언트(depth gradient) 정보를 미리 학습하여 저장하는 단계;를 더 포함하며,
    상기 입력된 2D 영상을 3D 영상으로 변환하는 단계는,
    상기 저장된 학습 정보에 기초하여 상기 입력된 2D 영상을 3D 영상으로 변환하는 것을 특징으로 하는 영상 변환 방법.
  19. 제11항에 있어서,
    상기 변환된 3D 영상에 기초하여 다시점 영상을 렌더링하고, 상기 다시점 영상을 기설정된 배치 패턴으로 배치하여 디스플레이하는 단계;를 더 포함하는 것을 특징으로 하는 영상 변환 방법.
  20. 제11항에 있어서,
    상기 변환된 3D 영상을 외부 디스플레이 장치로 전송하는 단계;를 더 포함하는 것을 특징으로 하는 영상 변환 방법.
KR1020140156144A 2014-11-11 2014-11-11 영상 변환 장치 및 그 영상 변환 방법 KR20160056132A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140156144A KR20160056132A (ko) 2014-11-11 2014-11-11 영상 변환 장치 및 그 영상 변환 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140156144A KR20160056132A (ko) 2014-11-11 2014-11-11 영상 변환 장치 및 그 영상 변환 방법

Publications (1)

Publication Number Publication Date
KR20160056132A true KR20160056132A (ko) 2016-05-19

Family

ID=56103290

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140156144A KR20160056132A (ko) 2014-11-11 2014-11-11 영상 변환 장치 및 그 영상 변환 방법

Country Status (1)

Country Link
KR (1) KR20160056132A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109791697A (zh) * 2016-09-12 2019-05-21 奈安蒂克公司 使用统计模型从图像数据预测深度
KR102089720B1 (ko) * 2018-10-16 2020-03-16 주식회사 파코웨어 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법 및 시스템

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109791697A (zh) * 2016-09-12 2019-05-21 奈安蒂克公司 使用统计模型从图像数据预测深度
KR20190065287A (ko) * 2016-09-12 2019-06-11 나이앤틱, 인크. 통계적 모델을 이용한 이미지 데이터로부터의 깊이 예측
CN109791697B (zh) * 2016-09-12 2023-10-13 奈安蒂克公司 使用统计模型从图像数据预测深度
KR102089720B1 (ko) * 2018-10-16 2020-03-16 주식회사 파코웨어 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법 및 시스템

Similar Documents

Publication Publication Date Title
US11756223B2 (en) Depth-aware photo editing
TWI544448B (zh) 影像處理方法以及影像處理裝置
US10237539B2 (en) 3D display apparatus and control method thereof
US8611642B2 (en) Forming a steroscopic image using range map
KR20130138177A (ko) 다중 시점 장면에서의 그래픽 표시
WO2013074561A1 (en) Modifying the viewpoint of a digital image
WO2013056188A1 (en) Generating free viewpoint video using stereo imaging
US11050997B2 (en) Dynamic display system capable of generating images corresponding to positions of users
KR100560464B1 (ko) 관찰자의 시점에 적응적인 다시점 영상 디스플레이 시스템을 구성하는 방법
US20180033157A1 (en) Image processing method and apparatus for determining depth within an image
US12069231B1 (en) Integrated display rendering
US20160180514A1 (en) Image processing method and electronic device thereof
Suenaga et al. A practical implementation of free viewpoint video system for soccer games
US10939092B2 (en) Multiview image display apparatus and multiview image display method thereof
CN113259650A (zh) 一种基于人眼追踪立体影像显示方法、装置、介质及系统
KR20160056132A (ko) 영상 변환 장치 및 그 영상 변환 방법
US11606546B1 (en) Perspective based green screening
Orozco et al. HDR multiview image sequence generation: Toward 3D HDR video
Xie et al. Depth-tunable three-dimensional display with interactive light field control
KR101831978B1 (ko) 회전된 렌티큘러시트를 부착한 디스플레이에 표시되는 요소영상콘텐츠 생성 방법
US9743063B2 (en) Method and apparatus for processing three-dimensional (3D) pseudoscopic images
TWI541761B (zh) 影像處理方法及其電子裝置
Chantara et al. Initial depth estimation using EPIs and structure tensor
CN108769662A (zh) 一种多视点裸眼3d图像空洞填补方法、装置及电子设备
Chappuis et al. Subjective evaluation of an active crosstalk reduction system for mobile autostereoscopic displays

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
E601 Decision to refuse application
E801 Decision on dismissal of amendment