KR101240789B1 - 비디오 변환시스템에 있어서의 뎁스맵 생성 - Google Patents

비디오 변환시스템에 있어서의 뎁스맵 생성 Download PDF

Info

Publication number
KR101240789B1
KR101240789B1 KR1020100126302A KR20100126302A KR101240789B1 KR 101240789 B1 KR101240789 B1 KR 101240789B1 KR 1020100126302 A KR1020100126302 A KR 1020100126302A KR 20100126302 A KR20100126302 A KR 20100126302A KR 101240789 B1 KR101240789 B1 KR 101240789B1
Authority
KR
South Korea
Prior art keywords
depth
image
map
dimensional
dimensional image
Prior art date
Application number
KR1020100126302A
Other languages
English (en)
Other versions
KR20110068870A (ko
Inventor
차오-충 쳉
충-티 리
리앙-지 첸
링-시우 후앙
Original Assignee
내셔널 타이완 유니버시티
하이맥스 테크놀로지스 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 내셔널 타이완 유니버시티, 하이맥스 테크놀로지스 리미티드 filed Critical 내셔널 타이완 유니버시티
Publication of KR20110068870A publication Critical patent/KR20110068870A/ko
Application granted granted Critical
Publication of KR101240789B1 publication Critical patent/KR101240789B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

본 명세서에 기재된 구체적인 실시예에 따르면 2차원 이미지를 3차원 이미지로 변환하기 위한 뎁스 맵을 생성하기 위한 프로세스가 설명된다.
상기 프로세스는 2차원 이미지로부터 뎁스 그라디언트 맵을 생헝하는 단계를 포함하고, 뎁스 그라디언트 맵은 하나 또는 그 이상의 뎁스 값과 하나 또는 그 이상의 에지 갯수를 조합하도록 형성되고 2차원 이미지로부터 이미지 요소를 추출하며, 상기 이미지 요소는 색공간 내의 색요소와 조합되고 이미지요소에 따라 뎁스 그라디언트 맵을 조정하기 위해 게인세트를 판단하고 뎁스 그라디언트 맵과 게인세트에 따라 뎁스 융합을 수행하여 뎁스 맵을 생성한다.

Description

비디오 변환시스템에 있어서의 뎁스맵 생성{DEPTH MAP GENERATION FOR A VIDEO CONVERSION SYSTEM}
본 발명은 동일 출원인이 가출원중인 출원번호 제61286397호, 발명의 명칭 "비디오 변환시스템(Video Conversion System)"을 우선권주장한다. 상기 우선권 주장에 출원된 내용과 목적 그리고 첨부된 모든 내용은 본 출원에 포함된다.
본 발명의 구체적인 실시예는 뎁스 맵 생성방법 및 비디오 변환방법과 시스템에 관한 기술을 구체적으로 기재한 것이다. 본 발명에 기술된 발명의 구성에서, 본 출원의 특허청구범위는 종래기술의 구성과는 대비되는 것이고 본 발명에 기술된 종래기술은 선행기술로는 인정될 수 없는 것이다.
3차원 이미지(a three-dimensional, 3D) 또는 3차원 비디오는 뎁스 감각(depth perception) 착시를 제공할 수 있는 것이다. 종래기술에 의한 3차원 기술은 실제사진(stereoscopic photography)에 근거할 수 있는 것이고 두 개의 렌즈로부터 이미지를 캡쳐하는 특별한 카메라를 필요로 하는 것이다. 3차원 실제사진 또는 비디오를 재생하기 위해 특별한 하드웨어 및/또는 안경이 각각의 눈을 모사하는 두 개의 이미지를 동시에 디스플레이하는 사용자에 있어서 뎁스 착시(the illusion of depth)를 제공하도록 필요하다. 3차원 디스플레이가 많은 어플리케이션, 예를 들면 방송, 영화, 게임 및 사진에 굉장한 가시적인 경험과 잇점을 제공하지만 3차원 컨텐트를 생성하는 효율적인 접근방법이 부족한 상황이다.
또한 종래기술에 의한 2차원 하드웨어를 이용하여 캡쳐되는 2차원 이미지 또는 2차원 비디오에 있어서, 종래기술에 의한 3차원 디스플레이 하드웨어 및/또는 3차원 안경은 2차원 컨텐트로부터 3차원 효과를 나타내는 기술이 부족하다. 그러므로 3차원 디스플레이 하드웨어를 이용하여 3차원 효과를 보기 전에, 2차원 이미지가 3차원 이미지로 변환되고 2차원 비디오가 3차원 비디오로 변환되는 것이 필요할 수 있다. 그러므로 2차원 이미지/비디오를 3차원 이미지/비디오로 변환하는 종래기술은 오브젝트 베이스 세그먼테이션(object-based segmentation)과 모션 보상기술(motion compensation techniques)에 의존하고 실행하기 위한 컴퓨팅 리소스(computing resources)가 필요하다.
본 발명의 목적은 2차원 이미지(2D, a two-dimensional image)를 3차원 이미지(3D, a three-dimensional image)로 변환하기 위한 뎁스맵(depth map)을 생성하기 위한 방법을 제공하는 것이다.
본 발명의 다른 목적은 2차원 비디오(2D, a two-dimensional video)를 3차원 비디오(3D, a three-dimensional video)로 변환하기 위한 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 비디오 변환(video conversion)용 뎁스 맵을 생성하기 위해 구성되는 시스템을 제공하는 것이다.
본 발명의 구체적인 하나 또는 그 이상의 실시예에 따르면, 2차원 이미지(2D, a two-dimensional image)를 3차원 이미지(3D, a three-dimensional image)로 변환하기 위한 뎁스맵(depth map)을 생성하기 위한 방법(process)이 제시된다.
상기 방법은 2차원 이미지로부터 뎁스 그라디언트 맵(a depth gradient map)을 생성하는 단계(generating)가 실행되며 상기 뎁스 그라디언트 맵은 하나 또는 그 이상의 뎁스값(one or more depth values)과 하나 또는 그 이상의 에지갯수(one or more edge counts)와 조합되어(associate) 형성된다.
상기 방법은 상기 2차원 이미지로부터 이미지요소(the image component)를 추출하는 단계를 포함하고 상기 이미지요소는 색공간(a color space) 내의 색요소(a color component)와 조합(associate)된다.
상기 방법은 상기 이미지요소에 따른 뎁스 그라디언트 맵을 조절하는 게인세트(a set of gains)를 결정하는 단계를 포함한다. 그리고 상기 방법은 뎁스 그라디언트 맵 및 게인세트에 따라 뎁스 융합(depth fusion)을 수행(performing)하여 뎁스맵을 생성하는 단계를 포함한다.
본 발명의 구체적인 하나 또는 그 이상의 다른 실시예에 따르면, 2차원 비디오(2D, a two-dimensional video)를 3차원 비디오(3D, a three-dimensional video)로 변환하기 위한 방법이 제시된다. 상기 방법은 2차원 비디오로부터 제1 2차원 이미지를 선택하는 단계와 제1 2차원 이미지와 조합되는 제1 뎁스 그라디언트 맵을 생성하는 단계가 수행된다.
상기 방법은 2차원 비디오로부터 제2 2차원 이미지를 선택하는 단계를 포함하고 상기 제2 2차원 이미지는 제1 2차원 이미지와 연속(subsequent)된다.
상기 방법은 상기 제1 뎁스 그라디언트 맵과 제2 2차원 이미지를 이용하여 뎁스 융합하여 제1 뎁스 맵을 생성하는 단계를 포함한다.
상기 제1 뎁스 맵을 이용하여 3차원 비디오에 대해서 제2 2차원 이미지를 제1 3차원 이미지로 변환하는 단계;를 포함한다.
본 발명의 다른 실시예에 의한 시스템은 비디오 변환(video conversion)용 뎁스 맵을 생성하기 위해 구성된다.
상기 시스템은 2차원 이미지에 따라 뎁스 그라디언트 맵을 생성하기 위한 뎁스 그라디언트 맵 생성기(a depth gradient map generator)를 포함한다.
상기 시스템은 2차원 이미지로부터 하나 또는 그 이상의 이미지요소(the image component)를 추출하고 하나 또는 그 이상의 이미지요소에 따라 각각의 하나 또는 그 이상의 게인을 결정하기 위한 뎁스 리파인먼트 엔진(a depth refinement engine)을 포함한다.
그리고 상기 시스템은 상기 뎁스 그라디언트 맵 생성기 및 상기 뎁스 리파인먼트 엔진과 결합되고 상기 뎁스 그라디언트 맵과 게인의 하나 또는 그 이상의 세트에 따라 뎁스 융합을 수행하여 뎁스 맵을 생성하는 뎁스 융합엔진(a depth fusion engine)을 포함한다.
도1은 본 발명에 의한 3차원 변환을 수행하기 위한 비디오 변환시스템의 구체적인 실시예의 블록다이아그램이고,
도2는 본 발명에 의한 3차원변환을 위해 뎁스맵을 생성하기 위해 실행되는 뎁스-생성모듈의 구체적인 실시예를 도시한 것이고,
도3은 본 발명에 의한 뎁스맵의 생성 동안에 생성되는 중간결과를 도시한 것이고,
도4는 본 발명에 의한 2차원 이미지로부터 뎁스맵을 생성하기 위한 방법의 구체적인 실시예의 순서도이고,
도5는 본 발명에 의한 3차원 비디오변환 방법을 최적화하기 위한 구체적인 실시예의 순서도이다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부된 도면을 참조로 하여 상세히 설명하기로 한다. 본 발명의 목적, 작용, 효과를 포함하여 기타 다른 목적들, 특징점들, 그리고 작동상의 이점들이 바람직한 실시예의 설명에 의해 보다 명확해질 것이다.
본 발명에 기재된 발명은 비디오 변환을 위한 뎁스맵의 생성에 관한 방법, 장치, 컴퓨터 프로그램 및 시스템에 관한 것이다. 하나의 실시예에서 뎁스 생성 모듈은 뎁스 맵을 생성하도록 2차원 이미지를 처리하는 것이다. 3차원 변환엔진은 2차원 이미지를 3차원 이미지로 변환하는 뎁스맵을 이용하는 것이다.
상기 뎁스맵을 생성하기 위해 상기 뎁스 생성 모듈의 뎁스 그라디언트 생성기는 2차원 이미지로부터 뎁스 그라디언트 맵을 생성한다.
상기 뎁스 생성 모듈의 상기 뎁스 리파인먼트 모듈(a depth refinement module)은 2차원 이미지로부터 하나 또는 그 이상의 이미지요소를 추출하고 하나 또는 그 이상의 이미지 요소(one or more image components)의 뎁스 특성(the depth characteristics)을 크게하는 뎁스 그라디언트 맵을 조정하는 게인세트를 결정한다. 상기 뎁스-생성 모듈의 뎁스 융합 모듈(a depth fusion module of the depth-generation module)은 뎁스 맵을 생성하는 게인세트와 뎁스 그라디언트 맵에 따라 뎁스 융합을 수행한다.
본 명세서에서 용어 "뎁스 맵(a depth map)"은 3차원 이미지 또는 비디오에 관한 뎁스값(depth values)을 저장하기 위한 데이터 구조를 참조한다. 상기 2차원 이미지는, 2차원 이미지 내의 각 픽셀이 조합된 뎁스 값으로 할당될 수 있다면, 3차원 기술을 이용하여 디스플레이될 수 있다. 상기 뎁스 값은 오브젝트의 픽셀로부터 시점까지(from a pixel of an object to a viewing point)의 거리에 관한 것이다. 예를 들면 시점에서 오브젝트의 거리가 멀어지면 거리가 커지므로 오브젝트와 시점 사이에서 뎁스 값이 커진다. 2차원 이미지에서 모든 픽셀에 대한 뎁스값은 뎁스 맵에 저장될 수 있다. 예를 들면 2차원 이미지가 1024 × 768 해상도를 갖는다면 뎁스 맵은 2차원 이미지 내의 픽셀에 대해 1024 × 768 대응하는 뎁스 값을 포함한다.
본 명세서에서 용어 "그라디언트(gradient)"는 소정 값에 대한 변화의 "경사도(steepness)이다. 실시예에서 그라디언트 값(the gradient value)이 높아지면 소정 값에 대한 변화율이 보다 커진다. 예를 들어 상기 그라디언트 값은 이미지 라인에서의 픽셀에 대한 뎁스 값의 변화율을 저장하도록 이용될 수 있다. 그러므로 그라디언트 값이 높아지면 이미지라인에서 다음 픽셀의 뎁스 값과 픽셀의 뎁스 값 사이의 차이가 커진다. 그리고 용어 "뎁스 그라디언트 맵(a depth gradient map)"은 이미지에서 픽셀의 뎁스 값과 관련되는 뎁스 그라디언트 값을 저장하기 위한 데이터 구조에 참조하는 것이다. 몇몇 실시예에서 뎁스 그라디언트 맵은 이미지의 이미지라인으로부터 도출되는 일반화된 누적 에지갯수를 포함한다.
본 명세서에서 용어 "색공간(color space)"이 2차원 또는 3차원 색이미지를 저장하는데 이용되는 색코딩구조(a color coding scheme)를 참조하는 것이다. 상기 색공간은 다중색요소로 각 픽셀의 색을 분리하도록 이용된다. 예를 들어 적녹청(RGB) 색공간은 픽셀의 색을 저장하기 위한 적(R) 색요소, 녹(G) 색요소 및 청(B) 색요소를 이용한다. YCbCr 색공간은 픽셀의 밝기를 저장하는 Y 색요소를 이용하고, 픽셀의 청색차(the blue-difference)를 저장하기 위해 Cr 색요소를 이용하고, 픽셀의 적색차(the red-difference)를 저장하기 위해 Cb 색요소를 이용한다. 색공간과 색요소는 색픽셀과 색값과 유사하다. 그러므로 YCbCr 색 공간을 이용하여 인코드된 색은 Y 색값, Cb 색값 및 Cr 색값, 세 개의 "색값(color value)"을 갖는다. 또한 다른 색요소를 이용하는 다른 색공간은 픽셀의 색을 저장하도록 유사하거나 따른 색값을 갖는다. 또한 용어 "이미지요소(image component)"는 이미지의 모든 픽셀에 대한 소정 색요소의 색값을 참조한다. 그러므로 이미지의 Y 이미지 요소는 이미지 내의 모든 픽셀의 Y 색값을 저장한다.
본 명세서에서 용어 "모노토닉 증가 리파인먼트(monotonic increasing refinement)"는 픽셀의 색값에 따라 뎁스값의 수정(refining)을 참조하고, 픽셀이 3차원 환경에서 수정된 뎁스 값으로 디스플레이될 때, 픽셀이 묘사된 오브젝트의 뎁스 특성이 커진다. 몇몇 실시예에서 상기 리파인먼트는 픽셀의 색값과 대응하는 게인을 이용하여 뎁스 값을 조절하여 이루어진다. 본 명세서에서 용어 "뎁스 융합(depth fusion)"은 뎁스 그라디언트 값과 게인에 따라 소정 종류의 계산식을 참조한다. 몇몇 실시예에서 뎁스 그라디언트 값인 픽셀에 대한 기본 뎁스값으로 이용되고 픽셀의 색값은 게인세트를 결정하는데 이용될 수 있다. 게인세트는 기본 뎁스 값을 조절하도록 이용될 수 있다.
도1은 3차원 변환을 수행하기 위한 비디오 변환시스템의 구체적인 실시예를 도시한 것이다. 도1에서 뎁스-생성 모듈(130)과 하나 또는 그 이상의 3차원 변환엔진(150)은 디스플레이장치(170,180,190)에 디스플레이하기 위해 2차원 비디오(110)을 3차원 비디오로 변환하도록 구성된다. 프레임 버퍼(120)가 2차원 비디오(110)으로 페치되는 하나 또는 그 이상의 2차원 이미지를 저장하기 위해 이용될 수 있다. 상기 뎁스-생성 모듈(130)은 제한 없이 뎁스 그라디언트 맵 생성기(131,a depth gradient map generator), 뎁스 리파인먼트 엔진(132, a depth refinement engine), 뎁스 융합 모듈(133,a depth fusion module), 컴퓨터 프로세서(135,a computing processor) 및/또는 메모리(136,a memory)를 포함하여 구성된다. 상기 3차원 변환 엔진은 뎁스-어웨어 2차원 확장엔진(151,a depth-aware 2D video enhancement engine), 사이드-바이-사이드 2차원 + Z 포맷 엔진(152,a side-by-side 2D+Z formatting engine) 또는 다중뷰 이미지 기본 렌더링 엔진(153,a Multi-View image-based rendering engine)이 될 수 있다.
몇몇 실시예에서 2차원 비디오(110)는 캠코더 또는 2차원 영화로부터 변환되는 비디오 스트림과 같은 2차원 비디오 캡쳐링 장치에 의해 생성되는 비디오 스트림(a video stream)이 될 수 있다. 상기 2차원 비디오(110)은 2차원 색이미지를 저장하는 다중 이미지 프레임을 포함한다. 각 2차원 이미지는 소정 해상도에 따라 형성되는 다중 색 픽셀을 갖는다. 예를 들면 2차원 이미지는 1024 × 768 해상도를 가지며, 2차원 이미지(2D color image)는 768 수평 이미지 라인(horizontal image lines)을 갖는 것을 의미하고, 각 이미지 라인은 1024 픽셀의 색정보를 갖는다. 다른 대중적인 이미지 해상도는 640×480, 1280×1024 또는 1920×1200를 포함한다. 몇몇 실시예에서 2차원 비디오(110)는 프레임 버퍼(120)로 회귀(fed)될 수 있다. 상기 프레임 버퍼(120)는 2차원 비디오(110)으로부터 2차원 이미지의 빠른 로딩을 위한 저장시스템이 될 수 있다. 몇몇 실시예에서 뎁스-생성 모듈(130)과 3차원 변환엔진(150)은 프레임 버퍼(120) 내에 저장되는 2차원 이미지를 빠르게 액세스하도록 구성된다.
실시예에서 상기 뎁스 그라디언트 맵 생성기(131)는 프레임 버퍼(120)로부터 2차원 이미지를 구하고(retrieve) 2차원 이미지에 따라 뎁스 그라디언트 맵을 생성하도록 형성된다. 상기 뎁스 리파인먼트 엔진(132)은 뎁스 그라디언트 맵 생성기(131)과 같이 동일한 2차원 이미지를 프레임 버퍼(120)로부터 구하고 2차원 이미지에 따라 게인세트를 생성하도록 형성된다. 몇몇 실시예에서 게인세트는 순차적으로 증가한다. 상기 뎁스 그라디언트 맵과 게인세트에 의하면 뎁스 융합 모듈(133)은 뎁스맵(140)을 생성하기 위해 뎁스 융합을 수행한다. 상기 뎁스맵(140)과 프레임 버퍼(120)에서의 2차원 이미지는 2차원 이미지를 3차원 이미지로 변환하기 위해 3차원 변환엔진으로 전송된다. 상기 뎁스 그라디언트 맵 생성기(131), 뎁스 리파인먼트 엔진(132) 및 뎁스 융합 모듈(133)의 구체적인 설명은 이하에서 설명된다.
구체적인 실시예에서 상기 뎁스-생성 모듈(130)은 뎁스맵(140)을 생성하기 위해 컴퓨터 프로세서(135)를 이용한다. 상기 컴퓨터 프로세서(135)는 프로그래머블 명령어(programmable instructions)에 따라 명령(commands)을 실행하는 마이크로 프로세서 또는 일반적 또는 소정 컴퓨팅장치가 될 수 있다. 구체적인 실시예에서 상기 컴퓨터 프로세서(135)는 프로그래머블 명령어를 실행하고 실행의 결과를 저장하는 메모리(136)를 이용한다. 상기 메모리(136)는 랜덤 액세스 메모리(random access memory (RAM)), 리드-오운리 메모리(read-only memory (ROM)), 플래시 메모리(flash memory), 종래의 마그네틱 또는 광학디스크, 테이프 드라이브 또는 상기 장치들의 결합장치가 될 수 있다.
몇몇 실시예에서 3차원 변환엔진(150)은 프레임 버퍼(120)로부터 2차원 이미지를 구할 수 있고 2차원 이미지를 3차원 이미지로 변환하기 위해 뎁스맵(140)를 이용할 수 있다. 몇몇 실시예에서 뎁스-어웨어 2차원 확장엔진(151)은 뎁스맵(140)에 따라 2차원 이미지의 뎁스 특성을 크게한다. 특히 상기 뎁스-어웨어 2차원 확장엔진(151)은 에지(the edge), 콘트라스트(contrast) 및 2차원 이미지의 포화(saturation of the 2D image)를 개선한다. 예를 들어 2차원 이미지에서 오브젝트(object)는 각 뎁스값이 소정 트레스홀드 이상 또는 이하인지에 따라 오브젝트와 조합되는 콘트라스트(또는 포화)를 증가 또는 감소하여 커진다. 다시 말하면 뎁스값이 트레스홀드(threshold) 보다 작을 때 트레스홀드 보다 큰 또 다른 뎁스 값 보다 더 커진다. 상기 뎁스-어웨어 2차원 확장엔진(151)은 Lian-Gee Chen 등에 의한 미국특허출원 12/242,672 "Depth-Based Image Enhancement"에 기재된 기술과 같은 종래 기술에 의해 실행될 수 있다.
몇몇의 실시예에서 상기 사이드-바이-사이드 2차원 + Z 포맷 엔진(152)은 각 픽셀의 이미지가 스크린 평면 앞 또는 뒤에 디스플레이되어야 하는지를 보여주는 소정 뎁스맵을 갖는 3차원 이미지(연속적인 왼쪽/오른쪽 이미지, 입체사진(anaglyph) 또는 편광이미지(polarization image))를 생성한다. 상기 다중뷰 이미지 기본 렌더링 엔진(153)은 다중 시점(multiple perspectives)으로부터 이미지를 캡쳐링하는 다중 카메라에 의해 생성되는 하나와 유사한 다른 시점(different viewing points)에서의 2차원 이미지를 생성한다. 몇몇 실시예에서 3차원 변환엔진(150)에 의해 생성되는 3차원 이미지는 다양한 2차원 또는 3차원 디스플레이 장치에 의해 디스플레이된다. 예를 들어 2차원 디스플레이장치(170)는 뎁스맵(140)에 근거한 2차원 이미지를 프로세스하고 2차원 패션(a 2D fashion)에서의 이미지를 생성할 수 있다. 3차원 디스플레이장치(180)는 다른 시각에 따라 다른 색과 용량으로 픽셀을 디스플레이하는 오토-스테레오스코픽 기술(auto-stereoscopic technology)을 이용한다. 3차원 디스플레이장치(180)에서 사용자는 연속적인 왼쪽/오른쪽 이미지용 셔터유리, 입체사진(anaglyph imag)용 적색/시안(a red/cyan) 유리 또는 편광이미지용 편극유리를 착용한다. 그리고 3차원 다중-뷰 스테레오 스코픽 디스플레이 장치(190,3D multi-view stereoscopic display)는 다른 시점에서의 2차원 이미지에 따라 생성되는 3차원 이미지를 디스플레이한다. 상기 3차원 다중-뷰 스테레오 스코픽 디스플레이 장치(190)는 배리어(barrier) 또는 레티큘러 패널(lenticular panel)을 갖고 사용자는 벗은 눈으로 3차원 착시 장면을 직접적으로 즐길 수 있다.
몇몇 실시예에서 상기 뎁스-생성 모듈(130)은 뎁스 그라디언트 맵 생성기(131)와 동시에 각각 동작을 수행하는 뎁스 리파인먼트 엔진(132)을 제어한다. 최적화된 성능을 위해 상기 뎁스 리파인먼트 엔진(132)은 제2 2차원 이미지를 수정(refine) 하기 위해 제1 2차원 이미지로부터 생성되는 뎁스 그라디언트 맵을 이용한다. 최적화되고 및/또는 동시 프로세싱에 대한 구체적인 설명이 이하에 부가적으로 설명된다.
도2는 3차원 변환을 위한 뎁스맵을 생성하기 위해 수행되는 뎁스-생성 모듈의 실시예를 도시한 것이다. 도2에서 도1의 상기 뎁스-생성 모듈(130)과 유사한 뎁스-생성 모듈은 뎁스 그라디언트 맵 생성기(220,a depth gradient map generator, 도1의 뎁스 그라디언트 맵 생성기(131)와 유사), 뎁스 리파인먼트 엔진(230,a depth refinement engine, 도1의 뎁스 리파인먼트 엔진(132)과 유사), 뎁스 융합 모듈(250,a depth fusion module, 도1의 뎁스 융합 모듈(133)과 유사)을 포함한다. 상기 뎁스-생성 모듈은 2차원 이미지(210)에 따라 뎁스맵(260)을 생성하고 프레임 버퍼로부터 구해진다(도2에 미도시). 상기 뎁스-생성 모듈은 뎁스 그라디언트 맵 생성기(220)는 에지필터(221), 에지 누산기(223) 및 장면뎁스 어사인먼트 모듈(225, a scene depth assignment module)을 포함한다. 상기 뎁스 리파인먼트 엔진(230)은 색공간 추출기(231,a color space extractor)와 하나 또는 그 이상의 이미지 요소 리파인먼트 모듈(233,235 및/또는 237, image component refinement modules)을 포함한다.
실시예에서 상기 에지필터(221)는 정렬된 형태로 소정 시간에서 2차원 이미지(210)를 프로세싱하여 다수의 에지를 검출한다. 예를 들어 에지필터(221)는 상-하 또는 저-고(a top-down or bottom-up), 비월주사 또는 비비월주사(interlaced or non-interlaced) 방식으로 2차원 이미지(210)에서 이미지 라인을 읽는다.
각 이미지라인에서 상기 에지필터(221)는 이미지라인 내의 픽셀을 평가하고 나란한 픽셀이 소정 트레스홀드를 초과하는 특성 변화를 가지면 에지를 검출한다. 상기 변화는 색 또는 밝기에 근거한다. 상기 에지필터(221)는 두 개의 인접한 픽셀 사이의 색변화가 색변화 트레스홀더 보다 크다면 현재 이미지 라인 내의 에지가 되도록 결정한다. 또한 상기 에지필터(221)가 각 픽셀의 밝기/휘도(brightness/luminance) 레벨에 따라 이미지라인을 필터한다. 픽셀이 다음 픽셀 보다 높거나 낮은 휘도를 갖는다면(다시 설명하면 픽셀이 다음 픽셀 보다 밝거나 어두우면), 휘도 레벨변화는 휘도 트레스홀드를 초과하고, 에지필터(221)는 에지가 현재 이미지라인 내에서 검출되는 것을 도출한다.
상기 이미지라인에서 모든 픽셀이 인접한 픽셀과 비교되고 평가된 후에, 에지필터(221)는 에지갯수와 같은 검출된 에지의 갯수와 이미지 라인과 조합되는 에지갯수를 더한다. 이후로 에지필터(221)는 2차원 이미지로부터 또 다른 이미지 라인을 순차적으로 선택하고, 2차원 이미지의 각 이미지라인은 대응하는 에지갯수를 가질 때까지 프로세싱을 계속한다. 상기 프로세싱의 결과는 도3의 테이블(310)과 유사한 테이블을 가지며, 각 라인은 대응하는 에지갯수 값을 갖는다. 상기 결과는 부가적인 프로세싱에 대해 에지 누산기(223)에 전달된다.
몇몇 실시예에서 에지 누산기(223)는 2차원 이미지(210)의 각 이미지라인에 대해 누산된 에지갯수를 계산한다. 일반적으로 인간의 시야 감각은 시점으로부터 이격되는 2차원 이미지(210)의 상부 절반(top half)와 시점과 가까운 2차원 이미지(210)의 하부 절반을 인식한다. 이것은, 하늘이 상부를 차지하고 땅이 하부를 차지하고 있기 때문에 몇몇 2차원 이미지(210)에서 일반적으로 사실이다. 그와 같은 가정하에서 뎁스-생성 모듈은 뎁스 그라디언트 맵 생성기(220)는 2차원 이미지(210)의 하부 방향의 이미지 라인에 더 높은 뎁스 그라디언트를 할당하여 2차원 이미지에 대한 초기의 뎁스 맵을 제작한다. 다시 설명하면 제2 이미지라인은 2차원 이미지(210) 내의 제1 이미지 라인 하부에 있으며 제1 이미지 라인 보다 시점이 보다 가까운 것으로 가정될 수 있다. 상기 가정과 에지가 뎁스와 조합되는 것을 가정하면, 에지 누산기(223)는 제2 이미지 라인의 에지갯우에 제1 이미지 라인의 에짓 갯수를 가산하여, 제1 이미지 라인 보다 더 많은 에지 갯수를 갖는 제2 이미지 라인을 확보할 수 있다. 이와 같은 접근은 제2 이미지 라인을 3차원 디스플레이장치의 제1 이미지 라인 보다 시점에 보다 가깝게 보이도록 한다. 상기 생성된 3차원 효과는, 제1 이미지 라인과 제2 이미지 라인이 서로 근접할 때, 유효하다.
몇몇 실시예의 2차원 이미지(210)에서 소정 이미지를 위한 에지누산기(223)는 모든 "거리(distant)" 이미지 라인의 에지갯수를 소정 이미지라인의 에지갯수에 누산하고, 상기 "거리(distant)"는 소정 이미지라인 보다 "멀리-이격된(farther-away)" 것이며, 상기 소정 이미지라인은 모든 "거리" 이미지라인보다 많은 에지갯수를 갖는다. 상기 2차원 이미지(210)가 상부에서 이격된(top-far) 즉, 저부 근접함(bottom-near) 조건에 있을 때, "멀리-이격된(farther-away)" 모든 이미지 라인은 2차원 이미지(210) 내의 소정 이미지 "상부(above)"의 이미지 라인이 될 수 있다. 2차원 이미지(210)의 "최저부(most-bottom)" 이미지 라인에 있어서, 에지누산기(233)는 전체 에지갯수에 2차원 이미지(210) 내의 모든 이미지라인의 에지갯수를 더하고 "최저부(most-bottom)" 이미지 라인에 대한 누산된 에지갯수와 같이 전체 에지갯수를 할당한다.
상술한 방법은 도3의 테이블(320)과 유사한 출력을 생성하고 각 소정 이미지라인은 누적된 에지갯수와 조합될 수 있다. 각 누산된 에지갯수는 "상부(above)" 소정 이미지라인인 이미지 라인의 모든 에지 갯수의 부분합(sub-total)을 포함한다. 실시예에서 뎁스 그라디언트 맵 생성기(220)는, 하부 절반 보다 시점에 가까운 2차원 이미지(210)의 절반 상부(the top half)로 디스플레이된다. 이러한 경우에 에지누산기(223)는 "상부" 이미지 라인에 "하부" 이미지 라인의 에지갯수를 더해 서로 다른 차수로 이미지 라인의 에지갯수를 누적한다. 그러므로 상기 에지누산기(223)는 출력테이블을 제공하고 상기 출력테이블에서는 모든 이미지 라인이 다른 "가까운(closer)" 이미지 라인 보다 에지갯수를 누산하지 않는다. 상기 에지 누산의 구체적인 설명은 이하에서 보다 구체적으로 하기로 한다.
구체적인 실시예에서 상기 장면뎁스 어사인먼트 모듈(225)은 2차원 이미지(210)의 각 이미지 라인에 대한 누산 에지갯수에 일반화를 수행한다. 많은 색 공간에 대한 색값이 0에서 255의 범위(즉 색값이 8비트 값)이기 때문에 뎁스 맵의 뎁스값은 0 내지 255의 유사 범위로 일반화되고, 0은 가정 멀리 있는 것을 나타내고 255는 가장 가까운 것을 나타낸다. 상기 에지누산기(223)에 의해 생성되는 뎁스 그라디언트 맵에서 뎁스 그라디언트 값이 되는 누산 에지갯수는 0에서 255 보다 높거나 낮은 수의 범위를 갖는다. 상기 장면뎁스 어사인먼트 모듈(225)은 누산 에지갯수를 일반화하는 일반화율(a normalization rate)을 결정하고 2차원 이미지(210)의 시점에 가장 가까운 이미지 라인은 255의 일반화된 에지 갯수를 갖는다. 상기 다른 누산 에지 갯수는 동일한 일반화율에 따라 비례해서 축적이 커지거나 작아질 수 있다. 동작 후에 장면뎁스 어사인먼트 모듈(225)은 출력으로 뎁스 그라디언트 맵(241)을 생성한다. 몇몇 실시예에서 상기 장면뎁스 어사인먼트 모듈(225)은 뎁스 그라디언트 맵 생성기(220)로부터 생략되고 뎁스 융합 모듈(250)에 의해 생성되는 뎁스맵(260)에서 일반화를 수행한다.
몇몇 실시예에서 상기 뎁스 그라디언트 맵(241)은 2차원 이미지(210)에서 이미지 라인의 갯수와 같이 뎁스 그라디언트 값과 동일한 값을 가지며 2차원 이미지(210)의 해상도에 의해 한정된다. 예를 들어 상기 2차원 이미지(210) 1024 × 768 해상도를 가지면 상기 뎁스 그라디언트 맵(241)은 768 엔트리(entries)를 갖는다. 상기 뎁스 그라디언트 맵(241)의 마지막 엔트리(entry)는 255로 일반화될 수 있다. 또한 상기 뎁스 그라디언트 맵(241) 내의 각 엔트리는 2차원 이미지(210)의 대응 이미지 라인과 조합될 수 있으며 동일한 이미지 라인 내의 모든 픽셀에 대한 초기 뎁스 값인 뎁스 그라디언트 값을 표현한다.
구체적인 실시예에서 상기 색공간 추출기(231)는 2차원 이미지(210)를 프로세스하고 2차원 이미지(210)로부터 하나 또는 그 이상의 이미지 요소를 추출한다. 상기 색공간 추출기(231)는 2차원 이미지(210)가 어떤 색공간으로 인코드되는지를 결정하고 색공간의 색요소와 대응하는 이미지요소를 추출한다. 예를 들어 상기 2차원 이미지(210)는 YCbCr 색공간을 이용하여 인코드되는 결정에서 상기 색공간 추출기(231)는 2차원 이미지(210)로부터 3개의 이미지 요소(Y 이미지 요소, Cb 이미지 요소 및 Cr 이미지 요소)를 추출한다. 추출에서 Y 이미지 요소는 Y 색값을 포함하고, Cb 이미지 요소는 Cb 색값을 포함하고 Cr 요소는 2차원 이미지(210) 내의 모든 픽셀의 Cr 색값을 포함한다.
몇몇 실시예에서 상기 색공간 추출기(231)에 의해 추출되는 Y 이미지 요소는 Y 리파인먼트 모듈(233)로, Cb 이미지 요소는 Cb 리파인먼트 모듈(235)로 및 Cr 이미지 요소는 Cr 리파인먼트 모듈(237)로 전달될 수 있다. 또 다른 색공간(예, RGB 색공간)이 2차원 이미지(210)을 인코딩하기 위해 이용될 때, 상기 뎁스 리파인먼트 엔진(230)은 색공간 추출기(231)에 의해 추출되는 R,G 및/또는 B 이미지 요소를 프로세스하는 이미지 요소 리파인먼트 모듈(예, R 리파인먼트 모듈, G 리파인먼트 모듈 및/또는 B 리파인먼트 모듈)을 포함한다.
실시예에서 2차원 이미지(210)의 색과 밝기는 소정 뎁스 특성을 갖는다. 특히 인간의 시각의 감각은 2차원 이미지 내의 오브젝트의 소정 색 또는 밝기를 2차원 이미지(210)의 시점과 오브젝트 사이의 거리에 조합한다. 예를 들어 따뜻한 색(예, 적색)은 가깝게 느껴지고 차가운 색(예, 청색)은 멀게 느껴진다. 또는 높은 조도를 갖는 오브젝트는 2차원 이미지(210) 내의 낮은 조도를 갖는 다른 오브젝트 보다 가깝게 느껴진다. YCbCr 색공간에서 Y색 요소는 픽셀의 조도 정보를 저장한다. 상기 Cr색 요소는 적색 차(red-differencd)를 저장하는 크로마 요소(chroma component)가 될 수 있고, Cb색 요소는 픽셀에 대한 청색 차(blue-difference)를 저장하기 위한 크로마 요소가 될 수 있다. 그러므로 YCbCr색 공간의 뎁스 특성을 향상시키기 위해 상기 이미지 요소 리파인먼트 모듈(233,235 및 237)은 근거리 밝은 색 픽셀(the bright-colored pixel appear closer) , 원거리 어두은 색 픽셀(dim-colored pixel appears farther), 근거리 따뜻한 색 픽셀(warm-colored pixel closer) 및 원거리 차가운 색 픽셀(cold-colored pixel farther)을 만들도록 게인세트를 생성한다.
구체적인 실시예에서 Y 리파인먼트 모듈(233)은 Y 이미지요소 내의 Y 색 값과 대응하는 제1 게인을 결정한다. 상기 제1 게인세트는 조절값이 되는 Ybase로 Ybase - Yth에서 Ybase + Yth 까지의 범위에서 선형 증가 시퀀스(a linear increasing sequence)가 된다. 예를 들어 상기 선형 증가 시퀀스는 1 - Yth에서 1 + Yth 까지의 범위이다. 상기 Yth 는 선형 증가 시퀀스를 조정하기 위한 변수이다. 다시 설명하면 0에서 255까지의 범위에 있는 소정 Y 색값에서 소정 Y 색값과 대응하는 제1 게인은 1 - Yth에서 1 + Yth 까지 범위 내에 있다. 예를 들면 Y 색값이 0 일 때, Y에 대한 제1 게인은 1 - Yth 가 될 수 있다. Y 색값이 128 일 때 Y에 대한 제1 게인은 1이 될 수 있다. Y 색값이 255 일 때, 제1 게인은 1 + Yth 가 될 수 있다. 구체적인 실시예에서 상기 Yth 변수는 다른 조건(또는 어플리케이션)에 따라 결정되는 변수가 될 수 있다.
구체적인 실시예에서 Y 이미지 요소에서 모든 Y 색값에 대한 제1 게인은 Y 게인세트(243)에 저장될 수 있다. 상기 Y 게인세트(243)에서 각 제1 게인은 2차원 이미지(210)의 픽셀과 조합될 수 있다. 그러므로 상기 Y 게인세트(243)는 소정 픽셀의 위치(이미지 라인상 그리고 이미지라인 상의 위치)를 포함할 수 있다. 상술한 바와 같이 제1 게인은 Y 색값에 따라 결정될 수 있으며, 소정 픽셀로부터 추출될 수 있고 상기 Y 게인세트(243)는 Y 이미지 요소 내의 Y 색값의 수와 같은 동일한 수의 엔트리를 갖고 2차원 이미지(2100)의 픽셀의 수와 같은 동일한 수의 엔트리를 갖는다.
실시예에서 Cb 리파인먼트 모듈(235)은 Cb 이미지요소 내의 각 Cb 색값과 대응하는 제2 게인을 결정한다. 상기 선형게인의 범위(the range of the linear gain)는 조정될 수 있는 값 Cbbase 로 Cbbase + Cbth 에서 Cbbase - Cbth 가 될 수 있다. 예를 들면 상기 제2 게인세트는 0에서 255까지 범위의 Cb 색값에 대해 1 + Cbth 에서 1 - Cbth 가 될 수 있다. 상기 Cbth 는 다른 조건(어플리케이션)에서 결정될 수 있는 변수이다. 상기 Cb 리파인먼트 모듈(235)은 Cb 게인세트(245)에서의 모든 제2 게인을 배치(place)한다. 상기 Cb 게인세트(245)에서 각 제2 게인은 2차원 이미지(210) 내의 픽셀과 조합될 수 있다.
실시예에서 Cb 리파인먼트 모듈(237)은 Y 리파인먼트 모듈(233)과 같이 Cr 이미지 요소에 유사한 동작을 수행한다. 특히 상기 Cb 리파인먼트 모듈(237)은 Cr 이미지요소 내의 각 Cr 색값과 대응하는 제3 게인을 결정한다. 상기 선형게인의 범위(the range of the linear gain)는 조정될 수 있는 값 Crbase 로 Crbase - Crth 에서 Crbase + Crth 가 될 수 있다. 상기 Crth 는 다른 조건(어플리케이션)에서 결정될 수 있는 변수이다. 상기 Cr 리파인먼트 모듈(237)은 Cr 게인세트(247)에서의 모든 제3 게인을 배치(place)한다. 상기 Cr 게인세트(247)에서 각 제3 게인은 2차원 이미지(210) 내의 픽셀과 조합될 수 있다.
몇몇 실시예에서 상기 뎁스 그라디언트 맵(241), 상기 Y 게인세트(243), 상기 Cb 게인세트(245) 및 상기 Cr 게인세트(247)는 부가적인 동작을 위해 뎁스 융합 모듈로 전달될 수 있다. 상기 뎁스 융합 모듈(the depth fusion module,250)은 제1 출력을 생성하기 위해 Y 게인세트(243)로 일반화된 에지갯수를 적용한다. 상기 제1 출력은 제2 출력을 생성하기 위해 Cb 게인세트(245)에 적용될 수 있다. 상기 제2 출력은 Cr 게인세트(247)에 부가적으로 적용될 수 있다. 상기 뎁스 융합 동작 후에 상기 뎁스 융합 모듈(250)은 3차원 변환 동작을 위해 뎁스맵(260)을 출력한다.
특히 상기 뎁스 융합 모듈(250)은 상기 뎁스 그라디언트 맵(241)으로부터 소정 뎁스 그라디언트 값을 먼저 선택하고 일반화된 뎁스 그라디언트 값이 계산된 후에 이미지 라인을 결정한다. 상기 뎁스 융합 모듈(250)은 상기 Y 게인세트(243)로부터 소정 제1 게인, Cb 게인세트(245)로부터 소정 제2 게인 및 Cr 게인세트(247)로부터 소정 제3 게인을 선택한다. 상기 제1 게인, 제2 게인 및 제3 게인은 미리 결정된 이미지 라인에 위치되는 소정 픽셀과 조합된다. 상기 뎁스 융합 모듈(250)은 상술한 제1 게인, 제2 게인 및 제3 게인과 일반화된 뎁스 그라디언트값에 따라 뎁스융합을 결정한다.
상기 뎁스 융합의 출력은 뎁스 맵(260) 내의 소정 픽셀을 위한 뎁스 값과 대응한다. 상기 뎁스 융합 모듈(250)은, 2차원 이미지(210) 내의 각 픽셀이 뎁스 맵(260) 내의 대응하는 뎁스값을 가질때 까지 상술한 뎁스 융합을 계속한다. 상기 뎁스 융합의 구체적인 설명은 이하에서 설명된다.
도3은 뎁스 맵의 생성 동안 중간에 생성되는 중간결과를 설명하기 위한 것이다. 도3에서 테이블(310)은, 2차원 이미지가 도2의 에지필터(221)에 의해 프로세스된 후에 출력시나리오이다. 테이블(320)은, 도2의 에지누산기(223)가 테이블(310)을 프로세스 한 후에 출력시나리오이다. 테이블(330)은, 도2의 장면뎁스 어사인먼트 모듈(225)가 테이블(320)을 프로세스한 후에 출력시나리오이다. 테이블(340)은, 상기 뎁스 융합 모듈(250)이 테이블(330)과 이미지 요소로부터 생성된 몇몇 실시예의 게인을 프로세스한 후에 출력시나리오이다. 테이블(350)은, 도2의 상기 뎁스 융합 모듈(250)이 테이블(340) 내의 뎁스 값을 일반화한 후에 출력시나리오이다.
테이블(310)에서 10개의 이미지 라인을 갖는 2차원 이미지는 프레임 버터(frame butter)로 로드된다. 상기 에지필터는 라인과 나란한 2차원 이미지 라인을 프로세스하고 각 이미지 라인에 대해 다수의 에지를 계수한다. 테이블(310)과 도3의 다른 테이블에서 라인(1)은 2차원 이미지의 상부로부터 제1 이미지 라인을 나타내고 라인(2)은 2차원 이미지의 상부로부터 제2 이미지 라인을 나타내고 라인(10)은 2차원 이미지의 마지막 라인을 나타낸다. 테이블(310)에서 상기 에지필터는 라인(1)의 20개의 에지, 라인(2)의 50 개의 에지 등을 검출한다.
테이블(310)에 따라 상기 에지 누산기는 모든 이전의 이미지 라인의 에지 갯수의 부분 합과 소정 이미지 라인의 에지 갯수를 누산하고 테이블(320) 내의 누산된 에지 갯수를 저장한다. 테이블(320)의 실시예에서 소정 이미지 라인에 대한 누산된 에지 갯수는 모든 "상부(above)" 이미지 라인 에지 갯수(부분 에지 갯수)와 소정 이미지 라인의 에지 갯수의 가산에 의해 빠르게 계산된다. 예컨대 라인(5)에서 누산된 에지 갯수는 라인(1), 라인(2), 라인(3) 및 라인(4)의 부분합과 라인(5)의 에지 갯수를 가산한 것과 같으며 라인(1), 라인(2), 라인(3) 및 라인(4)은 2차원 이미지 내의 라인(5)의 모든 "상부"인 것을 가정한다. 그러므로 상기 누산된 에지 갯수는 (20 + 50 + 70 + 120) + 40 = 300 이다. 상기 모든 이미지 라인은 에지 누산기에 의해 프로세스된 후에 테이블(320)은 모든 이미지 라인에 대한 누산된 에지 갯수를 저장하는데 이용될 수 있다. 테이블(320)에서 제1 라인(라인(1))은 에지의 최소 갯수를 갖지며 시점으로부터 가장 먼 부분이 될 수 있다. 가장 많은 에지를 갖는 상기 마지막 라인(라인(10))은 시점에서 가장 가까운 부분이 된다.
몇몇 실시예에서 장면뎁스 어사인먼트 모듈(a scene depth assignment module)은 일반화된 누적 에지 갯수 테이블(330)을 생성하도록 테이블(320)을 계산한다. 상기 장면뎁스 어사인먼트 모듈은 시점으로부터 가장 멀리 떨어져 있는 것을 의미하는 값 0을 할당하고 시점에 가장 가까운 것을 의미하는 값 255를 할당한다. 상기 마지막 라인(라인(10))이 가장 가까운 것을 의미하기 때문에 상기 라인의 일반화된 계산 에지 갯수는 값 255로 할당되는 것이다. 상기 마지막 이미지 라인에 따라 이전의 이미지 라인은 255/(마지막 이미지 라인에 대한 계산된 에지 갯수)와 동일한 비율에 의해 일반화될 수 있다. 테이블(220)의 시나리오에서 라인(10)에 대한 누산된 에지 갯수는 670 이고, 테이블(320) 내의 모든 누산된 에지 갯수는 255/670 비율에 의해 일반화될 수 있다.
예를 들면 1라인에서 일반화된 누산 에지갯수는 20*255/670=8 가 될 수 있다. 5라인에서 일반화된 누산 에지갯수는 300*255/670 =114가 될 수 있다. 테이블(330)은 테이블(320) 내의 누산에지갯수에 대한 일반화율(normalization ratio)를 적용한 후에 이미지 라인에 대한 "일반화된 누산에지갯수(normalized accumulated edge counts)"를 저장할 수 있고 뎁스 그라이언트 맵이 될 수 있다. 이미지 라인에서 에지 복잡성(edge complexity)이 증가할 수록 이미지라인에서 뎁스 그라디언트가 더 복잡해진다. 그러므로 출력 3차원 이미지가 오브젝트와 부드러운 파란하늘 사이에서 날카로운 뎁스 변화를 갖기 때문에 그리고 비촛점 배경의 상부 경계와 촛점에 있는 오브젝트 사이의 날카로운 뎁스 변화를 갖기 때문에 이러한 접근이 바람직하다.
바람직한 실시예에서 색공간 추출기는 Y, Cb 및 Cr 이미지요소로 2차원이미지를 추출할 수 있다. 이러한 이미지요소에서의 각 색값에 있어서 대응 게인(a corresponding gain)은 리파인먼트 목적이 될 수 있다. 테이블(340)에서 설명을 위해 픽셀(1)은 라인(1)로부터 될 수 있고 1의 Y색값, 255의 Cb 색값 그리고 30의 Cr 색값을 가질 수 있다. 색값에 따라 제1 게인(예,F(Y)), 제2 게인(예,F(Cb)) 및 제3 게인(예,F(Cr))은 라파인먼트 모듈에 의해 판단된다. 또한 각 이미지 라인에 있어서 뎁스 그라디언트 값은 테이블(330)로부터 복사된다.
몇몇 실시예에서 공식F(Y)은 0 내지 255 범위의 Y 색값에 있어서 1 - Yth 로부터 1 + Yth 까지의 범위의 선형게인(a linear gain)을 제공한다. 즉 픽셀이 0의 Y 색값을 가지면 픽셀은 1 - Yth 게인으로 할당된다. 255의 Y 색값에 있어서, Y 색값은 1 + Yth 게인으로 할당된다.
F(Y) = (1 - Yth) + (2 * Yth * Y)/255 (0 ≤ Y ≤ 255)
또한 공식 F(Cb)와 F(Cr)가 유사하게 결정된다.
F(Cb) = (1 + Cbth) - (2 * Cbth * Cb)/255 (0 ≤ Cb ≤ 255)
F(Cr) = (1 - Crth) - (2 * Crth * Cr)/255 (0 ≤ Cr ≤ 255)
테이블(340)에서 Y, Cb 및 Cr 색값에 대한 다양한 게인을 계산하기 위해 Yth는 0.2 로 설정되고 Cbth 는 0.1로 설정되고 Crth는 0.3으로 설정된다.
바람직한 실시예에서 뎁스 융합 모듈은 뎁스 그라디언트 맵과 하나 또는 그 이상의 제1게인, 제2게인 및 제3게인(예, F(Y), F(Cb) 및 F(Cr))을 이용하여 뎁스 융합을 수행한다. 상기 뎁스 융합은 각 픽셀에 대해 뎁스 값을 계산하도록 G*F(Y)*F(Cb)* F(Cr)과 유사한 공식을 이용할 수 있다. 모든 픽셀에서 뎁스 값이 뎁스 융합공식에 따라 계산된 후에 출력 뎁스 값은 3차원 변환용 뎁스 맵이 될 수 있다. 테이블(340)의 실시예에서 픽셀(3)에 대한 뎁스값은 0.53*0.86*0.93*1.19 = 51이 될 수 있다.
실시예에서 상기 뎁스 융합은 픽셀 값에 대한 뎁스 값을 일반화하고, 일반화된 값은 8비트 뎁스값에 대해 0 내지 255 범위 내에 있다. 일반화프로세스는 테이블(340)로부터 가장 큰 뎁스 값을 선택하고 모든 뎁스 값을 조절한다. 설명을 위해 테이블(340)에서 일반화전의 가장 큰 뎁스 값은 픽셀(8)에 대해 318이다. 픽셀(3)에 대한 일반화된 뎁스값은 51*255/318 = 41 이 될 수 있다. 테이블(340)의 뎁스값이 일반화된 후에 결과는 테이블(350)에서 알 수 있다. 각 픽셀은 0 내지 255 범위 내의 대응하는 일반화된 뎁스 값을 갖는다. 즉, 테이블(350)은 2차원 이미지의 9 개 픽셀에 대한 뎁스 맵이 될 수 있다.
도4는 2차원 이미지로부터 뎁스 맵을 모으기 위한 구체적인 프로세스(401)의 순서도를 도시한 것이다. 상기 프로세스(401)는 하드웨어, 소프트웨어 및/또는 펌웨어에 의해 수행될 수 있는 기능적인 작동과, 이벤트 및/또는 동작과 같은 단계에서 설명되는 바와 같이 다양한 기능과 동작을 설정한다. 당해 분야의 전문가들은 도4에 도시된 기능들이 다양한 변화를 통해 실시될 수 있다는 것을 인식할 것이다. 몇몇 실시예에서 프로세스(401)에 대한 기계적 실행 명령은 메모리에 저장될 수 있고 프로세싱 유닛에 의해 실행될 수 있고 및/또는 도1의 뎁스 생성 모듈(130)과 같은 모바일장치에서 수행될 수 있다.
당해 분야의 전문가들은 본 명세서에 설명된 프로세스와 방법에 있어서, 프로세스에서 수행된 기능과 방법이 다른 순서로 수행될 수 있는 것을 기대할 수 있다. 또한 개략적인 단계 및 작동이 실시예와 같이 제공되고 단계와 작동 중의 몇가지는 몇몇 단계와 작동과 선택적으로 조합될 수 있다. 또한 본 발명의 실시예의 기술적 사상으로부터 변경 없이 단계와 작동을 부가하여 변경될 수 있다. 또한 개략적인 단계와 작동의 하나 또는 그 이상의 것이 수평적으로 수행될 수 있다.
블록(410)에서 뎁스-생성 모듈은 프레임 버퍼로부터 2차원 이미지를 획득하여(retrieving) 3차원 변화를 위해 2차원 이미지를 프로세스한다. 몇몇 실시예에서 뎁스 생성모듈의 뎁스 그라디언트 맵생성기는 블록(421,423,425,427,429)를 통해 2차원 이미지를 프로세스한다. 뎁스 생성 모듈의 뎁스 리파인먼트 모듈은 블록(431,433,435,437)을 통해 2차원 이미지를 프로세스한다. 몇몇 실시예에서 블록(421,423,425,427,429)를 통해 루트는 블록(431,433,435,437)을 통한 루트와 대등하게 프로세스될 수 있다. 다시 설명하면 상기 뎁스 그라디언트 맵 생성기와 뎁스 리파인먼트 모듈은 각각의 동작을 독립적으로 그리고 동시에 수행할 수 있고, 각각의 출력은 부가적인 프로세싱을 위해 블록(450)으로 전달될 수 있다.
블록(421)에서 뎁스 그라디언트 맵 생성기의 에지 필터는 2차원 이미지 라인 바이 라인(line-by-line)을 프로세스한다. 실시예에서 에지필터는 2차원 이미지로부터 수직 또는 수평 이미지라인을 획득한다(retrieve).
상기 에지필터는 상-하(top-down), 저-고(bottom-up), 좌-우(left-right), 우-좌(right-left) 순으로 2차원 이미지를 프로세스한다. 또한 상기 에지필터는 비월주사(interlaced(skipping)) 또는 비비월주사(non-interlaced(sequential)) 프로세싱 순으로 이용한다.
블록(423)에서 프로세스되는 각 이미지 라인에서 에지필터는 이미지라인 내의 다수의 에지를 검출한다. 상기 검출된 다수의 에지수는 이미지라인에 있어서 에지 갯수가 된다.
블록(425)에서 에지필터는, 2차원 이미지에서 모든 이미지가 프로세스되는지를 결정한다. 답변이 "아니오"라면, 프로세스(401)는 블록(421)로 회귀되고 다른 이미지 라인이 프로세싱에 대해 2차원 이미지로부터 획득된다. 상기 블록(425)에서 답변이 "예"라면, 프로세스(401)는 블록(427)로 진행된다.
블록(427)에서 에지누산기는 2차원 이미지 내의 각 이미지라인에 대한 "상부(above)"의 에지갯수를 누산한다. 대응하는 누산된 에지 갯수는 각 이미지 라인으로 할당된다.
블록(429)에서 장면 뎁스 어사인먼트 모듈은 2차원 이미지의 모든 이미지 라인에 대하여 누산된 에지갯수를 일반화하고 블록(450)에 의해 프로세싱에서 뎁스 그라디언트 맵을 생성한다.
블록(431)에서 색공간 추출기는 2차원 이미지로부터 하나 또는 그 이상의 이미지 요소를 추출한다. 각 이미지 요소는 색공간의 색요소와 결합된다. 예를 들어 Y 이미지요소는 YCbCr 색공간의 Y 색요소와 조합될 수 있다. R 이미지요소는 RGB 색공간의 적(R) 색요소와 조합될 수 있다.
블록(433)에서 이미지요소는 게인을 결정하기 위한 대응 이미지 요소 리파인먼트 모듈로 전송될 수 있다. 몇몇 실시예에서 이미지요소 내의 각 색값에 있어서 리파인먼트 모듈은 대응게인을 결정한다. 각 색값은 예를 들면 0에서 255 범위의 값을 가지며 대응게인이 변화될 수 있다. 예를 들어 Y 색값에 있어서 상기 게인은 1 - Yth 에서 1 + Yth 까지의 범위에 있을 수 있다.
블록(435)에서 이미지요소의 각 색값에 있어서 대응리파인먼트 모듈은 소정 게인세트에 게인을 가산하고 2차원 이미지의 픽셀과 게인을 조합한다. 상기 게인은, 대응게인이 결정되는 것으로부터 픽셀의 위치를 포함한다.
블록(437)에서 뎁스 리파인먼트 엔진은 모든 이미지 요소가 조절되는지를 판단한다. 답변이 "아니오"라면, 프로세스(401)는 블록(431)로 진행하고, 다른 이미지요소는 부가적인 프로세싱 동안 2차원 이미지로부터 추출된다. 블록(437)에서 답변이 "예"라면, 프로세스(401)는 블록(450)으로 진행한다.
블록(450)에서 상기 뎁스 생성모듈은 블록(429)에서 생성되는 뎁스 그라디언트 맵에 따라 뎁스 융합을 수행하여 뎁스 맵을 생성하고 블록(431,433,435,437)의 루트를 통해 생성된 게인세트를 생성한다. 몇몇 실시예에서 상기 뎁스 융합은 다중 공식에 따라 수행될 수 있다. 상기 생성된 뎁스 맵은 2차원 이미지의 각 픽셀에 대해 대응 뎁스 값을 갖는다.
블록(460)에서 3차원 변환엔진은 뎁스 맵에 따라 3차원 이미지로 2차원 이미지를 변환한다. 도5는 3차원 비디오 변환 프로세스를 최적화하기 위해 프로세스(501)의 실시예를 도시한 순서도이다. 상기 프로세스(501)는 하드웨어, 소프트웨어 및/또는 펌웨어에 의해 수행될 수 있는 기능적인 작동과, 이벤트 및/또는 동작과 같은 단계에서 설명되는 바와 같이 다양한 기능과 동작을 설정한다.
당해 분야의 전문가들은 도5에 도시된 기능들이 다양한 변화를 통해 실시될 수 있다는 것을 인식할 것이다. 몇몇 실시예에서 프로세스(501)에 대한 기계적 실행 명령은 메모리에 저장될 수 있고 프로세싱 유닛에 의해 실행될 수 있고 및/또는 도1의 뎁스 생성 모듈에서 수행될 수 있다.
블록(510)에서 뎁스 생성 모듈은 3차원 변환을 위해 2차원 비디오로부터 제1 2차원 이미지를 선택한다. 상기 2차원 비디오는 프레임 버퍼로 로드될 수 있고 뎁스 생성 모듈이 하나 또는 그 이상의 2차원 이미지를 빠르게 획득할 수 있도록 한다.
블록(520)에서 상기 뎁스 생성 모듈의 뎁스 그라디언트 맵 생성기는 제1 2차원 이미지를 프로세스하고 제1 2차원 이미지와 조합되는 제1 뎁스 그라디언트 맵을 생성한다.
블록(530)에서 상기 뎁스 생성 모듈은 3차원 변환을 위한 2차원 비디오로부터 제2 2차원 이미지를 선택한다. 실시예에서 제2 2차원 이미지는 2차원 비디오 내의 제1 2차원 이미지와 연속적이다. 상기 제2 2차원 이미지는 2차원 비디오 내의 다른 2차원 이미지가 될 수 있다. 제1 2차원 이미지와 제2 2차원 이미지 사이의 큰 차이는 없다.
블록(540)에서 상기 뎁스 생성 모듈의 뎁스 융합 모듈은 제1 뎁스 그라디언트 맵과 제2 2차원 이미지를 이용하여 뎁스 융합을 수행하여 제1 뎁스 맵을 생성한다. 특히 상기 뎁스 생성 모듈의 뎁스 리파인먼트 엔진은 제2 2차원 이미지의 이미지 요소를 프로세스하고 다중 이미지 요소 게인세트를 생성한다. 상기 뎁스 융합 모듈은 제1 뎁스 맵을 생성하기 위해 이미지 요소 게인세트와 뎁스 그라디언트 맵을 이용할 수 있다. 다시 설명하면 상기 뎁스 생성 모듈은 제1 2차 이미지 및/또는 제2 2차원 이미지에 있어서 뎁스 맵을 생성하기 위해 제1 2차원 이미지에 따라 생성되는 상기 뎁스 그라디언트 맵을 이용할 수 있다. 상기 접근(approach)방법은, 비디오에서 연속적인 이미지가 하나의 이미지에서 다른 이미지로 변화하지 않기 때문에 장점이 될 수 있다.
그러므로 제1 2차원 이미지와 제2 2차원 이미지를 프로세스하기 위해 제1 2차원 이미지로부터 생성되는 뎁스 그라디언트 맵을 이용하여, 뎁스 생성 모듈의 수행이 매우 향상될 수 있다.
블록(550)에서 3차원 변환 엔진은 블록(540)에서 생성되는 제1 뎁스 맵을 이용하여 제1 3차원 이미지로 제2 2차원 이미지를 변환할 수 있다. 제1 2차원 이미지와 제2 2차원 이미지 사이에서 큰 차이점이 없다면, 상기 3차원 엔진은 제1 뎁스 맵을 이용하여 또 다른 3차원 이미지로 제1 2차원 이미지를 변환할 수 있다. 블록(560)에서 상기 뎁스 생성 모듈은 2차원 비디오로부터 제3 2차원 이미지를 선택할 수 있다. 상기 블록(570)에서 블록(520)과 유사하게 뎁스 생성 모듈은 제2 차원 이미지와 조합되는 제2 뎁스 그라디언트 맵을 생성할 수 있다.
블록(580)은 블록(540)과 유사하게 상기 뎁스 생성 모듈의 상기 뎁스 융합 모듈은 제2 뎁스 그라디언트 맵과 제3 2차원 이미지를 이용하여 뎁스 융합을 수행하여 제2 뎁스 맵을 생성할 수 있다. 실시예에서, 블록(540) 및/또는 블록(550)은, 블록(570)이 수행되는 것과 같이 대등하게 수행될 수 있다.
이것은, 상기 뎁스 생성 모듈의 뎁스 그라디언트 맵 생성기가 제2 2차원 이미지(블록 570)로부터 제2 뎁스 그라디언트 맵을 생성한 것을 의미한다. 동시에 뎁스 리파인먼트 엔진과 상기 뎁스 생성 모듈의 뎁스 융합 모듈은 2차원 이미지(블록540)에 대한 제1 뎁스 맵을 생성하고 및/또는 3차원 변환엔진은 제2 2차원 이미지를 제1 3차원 이미지(블록550)로 변환한다. 이러한 접근방법은, 두 단계(뎁스 그라디언트 맵 생성 단계와 뎁스 융합 단계)의 연속적인 동작을 대등하게 프로세스될 수 있는 두 개의 단일 동작으로 변환하기 때문에 매우 잇점이 있는 것이다. 각 단일 단계 동작은 두 단계의 연속적인 동작의 반(half)이고 3차원 프로세스의 수행을 매우 개선한다.
블록(590)에서, 3차원 변환엔진은 블록(550)에서 생성되는 제2 뎁스 맵을 이용하여 제3 2차원 이미지를 제2 3차원 이미지로 변환할 수 있다. 따라서 하나의 2차원 이미지로부터 생성되는 상기 뎁스 그라디언트 맵은 3차원 비디오 내에서 차기2차원 이미지(the next 2D image)를 변환하도록 이용될 수 있다. 실시예에서 상기 뎁스 생성 모듈은, 두 개의 인접 2차원 이미지가 서로 유사한지를 판단하도록 비교동작을 수행한다. 상기 비교동작이, 상기 두 개의 인접 2차원 이미지가 유사한지를 판단하면, 상기 뎁스 생성 모듈은 최적화된 프로세싱을 위해 프로세스(501)를 이용할 수 있다. 그렇지 않으면 상기 뎁스 생성 모듈은 선택된 2차원 이미지로부터 생성되는 뎁스 그라디언트 맵을 이용하여 선택된 2차원 이미지를 변환할 수 있다.
그러므로 상기 뎁스 맵 생성에 대한 방법과 시스템이 설명된다. 상술된 기술은 소정 목적으로 하드웨어에 내장된 회로, 소프트웨어 및/또는 프로그램 가능한 회로와 연결된 펌웨어 또는 그 들의 조합에서 수행될 수 있다. 소정 목적으로 하드웨어에 내장된 회로는 예를 들면 하나 또는 그 이상의 ASICs(application-specific integrated circuits), PLDs(programmable logic devices), FPGAs(field-programmable gate arrays)가 있을 수 있다.
상술한 구체적인 설명은 블록다이어그램의 사용을 통한 장치 및/또는 프로세스의 다양한 실시예, 순서도 및/또는 실시예를 설명한 것이다. 블록다이어그램, 순서도 및/또는 실시예는 하나 또는 그 이상의 기능 및/또는 동작을 포함하는 한, 블록다이어그램, 순서도 또는 실시예 내의 각 기능 및/또는 동작이 하드웨어, 소프트웨어, 펌웨어 또는 그들의 가상조합에 의해 수행되는 기술적 사상은 당해 분야의 전문가에게 충분히 이해될 수 있다. 당해 분야의 전문가들은 전체적으로 또는 부분적으로 포함되는 구체적인 실시예들은 하나 또는 그 이상의 컴퓨터에서 구동하는 하나 또는 그 이상의 컴퓨터 프로그램(예:하나 또는 그 이상의 컴퓨터 시스템에서 구동하는 하나 또는 그 이상의 프로그램)과 같이, 하나 또는 그 이상의 프로세서에 구동되는 하나 또는 그 이상의 프로그램(예:하나 또는 그 이상의 마이크로 프로세서에서 구동하는 하나 또는 그 이상의 프로그램)과 같이, 펌웨어 또는 그들의 가상적인 조합과 같이 집적회로에서 동등하게 실시될 수 있는 것을 충분히 이해할 수 있다. 그리고 상기 회로를 설계하는 단계(designing) 및/또는 소프트웨어에 대해 코딩을 쓰는 단계(writing) 또는 펌웨어는 당해 분야의 통상의 지식을 가진자에게 충분히 알려져 있는 것이다.
상기 설명된 기술을 수행하는 소프트웨어 및/또는 펌웨어는 영구적인 기계 판독가능한 저장매체에 저장될 수 있고 하나 또는 그 이상의 일반적인 목적 또는 소정 목적의 프로그램가능한 마이크로프로세서에 의해 실행될 수 있다.
본 명세서에 기재된 "기계 판독가능한 저장매체"는 기계에 의해 액세스가능한 폼에 정보를 제공(즉, 저장 및/또는 전송)하는 메카니즘을 포함한다(예, 컴퓨터, 네트워크장치, 개인휴대장치(PDA), 모바일장치, 제작장치(manufacturing tool), 하나 또는 그 이상의 프로세를 갖는 임의의 장치).
참고로 본 발명의 구체적인 실시예는 여러가지 실시 가능한 예 중에서 당업자의 이해를 돕기 위하여 가장 바람직한 실시예를 선정하여 제시한 것일 뿐, 본 발명의 기술적 사상이 반드시 이 실시예에만 의해서 한정되거나 제한되는 것은 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위내에서 다양한 변화와 부가 및 변경이 가능함은 물론, 균등한 타의 실시예가 가능함을 밝혀 둔다.

Claims (23)

  1. 2차원 이미지(2D, a two-dimensional image)를 3차원 이미지(3D, a three-dimensional image)로 변환하기 위한 뎁스맵(depth map)을 생성하기 위한 방법에 있어서,
    2차원 이미지로부터 뎁스 그라디언트 맵(a depth gradient map)을 생성하는 단계(generating)와; 상기 뎁스 그라디언트 맵은 하나 또는 그 이상의 뎁스값(one or more depth values)과 하나 또는 그 이상의 에지갯수(one or more edge counts)와 조합되어(associate) 형성되고,
    상기 2차원 이미지로부터 이미지요소(the image component)를 추출하는 단계(extracting)와; 상기 이미지요소는 색공간(a color space) 내의 색요소(a color component)와 조합(associate)되고,
    상기 이미지요소에 따른 뎁스 그라디언트 맵을 조절하는 게인세트(a set of gains)를 결정하는 단계(determining); 및
    상기 뎁스 그라디언트 맵 및 게인세트에 따라 뎁스 융합(depth fusion)을 수행(performing)하여 뎁스맵을 생성하는(generating) 단계;를 포함하고,
    상기 뎁스 그라디언트 맵(a depth gradient map)을 생성하는 단계(generating)는, 상기 2차원 이미지에서 다수의 이미지 라인을 순차적으로 도출(retrieve)하는 이미지라인에 있어서,
    상기 이미지라인에서 하나 또는 그 이상의 에지(edges)를 검출(detecting)하여 이미지라인에 대해 에지갯수(an edge count)를 결정하는 단계; 및
    상기 다수의 이미지라인에서 결정된 에지갯수에 따라 뎁스 그라디언트 맵을 생성하는 단계;를 포함하는 것을 특징으로 하는 뎁스맵(depth map)을 생성하기 위한 방법.
  2. 제1항에 있어서,
    상기 뎁스맵에 따라 2차원 이미지를 3차원 이미지로 변환하는 단계를 부가하여 포함하는 것을 특징으로 하는 뎁스맵(depth map)을 생성하기 위한 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 하나 또는 그 이상의 에지는 에지갯수와 같이 이미지라인에서의 인접픽셀(adjacent pixels) 사이의 색변화(color variation)를 계수하여 검출되고, 상기 색변화는 소정 색변화 트레스홀드(a predetermined color variance threshold)를 초과하는 것을 특징으로 하는 뎁스맵(depth map)을 생성하기 위한 방법.
  5. 제1항에 있어서,
    상기 하나 또는 그 이상의 에지는 에지갯수와 같이 이미지라인에서의 인접픽셀(adjacent pixels) 사이의 밝기변화(brightness variation)를 계수하여 검출되고, 상기 밝기변화는 소정 밝기변화 트레스홀드(a predetermined brightness variance threshold)를 초과하는 것을 특징으로 하는 뎁스맵(depth map)을 생성하기 위한 방법.
  6. 제1항에 있어서,
    상기 뎁스 그라디언트 맵은 다수의 뎁스 그라디언트 값(a depth gradient values)을 포함하고 상기 다수의 뎁스 그라디언트 값은 에지갯수에 누산연산(accumulation operations)을 수행하여 얻어지는 것을 특징으로 하는 뎁스맵(depth map)을 생성하기 위한 방법.
  7. 제6항에 있어서,
    상기 다수의 뎁스 그라디언트 값(a depth gradient values)은 대응 이미지라인에 대한 대응 에지갯수와, 2차원 이미지 업(2D image up)의 이미지 라인의 부분(subset)에 대한 부분합(sub-total) 에지갯수를 가산하여 얻어지고,
    이미지 라인의 부분(subset)의 각 이미지라인은 대응 이미지라인 보다 2차원 이미지 내의 시점(a view point)으로부터 이격되는 것을 특징으로 하는 뎁스맵(depth map)을 생성하기 위한 방법.
  8. 제6항에 있어서,
    상기 뎁스 그라디언트 맵은 다수의 뎁스 그라디언트 값(a depth gradient values)을 일반화(normalizing)한 후에 생성되는 것을 특징으로 하는 뎁스맵(depth map)을 생성하기 위한 방법.
  9. 제1항에 있어서,
    상기 이미지요소는 2차원 이미지 내의 다수의 픽셀로부터 추출되는 다수의 색값(the plurality of color values)을 포함하고, 상기 다수의 색값은 상기 색요소에 속하는(belong) 것을 특징으로 하는 뎁스맵(depth map)을 생성하기 위한 방법.
  10. 제1항에 있어서,
    상기 게인세트(a set of gains)를 결정하는 단계(determining)는,
    이미지요소로부터 선택되고 2차원 이미지 내의 픽셀과 조합되는 색값에 있어서,
    색값에 따라 대응 게인(a corresponding gain)을 결정하는 단계; 및
    상기 대응 게인 범위는 픽셀의 뎁스특성(depth characteristics)을 감소하는 제1 값에서 픽셀의 뎁스특성을 증가하는 제2 값까지이고,
    게인세트(the set of gains) 내의 픽셀과 대응 게인을 조합하는 단계;를 포함하는 것을 특징으로 하는 뎁스맵(depth map)을 생성하기 위한 방법.
  11. 제1항에 있어서,
    상기 뎁스 융합(depth fusion)을 수행(performing)하는 단계는,
    뎁스 그라디언트 맵으로부터 선택되는 뎁스 그라디언트 값과, 게인세트로 선택된 대응게인을 승산(multiplying)하여 뎁스 맵에 대한 뎁스 값을 순차적으로 생성하는 단계(generating)를 부가하여 포함하며,
    상기 뎁스 그라디언트 값은 2차원 이미지의 소정(specific) 이미지 라인과 조합되고 상기 대응게인은 소정 이미지라인 내의 소정 픽셀의 색값과 조합되는 것을 특징으로 하는 뎁스맵(depth map)을 생성하기 위한 방법.
  12. 제1항에 있어서,
    상기 방법은 명령어세트(a set of instructions)로써 기계판독 가능한 매체 내에 구체화되고 컴퓨팅 프로세서(computing processor)에 의해 실행될 때,
    상기 컴퓨팅 프로세서가 상기 방법을 수행하도록 하는 것을 특징으로 하는 뎁스맵(depth map)을 생성하기 위한 방법.
  13. 2차원 비디오(2D, a two-dimensional video)를 3차원 비디오(3D, a three-dimensional video)로 변환하기 위한 방법에 있어서,
    상기 2차원 비디오로부터 제1 2차원 이미지를 선택하는 단계와;
    상기 제1 2차원 이미지와 조합되는 제1 뎁스 그라디언트 맵을 생성하는 단계와;
    상기 2차원 비디오로부터 제2 2차원 이미지를 선택하는 단계와;
    상기 2차원 비디오에서 상기 제2 2차원 이미지는 제1 2차원 이미지와 연속(subsequent)되는 이미지이고,
    상기 제1 뎁스 그라디언트 맵과 제2 2차원 이미지를 이용하여 뎁스 융합하여 제1 뎁스 맵을 생성하는 단계; 및
    제1 뎁스 맵을 이용하여 3차원 비디오에 대해서 제2 2차원 이미지를 제1 3차원 이미지로 변환하는 단계;를 포함하여 이루어지고,
    상기 제1 뎁스 그라디언트 맵(a depth gradient map)을 생성하는 단계(generating)는, 상기 2차원 이미지에서 다수의 이미지 라인을 순차적으로 도출(retrieve)하는 이미지라인에 있어서,
    상기 이미지라인에서 하나 또는 그 이상의 에지(edges)를 검출(detecting)하여 이미지라인에 대해 에지갯수(an edge count)를 결정하는 단계; 및
    상기 다수의 이미지라인에서 결정된 에지갯수에 따라 뎁스 그라디언트 맵을 생성하는 단계;를 포함하는 것을 특징으로 하는 2차원 비디오를 3차원 비디오로 변환하기 위한 방법.
  14. 제13항에 있어서,
    상기 2차원 비디오를 3차원 비디오로 변환하기 위한 방법은,
    상기 제2 2차원 이미지를 제1 3차원 이미지로 변환하는 단계 이후에,
    상기 제2 2차원 이미지와 조합되어 제2 뎁스 그라디언트 맵을 생성하는 단계와;
    상기 2차원 비디오로부터 제3 2차원 이미지를 선택하는 단계와;
    상기 2차원 비디오에서 상기 제3 2차원 이미지는 상기 제2 2차원 이미지와 연속되는 이미지이고,
    상기 제2 뎁스 그라디언트 맵과 제3 2차원 이미지에 따라 뎁스 융합을 수행하여 제2 뎁스맵을 생성하는 단계; 및
    상기 제2 뎁스 맵을 이용하여 3차원 비디오를 위해 제3 2차원 이미지를 제2 3차원 이미지로 변환하는 단계;가 순차적으로 이루어지는 것을 특징으로 하는 2차원 비디오를 3차원 비디오로 변환하기 위한 방법.
  15. 제14항에 있어서,
    제2 뎁스 그라디언트 맵을 생성하는 단계와 제1 뎁스 맵을 생성하는 단계는 동시에 수행되는 것을 특징으로 하는 2차원 비디오를 3차원 비디오로 변환하기 위한 방법.
  16. 비디오 변환(video conversion)용 뎁스 맵을 생성하기 위해 구성되는 시스템은,
    2차원 이미지에 따라 뎁스 그라디언트 맵을 생성하기 위한 뎁스 그라디언트 맵 생성기(a depth gradient map generator)와;
    2차원 이미지로부터 하나 또는 그 이상의 이미지요소(the image component)를 추출하고 하나 또는 그 이상의 이미지요소에 따라 각각의 하나 또는 그 이상의 게인을 결정하기 위한 뎁스 리파인먼트 엔진(a depth refinement engine); 및
    상기 뎁스 그라디언트 맵 생성기 및 상기 뎁스 리파인먼트 엔진과 결합되고 상기 뎁스 그라디언트 맵과 게인의 하나 또는 그 이상의 세트에 따라 뎁스 융합을 수행하여 뎁스 맵을 생성하는 뎁스 융합엔진(a depth fusion engine)을 포함하며,
    상기 뎁스 그라디언트 맵 생성기는,
    2차원 이미지의 각 이미지 라인을 위한 에지갯수(an edge count)를 생성하기 위한 에지필터(an edge filter)와;
    상기 에지필터와 결합되고 상기 에지갯수를 누적하여 뎁스 그라디언트 맵을 생성하기 위한 에지누산기(an edge accumulator)를 포함하는 것을 특징으로 하는 시스템.
  17. 제16항에 있어서,
    상기 뎁스 그라디언트 맵 생성기 및 상기 뎁스 리파인먼트 엔진과 결합되고 상기 2차원 이미지를 저장하기 위한 프레임 버퍼(a frame buffer)를 부가하여 포함하는 것을 특징으로 하는 시스템.
  18. 제16항에 있어서,
    상기 뎁스 융합엔진과 결합되고 2차원 이미지를 상기 뎁스 맵에 따라 3차원 이미지로 변환하기 위한 3차원 변환엔진(a 3D conversion engine)을 부가하여 포함하는 것을 특징으로 하는 시스템.
  19. 삭제
  20. 제16항에 있어서,
    상기 뎁스 그라디언트 맵은 다수의 댑스 그라디언트 값을 포함하고 상기 에지누산기는 각 이미지라인에 대한 에지갯수와 2차원 이미지 업의 이미지 라인의 부분(a subset of image lines of the 2D image up)에 대한 부분합(sub-total) 에지갯수를 가산하여 각 이미지 라인에 대한 뎁스 그라디언트 값을 얻는(obtains) 것을 특징으로 하는 시스템.
  21. 제20항에 있어서,
    상기 뎁스 그라디언트 맵 생성기는,
    에지누산기와 결합되고 다수의 뎁스 그라디언트 값을 일반화하여(normalizing) 뎁스 그라디언트 맵을 생성하기 위한 장면뎁스 어사인먼트(a scene depth assignment)를 부가하여 포함하고,
    상기 다수의 뎁스 그라디언트 값은 2차원 이미지의 이미지 라인에 대한 다수의 누적된 에지갯수(a plurality of accumulated edge counts for image lines of the 2D image)에 따라 각각 일반화되는 것을 특징으로 하는 시스템.
  22. 제16항에 있어서,
    상기 뎁스 리파인먼트 엔진은, 상기 2차원 이미지로부터 하나 또는 그 이상의 이미지요소를 추출하기 위한 색공간 추출기(a color space extractor); 및
    상기 하나 또는 그 이상의 이미지요소의 각각은 색공간 내의 색요소와 조합되고,
    상기 색공간 추출기와 결합되고 하나 또는 그 이상의 이미지 요소와 대응하는 하나 또는 그 이상의 게인세트(a set of gains)를 생성하기 위한 하나 또는 그 이상의 뎁스 리파인먼트 모듈(one or more depth refinement modules)을 포함하는 것을 특징으로 하는 시스템.
  23. 제16항에 있어서,
    상기 뎁스 융합엔진(a depth fusion engine)은 뎁스 그라디언트 맵과 하나 또는 그 이상의 게인세트를 이용하는 승산연산을 수행하여(performing multiplying operations) 뎁스 맵에 대한 다수의 뎁스값을 생성하는 것을 특징으로 하는 시스템.
KR1020100126302A 2009-12-15 2010-12-10 비디오 변환시스템에 있어서의 뎁스맵 생성 KR101240789B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US28639709P 2009-12-15 2009-12-15
US61/286,397 2009-12-15
US12/875,158 2010-09-03
US12/875,158 US8610758B2 (en) 2009-12-15 2010-09-03 Depth map generation for a video conversion system

Publications (2)

Publication Number Publication Date
KR20110068870A KR20110068870A (ko) 2011-06-22
KR101240789B1 true KR101240789B1 (ko) 2013-03-11

Family

ID=44142448

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100126302A KR101240789B1 (ko) 2009-12-15 2010-12-10 비디오 변환시스템에 있어서의 뎁스맵 생성

Country Status (4)

Country Link
US (1) US8610758B2 (ko)
JP (1) JP5010729B2 (ko)
KR (1) KR101240789B1 (ko)
TW (1) TWI435287B (ko)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8330801B2 (en) * 2006-12-22 2012-12-11 Qualcomm Incorporated Complexity-adaptive 2D-to-3D video sequence conversion
US8508550B1 (en) * 2008-06-10 2013-08-13 Pixar Selective rendering of objects
KR20120023431A (ko) * 2010-09-03 2012-03-13 삼성전자주식회사 깊이 조정이 가능한 2차원/3차원 영상 변환 방법 및 그 장치
EP2677755A1 (en) * 2011-02-18 2013-12-25 Sony Corporation Image processing device and image processing method
TWI419078B (zh) * 2011-03-25 2013-12-11 Univ Chung Hua 即時立體影像產生裝置與方法
US8780996B2 (en) * 2011-04-07 2014-07-15 Google, Inc. System and method for encoding and decoding video data
CN102196292B (zh) * 2011-06-24 2013-03-06 清华大学 基于人机交互生成视频深度图序列的方法及系统
US9351028B2 (en) * 2011-07-14 2016-05-24 Qualcomm Incorporated Wireless 3D streaming server
TWI481262B (zh) 2011-07-28 2015-04-11 Ind Tech Res Inst 影像編碼系統及影像編碼方法
US8817073B2 (en) * 2011-08-12 2014-08-26 Himax Technologies Limited System and method of processing 3D stereoscopic image
WO2013023325A1 (zh) * 2011-08-18 2013-02-21 北京世纪高蓝科技有限公司 基于图像运动信息的2d转3d方法
US8885706B2 (en) 2011-09-16 2014-11-11 Google Inc. Apparatus and methodology for a video codec system with noise reduction capability
JP5711634B2 (ja) * 2011-09-22 2015-05-07 株式会社東芝 画像処理装置、画像処理方法および画像処理プログラム
EP2618586B1 (en) 2012-01-18 2016-11-30 Nxp B.V. 2D to 3D image conversion
US9131073B1 (en) 2012-03-02 2015-09-08 Google Inc. Motion estimation aided noise reduction
KR20130114420A (ko) 2012-04-09 2013-10-18 한국전자통신연구원 2차원 동영상의 3차원 동영상으로의 변환 방법 및 장치
CN102695070B (zh) * 2012-06-12 2014-06-04 浙江大学 一种立体图像的深度一致性融合处理方法
JP6028427B2 (ja) * 2012-07-10 2016-11-16 株式会社Ｊｖｃケンウッド 奥行き情報生成装置、奥行き情報生成方法、奥行き情報生成プログラム、擬似立体画像生成装置
US9344729B1 (en) 2012-07-11 2016-05-17 Google Inc. Selective prediction signal filtering
US20140063206A1 (en) * 2012-08-28 2014-03-06 Himax Technologies Limited System and method of viewer centric depth adjustment
TW201432622A (zh) * 2012-11-07 2014-08-16 Koninkl Philips Nv 產生一關於一影像之深度圖
US9299152B2 (en) 2012-12-20 2016-03-29 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Systems and methods for image depth map generation
RU2013106513A (ru) * 2013-02-14 2014-08-20 ЭлЭсАй Корпорейшн Способ и устройство для улучшения изображения и подтверждения границ с использованием по меньшей мере одного дополнительного изображения
CN104125445B (zh) * 2013-04-25 2016-03-02 奇景光电股份有限公司 影像景深调整装置与影像景深调整方法
CN103440662B (zh) * 2013-09-04 2016-03-09 清华大学深圳研究生院 Kinect深度图像获取方法与装置
TWI603290B (zh) * 2013-10-02 2017-10-21 國立成功大學 重調原始景深圖框的尺寸爲尺寸重調景深圖框的方法、裝置及系統
CN103686139B (zh) 2013-12-20 2016-04-06 华为技术有限公司 帧图像转换方法、帧视频转换方法及装置
US9779508B2 (en) * 2014-03-26 2017-10-03 Microsoft Technology Licensing, Llc Real-time three-dimensional reconstruction of a scene from a single camera
US9729857B2 (en) * 2014-04-08 2017-08-08 Semyon Nisenzon High resolution depth map computation using multiresolution camera clusters for 3D image generation
WO2015175907A1 (en) * 2014-05-15 2015-11-19 Indiana University Research And Technology Corp. Three dimensional moving pictures with a single imager and microfluidic lens
CN105282375B (zh) * 2014-07-24 2019-12-31 钰立微电子股份有限公司 附着式立体扫描模块
US10102613B2 (en) 2014-09-25 2018-10-16 Google Llc Frequency-domain denoising
CN104469155B (zh) * 2014-12-04 2017-10-20 中国航空工业集团公司第六三一研究所 一种机载图形图像虚实叠加方法
CN104700355A (zh) * 2015-03-31 2015-06-10 百度在线网络技术（北京）有限公司 室内二维平面图的生成方法、装置和系统
US10326981B2 (en) * 2015-05-15 2019-06-18 Semyon Nisenzon Generating 3D images using multi-resolution camera set
US9870514B2 (en) * 2015-07-02 2018-01-16 Qualcomm Incorporated Hypotheses line mapping and verification for 3D maps
BR112018002224A8 (pt) * 2015-08-03 2020-09-08 Kiana Ali Asghar Calagari conversor de quadro de vídeo 2d para 3d
CN105701858B (zh) * 2016-01-07 2018-09-14 网易（杭州）网络有限公司 一种基于alpha融合的贴图处理方法及装置
CN108470379B (zh) * 2017-02-23 2021-12-07 株式会社理光 三维图像融合方法和装置
US10735707B2 (en) * 2017-08-15 2020-08-04 International Business Machines Corporation Generating three-dimensional imagery
WO2019194576A1 (en) 2018-04-03 2019-10-10 Samsung Electronics Co., Ltd. Methods and apparatus for determining rotation angle for spherical multimedia content
CN109840881B (zh) * 2018-12-12 2023-05-05 奥比中光科技集团股份有限公司 一种3d特效图像生成方法、装置及设备
CN113888692A (zh) * 2020-12-11 2022-01-04 深圳市博浩光电科技有限公司 应用深度学习的二维影像转三维影像的系统与方法
CN116457825A (zh) * 2021-10-26 2023-07-18 宁德时代新能源科技股份有限公司 图像处理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080047673A (ko) * 2006-11-27 2008-05-30 (주)플렛디스 입체영상 변환 장치 및 그 방법
KR20090050783A (ko) * 2007-11-16 2009-05-20 광주과학기술원 깊이맵 추정장치와 방법, 이를 이용한 중간 영상 생성 방법및 다시점 비디오의 인코딩 방법
KR20090084563A (ko) * 2008-02-01 2009-08-05 삼성전자주식회사 비디오 영상의 깊이 지도 생성 방법 및 장치
KR20100034789A (ko) * 2008-09-25 2010-04-02 삼성전자주식회사 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법 및 장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60325536D1 (de) * 2002-09-20 2009-02-12 Nippon Telegraph & Telephone Vorrichtung zum Erzeugen eines pseudo-dreidimensionalen Bildes
JP4898459B2 (ja) 2004-02-17 2012-03-14 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 奥行きマップの生成
US8009903B2 (en) * 2006-06-29 2011-08-30 Panasonic Corporation Image processor, image processing method, storage medium, and integrated circuit that can adjust a degree of depth feeling of a displayed high-quality image
US8213711B2 (en) * 2007-04-03 2012-07-03 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Method and graphical user interface for modifying depth maps
CA2627999C (en) * 2007-04-03 2011-11-15 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry Through The Communications Research Centre Canada Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
US20090002368A1 (en) * 2007-06-26 2009-01-01 Nokia Corporation Method, apparatus and a computer program product for utilizing a graphical processing unit to provide depth information for autostereoscopic display
TW200909064A (en) 2007-08-24 2009-03-01 Yung-Li Kuo Light emitting shower head
TWI343207B (en) 2007-09-07 2011-06-01 Lite On Technology Corp Device and method for obtain a clear image
US8537200B2 (en) * 2009-10-23 2013-09-17 Qualcomm Incorporated Depth map generation techniques for conversion of 2D video data to 3D video data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080047673A (ko) * 2006-11-27 2008-05-30 (주)플렛디스 입체영상 변환 장치 및 그 방법
KR20090050783A (ko) * 2007-11-16 2009-05-20 광주과학기술원 깊이맵 추정장치와 방법, 이를 이용한 중간 영상 생성 방법및 다시점 비디오의 인코딩 방법
KR20090084563A (ko) * 2008-02-01 2009-08-05 삼성전자주식회사 비디오 영상의 깊이 지도 생성 방법 및 장치
KR20100034789A (ko) * 2008-09-25 2010-04-02 삼성전자주식회사 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법 및 장치

Also Published As

Publication number Publication date
TWI435287B (zh) 2014-04-21
US20110141237A1 (en) 2011-06-16
US8610758B2 (en) 2013-12-17
KR20110068870A (ko) 2011-06-22
TW201129944A (en) 2011-09-01
JP5010729B2 (ja) 2012-08-29
JP2011129116A (ja) 2011-06-30

Similar Documents

Publication Publication Date Title
KR101240789B1 (ko) 비디오 변환시스템에 있어서의 뎁스맵 생성
US10715782B2 (en) 3D system including a marker mode
CA2627999C (en) Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
EP2706504A2 (en) An apparatus, a method and a computer program for image processing
WO2012086120A1 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム
CN100565589C (zh) 用于深度感知的装置和方法
JP2014056466A (ja) 画像処理装置及び方法
US8982187B2 (en) System and method of rendering stereoscopic images
KR20110113924A (ko) 영상 변환 장치 및 이를 포함하는 입체 영상 표시 장치
JP2012138787A (ja) 画像処理装置、および画像処理方法、並びにプログラム
US10122987B2 (en) 3D system including additional 2D to 3D conversion
US11070783B2 (en) 3D system
US8977043B2 (en) Method of image depth estimation and apparatus thereof
CN104168469A (zh) 立体影像预览装置以及立体影像预览方法
US9787980B2 (en) Auxiliary information map upsampling
US10148933B2 (en) 3D system including rendering with shifted compensation
CN108712642B (zh) 一种适用于立体视频的立体字幕添加位置自动选择方法
Lin et al. A stereoscopic video conversion scheme based on spatio-temporal analysis of MPEG videos
US10225542B2 (en) 3D system including rendering with angular compensation
WO2013045468A1 (en) Adaptive colorspace conversion for 3d steroscopic disparity estimation
US20170142397A1 (en) 3d system including queue management
WO2017083509A1 (en) Three dimensional system
Xu Capturing and post-processing of stereoscopic 3D content for improved quality of experience
Priya et al. 3d Image Generation from Single 2d Image using Monocular Depth Cues
US8947507B2 (en) Method of processing 3D images, and corresponding system including the formulation of missing pixels using windows of details from first and second views

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160119

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190213

Year of fee payment: 7