KR101428866B1 - 스테레오 영상의 깊이감 조절 장치 및 방법 - Google Patents

스테레오 영상의 깊이감 조절 장치 및 방법 Download PDF

Info

Publication number
KR101428866B1
KR101428866B1 KR1020120119987A KR20120119987A KR101428866B1 KR 101428866 B1 KR101428866 B1 KR 101428866B1 KR 1020120119987 A KR1020120119987 A KR 1020120119987A KR 20120119987 A KR20120119987 A KR 20120119987A KR 101428866 B1 KR101428866 B1 KR 101428866B1
Authority
KR
South Korea
Prior art keywords
disparity
depth
mapping function
energy
function
Prior art date
Application number
KR1020120119987A
Other languages
English (en)
Other versions
KR20140053721A (ko
Inventor
노준용
이상우
김영휘
이정진
김계현
이경한
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020120119987A priority Critical patent/KR101428866B1/ko
Priority to US13/905,418 priority patent/US9445074B2/en
Publication of KR20140053721A publication Critical patent/KR20140053721A/ko
Application granted granted Critical
Publication of KR101428866B1 publication Critical patent/KR101428866B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 사용자가 보다 용이하고 직관적으로 스테레오 영상의 깊이감을 조절할 수 있도록 하는 스테레오 영상의 깊이감 조절 장치 및 방법에 관한 것으로, 상기 장치는 입력 영상에 대응되는 디스패리티 맵을 히스토그램 분석하여 깊이 분포도를 획득하는 히스토그램 분석부; 상기 깊이 분포도를 GMM(Gaussian Mixture Model) 피팅하여 다수의 깊이 레이어를 획득하는GMM(Gaussian Mixture Model) 피팅부; 사용자 요청에 응답하여, 상기 다수의 깊이 레이어 중 적어도 하나에 대한 위치 및 볼륨 중 적어도 하나를 조정하고, 상기 조정 결과를 반영한 디스패리티 매핑 함수를 산출하는 디스패리티 조정부; 및 상기 디스패리티 매핑 함수를 최적화하여, 새로운 디스패리티 맵을 산출하는 디스패리티 맵 재산출부;를 포함할 수 있다.

Description

스테레오 영상의 깊이감 조절 장치 및 방법{APPARATUS AND METHOD FOR DEPTH MANIPULATION OF STREOSCOPIC 3D}
본 발명은 입체 콘텐츠 제작을 위한 포스트 프로덕션 기술 중, 특히, 사용자가 보다 용이하고 직관적으로 스테레오 영상의 깊이감을 조절할 수 있도록 하는 스테레오 영상의 깊이감 조절 장치 및 방법에 관한 것이다.
좌우 두 개의 영상으로부터 깊이감을 인지하는 입체(S3D)는 기원전 300년경 그리스의 수학자 유클리드에 의해 최초로 발견되었다. 유클리드는 오른쪽 눈과 왼쪽 눈의 서로 다른 시각 정보를 통해 인간이 깊이를 인지한다고 설명하였다. 그 후, 15세기 이탈리아의 수학자인 레오나르도 다빈치는 이러한 인간의 시각 인지 과정을 입체시(stereopsis)라고 명명하고, 평면 캔버스에서 입체감을 표현하려고 시도하였다. 1838년 찰스 웨스톤경은 두 개의 그림을 다른 각도의 거울에서 보게 하는 입체경을 고안했는데, 이것이 스테레오 영상의 시초로 알려져 있다.
이와 같이 스테레오 영상의 가장 큰 특징은 좌우 양안에 각각 보여지게 될 두 개의 영상이 필요하다는 것이다. 입체 콘텐츠 제작의 관점에서 봤을 때, 이는 초기 시나리오 작업에 있어서부터 촬영 또는 CG 렌더링, 후반 합성 작업에 이르기까지 두 배의 결과 영상을 만들어내야 함을 의미한다(실제 제작에 있어서는 2배 이상의 예산과 노력이 소요된다고 한다). 입체 콘텐츠 제작에 필요한 기술과 노하우에 있어서도, 한 장의 영상을 제작하는 일반 콘텐츠 제작보다 좀 더 수준 높고 정교한 테크닉을 요하게 된다. 좌우 두 장의 스테레오 영상이 잘못 제작되어, 사람이 인지하지 못할 정도의 오류가 있을 경우 어지러움증 및 눈의 통증을 유발할 수도 있기 때문이다.
우선, ① 프리프로덕션(pre-production) 단계에서부터 좌우 영상에 대한 시나리오 연출을 구상해야 한다. ② 프로덕션 단계에서, 실사로 영상을 찍을 경우 좌우 영상을 각각 촬영할 수 있도록 두 개의 카메라를 배치해야 하며, 이를 위한 부가 장치들과 인력이 필요하게 된다. 실사가 아닌 입체 CG 콘텐츠 제작 시에는 가상의 CG 카메라를 2개 배치해서 각각을 렌더링해야 하므로 두 배의 렌더링 시간이 필요하게 된다. ③ 포스트프로덕션(post-production) 단계에서는 프로덕션 단계에서의 한계로 인한 스테레오 영상 오차를 보정하거나, 깊이감을 재조정해 주는 등의 작업이 더 필요하게 된다. 또는, ④ 일안 평면 영상(또는 단일 영상)으로 이미 제작된 콘텐츠를 입체로 만들기 위해 깊이 정보를 생성해 주고, 두 개의 영상으로 변환하는 데 많은 인력과 노력을 들이기도 한다.
특히 본 발명에서 관심을 가지는 분야는 깊이감 조정을 위한 포스트프로덕션(post-production) 단계에 관한 것인데, 깊이감 조정 방법이 최근에 들어 다양하게 제안되고 있지만, 종래의 깊이감 조정 방법들은 일반적으로 사용자의 전문 지식을 필요로 하며, 입체 콘텐츠에 대한 몇몇 제약이 주어진 렌더링 과정에서 주로 수행되는 단점이 있다. 즉, 사용자가 간단하고 직관적으로 스테레오 영상의 깊이감을 조정할 수 있는 방법이 아직 제안되지 못하고 있다.
이에 본 발명에서는 사용자가 간단하고 직관적으로 파라메터 조정 동작을 수행할 수 있는 비선형 디스패리티 매핑 함수를 제안함으로써, 사용자가 보다 용이하고 직관적으로 스테레오 영상의 깊이감을 조절할 수 있도록 하는 스테레오 영상의 깊이감 조절 장치 및 방법을 제공하고자 한다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 일 실시 형태에 따르면, 입력 영상에 대응되는 디스패리티 맵을 히스토그램 분석하여 깊이 분포도를 획득하는 히스토그램 분석부; 상기 깊이 분포도를 GMM(Gaussian Mixture Model) 피팅하여 다수의 깊이 레이어를 획득하는 GMM 피팅부; 사용자 요청에 응답하여, 상기 다수의 깊이 레이어 중 적어도 하나에 대한 위치 및 볼륨 중 적어도 하나를 조정하고, 상기 조정 결과를 반영한 디스패리티 매핑 함수를 산출하는 디스패리티 조정부; 및 에너지 최소화 기법을 통해 상기 디스패리티 매핑 함수를 해독하고, 상기 해독 결과를 기반으로 새로운 디스패리티 맵을 산출하는 디스패리티 맵 재산출부;를 포함하는 스테레오 영상의 깊이감 조절 장치를 제공한다.
상기 히스토그램 분석부는 사용자 요청에 응답하여 히스토그램 분석에 사용될 윈도우 크기를 조절하는 기능을 더 포함하는 것을 특징으로 한다.
상기 디스패리티 조정부는 사용자가 상기 다수의 깊이 레이어 중 하나를 선택하고, 상기 선택된 깊이 레이어의 볼륨을 조정하는 경우, "
Figure 112013118264280-pat00044
,
Figure 112013118264280-pat00045
"으로 정의되는 디스패리티 매핑 함수(di')를 산출하며, 상기 di'는 볼륨 조정된 디스패리티 매핑 함수를, 상기 di는 조정전 디스패리티 매핑 함수를, 상기 l은 깊이 레이어 수를, 상기 μj는 j번째 가우시안 분포도의 평균값을, 상기 vj는 사용자에 의해 조정된 j번째 깊이 레이어의 볼륨값을, G는 GMM를 구성하는 가우시안 함수를, π는 가우시안 혼합 가중치를 각각 나타내는 것을 특징으로 한다.
상기 디스패리티 조정부는 사용자가 상기 다수의 깊이 레이어 중 하나를 선택하고, 상기 선택된 깊이 레이어의 위치를 조정하는 경우, "
Figure 112013118264280-pat00046
,
Figure 112013118264280-pat00047
"으로 정의되는 디스패리티 매핑 함수를 산출하며, 상기 di"는 위치 조정된 디스패리티 매핑 함수를 , 상기 di'는 볼륨 조정된 디스패리티 매핑 함수를, 상기 di는 조정전 디스패리티 매핑 함수를, 상기 l은 깊이 레이어 수를, 상기 pj는 사용자에 의해 조정된 j번째 깊이 레이어의 위치값을, G는 GMM를 구성하는 가우시안 함수를, π는 가우시안 혼합 가중치를 각각 나타내는 것을 특징으로 한다.
상기 디스패리티 맵 재산출부는 에너지 최소화 기법을 통해 "
Figure 112013118264280-pat00048
,
Figure 112013118264280-pat00049
,
Figure 112013118264280-pat00050
,
Figure 112013118264280-pat00051
,
Figure 112013118264280-pat00052
,
Figure 112013118264280-pat00053
"으로 정의되는 에너지 함수의 해를 구함으로써, 상기 디스패리티 매핑 함수를 해독하는 것을 특징으로 하며, 상기 E는 에너지 함수를, 상기 ECF는 커브-피팅 에너지(curve-fitting energy )를, 상기 EN는 비선형성 억제 에너지, 상기 ET는 시간적 코히런스 에너지(temporal coherence energy)를, 상기 λo 및 λT는 비선형성 억제 에너지와 시간적 코히런스 에너지의 가중치를, 상기 Φ는 피팅 함수를, 상기 x 및 y는 디스패리팅 매핑 함수의 입력값 및 출력값을, 상기 Ωj는 j번째 깊이 레이어의 가중치를, 상기 G는 GMM를 구성하는 가우시안 함수를, 상기 π는 가우시안 혼합 가중치를, 상기 Φ"는 기울기 변화를 나타내는 Φ의 유도 함수(second derive)를, 상기
Figure 112013118264280-pat00054
i 는 i번째 디스패리티의 가중치, 상기
Figure 112013118264280-pat00055
는 이전 프래임의 디스패리티 출력을 각각 나타내는 것을 특징으로 한다.
상기 디스패리티 맵 재산출부는 사용자의 요청에 따라 λo , λT, 및 Ωj 중 적어도 하나를 가변할 수 있는 것을 특징으로 한다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 다른 실시 형태에 따르면, 사용자의 동의하에 히스토그램 분석을 위한 윈도우 크기를 결정하고, 상기 윈도우 크기로 디스패리티 맵을 히스토그램 분석하여 깊이 분포도를 획득하는 단계; 상기 깊이 분포도로부터 다수의 깊이 레이어를 획득하는 단계; 사용자의 동의하에 상기 다수의 깊이 레이어 중 적어도 하나를 선택하고, 상기 선택된 깊이 레이어에 대한 위치 및 볼륨 중 적어도 하나를 조정한 후, 상기 조정 결과를 반영하여 디스패리티 매핑 함수를 재산출하는 단계; 및 상기 디스패리티 매핑 함수를 최적화하여 새로운 디스패리티 맵을 산출하는 단계를 포함하는 스테레오 영상의 깊이감 조절 방법을 제공한다.
상기 디스패리티 매핑 함수를 재산출하는 단계는 사용자가 상기 다수의 깊이 레이어 중 하나를 선택하고, 상기 선택된 깊이 레이어의 볼륨을 조정하는 경우, "
Figure 112012087792549-pat00010
"으로 정의되는 디스패리티 매핑 함수(di')를 산출하며, 상기 di'는 볼륨 조정된 디스패리티 매핑 함수를, 상기 di는 조정전 디스패리티 매핑 함수를, 상기 l은 깊이 레이어 수를, 상기 μj는 j번째 가우시안 분포도의 평균값을, 상기 vi는 사용자에 의해 조정된 j번째 깊이 레이어의 볼륨값을, G는 GMM를 구성하는 가우시안 함수를, π는 가우시안 혼합 가중치를 각각 나타내는 것을 특징으로 함.
상기 디스패리티 매핑 함수를 재산출하는 단계는 사용자가 상기 다수의 깊이 레이어 중 하나를 선택하고, 상기 선택된 깊이 레이어의 위치를 조정하는 경우, "
Figure 112012087792549-pat00011
"으로 정의되는 디스패리티 매핑 함수를 산출하는 것을 특징으로 한다.
상기 디스패리티 맵 재산출부는 "
Figure 112012087792549-pat00012
,
Figure 112012087792549-pat00013
,
Figure 112012087792549-pat00014
,
Figure 112012087792549-pat00015
,
Figure 112012087792549-pat00016
"으로 정의되는 에너지 함수를 에너지 최소화 기법을 통해 해를 구함으로써, 상기 디스패리티 매핑 함수를 최적화하며, 상기 E는 에너지 함수를, 상기 ECF는 커브-피팅 에너지(curve-fitting energy)를, 상기 EN는 비선형성 억제 에너지, 상기 ET는 시간적 코히런스 에너지(temporal coherence energy)를, 상기 λo 및 λT는 비선형성 억제 에너지와 시간적 코히런스 에너지의 가중치를, 상기 φ는 피팅 함수를, 상기 x 및 y는 디스패리팅 매핑 함수의 입력값 및 출력값을, 상기 Ωj 는 j번째 깊이 레이어의 가중치를, 상기 G는 GMM를 구성하는 가우시안 함수를, 상기 π는 가우시안 혼합 가중치를, 상기 φ"는 기울기 변화를 나타내는 φ의 유도 함수(second derive)를, 상기
Figure 112012087792549-pat00017
는 i번째 디스패리티의 가중치, 상기
Figure 112012087792549-pat00018
는 이전 프래임의 디스패리티 출력을 각각 나타내는 것을 특징으로 함.
상기 상기 새로운 디스패리티 맵을 산출하는 단계는 사용자의 요청에 따라 λo , λT, 및 Ωj 중 적어도 하나를 가변할 수 있는 것을 특징으로 한다.
본 발명에서는 히스토그램 분석에 사용되는 윈도우 크기를 조정하여 깊이 레이어 검출 수를 가변할 수 있도록 하고, 깊이 레이어 각각의 볼륨, 위치, 가중치 등을 다양하게 조정할 수 있도록 한다. 그리고 사용자 조정 사항을 반영한 디스패리티 매핑 함수를 생성하고, 이를 최적화함으로써 디스패리티 맵이 재산출될 수 있도록 한다. 즉, 본 발명에서는 사용자에 의해 조정된 파라메타를 반영하여 디스패리티 맵을 재산출하고, 이에 따라 스테레오 영상의 깊이감을 조작할 수 있도록 함으로써, 사용자가 보다 간단하고 직관적으로 스테레오 영상의 깊이감을 조정할 수 있도록 한다.
도1은 본 발명의 일 실시예에 따른 스테레오 영상의 깊이감 조절장치를 도시한 도면이다.
도2는 본 발명의 일 실시예에 따른 히스토그램 분석 방법을 설명하기 위한 도면이다.
도3은 본 발명의 일 실시예에 따른 GMM 피팅 방법을 설명하기 위한 도면이다.
도4는 본 발명의 일 실시예에 따른 디스패리티 조정 방법을 설명하기 위한 도면이다.
도5는 본 발명의 일 실시예에 따른 디스패리티 조정 방법에 의해 발생하는 깊이 레이어 중복 영역을 설명하기 위한 도면이다.
도6은 본 발명의 일 실시예에 따른 디스패리티 맵 재산출 방법을 설명하기 위한 도면이다.
도7은 본 발명의 일 실시예에 따른 스테레오 영상의 깊이감 조절 방법을 도시한 도면이다.
이하 첨부된 도면을 참조하여 본 발명에 대해 구체적으로 살펴보기로 한다.
다만, 본 발명을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 용어가 동일하더라도 표시하는 부분이 상이하면 도면 부호가 일치하지 않음을 미리 말해두는 바이다.
그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 설정된 용어들로서 이는 실험자 및 측정자와 같은 사용자의 의도 또는 관례에 따라 달라질 수 있으므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 명세서에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다.
다르게 정의되지 않는 하, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하 첨부된 도면을 참조하여 본 발명에 대해 구체적으로 설명하기로 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도1은 본 발명의 일 실시예에 따른 스테레오 영상의 깊이감 조절장치를 도시한 도면이다.
도1에 도시된 바와 같이, 본 발명의 깊이감 조절 장치는 히스토그램 분석부(10), GMM(Gaussian Mixture Model) 피팅부(20), 디스패리티 조정부(30), 디스패리티 맵 재산출부(40) 및 사용자 인터페이스(50) 등을 포함하여 구성하여, 사용자의 요구 사항을 충족시키는 디스패리티 맵을 재산출하고, 이에 따라 출력 영상을 생성하도록 함으로써, 출력 영상은 입력 영상과 달리 사용자에 의해 조절된 깊이 감을 가질 수 있도록 한다.
히스토그램 분석부(10)는 입력 영상에 대응되는 디스패리티 맵을 히스토그램 분석하여, 깊이 분포도를 획득한다.
참고로, 히스토그램 분석은 디스패리티 맵의 깊이 분포도를 분류하도록 하는 데, 디스패리티 최대치는 객체 주요 영역을 가지는 깊이 레이어 각각에 해당하는 특징을 가진다. 더하여, 디스패리티 값은 도2에 나타난 바와 같이, 동일 윈도우 내에서 획득 가능한 가장 큰 값으로, 디스패리티 값의 개수는 히스토그램의 분석에 사용되는 윈도우 크기(W1, W2,…, Wn)에 따라 획득되는 디스패리티 값(d1, d2, …, dn)의 개수가 달라진다. 즉, 윈도우 크기가 작아질수록 검출 가능한 디스패리티 값의 개수는 증가되며, 이에 따라 분류 가능한 깊이 분포도의 개수도 증가하게 될 것이다.
이에 본 발명에서는 히스토그램 분석부(10)가 사용자의 요청에 따라 히스토그램 분석에 사용되는 윈도우 크기를 자유롭게 조정할 수 있도록 하고, 이에 따라 분류 가능한 깊이 분포도의 개수도 가변될 수 있도록 한다.
GMM 피팅부(20)는 GMM 알고리즘을 사용하여 도3과 같이 깊이 분포도로부터 혼합 가중치 p, 평균 μ, 그리고 표준 편차 s를 매개 변수로 가지는 다수의 가우시안 분포도를 파악하는 데, 다수의 가우시안 분포도 각각은 동일 레이어에서의 객체 분포를 나타낸다. 그리고, 혼합 가중치를 이용하여 동일 객체가 상이한 레이어로 분할되는 경우 디스패리티의 조정 구간에서 두개의 레이어가 겹치는 부분을 보간함으로써, 다수의 깊이 레이어를 추출한다.
디스패리티 조정부(30)는 사용자의 요청에 따라 다수의 깊이 레이어 중 적어도 하나에 대한 위치 및 볼륨 중 적어도 하나를 자유롭게 조정하고, 이에 상응하는 디스패리티 매핑 함수를 산출한다. 이하의 수학식1은 j번째 깊이 레이어의 i번째 디스패리티의 볼륨 조정을 위한 디스패리팅 매핑 함수(di')와, j번째 깊이 레이어의 i번째 디스패리티의 위치 조정을 위한 디스패리팅 매핑 함수(di")를 정의한 수학식이다.
Figure 112013118264280-pat00056
이때, l은 깊이 레이어 수, μj는 j번째 가우시안 분포도의 평균값, pj 및 vj는 사용자에 의해 조정된 j번째 깊이 레이어의 위치 및 볼륨값을 각각 나타낸다.
또한, ωij는 객체내 깊이 변화의 일관성을 보장하기 위한 깊이 레이어간 디스패리티 변화를 보간하는 가중치이고, G는 GMM를 구성하는 가우시안 함수를, π는 가우시안 혼합 가중치를 각각 나타낸다.
예를 들어, GMM 피팅부(20)가 도4(a)와 같이 네모 형상의 객체, 원 형상의 객체, 세모 형상의 객체 각각의 대응되는 깊이 레이어를 획득하는 경우, 본 발명의 디스패리티 조정부(30)는 원 형상의 객체에 대응되는 깊이 레이어의 위치 또는 볼륨을 통해, 원 형상의 객체의 볼륨 또는 위치를 자유롭게 조정할 수 있다. 즉, 원 형상의 객체에 대응되는 깊이 레이어의 볼륨을 조정하여, 원 형상의 객체의 볼륨을 도4(b)와 같이 증가시키거나, 상기 깊이 레이어의 위치를 조정하여 원 형상의 객체의 위치도 도4(c)와 같이 이동시킬 수 있다.
다만, 수학식1의 디스패리티 매핑 함수는 각각의 디스패티리 값에 적용되는 특징을 가지는 데, 이는 도5와 같이 깊이 중첩 영역을 발생시키는 요인이 될 수 있다. 예를 들어, 도5(a)는 조정전 깊이 레이어를, 도5(d)는 조정전 디스패리티 맵이 나타내는 데, 만약 사용자가 도5(b)에서와 같이 녹색 레이어를 선택하여 이의 편차를 4배 증가시키면, 녹색 레이어에 대응되는 객체인 머리 모델의 볼륨은 도5(e)에서와 같이 증가될 수 있다. 그러나, 이와 같이 녹색 레이어의 디스패리티 범위를 증가시키면, 녹색 레이어의 증가된 디스패리티 범위는 다른 레이어를 침범하게 되어, 도5(e)의 빨간색 박스에 나타난 바와 같이 깊이 차수가 전환되고, 도5(c)와 같이 디스패리티 매핑 함수는 깊이 차수가 중첩되는 영역을 포함하게 된다.
이에 디스패리티 맵 재산출부(40)는 깊이 중첩 영역이 발생된 디스패리티 매핑 함수를 최적화하여, 큐빅 스플라인 곡선(cubic spline curve) 형태를 가지도록 한다. 더욱 상세하게는 본 발명의 디스패리티 맵 재산출부(40)는 이하의 수학식 2로 정의되는 에너지 함수를 제안하고, 에너지 최소화 기법을 통해 함수 해를 구함으로써, 디스패리티 매핑 그래프를 최적화하고 이에 상응하는 디스패리티 맵을 획득하도록 한다.
Figure 112012087792549-pat00020
이때, E는 에너지 함수이고, ECF는 커브-피팅 에너지(curve-fitting energy)이고, EN는 비선형성 억제 에너지, ET는 시간적 코히런스 에너지(temporal coherence energy) 이고, λo 및 λT는 비선형성 억제 에너지와 시간적 코히런스 에너지의 가중치이다. 다만, 이때 λo 및 λT는 사용자에 의해 조절 가능한 값이다.
커브-피팅 에너지(ECF)는 디스패리팅 매핑 함수가 사용자의 요청 사항이 반영된 커브와 유사한 형태를 가지도록 하는 것으로, 수학식3에서와 같이 정의될 수 있다.
Figure 112013118264280-pat00057
이때, φ는 피팅 함수를, x 및 y는 디스패리팅 매핑 함수의 입력값 및 출력값을, Ωj 는 j번째 깊이 레이어에 대해 사용자가 입력한 가중치이다. 즉, 사용자는 깊이 레이어 각각에 대한 가중치를 조정하여(가중치의 디폴트 값은 1임), 특정 깊이 레이어를 보다 중요한 레이어로 특정할 수 있다.
본 발명에서는 커브 피팅 동작에 의해 발생되는 보간을 최소화하기 위해 최소값과 최대값 사이의 디스패리티 값의 수와 동일한 개수의 스플라인 기본 함수(spline basic function)를 사용하도록 한다.
비선형성 억제 에너지(EN)는 깊이 레이어의 중첩 영역의 제거에 직접적 영향을 주는 것으로, 수학식4에서와 같이 정의될 수 있다.
Figure 112012087792549-pat00022
이때, φ"는 기울기 변화를 나타내는 φ의 유도 함수(second derive)를,
Figure 112013118264280-pat00058
i는 i번째 디스패리티의 가중치를 각각 나타낸다.
본 발명에서는, 비선형성을 억제함으로써, 피팅 함수의 출력은 단조롭게 변화되고, 이에 따라 깊이 중첩 영역이 제거되도록 한다. 도7에서와 같이 가중치
Figure 112012087792549-pat00024
는 깊이 중첩 영역에서 높은 값을 가지고, 변곡점(inflection point)에서 감소하기 시작하는 특징을 가진다. 그리고 본 발명에서는 가우시안 함수를 사용하여 디스패리티 매핑 그래프가 연속되는 깊이 중첩 영역(녹색 바(bar)로 표시)의 기울기 변화가 완만해지도록 한다.
시간적 코히런스 에너지(ET)는 이미지 시퀸스를 거쳐 완만한 깊이 변화를 보장하기 위한 것으로, 수학식5에서와 같이 정의될 수 있다.
Figure 112012087792549-pat00025
이때,
Figure 112012087792549-pat00026
는 이전 프래임의 디스패리티 출력이다.
즉, 본 발명의 디스패리티 맵 재산출부(40)는 도6(a)와 같이 깊이 차수가 중첩되는 영역을 가지는 디스패리티 매핑 함수를 도6(c)와 같이 최적화하도록 한다. 그러면, 도6(c)의 디스패리티 매핑 함수에 대응되는 도6(d)의 디스패리티 맵은 도6(a) 의 디스패리티 매핑 함수에 대응되는 도6(b)의 디스패리티 맵과 달리 증가된 머리 모델 볼륨을 가지면서도, 각각의 객체는 원래의 깊이 차수를 정상적으로 유지할 수 있게 된다.
사용자 인터페이스(50)는 깊이감 조절 장치의 동작 상황을 사용자가 파악할 수 있도록 각종 영상 및 텍스트를 출력함과 동시에, 각종 제어 메뉴를 제공하여 사용자가 깊이감 조절 동작에 능동적으로 참여할 수 있도록 한다. 특히, 본 발명에서는, 사용자가 사용자 인터페이스를 통해 깊이 레이어 탐색을 위한 윈도우 크기를 조정하거나, 특정 깊이 레이어의 위치와 볼륨 중 적어도 하나를 조정하거나, 특정 깊이 레이어에 대한 가중치를 임의로 조정할 수 있도록 함으로써, 깊이감 조절 장치가 사용자의 요청 사항을 반영하여 디스패리티 맵이 가변될 수 있도록 한다.
이하, 도7을 참고하여, 본 발명의 스테레오 영상의 깊이감 조절방법에 대해 보다 상세히 살펴보면 다음과 같다.
먼저, 입력 영상 및 디스패리티 맵이 입력되면(S1), 깊이감 조절 장치는 사용자에게 히스토그램 분석에 사용될 윈도우 크기를 문의하여 윈도우 크기를 결정한다. 만약, 사용자가 별도의 윈도우 크기 조정 동작을 수행하지 않으면, 깊이감 조절 장치는 이전에 사용된 윈도우 크기 또는 기 설정된 디폴트 값을 윈도우 크기로 획득할 수 있을 것이다(S2).
그리고 나서, 단계S2를 통해 획득된 윈도우 크기로 디스패리티 맵을 히스토그램 분석하여 깊이 분포도를 획득하고(S3), 깊이 분포도를 GMM 피팅하여 깊이 분포도로부터 다수의 깊이 레이어를 추출한다(S4).
이러한 상태에서, 사용자가 다수의 깊이 레이어 중 적어도 하나를 선택하면, 깊이감 조절 장치는 사용자가 자신이 선택한 깊이 레이어의 위치, 볼륨, 그리고 가중치 중 적어도 하나를 조절할 수 있도록 한다(S5).
만약, 깊이 레이어의 파라메터 조절 동작이 완료되면(S6), 앞서 설명된 수학식 1에 따라 사용자가 조절한 깊이 레이어의 위치 및 볼륨을 반영하여 디스패리티 매핑 함수를 재산출한다(S6).
그리고 나서, 단계 S6를 통해 재산출된 디스패리티 매핑 함수를 앞서 설명된 수학식 2 내지 5에 따라 최적화하여 디스패리티 맵을 재산출한다(S7). 그러면 깊이감 조절 장치는 재산출된 디스패리티 맵을 통해 사용자 요청 사항이 모두 반영된 깊이감을 가지는 출력 영상을 생성할 수 있게 된다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
또한, 본 발명에 따른 스테레오 영상의 깊이감 조절 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, CD ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치, 하드 디스크, 플래시 드라이브 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

Claims (12)

  1. 입력 영상에 대응되는 디스패리티 맵을 히스토그램 분석하여 깊이 분포도를 획득하는 히스토그램 분석부;
    상기 깊이 분포도를 GMM(Gaussian Mixture Model) 피팅하여 다수의 깊이 레이어를 획득하는 GMM 피팅부;
    사용자 요청에 응답하여, 상기 다수의 깊이 레이어 중 적어도 하나에 대한 위치 및 볼륨 중 적어도 하나를 조정하고, 상기 조정 결과를 반영한 디스패리티 매핑 함수를 산출하는 디스패리티 조정부; 및
    에너지 최소화 기법을 통해 상기 디스패리티 매핑 함수를 해독하고, 상기 해독 결과를 기반으로 새로운 디스패리티 맵을 산출하는 디스패리티 맵 재산출부;를 포함하는 스테레오 영상의 깊이감 조절 장치.
  2. 제1항에 있어서, 상기 히스토그램 분석부는
    사용자 요청에 응답하여 히스토그램 분석에 사용될 윈도우 크기를 조절하는 기능을 더 포함하는 것을 특징으로 하는 스테레오 영상의 깊이감 조절 장치.
  3. 제1항에 있어서, 상기 디스패리티 조정부는
    사용자가 상기 다수의 깊이 레이어 중 하나를 선택하고, 상기 선택된 깊이 레이어의 볼륨을 조정하는 경우, 하기의 수학식으로 정의되는 디스패리티 매핑 함수(di')를 산출하는 것을 특징으로 하는 스테레오 영상의 깊이감 조절 장치,
    Figure 112013118264280-pat00059

    상기 di'는 볼륨 조정된 디스패리티 매핑 함수를, 상기 di는 조정전 디스패리티 매핑 함수를, 상기 l은 깊이 레이어 수를, 상기 μj는 j번째 가우시안 분포도의 평균값을, 상기 vj는 사용자에 의해 조정된 j번째 깊이 레이어의 볼륨값을, G는 GMM를 구성하는 가우시안 함수를, π는 가우시안 혼합 가중치를 각각 나타냄.
  4. 제1항 또는 제3항에 있어서, 상기 디스패리티 조정부는
    사용자가 상기 다수의 깊이 레이어 중 하나를 선택하고, 상기 선택된 깊이 레이어의 위치를 조정하는 경우, 하기의 수학식으로 정의되는 디스패리티 매핑 함수를 산출하는 것을 특징으로 하는 스테레오 영상의 깊이감 조절 장치,
    Figure 112013118264280-pat00060

    상기 di"는 위치 조정된 디스패리티 매핑 함수를, 상기 di'는 볼륨 조정된 디스패리티 매핑 함수를, 상기 di는 조정전 디스패리티 매핑 함수를, 상기 l은 깊이 레이어 수를, 상기 pj는 사용자에 의해 조정된 j번째 깊이 레이어의 위치값을, G는 GMM를 구성하는 가우시안 함수를, π는 가우시안 혼합 가중치를 각각 나타냄.
  5. 제1항에 있어서, 상기 디스패리티 맵 재산출부는
    에너지 최소화 기법을 통해 하기의 수학식으로 정의되는 에너지 함수의 해를 구함으로써, 상기 디스패리티 매핑 함수를 해독하는 것을 특징으로 하는 스테레오 영상의 깊이감 조절 장치,
    Figure 112014061150305-pat00061

    상기 E는 에너지 함수를, 상기 ECF는 커브-피팅 에너지(curve-fitting energy )를, 상기 EN는 비선형성 억제 에너지, 상기 ET는 시간적 코히런스 에너지(temporal coherence energy)를, 상기 λo 및 λT는 비선형성 억제 에너지와 시간적 코히런스 에너지의 가중치를, 상기 Φ는 피팅 함수를, 상기 x 및 y는 디스패리팅 매핑 함수의 입력값 및 출력값을, 상기 Ωj는 j번째 깊이 레이어의 가중치를, 상기 G는 GMM를 구성하는 가우시안 함수를, 상기 π는 가우시안 혼합 가중치를, 상기 Φ"는 기울기 변화를 나타내는 Φ의 유도 함수(second derive)를, 상기
    Figure 112014061150305-pat00062
    i 는 i번째 디스패리티의 가중치, 상기
    Figure 112014061150305-pat00063
    는 이전 프래임의 디스패리티 출력을, 상기 di는 조정전 디스패리티 매핑 함수를 각각 나타냄.
  6. 제5항에 있어서, 상기 디스패리티 맵 재산출부는
    사용자의 요청에 따라 λo,λT 및 Ωj 중 적어도 하나를 가변할 수 있는 것을 특징으로 하는 스테레오 영상의 깊이감 조절 장치.
  7. 사용자의 동의하에 히스토그램 분석을 위한 윈도우 크기를 결정하고, 상기 윈도우 크기로 디스패리티 맵을 히스토그램 분석하여 깊이 분포도를 획득하는 단계;
    상기 깊이 분포도로부터 다수의 깊이 레이어를 획득하는 단계;
    사용자의 동의하에 상기 다수의 깊이 레이어 중 적어도 하나를 선택하고, 상기 선택된 깊이 레이어에 대한 위치 및 볼륨 중 적어도 하나를 조정한 후, 상기 조정 결과를 반영하여 디스패리티 매핑 함수를 재산출하는 단계; 및
    에너지 최소화 기법을 통해 상기 디스패리티 매핑 함수를 해독하고, 상기 해독 결과를 기반으로 새로운 디스패리티 맵을 산출하는 단계를 포함하는 스테레오 영상의 깊이감 조절 방법.
  8. 제7항에 있어서, 상기 디스패리티 매핑 함수를 재산출하는 단계는
    사용자가 상기 다수의 깊이 레이어 중 하나를 선택하고, 상기 선택된 깊이 레이어의 볼륨을 조정하는 경우, 하기의 수학식으로 정의되는 디스패리티 매핑 함수(di')를 산출하는 것을 특징으로 하는 스테레오 영상의 깊이감 조절 방법,
    Figure 112014061150305-pat00069

    Figure 112014061150305-pat00070

    상기 di'는 볼륨 조정된 디스패리티 매핑 함수를, 상기 di는 조정전 디스패리티 매핑 함수를, 상기 l은 깊이 레이어 수를, 상기 μj는 j번째 가우시안 분포도의 평균값을, 상기 vj는 사용자에 의해 조정된 j번째 깊이 레이어의 볼륨값을, G는 GMM를 구성하는 가우시안 함수를, π는 가우시안 혼합 가중치를 각각 나타냄.
  9. 제8항에 있어서, 상기 디스패리티 매핑 함수를 재산출하는 단계는
    사용자가 상기 다수의 깊이 레이어 중 하나를 선택하고, 상기 선택된 깊이 레이어의 위치를 조정하는 경우, 하기의 수학식으로 정의되는 디스패리티 매핑 함수를 산출하는 것을 특징으로 하는 스테레오 영상의 깊이감 조절 방법,
    Figure 112013118264280-pat00065

    상기 di"는 위치 조정된 디스패리티 매핑 함수를, 상기 di'는 볼륨 조정된 디스패리티 매핑 함수를, 상기 di는 조정전 디스패리티 매핑 함수를, 상기 l은 깊이 레이어 수를, 상기 pj는 사용자에 의해 조정된 j번째 깊이 레이어의 위치값을, G는 GMM를 구성하는 가우시안 함수를, π는 가우시안 혼합 가중치를 각각 나타냄.
  10. 제7항에 있어서, 상기 새로운 디스패리티 맵을 산출하는 단계는
    에너지 최소화 기법을 통해 하기의 수학식으로 정의되는 에너지 함수의 해를 구함으로써, 상기 디스패리티 매핑 함수를 해독하는 것을 특징으로 하는 스테레오 영상의 깊이감 조절 방법,
    Figure 112014061150305-pat00066

    상기 E는 에너지 함수를, 상기 ECF는 커브-피팅 에너지(curve-fitting energy )를, 상기 EN는 비선형성 억제 에너지, 상기 ET는 시간적 코히런스 에너지(temporal coherence energy)를, 상기 λo 및 λT는 비선형성 억제 에너지와 시간적 코히런스 에너지의 가중치를, 상기 Φ는 피팅 함수를, 상기 x 및 y는 디스패리팅 매핑 함수의 입력값 및 출력값을, 상기 Ωj는 j번째 깊이 레이어의 가중치를, 상기 G는 GMM를 구성하는 가우시안 함수를, 상기 π는 가우시안 혼합 가중치를, 상기 Φ"는 기울기 변화를 나타내는 Φ의 유도 함수(second derive)를, 상기
    Figure 112014061150305-pat00067
    i 는 i번째 디스패리티의 가중치, 상기
    Figure 112014061150305-pat00068
    는 이전 프래임의 디스패리티 출력을, 상기 di는 조정전 디스패리티 매핑 함수를 각각 나타냄.
  11. 제10항에 있어서,
    사용자의 요청에 따라 λo,λT 및 Ωj 중 적어도 하나는 가변되는 것을 특징으로 하는 스테레오 영상의 깊이감 조절 방법.
  12. 제7항 내지 제11항 중 어느 한 항에 기재된 스테레오 영상의 깊이감 조절 방법을 실행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020120119987A 2012-10-26 2012-10-26 스테레오 영상의 깊이감 조절 장치 및 방법 KR101428866B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120119987A KR101428866B1 (ko) 2012-10-26 2012-10-26 스테레오 영상의 깊이감 조절 장치 및 방법
US13/905,418 US9445074B2 (en) 2012-10-26 2013-05-30 Apparatus and method for depth manipulation of stereoscopic 3D image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120119987A KR101428866B1 (ko) 2012-10-26 2012-10-26 스테레오 영상의 깊이감 조절 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140053721A KR20140053721A (ko) 2014-05-08
KR101428866B1 true KR101428866B1 (ko) 2014-08-12

Family

ID=50546725

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120119987A KR101428866B1 (ko) 2012-10-26 2012-10-26 스테레오 영상의 깊이감 조절 장치 및 방법

Country Status (2)

Country Link
US (1) US9445074B2 (ko)
KR (1) KR101428866B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101581586B1 (ko) * 2014-10-13 2016-01-11 이화여자대학교 산학협력단 깊이 영상의 노이즈를 보정하는 방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9432576B2 (en) * 2013-08-02 2016-08-30 Texas Instruments Incorporated Method and apparatus for fusing images from an array of cameras
CN105323573B (zh) 2014-07-16 2019-02-05 北京三星通信技术研究有限公司 三维图像显示装置和方法
WO2016010246A1 (ko) * 2014-07-16 2016-01-21 삼성전자주식회사 3d 영상 디스플레이 장치 및 방법
CN111427166B (zh) * 2020-03-31 2022-07-05 京东方科技集团股份有限公司 一种光场显示方法及系统、存储介质和显示面板
WO2022018869A1 (ja) * 2020-07-22 2022-01-27 日本電信電話株式会社 マッピング関数調整装置、マッピング関数調整方法およびプログラム
JPWO2023032206A1 (ko) * 2021-09-06 2023-03-09

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100116520A (ko) * 2009-04-22 2010-11-01 한국전자통신연구원 3차원 영상 시스템에서 3차원 영상 데이터 제공 시스템 및 방법
JP2012065066A (ja) 2010-09-15 2012-03-29 Sharp Corp 立体画像生成装置、立体画像表示装置、立体画像調整方法、立体画像調整方法をコンピュータに実行させるためのプログラム、及びそのプログラムを記録した記録媒体

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6674877B1 (en) * 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
US20110102553A1 (en) * 2007-02-28 2011-05-05 Tessera Technologies Ireland Limited Enhanced real-time face models from stereo imaging
EP2160037A3 (en) * 2006-06-23 2010-11-17 Imax Corporation Methods and systems for converting 2D motion pictures for stereoscopic 3D exhibition
EP2289235A4 (en) * 2008-05-20 2011-12-28 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES BY MONOLITHIC CAMERA ARRANGEMENT WITH HETEROGENIC IMAGE TRANSFORMER
US8456517B2 (en) * 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
WO2012116350A2 (en) * 2011-02-24 2012-08-30 Purdue Research Foundation Figure-ground organization of 3-d scenes
US8526734B2 (en) * 2011-06-01 2013-09-03 Microsoft Corporation Three-dimensional background removal for vision system
US9270974B2 (en) * 2011-07-08 2016-02-23 Microsoft Technology Licensing, Llc Calibration between depth and color sensors for depth cameras
US8605993B2 (en) * 2011-11-21 2013-12-10 Robo-team Ltd. Methods and systems of merging depth data from a plurality of disparity maps
WO2013081435A1 (ko) * 2011-12-02 2013-06-06 엘지전자 주식회사 3d 영상 표시 장치 및 방법
US9571810B2 (en) * 2011-12-23 2017-02-14 Mediatek Inc. Method and apparatus of determining perspective model for depth map generation by utilizing region-based analysis and/or temporal smoothing
EP2637139A1 (en) * 2012-03-05 2013-09-11 Thomson Licensing Method and apparatus for bi-layer segmentation
KR101913321B1 (ko) * 2012-05-10 2018-10-30 삼성전자주식회사 깊이 센서 기반 반사 객체의 형상 취득 방법 및 장치
US9621869B2 (en) * 2012-05-24 2017-04-11 Sony Corporation System and method for rendering affected pixels

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100116520A (ko) * 2009-04-22 2010-11-01 한국전자통신연구원 3차원 영상 시스템에서 3차원 영상 데이터 제공 시스템 및 방법
JP2012065066A (ja) 2010-09-15 2012-03-29 Sharp Corp 立体画像生成装置、立体画像表示装置、立体画像調整方法、立体画像調整方法をコンピュータに実行させるためのプログラム、及びそのプログラムを記録した記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101581586B1 (ko) * 2014-10-13 2016-01-11 이화여자대학교 산학협력단 깊이 영상의 노이즈를 보정하는 방법

Also Published As

Publication number Publication date
KR20140053721A (ko) 2014-05-08
US20140118507A1 (en) 2014-05-01
US9445074B2 (en) 2016-09-13

Similar Documents

Publication Publication Date Title
KR101428866B1 (ko) 스테레오 영상의 깊이감 조절 장치 및 방법
US8638329B2 (en) Auto-stereoscopic interpolation
Kim et al. Multi-perspective stereoscopy from light fields
US10701282B2 (en) View interpolation for visual storytelling
JP5734964B2 (ja) ステレオスコープシネマ用のビューア中心ユーザインタフェース
US8538135B2 (en) Pulling keys from color segmented images
Niu et al. Enabling warping on stereoscopic images
US10762692B2 (en) Techniques for providing virtual lighting adjustments utilizing regression analysis and functional lightmaps
US9087406B2 (en) Automated stereoscopic computer-animation techniques for determining scaled stereo parameters
JP2014517961A (ja) メッシュ・ファイルを採用したクライアント・アプリケーションでのトランジションのアニメーション
US20180225882A1 (en) Method and device for editing a facial image
CN106598250B (zh) 一种vr显示方法、装置和电子设备
Wang et al. Comfort-driven disparity adjustment for stereoscopic video
Chai et al. Roundness-preserving warping for aesthetic enhancement-based stereoscopic image editing
Celikcan et al. Attention-aware disparity control in interactive environments
US20140125778A1 (en) System for producing stereoscopic images with a hole filling algorithm and method thereof
KR20140090353A (ko) 얼굴의 형태 및 질감을 이용한 3차원 캐리커처 생성 장치 및 그 방법
CN108769644B (zh) 一种基于深度学习的双目动画风格化渲染方法
WO2014085573A1 (en) Line depth augmentation system and method for conversion of 2d images to 3d images
US10504265B2 (en) Methods, systems and tools for 3D animation
KR20130081569A (ko) 3ｄ 영상을 출력하기 위한 장치 및 방법
CN111247560B (zh) 用于保持图像中对象的感知恒定性的方法
Kevinç Perceptually driven stereoscopic camera control in 3D virtual environments
EP3107287A1 (en) Methods, systems and apparatus for local and automatic color correction
KR101521213B1 (ko) 시각적 불편도 모델을 이용하여 입체 영상을 보정하기 위한 장치 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170725

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180725

Year of fee payment: 5