KR20160006546A - 다시점 영상 디스플레이 장치 및 그 다시점 영상 디스플레이 방법 - Google Patents

다시점 영상 디스플레이 장치 및 그 다시점 영상 디스플레이 방법 Download PDF

Info

Publication number
KR20160006546A
KR20160006546A KR1020140086286A KR20140086286A KR20160006546A KR 20160006546 A KR20160006546 A KR 20160006546A KR 1020140086286 A KR1020140086286 A KR 1020140086286A KR 20140086286 A KR20140086286 A KR 20140086286A KR 20160006546 A KR20160006546 A KR 20160006546A
Authority
KR
South Korea
Prior art keywords
depth value
depth
image
roi
adjusted
Prior art date
Application number
KR1020140086286A
Other languages
English (en)
Other versions
KR101957243B1 (ko
Inventor
한승룡
김창용
이호영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140086286A priority Critical patent/KR101957243B1/ko
Priority to US14/743,293 priority patent/US10939092B2/en
Priority to CN201510400469.9A priority patent/CN105263011B/zh
Publication of KR20160006546A publication Critical patent/KR20160006546A/ko
Application granted granted Critical
Publication of KR101957243B1 publication Critical patent/KR101957243B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity

Abstract

다시점 영상 디스플레이 장치가 개시된다. 다시점 영상 디스플레이 장치는, 입력된 영상의 뎁스를 조정하는 뎁스 조정부, 뎁스가 조정된 영상에 기초하여 다시점 영상을 렌더링하는 렌더링부, 다시점 영상을 기설정된 배치 패턴으로 배치하여 디스플레이하는 디스플레이부 및, 입력된 영상에서 사용자의 관심 영역을 추출하고, 관심 영역에 포함된 오브젝트의 뎁스 값이 기설정된 범위의 뎁스 값으로 조정되도록 뎁스 조정부를 제어하는 제어부를 포함한다.

Description

다시점 영상 디스플레이 장치 및 그 다시점 영상 디스플레이 방법 { MULTI VIEW IMAGE DISPLAY APPARATUS AND MULTI VIEW IMAGE DISPLAY METHOD THEREOF}
본 발명은 다시점 영상 디스플레이 장치 및 제어 방법에 관한 것으로, 더욱 상세하게는 무안경식 다시점 영상 디스플레이 장치 및 그 다시점 영상 디스플레이 방법에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자기기가 개발 및 보급되고 있다. 특히, 일반 가정에서 가장 많이 사용되고 있는 가전 제품 중 하나인 TV와 같은 디스플레이 장치는 최근 수년 간 급속도로 발전하고 있다.
디스플레이 장치의 성능이 고급화되면서, 디스플레이 장치에서 디스플레이하는 컨텐츠의 종류도 다양하게 증대되었다. 특히, 최근에는 3D 컨텐츠까지 시청할 수 있는 입체 디스플레이 시스템이 개발되어 보급되고 있다.
한편, 입체 디스플레이 시스템은 3D 영상 시청 용 안경의 사용 여부에 따라서 안경식 또는 무 안경식 시스템으로 나뉘어질 수 있다.
안경식 시스템의 일 예로는, 셔터 글래스 방식의 디스플레이 장치가 있다. 셔터 글래스 방식이란, 좌안 이미지 및 우안 이미지를 교번적으로 출력하면서, 이와 연동하여 사용자가 착용한 3D 안경의 좌우 셔터 글래스를 교번적으로 개폐시켜 사용자가 입체감을 느낄 수 있도록 하는 방식이다.
무 안경식 시스템은 오토스테레오스코피(autostereoscopy)시스템이라고도 한다. 무 안경 방식의 3D 디스플레이 장치는, 광학적으로 분리된 다시점 영상을 디스플레이하면서 패러랙스 배리어(Parallax Barrier) 기술 또는 렌티큘러(Lenticular) 렌즈를 이용하여 시청자의 좌안 및 우안에 다른 시점의 영상에 해당하는 광이 투사되도록 하여, 사용자가 입체감을 느낄 수 있도록 한다.
한편, 무 안경식 시스템이 N개의 광학 뷰를 가질 경우, 입력된 영상에 대한 렌더링을 통해 N 개의 다시점 영상을 생성하여 영상을 제공할 있다. 생성된 N 개의 다시점 영상은 View Mapping 기술을 통해 디스플레이를 위한 다시점 영상을 컨버전되는데 View Mapping에 따라 Linear Mapping 방식 및 Cyclic Mapping 방식이 존재한다.
도 1a 및 도 1b는 Linear Mapping 방식에 따른 다시점 영상의 디스플레이 동작을 설명하는 도면이다.
Linear Mapping 방식은 도 1a 및 도 1b에 도시된 바와 같이 1 시점부터 7 시점까지의 다시점 영상을 1, 2, 3, 4, 5, 6, 7, 1, 2, 3... 시점 순으로 광학 뷰에 매칭하는 방식으로 시청위치에 따른 Dead Zone이 발생할 수 있다는 문제점이 있다. 여기서, Dead Zone이란, 시청자의 시청위치가 7 시점에서 1 시점으로 전환되는 위치를 의미하며, 이 위치에서는 디스패리티의 급격한 변화(Jumping 현상)로 인해 심각한 Crosstalk가 발생하여 3D 영상을 시청할 수 없고 사용자에게 시각적 피로감을 주게 된다. 즉, 도 1a 및 도 1b에서 도시한 바와 같이 7 시점 영상과 1 시점 영상을 동시에 시청하게 되는 위치가 Dead Zone에 해당한다.
Cyclic Mapping 방식은 1, 2, 3, 4, 3, 2, 1 시점 순으로 뷰를 배치하는 방식으로, Linear Mapping 방식에서 발생하는 디스패리티의 급격한 변화를 완화시키는 효과를 낼 수 있다는 장점이 있다. 하지만, 시점이 역순으로 배치되는 역시(Pseudo Stereo) 구간에서 사람의 양 눈에 들어오는 영상이 좌우가 바뀌어 들어옴으로써 시청시 피로감 특히, 울렁임 현상을 유발하게 된다는 문제점이 있었다.
본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명은 화면 내 울렁임 현상을 저감시킬 수 있는 다시점 영상 디스플레이 장치 및 그 다시점 영상 디스플레이 방법을 제공하는 것을 목적으로 한다.
본 발명의 상술한 목적을 달성하기 위한 일 실시 예에 따르면 다시점 영상 디스플레이 장치는, 입력된 영상의 뎁스를 조정하는 뎁스 조정부, 상기 뎁스가 조정된 영상에 기초하여 다시점 영상을 렌더링하는 렌더링부, 상기 다시점 영상을 기설정된 배치 패턴으로 배치하여 디스플레이하는 디스플레이부 및, 상기 입력된 영상에서 사용자의 관심 영역을 추출하고, 상기 관심 영역에 포함된 오브젝트의 뎁스 값이 기설정된 범위의 뎁스 값으로 조정되도록 상기 뎁스 조정부를 제어하는 제어부를 포함한다.
또한, 상기 제어부는, 상기 관심 영역에 포함된 오브젝트가 전경 오브젝트이며, 상기 전경 오브젝트의 뎁스 값이 상기 기설정된 뎁스 범위에 속하지 않는 경우, 상기 전경 오브젝트의 뎁스 값이 상기 기설정된 범위의 뎁스 값으로 조정되도록 제어할 수 있다.
또한, 상기 제어부는, 상기 관심 영역에 포함된 오브젝트의 뎁스 값이 상기 기설정된 범위의 뎁스 값으로 조정되는 뎁스 조정 비율 만큼 나머지 오브젝트의 뎁스 값이 조정되도록 상기 뎁스 조정부를 제어할 수 있다.
또한, 시청자에게 동일한 입체감을 제공하는 각 뎁스 구간에 대한 정보를 저장하는 저장부를 더 포함하며, 상기 제어부는, 상기 저장된 정보에 기초하여, 상기 관심 영역에 포함된 오브젝트의 뎁스를 상기 적어도 하나의 오브젝트와 동일한 입체감을 제공하는 뎁스 구간에서 상기 포컬 플레인에 가까운 뎁스 값으로 조정할 수 있다.
또한, 상기 제어부는, 상기 관심 영역에 포함된 오브젝트 및 인접 오브젝트의 뎁스 값이 기설정된 범위의 뎁스 값으로 조정되도록 제어할 수 있다.
또한, 상기 제어부는, 상기 관심 영역에 포함된 오브젝트의 픽셀 면적이 기설정된 픽셀 값 이상인 경우, 상기 오브젝트의 뎁스 값이 기설정된 범위의 뎁스 값으로 조정되도록 제어할 수 있다.
또한, 상기 제어부는, 상기 관심 영역에 포함된 오브젝트의 뎁스 값 조정 정도 만큼 상기 입력된 영상에 포함된 나머지 오브젝트의 뎁스 값이 조정되도록 입력된 영상의 뎁스 값을 시프트시킬 수 있다.
여기서, 상기 기설정된 범위는, 실험에 의해 울럼임 인지 정도가 적은 것으로 산출된 울렁임 비인지 구간이 될 수 있다.
또한, 상기 제어부는, 상기 기설정된 배치 패턴에서 다시점 영상이 역순으로 배치되어 역시(Pseudo Stereo)가 발생하는 구간에서 울럼임 현상이 최소화되도록 상기 관심 영역에 포함된 오브젝트의 뎁스 값을 조정할 수 있다.
여기서, 상기 다시점 영상이 총 N 시점인 경우, 상기 기설정된 배치 패턴은, 제1 시점부터 제N/2 시점까지는 순차적으로 배열하고, 그 후 제N/2-1 시점부터 제1 시점까지 역순으로 배열하는 패턴이 반복되는 배치 패턴이거나, 제1 시점부터 제N 시점까지의 홀수 및 짝수 시점 중 하나의 시점을 순차적으로 배열하고, 그 후 제N 시점부터 제1 시점까지의 홀수 및 짝수 시점 중 나머지 하나의 시점을 역순으로 배열하는 패턴이 반복되는 배치 패턴이 될 수 있다.
한편, 본 발명의 일 실시 예에 따른 다시점 영상 디스플레이 방법은, 입력된 영상에서 사용자의 관심 영역을 추출하고, 상기 관심 영역에 포함된 오브젝트의 뎁스 값을 기설정된 범위의 뎁스 값으로 조정하는 단계, 상기 뎁스가 조정된 영상에 기초하여 다시점 영상을 렌더링하는 단계 및, 상기 다시점 영상을 기설정된 배치 패턴으로 배치하여 디스플레이하는 단계를 포함한다.
또한, 상기 뎁스 값으로 조정하는 단계는, 상기 관심 영역에 포함된 오브젝트가 전경 오브젝트이며, 상기 전경 오브젝트의 뎁스 값이 상기 기설정된 뎁스 범위에 속하지 않는 경우, 상기 전경 오브젝트의 뎁스 값을 상기 기설정된 범위의 뎁스 값으로 조정할 수 있다.
또한, 상기 뎁스 값으로 조정하는 단계는, 상기 관심 영역에 포함된 오브젝트의 뎁스 값이 상기 기설정된 범위의 뎁스 값으로 조정되는 뎁스 조정 비율 만큼 나머지 오브젝트의 뎁스 값을 조정할 수 있다.
또한, 상기 뎁스 값으로 조정하는 단계는, 시청자에게 동일한 입체감을 제공하는 각 뎁스 구간에 대한 기 저장된 정보에 기초하여, 상기 관심 영역에 포함된 오브젝트의 뎁스를 상기 적어도 하나의 오브젝트와 동일한 입체감을 제공하는 뎁스 구간에서 상기 포컬 플레인에 가까운 뎁스 값으로 조정할 수 있다.
또한, 상기 뎁스 값으로 조정하는 단계는, 상기 관심 영역에 포함된 오브젝트 및 인접 오브젝트의 뎁스 값을 기설정된 범위의 뎁스 값으로 조정할 수 있다.
또한, 상기 뎁스 값으로 조정하는 단계는, 상기 관심 영역에 포함된 오브젝트의 픽셀 면적이 기설정된 픽셀 값 이상인 경우, 상기 오브젝트의 뎁스 값을 기설정된 범위의 뎁스 값으로 조정할 수 있다.
또한, 상기 뎁스 값으로 조정하는 단계는, 상기 관심 영역에 포함된 오브젝트의 뎁스 값 조정 정도 만큼 상기 입력된 영상에 포함된 나머지 오브젝트의 뎁스 값이 조정되도록 입력된 영상의 뎁스 값을 시프트시킬 수 있다.
여기서, 상기 기설정된 범위는, 실험에 의해 울럼임 인지 정도가 적은 것으로 산출된 울렁임 비인지 구간이 될 수 있다.
또한, 상기 뎁스 값으로 조정하는 단계는, 상기 기설정된 배치 패턴에서 다시점 영상이 역순으로 배치되어 역시(Pseudo Stereo)가 발생하는 구간에서 울럼임 현상이 최소화되도록 상기 관심 영역에 포함된 오브젝트의 뎁스 값을 조정할 수 있다.
여기서, 상기 다시점 영상이 총 N 시점인 경우, 상기 기설정된 배치 패턴은,제1 시점부터 제N/2 시점까지는 순차적으로 배열하고, 그 후 제N/2-1 시점부터 제1 시점까지 역순으로 배열하는 패턴이 반복되는 배치 패턴이거나, 제1 시점부터 제N 시점까지의 홀수 및 짝수 시점 중 하나의 시점을 순차적으로 배열하고, 그 후 제N 시점부터 제1 시점까지의 홀수 및 짝수 시점 중 나머지 하나의 시점을 역순으로 배열하는 패턴이 반복되는 배치 패턴이 될 수 있다.
이상과 같이 본 발명의 다양한 실시 예에 따르면, 무안경식 디스플레이 시스템에서 다시점 영상의 배치 패턴에 따라 발생하는 울렁임 현상을 감소시킬 수 있게 된다.
도 1a 및 도 1b는 종래 기술을 설명하기 위한 도면이다.
도 2a 내지 도 2c는 본 발명의 이해를 돕기 위한 무안경 3D 디스플레이 장치의 동작을 설명하기 위한 도면이다.
도 3a 및 도 3b는 본 발명의 다양한 실시 예에 따른 다시점 영상 디스플레이 장치의 구성을 나타내는 블럭도이다.
도 4는 본 발명의 일 실시 예에 따른 디스플레이 장치의 동작을 개략적으로 설명하기 위한 도면이다.
도 5a 및 도 5b는 본 발명의 일 실시 예에 따른 뎁스 조정 방법을 설명하기 위한 도면이다.
도 6a 및 도 6b는 본 발명의 다른 실시 예에 따른 뎁스 조정 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 또 다른 실시 예에 따른 뎁스 조정 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 또 다른 실시 예에 따른 뎁스 조정 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 또 다른 실시 예에 따른 뎁스 조정 방법을 설명하기 위한 도면이다.
도 10a 및 도 10b는 본 발명의 또 다른 실시 예에 따른 뎁스 조정 방법을 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시 예에 따른 다시점 영상 디스플레이 방법을 설명하기 위한 흐름도이다.
이하 본 발명의 다양한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다.
도 2a 내지 도 2c는 본 발명의 이해를 돕기 위한 무안경 3D 디스플레이 장치의 동작을 설명하기 위한 도면이다.
도 2a는 본 발명의 일 실시 예에 따라 다시점 영상을 디스플레이하여 무안경 방식으로 입체 영상을 제공하는 장치의 동작 방식을 나타낸다. 여기에서, 다시점 영상은 동일한 오브젝트를 서로 다른 각도에서 촬영한 복수의 영상을 포함한다. 즉, 서로 다른 시점에서 촬영한 복수의 영상을 서로 다른 각도로 굴절시키고, 소위 시청 거리라 하는 일정한 거리만큼 떨어진 위치(가령, 약 3m)에 포커스된 영상을 제공한다. 이러한 영상이 형성되는 위치를 시청 영역이라 한다. 이에 따라, 사용자의 한 쪽 눈이 하나의 제1 시청 영역에 위치하고, 다른 쪽 눈이 제2 시청 영역에 위치하면 입체감을 느낄 수 있게 된다.
일 예로, 도 2a는 총 7 시점의 다시점 영상의 디스플레이 동작을 설명하는 도면이다. 도 2a에 따르면, 무안경 3D 디스플레이 장치는 좌안에는 7 시점 중 1 시점 영상에 해당하는 광이, 우안에는 2 시점 영상에 해당하는 광이 투사되도록 할 수 있다. 이에 따라, 사용자는 좌안 및 우안에서 서로 다른 시점의 영상을 시청하게 되어 입체감을 느낄 수 있게 된다.
도 2b 및 도 2c는 본 발명의 일 실시 예에 따라 다시점 영상을 배치하는 패턴을 설명하기 위한 도면이다.
본 발명에 따르면, 도 1a 및 도 1b에서 설명한 Linear Mapping 방식에 따른 문제점을 해소하기 위하여 Cyclic Mapping 방식에 따라 다시점 영상을 배치할 수 있다.
구체적으로, 다시점 영상이 총 N 시점인 경우, 제1 시점부터 제N/2 시점까지는 순차적으로 배열하고, 그 후 제N/2-1 시점부터 제1 시점까지 역순으로 배열하는 패턴이 반복되는 배치 패턴으로 다시점 영상을 배치할 수 있다. 이 경우, N 이 홀수인 경우에는 N/2 보다 큰 정수(또는 N/2 보다 작은 정수)에 대응되는 시점이 정순과 역순이 배치되는 기준이 전환 시점이 될 수 있다. 일 예로, 도 2b에 도시된 바와 같이 다시점 영상이 총 7 시점인 경우, 7/2 보다 큰 정수인 4에 대응되는 제4 시점이 전환 시점이 되고, 이에 따라 제1 시점부터 제4 시점까지는 순차적으로 배열하고, 그 후 제3 시점부터 제1 시점까지 역순으로 배열하는 패턴이 반복되는 배치 패턴으로 다시점 영상을 배치할 수 있다. 다만, 이에 한정되는 것은 아니며, 제1 시점부터 제N 시점까지의 홀수 및 짝수 시점 중 하나의 시점을 순차적으로 배열하고, 그 후 제N 시점부터 제1 시점까지의 홀수 및 짝수 시점 중 나머지 하나의 시점을 역순으로 배열하는 패턴이 반복되는 배치 패턴으로 다시점 영상을 배치할 수도 있다. 일 예로, 다시점 영상이 총 7 시점인 경우, 1,3,5,7,6,4,2 시점 영상이 반복되는 배치 패턴으로 다시점 영상을 배치할 수 있다.
한편, 도 2b에 도시된 바와 같은 Cyclic Mapping 방식에 따라 다시점 영상을 배치하는 경우, 시점이 역순으로 배치되는 역시(Pseudo Stereo) 구간이 발생하게 된다. 예를 들어, 도 2c에서 다시점 영상 1 내지 4가 정순으로 배치되는 광학 시점 1 내지 4 구간은 정시에 해당하고, 다시점 영상 1 내지 4가 역순으로 배치되는 광학 시점 4 내지 7 구간은 역시 구간에 해당한다. 이러한 역시 구간에서는 울렁임 현상이 발생하는 문제점이 있지만, 본 발명에서는 다시점 영상의 뎁스를 조정하여 역시 구간에서 발생하는 울렁임 현상을 감소시키도록 한다.
이하에서는, 역시 구간에서 발생하는 울렁임 현상을 최소화하기 위한 본 발명의 구성에 대해 자세히 설명하도록 한다.
도 3a 및 도 3b는 본 발명의 다양한 실시 예에 따른 다시점 영상 디스플레이 장치의 구성을 나타내는 블럭도이다.
도 3a는 본 발명의 일 실시 예에 따른 다시점 영상 디스플레이 장치의 구성을 나타내는 블럭도이다.
도 3a에 따르면, 다시점 영상 디스플레이 장치(100)는 뎁스 조정부(110), 렌더링부(120), 디스플레이부(130) 및 제어부(140)를 포함한다.
다시점 영상 디스플레이 장치(100)는 TV, 모니터, PC, 키오스크, 태블릿 PC, 전자 액자, 키오스크, 휴대폰 등과 같은 다양한 유형의 디스플레이 장치로 구현될 수 있다.
영상 입력부(미도시)는 영상을 입력받는다. 구체적으로, 영상 입력부(미도시)는 외부의 저장 매체, 방송국, 웹 서버 등과 같은 각종 외부 장치로부터 영상을 입력받을 수 있다. 여기서, 입력되는 영상은 단일 시점 영상, 스테레오(Stero) 영상, 다시점 영상 중 어느 하나의 영상이다. 단일 시점 영상은 일반적인 촬영 장치에 의해 촬영된 영상이며, 스테레오 영상(Stereoscopic image)은 좌안 영상과 우안 영상만으로 표현된 3차원 비디오 영상으로, 스테레오 촬영 장치에 의해 촬영된 입체 영상이다. 일반적으로 스테레오 촬영 장치는 2개의 렌즈를 구비한 촬영 장치로 입체 영상을 촬영하는데 사용된다. 그리고, 다시점 영상(Multiview image)은 한대 이상의 촬영 장치를 통해 촬영된 영상들을 기하학적으로 교정하고 공간적인 합성 등을 통하여 여러 방향의 다양한 시점을 사용자에게 제공하는 3차원 비디오 영상을 의미한다.
또한, 영상 입력부(미도시)는 영상의 뎁스 정보를 수신할 수 있다. 일반적으로 영상의 뎁스(Depth)는 영상의 각각 픽셀별로 부여된 깊이 값으로, 일 예로, 8bit의 뎁스는 0~255까지의 그레이 스케일(grayscale) 값을 가질 수 있다. 예를 들어, 흑/백을 기준으로 나타낼 때, 검은색(낮은 값)이 시청자로부터 먼 곳을 나타내며, 흰색(높은 값)이 시청자로부터 가까운 곳을 나타낼 수 있다.
뎁스(depth) 정보란 3D 영상의 뎁스를 나타내는 정보로, 3D 영상을 구성하는 좌안 영상과 우안 영상 사이의 양안 시차 정도에 대응되는 정보이다. 뎁스 정보에 따라 사람이 느끼는 입체감의 정도가 달라진다. 즉, 뎁스가 큰 경우 좌우 양안 시차가 크게 되므로 입체감이 상대적으로 크게 느껴지고, 뎁스가 작은 경우 좌우 양안 시차가 작게 되므로 입체감이 상대적으로 작게 느껴지게 된다. 뎁스 정보는 일반적으로, 스테레오 정합(Stereo matching) 등과 같이 영상의 2차원적 특성만을 가지고 얻는 수동적인 방법과 깊이 카메라(Depth camera)와 같은 장비를 이용하는 능동적 방법을 통하여 획득될 수 있다. 한편, 뎁스 정보는 뎁스 맵 형태가 될 수 있다.
뎁스 맵(Depth map)이란 영상의 각 영역 별 뎁스 정보를 포함하고 있는 테이블을 의미한다. 영역은 픽셀 단위로 구분될 수도 있고, 픽셀 단위보다 큰 기설정된 영역으로 정의될 수도 있다. 일 예에 따라 뎁스 맵은 0~255까지의 그레이 스케일(grayscale) 값 중 127 또는 128을 기준 값 즉, 0(또는 포컬 플레인)으로 하여 127 또는 128 보다 작은 값을 - 값으로 나타내고, 큰 값을 + 값으로 나타내는 형태가 될 수 있다. 포컬 플레인의 기준값은 0~255 사이에서 임의로 선택할 수 있다. 값은 침강을 의미하며, + 값은 돌출을 의미한다.
뎁스 조정부(110)는 뎁스 정보에 기초하여 입력된 영상의 뎁스를 조정한다. 구체적으로, 뎁스 조정부(110)는 상술한 Cyclic Mapping 방식에 따른 역시 구간에서 발생 가능한 울렁임 현상이 최소가 되도록 입력된 영상의 뎁스를 조정할 수 있는데 이에 대해서는 후술하는 제어부(140)에 대한 설명에서 자세히 설명하도록 한다.
렌더링부(120)는 뎁스 조정부(110)에서 뎁스가 조정된 영상을 이용하여 다시점 영상을 렌더링할 수 있다.
구체적으로, 렌더링부(120)는 2D 영상의 경우, 2D/3D 변환에 추출된 뎁스 정보를 기초로 다시점 영상을 렌더링할 수 있다. 또는 렌더링부(120)는 멀티 뷰 즉, N 개의 뷰 및 대응되는 N 개의 뎁스 정보가 입력되는 경우 입력된 N 개의 뷰 및 뎁스 정보 중 적어도 하나의 뷰 및 뎁스 정보에 기초하여 다시점 영상을 렌더링할 수 있다. 또는 렌더링부(120)는 N 개의 뷰 만 입력되는 경우, N 개의 뷰로부터 뎁스 정보 추출 후, 추출된 뎁스 정보에 기초하여 다시점 영상을 렌더링할 수 있다.
일 예로, 렌더링부(120)는 3D 영상, 즉 좌안 영상 및 우안 영상 중 하나를 기준 뷰(또는 센터 뷰)로 선택하여 다시점 영상의 기초가 되는 최좌측 뷰 및 최우측 뷰를 생성할 수 있다. 이 경우, 렌더링부(120)는 기준 뷰로 선택된 좌안 영상 및 우안 영상 중 하나에 대응되는 보정된 뎁스 정보를 기초로 최좌측 뷰 및 최우측 뷰를 생성할 수 있다. 렌더링부(120)는 최좌측 뷰 및 최우측 뷰가 생성되면, 센터 뷰와 최좌측 뷰 사이에서 복수 개의 보간 뷰를 생성하고, 센터 뷰와 최우측 뷰 사이에서 복수 개의 보간 뷰를 생성함으로써 다시점 영상을 렌더링할 수 있다. 다만, 이에 한정되는 것은 아니며, 보외 기법에 의해 생성되는 보외 뷰(Extrapolation View)를 생성하는 것도 가능하다. 한편, 2D 영상 및 뎁스 정보를 기초로 다시점 영상을 렌더링하는 경우 2D 영상을 센터 뷰로 선택할 수 있음을 물론이다.
다만, 상술한 렌더링부(120)의 상세 동작은 일 예를 든 것이며, 렌더링부(120)는 상술한 동작 외에 다양한 방법에 의해 다시점 영상을 렌더링할 수 있음은 물론이다.
디스플레이부(130)는, 멀티 뷰(또는 멀티 광학 뷰)를 제공하는 기능을 한다. 이를 위해, 디스플레이부(130)는 멀티 뷰 제공을 위한 디스플레이 패널(131) 및 시역 분리부(132)를 포함한다.
디스플레이 패널(131)은 복수의 서브 픽셀로 구성된 복수의 픽셀을 포함한다. 여기에서, 서브 픽셀은 R(Red), G(Green), B(Blue)로 구성될 수 있다. 즉, R, G, B의 서브 픽셀로 구성된 픽셀이 복수의 행 및 열 방향으로 배열되어 디스플레이 패널(141)을 구성할 수 있다. 이 경우, 디스플레이 패널(141)는 액정 디스플레이 패널(Liquid Crystal Display Panel: LCD Panel), 플라즈마 디스플레이 패널(Plasma Display Panel: PDP), 유기발광 소자(Organic Light Emitting Diode, OLED), VFD(Vacuum Fluorescent Display), FED(Field Emission Display), ELD(Electro Luminescence Display) 등과 같은 다양한 디스플레이 유닛으로 구현될 수 있다.
디스플레이 패널(131)은 영상 프레임을 디스플레이한다. 구체적으로, 디스플레이 패널(131)은 서로 다른 시점의 복수의 이미지가 순차적으로 반복 배치된 영상 프레임을 디스플레이할 수 있다.
한편, 도 3a에 도시하지 않았지만, 디스플레이 패널(131)이 LCD 패널로 구현되는 경우, 디스플레이 장치(200)는 디스플레이 패널(131)에 백라이트를 공급하는 백라이트부(미도시) 및 영상 프레임을 구성하는 각 픽셀들의 픽셀 값에 따라 디스플레이 패널(131)의 픽셀들을 구동하는 패널 구동부(미도시)를 더 구비할 수 있다.
시역 분리부(132)는 디스플레이 패널(131)의 전면에 배치되어 시청 영역 별로 상이한 시점 즉, 멀티 뷰를 제공할 수 있다. 이 경우, 시역 분리부(132)는 렌티큘러 렌즈(Lenticular lens) 또는, 패러랙스 배리어(Parallax Barrier)로 구현될 수 있다.
예를 들어, 시역 분리부(132)는 복수의 렌즈 영역을 포함하는 렌티큘러 렌즈로 구현될 수 있다. 이에 따라, 렌티큘러 렌즈는 복수의 렌즈 영역을 통해 디스플레이 패널(131)에서 디스플레이되는 영상을 굴절시킬 수 있다. 각 렌즈 영역은 적어도 하나의 픽셀에 대응되는 크기로 형성되어, 각 픽셀을 투과하는 광을 시청 영역별로 상이하게 분산시킬 수 있다.
다른 예로, 시역 분리부(132)는 패러랙스 배리어로 구현될 수 있다. 패러랙스 배리어는 복수의 배리어 영역을 포함하는 투명 슬릿 어레이로 구현된다. 이에 따라, 배리어 영역 간의 슬릿(slit)을 통해 광을 차단하여 시청 영역별로 상이한 시점의 영상이 출사되도록 할 수 있다.
도 3c는 본 발명의 일 실시 예에 따라 시역 분리부(132)가 렌티큘러 렌즈 어레이로 구현된 경우를 예를 들어 설명하도록 한다.
도 3c에 따르면, 디스플레이부(130)는 디스플레이 패널(131), 렌티큘러 렌즈 어레이(132') 및 백라이트 유닛(133)을 포함한다.
도 3c에 따르면, 디스플레이 패널(131)은 복수의 열(column)로 구분되는 복수의 픽셀을 포함한다. 각 열 별로 상이한 시점의 이미지가 배치된다. 도 3c에 따르면, 서로 다른 시점의 복수의 이미지 1, 2, 3, 4가 순차적으로 반복 배치되는 형태를 나타낸다. 즉, 각 픽셀 열은 1, 2, 3, 4로 넘버링된 그룹으로 배열된다. 패널로 인가되는 그래픽 신호는 픽셀열 1이 첫 번째 이미지를 디스플레이하고, 픽셀열 2가 두 번째 이미지를 디스플레이하도록 배열된다.
백라이트 유닛(133)은 디스플레이 패널(131)로 광을 제공한다. 백라이트 유닛(133)으로부터 제공되는 광에 의해, 디스플레이 패널(131)에 형성되는 각 이미지 1, 2, 3, 4는 렌티큘러 렌즈 어레이(132')로 투사되고, 렌티큘러 렌즈 어레이(132')는 투사되는 각 이미지 1, 2, 3, 4의 광을 분산시켜 시청자 방향으로 전달한다. 즉, 렌티큘러 렌즈 어레이(132')는 시청자의 위치, 즉, 시청 거리에 출구동공(exit pupils)을 생성한다. 도시된 바와 같이 렌티큘러 렌즈 어레이로 구현되었을 경우 렌티큘러 렌즈의 두께 및 직경, 패러랙스 배리어로 구현되었을 경우 슬릿의 간격 등은 각 열에 의해 생성되는 출구 동공이 65mm 미만의 평균 양안 중심 거리로 분리되도록 설계될 수 있다. 분리된 이미지 광들은 각각 시청 영역을 형성한다. 즉, 도 3에 도시된 바와 같이 제1 내지 제4 뷰가 형성되고 사용자의 좌안 및 우안이 각각 제2 뷰 및 제3 뷰에 위치하게 되는 경우, 3D 영상을 시청할 수 있게 된다.
한편, 시역 분리부(132)는 화질 개선을 위하여 일정한 각도로 기울어져서 동작할 수 있다. 제어부(140)는 다시점 영상 각각을 시역 분리부(132)가 기울어진 각도에 기초하여 분할하고, 이들을 조합하여 영상 프레임을 생성할 수 있다. 이에 따라, 사용자는 디스플레이 패널(131)의 서브 픽셀에 수직 방향 또는 수평 방향으로 디스플레이된 영상을 시청하는 것이 아니라, 특정 방향으로 기울어진 영역을 시청할 수 있다. 이에 따라, 시청자는 하나의 완전한 서브 픽셀이 아닌 각 서브 픽셀의 일부를 시청할 수 있다. 예를 들어, 총 6 개의 시점을 제공한다고 가정할 때, 출력 영상은 도 3d에 도시된 바와 같이 복수의 서브 픽셀 중 적어도 일부가 각각 복수의 다시점 영상에 대응되는 픽셀값을 출력하도록 렌더링될 수 있다. 이 경우, 시청자의 우안이 1 시점 영상을 시청하고 좌안이 2 시점 영상을 시청하는 경우, 시청자의 우안은 1 시점에 대응하는 기울어진 영역(10)을, 좌안은 2 시점에 대응하는 기울어진 영역(20)을 시청할 수 있다. 다만 도 3d의 렌더링 영상을 일 예를 도시한 것이며, 다시점 영상 개수 및 렌더링 피치 등은 구현 예에 따라 다양하게 변경될 수 있다.
제어부(140)는 디스플레이 장치(100)의 전반적인 동작을 제어한다.
특히, 제어부(140)는 입력된 영상에서 사용자의 관심 영역을 추출하고, 관심 영역에 포함된 오브젝트의 뎁스 값이 기설정된 범위의 뎁스 값으로 조정되도록 뎁스 조정부(110)를 제어한다. 여기서, 기설정된 범위는 실험에 의해 울럼임 인지 정도가 적은 것으로 산출된 울렁임이 거의 인식되지 않거나, 인식되지 않는 비인지 구간이 될 수 있다.
구체적으로, 제어부(140)는 입력된 영상에 기설정된 알고리즘에 기초하여 영상을 분석하고 관심 이미지(또는 관심 맵 이미지)를 생성하고 이에 기초하여 사용자의 관심 영역을 추출할 수 있다. 여기서, 기설정된 알고리즘으로는 관심 맵 생성을 위한 기존의 다양한 알고리즘이 적용될 수 있다. 예를 들어, 논문 Salient Region Detection and Segmentation(Radhakrishna Achanta, Francisco Estrada, Patricia Wils, and Sabine SAusstrunk)에 개시된 관심 영역 검출 방법이 이용될 수 있으나, 이에 한정되는 것은 아니다.
일 예로, 입력된 영상으로부터 특징 정보(feature information)를 추출하여 하나 이상의 특징맵(feature map)을 생성할 수 있다. 여기서, 특징정보는 휘도(Luminance), 색(Color), 텍스쳐(Texture), 모션(Motion), 및 방향성(Orientation) 중 적어도 하나를 포함할 수 있다. 이 후, 특징맵을 이용하여 로우 레벨 관심 계산(Low-level Attention Computation)을 수행하고, 로우 레벨 관심 계산의 결과에 기초하여 입력된 영상에 대한 관심 맵 이미지를 생성할 수 있다.
또는 제어부(140)는 사용자의 시선 인식을 통해 사용자의 관심 영역을 추출할 수 있다. 이 경우 디스플레이 장치(100)는 사용자의 시선 인식을 위한 트래킹부(미도시)를 더 포함할 수 있다.
트랙킹부(미도시)는 사용자의 위치, 구체적으로 사용자의 얼굴 위치를 트랙킹하여 해당 정보를 제어부(140)에 제공한다. 이를 위해 트랙킹부(미도시)는 촬상부(미도시) 및 검출부(미도시)를 포함할 수 있다.
촬상부(미도시)는 디스플레이 장치(100)의 외곽 영역에 배치되어 사용자를 촬상한다. 예를 들어, 촬상부(미도시)는 디스플레이 장치(100)의 상단 중앙, 좌단 중앙 또는 우단 중앙 베젤 영역에 배치될 수 있으나, 이에 한정되는 것은 아니다.
촬상부(미도시)는 촬상을 위해 렌즈를 포함한 렌즈 모듈과 이미지 센서를 포함한다. 렌즈를 통해 입력된 형상은 필름의 역할을 하는 이미지 센서에 광학 신호로서 입력되고, 이미지 센서는 입력된 광학 신호를 전기적 신호로 변환하여 검출부(미도시)로 전송한다.
검출부(미도시)는 촬상부(미도시)로부터 수신된 사용자 촬영 이미지로부터 사용자의 얼굴 위치를 검출하고 사용자의 얼굴 위치를 트랙킹한다. 구체적으로, 검출부(미도시)는 이전 프레임 및 현재 프레임에서 검출된 사용자 얼굴 영역의 위치에 기초하여 사용자의 이동 위치를 트랙킹하고, 해당 정보를 제어부(140)에 제공할 수 있다.
얼굴 영역 검출 방법으로는 종래의 다양한 방식이 이용될 수 있다. 구체적으로, 직접인식방법과 통계를 이용한 방법이 이용될 수 있다. 직접인식방법은, 화면에 나타나는 얼굴 영상의 윤곽 피부색 및 구성요소의 크기나 서로 간의 거리 등의 물리적인 특징을 이용한 규칙을 만들고 그 규칙에 따라 비교, 검사 및 측정한다. 통계를 이용한 방법은, 미리 학습된 알고리즘에 따라 얼굴 영역을 검출할 수 있다.
즉, 입력된 얼굴이 가지고 있는 고유의 특징들을 데이터화하여 준비된 대량의 데이터 베이스(얼굴과 그 외의 사물의 형체들)과 비교분석하는 방법이다. 특히, 미리 학습된 알고리즘에 따라 얼굴 영역을 검출할 수 있는데 MLP(Multi Layer Perceptron)와 SVM (Support Vector Machine)와 같은 방식이 이용될 수 있다. 이에 대한 자세한 설명은 생략하도록 한다.
한편, 제어부(140)는 뎁스 맵 정보 및 관심 영역에 대한 정보를 갖는 관심 맵 정보에 기초하여 뎁스 값 조정 대상이 되는 오브젝트를 결정할 수 있다.
구체적으로, 제어부(140)는 관심 맵에 기초하여 관심 영역(또는 관심 오브젝트)를 결정하고, 뎁스 맵 정보에 기초하여 전경 오브젝트를 결정한 후, 전경 오브젝트 중 관심 오브젝트에 대해서만 뎁스 값을 조정할 수 있다. 여기서, 전경 오브젝트란, 돌출 강도를 갖는 오브젝트들을 의미하며, 반대로 침강 강도를 갖는 오브젝트들은 후경 오브젝트라 명명하도록 한다.
즉, 제어부(140)는 관심 영역에 포함된 오브젝트들 중에서도 돌출 강도를 갖는 오브젝트들의 뎁스 값이 울렁임 비인지 구간의 뎁스 값보다 큰 경우, 해당 오브젝트의 뎁스 값이 기설정된 범위의 뎁스 값으로 조정되도록 제어할 수 있다.
또한, 제어부(140)는 관심 영역에 포함된 오브젝트 뿐 아니라, 나머지 오브젝트들도 울렁임 비인지 구간의 뎁스 값을 갖도록 조정할 수 있다. 구체적으로, 입력된 영상에 포함된 모든 오브젝트의 뎁스 값을 기설정된 비율로 감소시키거나, 증가시켜, 울렁임 비인지 구간의 뎁스 값 범위에 속하면서 각 오브젝트들의 상대적인 뎁스 값 차이 비율이 유지되도록 각 오브젝트의 뎁스 값을 조정할 수 있다. 이하에서는, 이러한 뎁스 값 조정 방식을 각 오브젝트들의 뎁스 값이 압축되는 효과를 갖는다는 점에서 rangee compression 이라 명명하기로 한다.
또한, 제어부(140)는 입력된 영상의 관심 영역에 포함된 적어도 하나의 오브젝트가 차지하는 픽셀 영역의 크기에 기초하여 뎁스 값 조정 여부를 결정하는 것도 하다. 구체적으로, 제어부(140)는 관심 영역에 포함된 오브젝트의 픽셀 면적이 기설정된 픽셀 값 이상인 경우, 오브젝트의 뎁스 값이 울렁임 비인지 구간의 뎁스 값으로 조정되도록 제어할 수 있다. 이 경우, 제어부(140)는 관심 영역에 포함된 전경 오브젝트의 픽셀 면적이 기설정된 픽셀 값 이상인 경우에만, 오브젝트의 뎁스 값이 울렁임 비인지 구간의 뎁스 값으로 조정되도록 제어할 수 있다.
또한, 제어부(140)는 관심 영역에 포함된 오브젝트에 인접하는 오브젝트의 뎁스 분포를 고려하여 오브젝트들을 그룹핑하고, 그룹핑된 오브젝트들을 하나의 오브젝트로 인식하여 뎁스를 보정할 수 있다. 이 경우 오브젝트 그룹핑은 다양한 기준에 따라 이루어질 수 있다. 예를 들어, 관심 영역에 포함된 오브젝트와 유사한 뎁스 값을 갖는 인접 오브젝트가 동일한 그룹으로 그룹핑될 수 있다.
일 예로, 제어부(140)는 관심 영역에 포함된 오브젝트와 유사한 뎁스 값으로 인해 해당 오브젝트와 동일한 그룹으로 그룹핑된 인접 오브젝트의 뎁스 값이 울렁임 비인지 구간의 뎁스 값으로 조정되도록 제어할 수 있다. 즉, 제어부(140)는 관심 영역에 포함된 오브젝트 뿐 아니라, 관심 영역에 포함되지 않은 인접 오브젝트의 뎁스 값도 울렁임 비인지 구간의 뎁스 값으로 조정하여 사용자의 관심 영역에서 뎁스 변화가 스무스하게 연결되도록 할 수 있다. 이에 따라 사용자는 역시 구간에서의 울렁임은 감소되면서 관심 영역에서 급격한 뎁스 변화가 없는 영상을 시청하게 되므로 눈의 피로도를 감소시킬 수 있게 된다.
또한, 제어부(140)는 관심 영역에 포함된 오브젝트의 뎁스 값 조정 정도 만큼 입력된 영상에 포함된 나머지 오브젝트의 뎁스 값이 조정되도록 입력된 영상의 뎁스 값을 시프트시킬 수도 있다. 예를 들어, 제어부(140)는 관심 영역에 포함된 오브젝트가 울렁임 비인지 구간의 뎁스 값으로 조정되기 위하여 a 뎁스 값 만큼 작아지도록 조정된 경우 입력된 영상의 나머지 오브젝트들의 뎁스 값도 a 뎁스 값 만큼 작아지도록 시프트시켜 상대적인 뎁스 차이가 유지되도록 할 수 있다. 이에 따라 시청자는 역시 구간에서의 울렁임은 감소되면서 상대적 뎁스 차이 부분에서 원본 영상과 유사한 분위기를 갖는 영상을 시청할 수 있게 된다.
또한, 제어부(140)는 템포럴(temporal) 방향의 consistency를 유지하기 위하여 인접 프레임에서의 오브젝트 별 뎁스 값에 기초하여 현재 프레임에서의 오브젝트 별 뎁스 값을 재조정하는 템포럴 스무딩(temporal smoothing)를 적용할 수 있다. 이에 따라 사용자는 역시 구간에서의 울렁임은 감소되면서 관심 영역에서 급격한 뎁스 변화가 없는 영상을 시청하게 되므로 눈의 피로도를 감소시킬 수 있게 된다.
이상 설명한 바와 같이 사용자의 관심 영역에 포함된 오브젝트의 뎁스 값을 조정함으로써, 기설정된 배치 패턴에서 다시점 영상이 역순으로 배치되어 역시(Pseudo Stereo)가 발생하는 구간(도 2b 및 도 2c 참고)에서 울럼임 현상이 최소화되도록 할 수 있다.
도 3b는 본 발명의 다른 실시 예에 따른 다시점 영상 디스플레이 장치의 구성을 나타내는 블럭도이다.
도 3b에 따르면 다시점 영상 디스플레이 장치(200)는 뎁스 조정부(110), 렌더링부(120), 디스플레이부(130), 제어부(140) 및 저장부(150)를 포함한다. 도 2b에 도시된 구성 중 뎁스 조정부(110), 렌더링부(120), 디스플레이부(130)의 구성은 도 2a에 도시된 구성과 동일하므로 자세한 설명은 생략하도록 한다.
저장부(150)는 시청자에게 동일한 입체감을 제공하는 각 뎁스 구간에 대한 정보(JNDD:Just Noticeable Difference in Depth)를 저장한다. 예를 들어, 8 bit의 뎁스는 0~255까지의 그레이 스케일(grayscale) 값을 갖는 경우, 0~255 값 각각이 시청자에게 다른 입체감으로 인식되는 것이 아니라, 일정 범위 내의 값은 동일한 뎁스로 인식될 수 있다. 예를 들어, 0~4 구간 사이의 뎁스 값은 시청자에게 동일한 입체감을 제공하고, 5~8 구간 사이의 뎁스 값은 시청자에게 동일한 입체감을 제공할 수 있다. 여기서, 시청자에게 동일한 입체감을 제공하는 각 뎁스 구간에 대한 정보를 실험을 통해 획득될 수 있다.
제어부(140)는 관심 영역에 포함된 오브젝트의 뎁스 값을 울렁임 비인지 구간의 뎁스 값으로 조정하는 경우에 있어서, 저장부(150)에 저장된 JNDD 정보에 기초하여 동일한 입체감을 제공하는 뎁스 구간에서 포컬 플레인에 가까운 뎁스 값으로 조정할 수 있다.
예를 들어, 127 값이 포컬 플레인으로 설정되고 울렁임 인지 정도가 작은 기설정된 범위의 뎁스 구간이 127 내지 134 구간이며, 127 내지 131 구간, 132 내지 136 구간의 값이 시청자에게 동일한 입체감을 주는 경우를 가정하도록 한다. 이 경우, 관심 영역에 포함된 오브젝트의 뎁스 값이 136인 경우, 본 발명의 일 실시 예에 따르면, 해당 오브젝트의 뎁스 값을 134로 조정할 수 있지만, JNDD를 적용하는 본 발명의 다른 실시 예에 따르면 해당 오브젝트의 뎁스 값을 134가 속하는 JNDD 구간인 132 내지 136 구간에서 포컬 플레인에 가까운 132로 조정할 수 있게 된다. 이에 따라 최대한의 입체감을 제공하면서 역시 구간에서의 울렁임 현상을 최대로 감소시킬 수 있게 된다.
도 4는 본 발명의 일 실시 예에 따른 디스플레이 장치의 동작을 개략적으로 설명하기 위한 도면이다.
도 4에 따르면, 입력 영상(410)으로부터 생성된 뎁스 이미지(또는 뎁스 맵 이미지)(420) 및 관심 이미지(또는 관심 맵 이미지)(430)에 기초하여 수정된 뎁스 이미지(421)를 생성할 수 있다.
구체적으로, 뎁스 맵 값 d(x, y)이 뎁스 맵에 대한 제1 임계 값(th1)보다 크고, 관심 맵 값 s(x, y)가 관심 맵에 대한 제2 임계 값(th2)보다 큰 영역에 대해서는 뎁스 값을 제1 임계값(th1)으로 조정하고, 그렇지 않은 경우 즉, 에는 원래의 뎁스 맵 값 d(x, y)을 유지하여 수정된 뎁스 이미지(421)를 생성할 수 있다. 이 후, 수정된 뎁스 이미지(421)에 기초하여 다시점 영상을 렌더링할 수 있다.
도 5a 및 도 5b는 본 발명의 일 실시 예에 따른 뎁스 조정 방법을 설명하기 위한 도면이다.
도 5a에 도시된 바와 같이 입력 영상에 포함된 네 개의 오브젝트(510, 520, 530, 540)의 뎁스가 각각 돌출 강도 5, 돌출 강도 6, 돌출 강도 3, 침강 강도 2인 경우를 가정하도록 한다.
여기서, 돌출 강도 5를 갖는 제1 오브젝트(510)가 관심 영역에 속하는 경우, 해당 오브젝트의 뎁스 값을 조정하여 역시 구간에서의 울렁임 현상이 감소되도록 할 수 있다.
구체적으로, 제1 오브젝트(510)의 뎁스 값을 울렁임 비인지 영역, 예를 들어 침강 강도 3 내지 돌출 강도 3 구간으로 시프트 시킬 수 있다. 즉, 최대한 입체감을 유지하면서 울렁임 현상이 감소될 수 있도록 울렁임 비인지 영역에서 최대의 돌출 강도인 3의 값을 갖도록 시프트 시킬 수 있다. 이에 따라 역시 구간에서 시청자가 느끼는 울렁임 정도가 감소하게 된다.
도 6a 및 도 6b는 본 발명의 다른 실시 예에 따른 뎁스 조정 방법을 설명하기 위한 도면이다.
본 발명의 다른 실시 예에 따르면, 관심 영역에 속하는 오브젝트 뿐 아니라, 인접 오브젝트 또는, 전체 오브젝트의 뎁스 값을 조정할 수도 있다.
도 5a에 도시된 바와 동일한 경우를 상정하는 경우, 도 6a에서는 도 5b와 달리 관심 영역에 속하는 돌출 강도 5를 갖는 제1 오브젝트(510) 뿐 아니라, 해당 오브젝트의 인접 오브젝트인 제2 오브젝트(520)의 뎁스 값도 조정할 수 있다.
구체적으로, 도 6a에 도시된 바와 같이 제1 오브젝트(510)의 뎁스 값을 울렁임 비인지 영역, 예를 들어 침강 강도 3 내지 돌출 강도 3 구간으로 시프트 시킴과 동시에, 인접 오브젝트인 제2 오브젝트(520)의 뎁스 값을 제1 오브젝트(510)가 시프트된 만큼 시프트시킬 수 있다.
또는, 도 6b에 도시된 바와 같이 입력 영상에 포함된 모든 오브젝트의 뎁스 값을 조정할 수 있다.
구체적으로, 도 6b에 도시된 바와 같이 제1 오브젝트(510)의 뎁스 값을 울렁임 비인지 영역, 예를 들어 침강 강도 3 내지 돌출 강도 3 구간으로 시프트 시킴과 동시에, 나머지 오브젝트 중 전격 오브젝트(520, 530)의 뎁스 값을 제1 오브젝트(510)가 시프트된 만큼 시프트시킬 수 있다.
도 7은 본 발명의 또 다른 실시 예에 따른 뎁스 조정 방법을 설명하기 위한 도면이다.
도 7에 도시된 바와 같이 본 발명의 또 다른 실시 예에 따르면 상술한 Range compression 방식을 적용하여 관심 영역에 포함된 오브젝트 뿐 아니라, 나머지 오브젝트들도 울렁임 비인지 구간의 뎁스 값을 갖도록 조정할 수 있다.
구체적으로, 입력된 영상에 포함된 모든 오브젝트(510 내지 540)의 뎁스 값을 기설정된 비율로 감소시키거나, 증가시켜, 울렁임 비인지 구간의 뎁스 값 범위에 속하면서 각 오브젝트들(510 내지 540)의 상대적인 뎁스 값 차이 비율이 유지되도록 각 오브젝트의 뎁스 값을 조정할 수 있다.
예를 들어, 돌출 강도가 가장 큰 제2 오브젝트(520)의 뎁스 값이 울렁임 비인지 구간에 속하도록 뎁스 값을 조정하고, 나머지 오브젝트들(510, 530, 540)도 동일한 비율 만큼 뎁스 값을 조정하여 모든 오브젝트들(510 내지 540)의 뎁스 값이 울렁임 비인지 구간에 속하도록 할 수 있다.
도 8은 본 발명의 또 다른 실시 예에 따른 뎁스 조정 방법을 설명하기 위한 도면이다.
도 8에 도시된 바와 같이 본 발명의 또 다른 실시 예에 따르면 시청자에게 동일한 입체감을 제공하는 각 뎁스 구간(상술한 JNDD)에 대한 정보에 기초하여 입력된 영상에 포함된 오브젝트에 대한 뎁스를 조정할 수 있다.
일 예로, 도 8에 도시된 바와 같이 0 내지 2 구간 사이의 뎁스 값이 시청자에게 동일한 입체감을 제공하고, 2 내지 4 구간 사이의 뎁스 값이 시청자에게 동일한 입체감을 제공하며, 4 내지 6 구간 사이의 뎁스 값이 시청자에게 동일한 입체감을 제공하며, 울렁임 비인지 구간이 침강 강도 3 내지 돌출 강도 3 인 경우를 가정하도록 한다.
여기서, 관심 영역에 속하는 전경 오브젝트가 제1 오브젝트(810)인 경우, 제1 오브젝트(810)의 뎁스 값을 울렁임 비인지 구간에 속하도록 조정하면서 동일한 입체감을 제공하는 뎁스 구간에서 포컬 플레인에 가까운 값으로 조정할 수 있다. 즉, 제1 오브젝트(810)의 뎁스 값을 울렁임 비인지 구간에서 가장 큰 뎁스 값인 3으로 조정하는 것이 아니라, 뎁스 값 3이 속하는 동일한 입체값을 제공하는 뎁스 구간인 뎁스 값 2 내지 4 구간에서 포컬 플레인에 가까운 뎁스 값 2로 조정할 수 있다. 이에 따라 가능한 동일한 입체감을 제공하면서 울렁임 현상을 최소로 감소시킬 수 있게 된다.
다만 상술한 수치는 설명의 편의를 위하여 예를 든 것이며, 동일한 입체감을 제공하는 뎁스 구간에 대한 정보는 실험을 통하여 획득될 수 있다.
또한, 상술한 JNDD와 관련된 실시 예는 도 6a 및 도 6b에 따른 실시 예에도 동일하게 적용될 수도 있으나, 자세한 설명은 생략하도록 한다.
도 9는 본 발명의 또 다른 실시 예에 따른 뎁스 조정 방법을 설명하기 위한 도면이다.
도 9에 따르면, 관심 영역에 속하는 전경 오브젝트(910, 920)의 픽셀 면적에 기초하여 해당 오브젝트의 뎁스 값을 조정할 수 있다.
구체적으로, 도 9에 도시된 바와 같이 제1 및 제2 오브젝트(910, 920)가 모두 관심 영역에 속하는 오브젝트인 경우라도 픽셀 면적이 기설정된 면적 미만인 제1 오브젝트(910)의 뎁스 값은 유지하고, 픽셀 면적이 기설정된 면적 이상인 제2 오브젝트(920)의 뎁스 값 만을 울렁임 비인지 구간의 뎁스 값으로 조정할 수 있다. 여기서, 뎁스 값 조정의 기준이 되는 기설정된 면적은 오브젝트의 크기에 따른 울렁임 정도에 기초하여 실험에 의해 획득될 수 있다.
도 10a 및 도 10b는 본 발명의 또 다른 실시 예에 따른 뎁스 조정 방법을 설명하기 위한 도면이다.
도 10a에 따르면, 템포럴(temporal) 방향의 consistency를 유지하기 위하여 인접 프레임에서의 오브젝트 별 뎁스 값에 기초하여 현재 프레임에서의 오브젝트 별 뎁스 값을 재조정하는 템포럴 스무딩(temporal smoothing)를 적용할 수 있다.
예를 들어, t=3 에서의 프레임에서 특정 오브젝트의 재조정된 뎁스 값 P3'는 아래와 같은 수학식에 기초하여 산출될 수 있다.
Figure pat00001
여기서, Pt, Pt +k 는 각각 t, t+k에서 특정 오브젝트의 뎁스 값을 나타내며, Wt +k 는 t+k 에서의 뎁스 값에 적용되는 가중치로서, 다양한 요소를 고려하여 결정될 수 있다.
도 10b는 템포럴 스무딩이 적용된 일 예를 나타내는 것으로, 도 10b에 따르면, 템포럴 스무딩(temporal smoothing)을 적용하여 뎁스를 조정할 수 있다.
구체적으로, 관심 영역에 속하는 전경 오브젝트의 뎁스 값을 복수의 프레임에 걸쳐 조금씩 조정하여 스무스하게 울렁임 비인지 구간에 속하는 뎁스 값이 되도록 조정할 수 있다.
예를 들어, 도 10b에 도시된 바와 같이 관심 영역에 속한 전경 오브젝트(1010)의 뎁스 값이 돌출 강도 7이고, 울렁임 비인지 구간이 침강 강도 3에서 돌출 강도 3인 경우이며, 전경 오브젝트의 타켓 뎁스 값이 돌출 강도 3인 경우를 가정하도록 한다.
이 경우, 해당 오브젝트(1010)의 뎁스 값을 기설정된 개수의 프레임에 걸쳐 점차 조정하여 타겟 뎁스 값인 돌출 강도 3에 도달하도록 할 수 있다. 다만, 이는 일 실시 예에 따른 것이며 템포럴 스무딩을 적용하지 않는 경우 하나의 프레임에서 해당 오브젝트(1010)의 뎁스 값을 바로 돌출 강도 3으로 조정할 수 있음은 물론이다.
도 11은 본 발명의 일 실시 예에 따른 다시점 영상 디스플레이 방법을 설명하기 위한 흐름도이다.
도 11에 도시된 다시점 영상 디스플레이 방법에 따르면, 우선, 입력된 영상에서 사용자의 관심 영역을 추출하고, 관심 영역에 포함된 오브젝트의 뎁스 값을 기설정된 범위의 뎁스 값으로 조정한다(S110). 여기서, 기설정된 범위는, 실험에 의해 울럼임 인지 정도가 적은 것으로 산출된 울렁임 비인지 구간이 될 수 있다.
이어서, 뎁스가 조정된 영상에 기초하여 다시점 영상을 렌더링한다(S1020).
이 후, 다시점 영상을 기설정된 배치 패턴으로 배치하여 디스플레이한다(S1030).
여기서, 관심 영역에 포함된 오브젝트의 뎁스 값을 기설정된 범위의 뎁스 값으로 조정하는 S1110 단계에서는, 관심 영역에 포함된 오브젝트가 전경 오브젝트이며, 전경 오브젝트의 뎁스 값이 기설정된 뎁스 범위에 속하지 않는 경우, 전경 오브젝트의 뎁스 값을 기설정된 범위의 뎁스 값으로 조정할 수 있다.
또한, S1110 단계에서는, 관심 영역에 포함된 오브젝트의 뎁스 값이 기설정된 범위의 뎁스 값으로 조정되는 뎁스 조정 비율 만큼 나머지 오브젝트의 뎁스 값을 조정할 수 있다.
또한, S1110 단계에서는, 시청자에게 동일한 입체감을 제공하는 각 뎁스 구간에 대한 기 저장된 정보에 기초하여, 관심 영역에 포함된 오브젝트의 뎁스를 상기 적어도 하나의 오브젝트와 동일한 입체감을 제공하는 뎁스 구간에서 포컬 플레인에 가까운 뎁스 값으로 조정할 수 있다.
또한, S1110 단계에서는, 관심 영역에 포함된 오브젝트 및 인접 오브젝트의 뎁스 값을 기설정된 범위의 뎁스 값으로 조정할 수 있다.
또한, S1110 단계에서는, 관심 영역에 포함된 오브젝트의 픽셀 면적이 기설정된 픽셀 값 이상인 경우, 오브젝트의 뎁스 값을 기설정된 범위의 뎁스 값으로 조정할 수 있다.
또한, S1110 단계에서는, 관심 영역에 포함된 오브젝트의 뎁스 값 조정 정도 만큼 입력된 영상에 포함된 나머지 오브젝트의 뎁스 값이 조정되도록 입력된 영상의 뎁스 값을 시프트시킬 수 있다.
또한, S1110 단계에서는, 기설정된 배치 패턴에서 다시점 영상이 역순으로 배치되어 역시(Pseudo Stereo)가 발생하는 구간에서 울럼임 현상이 최소화되도록 관심 영역에 포함된 오브젝트의 뎁스 값을 조정할 수 있다.
한편, 다시점 영상이 총 N 시점인 경우, 기설정된 배치 패턴은, 제1 시점부터 제N/2 시점까지는 순차적으로 배열하고, 그 후 제N/2-1 시점부터 제1 시점까지 역순으로 배열하는 패턴이 반복되는 배치 패턴이거나, 제1 시점부터 제N 시점까지의 홀수 및 짝수 시점 중 하나의 시점을 순차적으로 배열하고, 그 후 제N 시점부터 제1 시점까지의 홀수 및 짝수 시점 중 나머지 하나의 시점을 역순으로 배열하는 패턴이 반복되는 배치 패턴이 될 수 있다.
이상과 같이 본 발명의 다양한 실시 예에 따르면, 무안경식 디스플레이 시스템에서 다시점 영상의 배치 패턴에 따라 발생하는 울렁임 현상을 감소시킬 수 있게 된다.
상술한 다양한 실시 예에 따른 다시점 영상 디스플레이 방법은 프로그램으로 구현되어 디스플레이 장치에 제공될 수 있다.
일 예로, 입력된 영상에서 사용자의 관심 영역을 추출하고, 관심 영역에 포함된 오브젝트의 뎁스 값을 기설정된 범위의 뎁스 값으로 조정하는 단계, 뎁스가 조정된 영상에 기초하여 다시점 영상을 렌더링하는 단계 및, 다시점 영상을 기설정된 배치 패턴으로 배치하여 디스플레이하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 다시점 영상 디스플레이 장치
110 : 뎁스 조정부 120 : 렌더링부
130 : 디스플레이부 140 : 제어부
150 : 저장부

Claims (20)

  1. 다시점 영상 디스플레이 장치에 있어서,
    입력된 영상의 뎁스를 조정하는 뎁스 조정부;
    상기 뎁스가 조정된 영상에 기초하여 다시점 영상을 렌더링하는 렌더링부;
    상기 다시점 영상을 기설정된 배치 패턴으로 배치하여 디스플레이하는 디스플레이부; 및
    상기 입력된 영상에서 사용자의 관심 영역을 추출하고, 상기 관심 영역에 포함된 오브젝트의 뎁스 값이 기설정된 범위의 뎁스 값으로 조정되도록 상기 뎁스 조정부를 제어하는 제어부;를 포함하는 다시점 영상 디스플레이 장치.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 관심 영역에 포함된 오브젝트가 전경 오브젝트이며, 상기 전경 오브젝트의 뎁스 값이 상기 기설정된 뎁스 범위에 속하지 않는 경우, 상기 전경 오브젝트의 뎁스 값이 상기 기설정된 범위의 뎁스 값으로 조정되도록 제어하는 것을 특징으로 하는 다시점 영상 디스플레이 장치.
  3. 제1항에 있어서,
    상기 제어부는,
    상기 관심 영역에 포함된 오브젝트의 뎁스 값이 상기 기설정된 범위의 뎁스 값으로 조정되는 뎁스 조정 비율 만큼 나머지 오브젝트의 뎁스 값이 조정되도록 상기 뎁스 조정부를 제어하는 것을 특징으로 하는 다시점 영상 디스플레이 장치.
  4. 제1항에 있어서,
    시청자에게 동일한 입체감을 제공하는 각 뎁스 구간에 대한 정보를 저장하는 저장부;를 더 포함하며,
    상기 제어부는,
    상기 저장된 정보에 기초하여, 상기 관심 영역에 포함된 오브젝트의 뎁스를 상기 적어도 하나의 오브젝트와 동일한 입체감을 제공하는 뎁스 구간에서 상기 포컬 플레인에 가까운 뎁스 값으로 조정하는 것을 특징으로 하는 다시점 영상 디스플레이 장치.
  5. 제1항에 있어서,
    상기 제어부는,
    상기 관심 영역에 포함된 오브젝트 및 인접 오브젝트의 뎁스 값이 기설정된 범위의 뎁스 값으로 조정되도록 제어하는 것을 특징으로 하는 다시점 영상 디스플레이 장치.
  6. 제1항에 있어서,
    상기 제어부는,
    상기 관심 영역에 포함된 오브젝트의 픽셀 면적이 기설정된 픽셀 값 이상인 경우, 상기 오브젝트의 뎁스 값이 기설정된 범위의 뎁스 값으로 조정되도록 제어하는 것을 특징으로 하는 다시점 영상 디스플레이 장치.
  7. 제1항에 있어서,
    상기 제어부는,
    상기 관심 영역에 포함된 오브젝트의 뎁스 값 조정 정도 만큼 상기 입력된 영상에 포함된 나머지 오브젝트의 뎁스 값이 조정되도록 입력된 영상의 뎁스 값을 시프트시키는 것을 특징으로 하는 다시점 영상 디스플레이 장치.
  8. 제1항에 있어서,
    상기 기설정된 범위는,
    실험에 의해 울럼임 인지 정도가 적은 것으로 산출된 울렁임 비인지 구간인 것을 특징으로 하는 다시점 영상 디스플레이 장치.
  9. 제1항에 있어서,
    상기 제어부는,
    상기 기설정된 배치 패턴에서 다시점 영상이 역순으로 배치되어 역시(Pseudo Stereo)가 발생하는 구간에서 울럼임 현상이 최소화되도록 상기 관심 영역에 포함된 오브젝트의 뎁스 값을 조정하는 것을 특징으로 하는 다시점 영상 디스플레이 장치.
  10. 제9항에 있어서,
    상기 다시점 영상이 총 N 시점인 경우,
    상기 기설정된 배치 패턴은,
    제1 시점부터 제N/2 시점까지는 순차적으로 배열하고, 그 후 제N/2-1 시점부터 제1 시점까지 역순으로 배열하는 패턴이 반복되는 배치 패턴이거나,
    제1 시점부터 제N 시점까지의 홀수 및 짝수 시점 중 하나의 시점을 순차적으로 배열하고, 그 후 제N 시점부터 제1 시점까지의 홀수 및 짝수 시점 중 나머지 하나의 시점을 역순으로 배열하는 패턴이 반복되는 배치 패턴인 것을 특징으로 하는 다시점 영상 디스플레이 장치.
  11. 다시점 영상 디스플레이 방법에 있어서,
    입력된 영상에서 사용자의 관심 영역을 추출하고, 상기 관심 영역에 포함된 오브젝트의 뎁스 값을 기설정된 범위의 뎁스 값으로 조정하는 단계;
    상기 뎁스가 조정된 영상에 기초하여 다시점 영상을 렌더링하는 단계; 및
    상기 다시점 영상을 기설정된 배치 패턴으로 배치하여 디스플레이하는 단계;를 포함하는 다시점 영상 디스플레이 방법.
  12. 제11항에 있어서,
    상기 뎁스 값으로 조정하는 단계는,
    상기 관심 영역에 포함된 오브젝트가 전경 오브젝트이며, 상기 전경 오브젝트의 뎁스 값이 상기 기설정된 뎁스 범위에 속하지 않는 경우, 상기 전경 오브젝트의 뎁스 값을 상기 기설정된 범위의 뎁스 값으로 조정하는 것을 특징으로 하는 다시점 영상 디스플레이 방법.
  13. 제11항에 있어서,
    상기 뎁스 값으로 조정하는 단계는,
    상기 관심 영역에 포함된 오브젝트의 뎁스 값이 상기 기설정된 범위의 뎁스 값으로 조정되는 뎁스 조정 비율 만큼 나머지 오브젝트의 뎁스 값을 조정하는 것을 특징으로 하는 다시점 영상 디스플레이 방법.
  14. 제11항에 있어서,
    상기 뎁스 값으로 조정하는 단계는,
    시청자에게 동일한 입체감을 제공하는 각 뎁스 구간에 대한 기 저장된 정보에 기초하여, 상기 관심 영역에 포함된 오브젝트의 뎁스를 상기 적어도 하나의 오브젝트와 동일한 입체감을 제공하는 뎁스 구간에서 상기 포컬 플레인에 가까운 뎁스 값으로 조정하는 것을 특징으로 하는 다시점 영상 디스플레이 방법.
  15. 제11항에 있어서,
    상기 뎁스 값으로 조정하는 단계는,
    상기 관심 영역에 포함된 오브젝트 및 인접 오브젝트의 뎁스 값을 기설정된 범위의 뎁스 값으로 조정하는 것을 특징으로 하는 다시점 영상 디스플레이 방법.
  16. 제11항에 있어서,
    상기 뎁스 값으로 조정하는 단계는,
    상기 관심 영역에 포함된 오브젝트의 픽셀 면적이 기설정된 픽셀 값 이상인 경우, 상기 오브젝트의 뎁스 값을 기설정된 범위의 뎁스 값으로 조정하는 것을 특징으로 하는 다시점 영상 디스플레이 방법.
  17. 제11항에 있어서,
    상기 뎁스 값으로 조정하는 단계는,
    상기 관심 영역에 포함된 오브젝트의 뎁스 값 조정 정도 만큼 상기 입력된 영상에 포함된 나머지 오브젝트의 뎁스 값이 조정되도록 입력된 영상의 뎁스 값을 시프트시키는 것을 특징으로 하는 다시점 영상 디스플레이 방법.
  18. 제11항에 있어서,
    상기 기설정된 범위는,
    실험에 의해 울럼임 인지 정도가 적은 것으로 산출된 울렁임 비인지 구간인 것을 특징으로 하는 다시점 영상 디스플레이 방법.
  19. 제11항에 있어서,
    상기 뎁스 값으로 조정하는 단계는,
    상기 기설정된 배치 패턴에서 다시점 영상이 역순으로 배치되어 역시(Pseudo Stereo)가 발생하는 구간에서 울럼임 현상이 최소화되도록 상기 관심 영역에 포함된 오브젝트의 뎁스 값을 조정하는 것을 특징으로 하는 다시점 영상 디스플레이 방법.
  20. 제19항에 있어서,
    상기 다시점 영상이 총 N 시점인 경우,
    상기 기설정된 배치 패턴은,
    제1 시점부터 제N/2 시점까지는 순차적으로 배열하고, 그 후 제N/2-1 시점부터 제1 시점까지 역순으로 배열하는 패턴이 반복되는 배치 패턴이거나,
    제1 시점부터 제N 시점까지의 홀수 및 짝수 시점 중 하나의 시점을 순차적으로 배열하고, 그 후 제N 시점부터 제1 시점까지의 홀수 및 짝수 시점 중 나머지 하나의 시점을 역순으로 배열하는 패턴이 반복되는 배치 패턴인 것을 특징으로 하는 다시점 영상 디스플레이 방법.
KR1020140086286A 2014-07-09 2014-07-09 다시점 영상 디스플레이 장치 및 그 다시점 영상 디스플레이 방법 KR101957243B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140086286A KR101957243B1 (ko) 2014-07-09 2014-07-09 다시점 영상 디스플레이 장치 및 그 다시점 영상 디스플레이 방법
US14/743,293 US10939092B2 (en) 2014-07-09 2015-06-18 Multiview image display apparatus and multiview image display method thereof
CN201510400469.9A CN105263011B (zh) 2014-07-09 2015-07-09 多视点图像显示设备及其多视点图像显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140086286A KR101957243B1 (ko) 2014-07-09 2014-07-09 다시점 영상 디스플레이 장치 및 그 다시점 영상 디스플레이 방법

Publications (2)

Publication Number Publication Date
KR20160006546A true KR20160006546A (ko) 2016-01-19
KR101957243B1 KR101957243B1 (ko) 2019-03-12

Family

ID=55068533

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140086286A KR101957243B1 (ko) 2014-07-09 2014-07-09 다시점 영상 디스플레이 장치 및 그 다시점 영상 디스플레이 방법

Country Status (3)

Country Link
US (1) US10939092B2 (ko)
KR (1) KR101957243B1 (ko)
CN (1) CN105263011B (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9569830B2 (en) * 2015-07-03 2017-02-14 Mediatek Inc. Image processing method and electronic apparatus with image processing mechanism
CN108063938A (zh) * 2017-12-21 2018-05-22 深圳市得色科技有限公司 一种游戏引擎的裸眼3d成像显示方法及其系统
CN111818319B (zh) * 2019-04-10 2022-05-24 深圳市视觉动力科技有限公司 提高三维图像显示质量的方法和系统
CN113141501A (zh) * 2020-01-20 2021-07-20 北京芯海视界三维科技有限公司 实现3d显示的方法、装置及3d显示系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130069934A1 (en) * 2011-09-19 2013-03-21 Himax Technologies Limited System and Method of Rendering Stereoscopic Images
KR20130112679A (ko) * 2012-04-03 2013-10-14 삼성전자주식회사 3d 디스플레이 장치 및 그 영상 처리 방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6593957B1 (en) * 1998-09-02 2003-07-15 Massachusetts Institute Of Technology Multiple-viewer auto-stereoscopic display systems
JP4875127B2 (ja) * 2009-09-28 2012-02-15 パナソニック株式会社 三次元画像処理装置
US20120050483A1 (en) * 2010-08-27 2012-03-01 Chris Boross Method and system for utilizing an image sensor pipeline (isp) for 3d imaging processing utilizing z-depth information
US20120069143A1 (en) 2010-09-20 2012-03-22 Joseph Yao Hua Chu Object tracking and highlighting in stereoscopic images
JP5621500B2 (ja) * 2010-10-19 2014-11-12 ソニー株式会社 立体表示装置および立体表示方法
JP2012093503A (ja) * 2010-10-26 2012-05-17 Sony Corp 立体画像表示装置
KR101777875B1 (ko) 2011-04-28 2017-09-13 엘지디스플레이 주식회사 입체 영상 표시장치와 그 입체 영상 조절 방법
EP2648414B1 (en) 2012-04-03 2016-03-23 Samsung Electronics Co., Ltd 3d display apparatus and method for processing image using the same
CN103248908B (zh) 2013-04-28 2015-04-01 四川大学 一种消除多视点自由立体显示器视区跳变和增多视点的方法
US9270980B2 (en) * 2013-07-15 2016-02-23 Himax Technologies Limited Autostereoscopic display system and method
CN103413276B (zh) 2013-08-07 2015-11-25 清华大学深圳研究生院 一种基于纹理分布特征的深度增强方法
KR101980275B1 (ko) * 2014-04-14 2019-05-20 삼성전자주식회사 다시점 영상 디스플레이 장치 및 디스플레이 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130069934A1 (en) * 2011-09-19 2013-03-21 Himax Technologies Limited System and Method of Rendering Stereoscopic Images
KR20130112679A (ko) * 2012-04-03 2013-10-14 삼성전자주식회사 3d 디스플레이 장치 및 그 영상 처리 방법

Also Published As

Publication number Publication date
CN105263011B (zh) 2018-11-02
KR101957243B1 (ko) 2019-03-12
US20160014400A1 (en) 2016-01-14
US10939092B2 (en) 2021-03-02
CN105263011A (zh) 2016-01-20

Similar Documents

Publication Publication Date Title
KR101856568B1 (ko) 다시점 영상 디스플레이 장치 및 제어 방법
KR102185130B1 (ko) 다시점 영상 디스플레이 장치 및 그 제어 방법
KR102030830B1 (ko) 곡면형 다시점 영상 디스플레이 장치 및 그 제어 방법
KR102140080B1 (ko) 다시점 영상 디스플레이 장치 및 제어 방법
KR102121389B1 (ko) 무안경 3d 디스플레이 장치 및 그 제어 방법
KR101966152B1 (ko) 다시점 영상 디스플레이 장치 및 그 제어 방법
KR102143473B1 (ko) 다시점 영상 디스플레이 장치 및 그 다시점 영상 디스플레이 방법
KR102174258B1 (ko) 무안경 3d 디스플레이 장치 및 그 제어 방법
TW201322733A (zh) 影像處理裝置、立體影像顯示裝置、影像處理方法及影像處理程式
KR20170029210A (ko) 무안경 3d 디스플레이 장치 및 그 제어 방법
KR101975246B1 (ko) 다시점 영상 디스플레이 장치 및 그 제어 방법
KR20150093014A (ko) 디스플레이 장치 및 그 제어 방법
KR101957243B1 (ko) 다시점 영상 디스플레이 장치 및 그 다시점 영상 디스플레이 방법
KR102130133B1 (ko) 백 라이트 장치 및 이를 포함하는 3차원 영상 표시 장치
KR102143463B1 (ko) 다시점 영상 디스플레이 장치 및 그 제어 방법
KR101980275B1 (ko) 다시점 영상 디스플레이 장치 및 디스플레이 방법
TW201306562A (zh) 用於改善三維顯示品質的方法
KR102267601B1 (ko) 최적의 3d을 제공할 수 있는 입체영상표시장치 및 입체영상 표시방법
KR101305376B1 (ko) 영상 디스플레이 방법
KR101954256B1 (ko) 디스플레이 장치 및 그 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant