KR20110015452A - 입체 이미지의 블러 향상 - Google Patents

입체 이미지의 블러 향상 Download PDF

Info

Publication number
KR20110015452A
KR20110015452A KR1020107029777A KR20107029777A KR20110015452A KR 20110015452 A KR20110015452 A KR 20110015452A KR 1020107029777 A KR1020107029777 A KR 1020107029777A KR 20107029777 A KR20107029777 A KR 20107029777A KR 20110015452 A KR20110015452 A KR 20110015452A
Authority
KR
South Korea
Prior art keywords
image
views
disparity
blurring
adjacent
Prior art date
Application number
KR1020107029777A
Other languages
English (en)
Inventor
마이클 쥐 로빈슨
더글러스 제이 맥나이트
Original Assignee
리얼디 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 리얼디 인크. filed Critical 리얼디 인크.
Publication of KR20110015452A publication Critical patent/KR20110015452A/ko

Links

Images

Classifications

    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering

Abstract

연속된 이미지들간의 디스패러티 차이에 따라 이미지 세트의 부분들을 선택적으로 블러링하기 위한 방법 및 장치가 개시된다. 그 결과, 무안경 디스플레이에 고유한, 1차원 '링잉' 에지 아티팩트가 은닉되고, 이로써, 멀티뷰 무안경 입체 이미지의 인지된 이미지 품질을 개선시킨다. 이 방법은 인접한 뷰들간의 디스패러티의 영역들을 검출한 다음, 가중치부여된 로컬 픽셀 평균화에 의해 이들 영역들을 블러링하는 것을 포함할 수 있다. 낮은 디스패러티 영역의 선명도를 유지하기 위해 블러 반경과 디스패러티간의 관계는 양호하게는 비선형적이다.

Description

입체 이미지의 블러 향상{BLUR ENHANCEMENT OF STEREOSCOPIC IMAGES}
본 발명은 입체 이미지에 관한 것으로, 더 구체적으로는, 이미지 디스패러티를 블러링(blurring)함에 의한 입체 이미지의 향상에 관한 것이다.
종래의 디스플레이는 디스플레이 평면 내에 이미지들이 포함되어 있는 2차원(2D)이다. 깊이감은 원근, 크기 변동, 엄폐 등과 같은 시각계에 친숙한 단서들의 결과이다. 게이밍 콘솔에 의해 광고되는 3차원(3D) 시각화는 이러한 단서들에 의해 초래되지만, 정확한 깊이감을 생성하는 것은 드물다. 이와 같은 깊이감은 입체영상의 조심스런 사용에 의해 달성될 수 있으며, 이로써 좌안 및 우안으로 상이한 이미지를 볼 수 있다. 2개의 물리적으로 이격된 육안에 의한 이미지-포착의 기하 구조는 깊이 정보를 제공하는데, 이것은 물체가 각각의 육안의 망막 상의 상이한 상대적 위치로 촬상되기 때문이다. 이러한 차이는 "디스패러티"라 불리며 관찰자로부터의 상이한 거리, 깊이에서 물체를 관찰하는 자연스런 결과이다. 놀랍게도, 이러한 타입의 자극은 아주 강해서 좌안 및 우안에서의 임의의 상대적 시프트는 인지된 깊이를 야기할 수 있다. 예를 들어, 자연적으로 또는 의료 시술 결과 양눈 사이에서 확대차를 갖는 사람은 종종 2D 사진에서 3D 효과를 감지할 수 있다. 디스패러티와 깊이 사이의 이러한 강한 연관은 명백한 피로감이 시작될 때까지 사람들이 부정확한 위체경 이미지를 부지불식간에 받아들이게 할 수 있다. 디스패러티를 식별하고 이용하려는 시각계의 경향 때문에, 예측가능한 초기 열광과 함께 저품질의 3D가 종종 제공되었으나, 곧바로 실망이 뒤따랐다. 입체 3D에서의 현재의 부활은 부분적으로 종래 기술의 입체 디스플레이 기술을 이용하여 디스플레이되는 좋은 품질의 콘텐츠의 결과이다.
좋은 품질의 3D 디스플레이의 고유한 혜택은 별도로 하고, 이러한 기술로 향하는 이동의 또 다른 부분은 2D 디스플레이 개발의 포화에 관한 것이다. 더 크고, 더 밝고, 더 컬러풀한 HDTV로의 기존의 경향은 주류 가정용 전자제품 시장에서의 소비자 요구를 초과하고 있다. 입체 3D는 최근 릴리스된 몇개의 극영화(feature length film)와 함께 극장에서 회복되기 시작한 반면, 입체 게이밍은 DLP 프로젝션 기술에 기초하여 3D 인에이블된 TV의 릴리스와 함께 더욱 확립되어 가고 있다. 이들 디스플레이 시스템들의 공통된 특징은, 특정한 안경 착용, 영화 극장 환경에서의 수동성, 게임 응용에 대한 액티브 또는 셔터 글래스의 필요성이다. 안경착용-기반의 시스템은 복수의 시청자들의 좌안 및 우안을 구분하기 위한 기술적으로 편리한 방법을 제공하기 때문에 상업적으로 가장 먼저 채택되었다. 궁극적으로, 충분히 높은 품질의 3D를 전달하기 위해 무안경, 또는 오토스테레오 시스템(autostereo system)이 필요하다.
일반적으로, 불연속 이미지들 사이의 디스패러티 차이에 따라 이미지 세트의 일부를 블러링함으로써 멀티뷰 무안경 입체 디스플레이의 인지된 품질의 개선시키는 방법이 기술된다. 그 결과, 무안경 입체 디스플레이에 고유한, 1차원 '링잉' 에지(edge)가 은닉된다. 이 방법은 인접한 뷰들 사이의 디스패러티의 영역들을 검출하는 것과, 가중치 부여된 로컬 픽셀 평균화에 의해 이들 영역들을 블러링하는 것을 포함한다. 블러 반경과 디스패러티 사이의 관계는 낮은 디스패러티 영역의 선명도(sharpness)를 유지하기 위해 양호하게는 비선형이다.
한 양태에 따르면, 입체 이미지를 향상시키기 위한 방법이 개시된다. 이 방법은 이미지 세트에서의 인접한 이미지 뷰들 사이의 디스패러티 차이를 결정하는 단계를 포함한다. 이미지 뷰들은 입체 이미지의 적어도 2개의 상이한 투시뷰(perspective view)를 포함한다. 이 방법은 이미지 세트 내의 이미지 뷰들 중 적어도 하나의 적어도 일부분을 블러링하는 단계를 더 포함한다.
또 다른 양태에 따르면, 이미지 세트 내의 이미지 뷰들을 입력하는 단계를 포함하는 입체 이미지를 향상시키기 위한 방법이 개시된다. 이미지 뷰들은 입체 이미지의 적어도 2개의 투시뷰를 포함한다. 이 방법은, 이미지 세트 내의 이미지 뷰들 중 적어도 하나의 적어도 일부를 블러링하는 단계와 이미지 세트의 수정된 이미지 뷰들을 출력하는 단계를 포함한다.
역시 또 다른 양태에 따르면, 입체 이미지를 향상시키기 위한 시스템이 공개된다. 이 시스템은 이미지 세트에서의 인접한 이미지 뷰들 사이의 디스패러티 차이를 결정하도록 동작할 수 있는 디스패러티 결정 모듈을 포함한다. 이미지 뷰들은 입체 이미지의 적어도 2개의 상이한 투시뷰를 포함한다. 이 시스템은 이미지 세트 내의 이미지 뷰들 중 적어도 하나의 적어도 일부분을 블러링하도록 동작할 수 있는 블러링 모듈을 더 포함한다.
역시 또 다른 양태에 따르면, 이미지 세트 내의 이미지 뷰들을 수신하도록 동작할 수 있는 입력 모듈을 포함하는, 입체 이미지를 향상시키기 위한 시스템이 개시된다. 이미지 뷰는 입체 이미지의 적어도 2개의 투시뷰를 포함한다. 이 시스템은 또한, 이미지 세트 내의 인접한 이미지 뷰들간의 디스패러티 차이에 기초하여 디스패러티 데이터를 유도하도록 동작할 수 있는 디스패러티 유도 모듈을 포함한다. 이 시스템은, 인접한 이미지 뷰들의 첫번째 뷰가 이미지 세트의 마지막 뷰일 때, 인접한 이미지 뷰들의 두번째 뷰의 픽셀값을 로컬 픽셀 값들의 평균치로 대체하도록 동작할 수 있는 픽셀 대체 모듈을 더 포함한다. 픽셀 대체 모듈은, 인접한 이미지 뷰들의 첫번째 뷰가 이미지 세트의 마지막 뷰가 아닐 때, 이미지 세트 내의 마지막 뷰의 픽셀값과 마지막 뷰 다음의 픽셀값을 로컬 픽셀값의 평균치로 대체하도록 동작할 수 있다. 시스템은 또한 이미지 세트의 수정된 이미지 뷰들을 출력하도록 동작할 수 있는 출력 모듈을 포함한다.
연속된 이미지들간의 디스패러티 차이에 따라 이미지 세트의 부분들을 선택적으로 블러링하기 위한 방법 및 장치가 제공된다.
첨부된 도면을 참조하여 예를 통해 실시예가 설명된다. 유사한 부분에는 유사한 참조번호가 할당된다.
도 1은 본 발명에 따른 예시적인 무안경 입체 시스템의 개략도이다.
도 2는 본 발명에 따른 전형적인 무안경 입체 시스템에서 사용되는 9개-뷰 데이터 세트의 개략도이다.
도 3은 본 발명에 따른 무안경 입체 디스플레이로부터의 예시적인 혼합 뷰의 개략도이다.
도 3a는 도 3의 일부의 확대도를 도시한다.
도 4는 본 발명에 따른 블러링 프로세스를 도시하는 플로차트이다.
도 5는 본 발명에 따라 예시적인 멀티뷰 이미지 세트 내의 디스패러티가 블럭-기반의 모션 추정을 이용하여 어떻게 결정되는지를 예시하는 개략도이다.
도 6은 본 발명은 따라 디스패러티 맵에서 공간적으로 필터링된 디스패러티를 예시하는 개략도이다.
도 7은 본 발명에 따라 예시적인 이미지 세트의 한 뷰에 관한 디스패러티-관련 블러링 영향을 예시하는 개략도이다.
도 8은 본 발명에 따라, 혼합이 존재할 때 디스플레이 상에서 보이는 수정된 이미지들을 예시하는 개략도이다.
도 8a는 도 8의 일부분의 확대도이다.
도 9는 본 발명에 따른, 블러링 이전 및 이후의 예시적인 이미지의 비교를 예시하는 개략도이다.
도 10은 본 발명에 따른, 입체 이미지를 향상시키기 위한 시스템(1000)을 예시하는 개략도이다.
도 11은 본 발명에 따른, 입체 이미지를 향상시키기 위한 시스템(1100)의 개략도이다.
도 1은 위에서 보았을 때의 예시적인 무안경 입체 시스템의 개략도이다. 무안경 입체 시스템(100)은 2D 디스플레이(120) 정면에 마이크로-광학 렌즈 어레이(110)를 포함한다. 마이크로-광학 렌즈 어레이(110)는 임의의 한 시청각에서 보았을 때 픽셀 요소들의 서브셋을 제한하거나, 선택하는 역할을 한다. "뷰 N", "뷰 N-1", "뷰 N+1"로 예시된 바와 같이, 관찰자(130)는 각각의 마이크로-광학 렌즈 어레이(110)로부터 하나보다 많은 뷰를 인지할 수 있다. 이 때, 뷰들 사이에는 인접한 뷰들이 혼합되는 영역(140)이 존재한다. 관찰자(130) 위치에 따라 상이한 이미지들을 볼 수 있다.
도 2는 전형적인 무안경 입체 시스템에서 사용되는 9개 뷰의 개략도이다. 이 도면은 무안경 입체 디스플레이에서 사용되는 이미지 뷰들의 전형을 이루는 개개의 뷰(210)을 포함하는 복합 이미지(200)를 예시한다. 상이한 이미지(210)의 9개-뷰 데이터 세트는 관찰자의 위치에 따라 볼 수 있다. 뷰 세트(200) 이미지들의 9개 타이틀 포멧은 '래스터' 포멧으로 채워진 좌우측 뷰를 가지며, 상좌뷰(top-left view, 212)는 최좌측 뷰이고, 하우뷰(bottom right view, 214)는 최우측 뷰이다. 각각의 이미지 뷰(210)의 해상도는 디스플레이용의 전체 픽셀들의 1/9이다. 무안경 입체 디스플레이의 경우, 9는 다양한 이유로 인해 편리한 갯수이며 전형적이지만, 다른 갯수의 뷰도 사용될 수 있다.
도 1에 도시된 시스템의 성격으로 인해, 관찰자(130)는 대개, 가장 큰 디스패러티 또는 깊이의 영역들에서 변동하는 인접한 이미지들의 혼합체를 관찰할 것이며, 디스플레이(120)의 평면 영역들의 경우, 실질적으로 디스패러티는 없으며, 촬상은 시청각에 관계없이 선명도를 유지한다.
다시 도 1을 참조하면, 관찰자(130)의 육안은 임의의 주어진 디스플레이(120)에 대해 상이한 각도로 대하기 때문에, 무안경 입체 시스템(100)은 좌안 및 우안에서 상이한 이미지들을 볼 수 있도록 제작될 수 있다. 나아가, 관찰자가 디스플레이 주변에서 움직일 때, 올바르고, 중요하며, 자연스런 3D 장면의 "움직임 시차" 감각을 주는 추가의 독립된 뷰들을 볼 수 있다. 이것은 육안의 위치 또는 시청 각도에 관계없이 임의의 한 육안에 하나의 이미지만을 제공하는 안경착용식-기반의 입체 시스템에 대한 개선이다. 후자의 경우에서 이미지는 부자연스런 방식으로 장면의 평면에 관하여 회전(pivot)되는 것으로 인지된다.
원칙적으로, 무안경 입체 솔루션이 더 낫다. 그러나, 종래의 무안경 시스템이 갖는 결점은, 각각의 뷰가 많은 픽셀들을 요구하고, 현실적인 고품질 디스플레이를 얻기 위해서는 많은 투시뷰들이 있어야 한다는 점이다. 이와 같은 디스플레이들은 큰 총 시청각을 사용한다. 예를 들어, 방안의 구석에 있는 TV는 별개의 뷰들로 채워진 90°(또는 π/2 라디안)의 시청각을 가질 수 있으며, 각각의 뷰는 독립된 이미지를 구성하는 한 세트의 픽셀을 포함한다. 나아가, 입체 효과를 얻기 위해, 육안이 대하는 각도 내에서 적어도 2개의 뷰를 가져야 한다. 그렇지 않다면, 각도의 함수로서, 명백한 갑작스런 천이를 피하기 위해 인접한 이미지들 사이에서 거의 씸리스하게 천이하는 것이 바람직하므로, 이들 이미지들은 양호하게는 매우 유사하여, 유효 디스패러티를 저감시켜 이미지를 "평탄"하게 한다. 인접한 이미지들간의 차이를 최소화하면서 좌안 및 우안 사이에 큰 디스패러티를 갖기 위해, 육안의 대각(subtended angle)(θe 0.05 rad) 내에서 많은 뷰들(
Figure pct00001
Figure pct00002
10)이 사용된다. 따라서, 90°시청각을 갖는 TV는 많은 갯수의 뷰를 사용하고, 각각은 비교적 많은 갯수의 픽셀들(1300×800
Figure pct00003
1M), 약
Figure pct00004
백만 뷰들 또는
Figure pct00005
300,000,000 픽셀을 가진다. 이것은 종래 기술의 HDTV에서 현재 디스플레이되고 있는 픽셀수의 약 100배이다.
현실적인 갯수의 픽셀 요소들을 이용하는 현재의 무안경 입체 시스템은 타협하고 있다. 즉, 시청 지역은 원하는 90°로부터 10°(원하는 것보다 팩터 9작은)와 같은 현실적인 시청각으로 감소되고, 마이크로-광학 렌즈 어레이는 뷰들을 복제한다. 추가적으로, 뷰당 픽셀의 갯수는 640 × 480 또는 VGA 정도(팩터 4 이상의 감소)로 감소되어, 육안 위치들 사이의 뷰들의 갯수를 3 또는 4로 만든다. 이와 같은 타협된 케이스에서 상당한 디스패러티를 달성하기 위해, 이미지의 먼 배경과 전경에서의 각도의 함수로서 뷰들간의 가시적 천이가 생긴다. 뷰들간의 순간적 천이는 설계에 의해 회피되므로, 전형적으로 인접한 뷰들의 혼합된 이미지들을 볼 수 있다. 디스플레이의 평면으로부터 멀리 떨어진 영역에서의 이미지들의 중첩은 '링잉' 또는 2중 에징으로 이어진다. 이와 같은 '링잉' 또는 2중 에징은 이미지를 요동치는 것처럼 보이게 하여 관찰자에게 매우 거슬리게 하므로 바람직하지 않다. 나아가, 관찰자에 의한 깊이 인지에 제한을 가한다.
도 3은 무안경 입체 디스플레이로부터의 예시적 혼합된 뷰의 개략도(300)이고, 도 3a는 도 3의 영역(310)의 확대도를 도시한다. 확대 영역(310) 내의 부분(320)은 이미지의 중첩으로부터의 '링잉' 또는 2중 에징을 예시한다. '링잉' 아티팩트는 날카로운 수직 에지의 경우 또는 높은 콘트래스트 텍스쳐 영역에서 특히 인지가능하다. 이것은 관찰자에 의한 친숙한 '포커스의 깊이' 효과와 종종 연관되지만, 일반적으로 부자연스러워 보인다.
포커스의 깊이에 관하여, 표준 2D 사진에서, 렌즈의 초점 길이 또는 렌즈 개구와 같은 광학 시스템의 속성은 카메라의 필름 또는 검출기 상에서 포커스에 있는 평면으로부터 더욱 멀리 떨어진 물체에 대한 이미지 블러링에서의 진보적인 증가로 이어진다. 이 효과는 때때로 관찰자의 시선을 관심대상으로 돌리기 위해 창조적으로 사용된다. 예를 들어, 초상화 사진사는 때때로, 배경의 초점을 흐리게 하기 위해 큰 개구와 함께 결합된 적절하게 긴 초점 길이를 사용한다. 사람들은 종종 이와 같은 효과를 보고 꽤 자연스럽다고 여긴다. 그러나, 무안경 입체 디스플레이에서 2중 에징 또는 링잉 효과는 그렇게 자연스럽지 않으며 이들 아티팩트들은 이미지의 세부 품질을 손상시킨다.
본 발명은 '링잉' 효과를 가장한 더 자연스런 '포커스의 깊이' 효과를 제공하기 위해 큰 디스패러티의 영역들에서 2차원 블러링을 도입한다. 자동적 접근은 먼저 큰 디스패러티가 발생하는 곳을 식별하고, 그 다음, 가장 가까운 이웃 디스패러티에 따라 로컬 픽셀 값들을 블러링한다. 한 실시예에서, 이 접근법은 디스패러티가 특정한 값에 도달할때까지 블러링이 실질적으로 회피될 때 더욱 효과적이다.
연속된 이미지들간 디스패러티 차이에 의존하여 이미지 세트의 부분을 블러링함으로써 멀티뷰 무안경 입체 디스플레이의 인지된 품질을 개선하는 기술이 개시된다. 그 결과, 무안경 입체 디스플레이에 고유한, 1차원 '링잉' 에지 아티팩트가 은닉된다. 이 기술은 인접한 뷰들간의 디스패러티의 영역들을 검출하는 단계와, (선택적으로는 가중치부여된) 로컬 픽셀 평균화에 의해 이들 영역들을 블러링하는 단계를 포함한다. 낮은 디스패러티 영역의 선명도를 유지하기 위해 블러 반경과 디스패러티간의 관계는 양호하게는 비선형이다.
프로세스 개관
본 발명을 특정한 디스패러티/깊이 맵핑, 유도된 디스플레이 맵의 필터링, 비선형 디스패러티-의존적 블러링 관계 또는 기타 임의의 특정한 실시예로 제한하는 것이 아니라 예시적 목적으로 이하에서 본 접근법의 실시예가 제공된다.
도 4는 이미지 디스패러티를 블러링함으로써 무안경 입체 이미지를 향상시키는 것에 대한 일반적 접근법의 실시예를 보이는 흐름도(400)이다. 제1 단계(400)는 이미지의 뷰들, 또는 이미지 데이터를 입력하는 것이다. 일단 이미지 데이터가 입력되면, 다음 단계(4230)는 이미지 데이터 내의 인접한 뷰들간의 디스패러티 맵을 유도하는 것이다. 예를 들어, 이미지 뷰 A(예를 들어, 좌측 이미지; 뷰 N)와 뷰 B(예를 들어, 우측 이미지; 뷰 N+1)를 비교하여 디스패러티 맵을 유도한다. 만일 뷰 B가 이미지 데이터 내의 마지막 뷰라면(단계 430), 다음 단계는, 디스패러티 레벨에 따라 로컬 픽셀(440)을 평균화함으로써 뷰 A의 픽셀값을 대체하는 것이다. 더 구체적으로는, 디스패러티 레벨에 의존하는 "근접"의 정의와 함께 pi,j에 근접한 픽셀들의 평균값을 계산함으로써 이미지 A 내의 각각의 픽셀 pij에 대한 새로운 값이 구해질 수 있다. 예를 들어, pi,j의 각각의 컬러값은 (pi-1,j-1 + pi,j-1 + pi+1,j-1 + pi-1,j + pi,j + pi+1,j + pi-1,j+1, pi,j+1, pi+1,j+1)/9로 대체될 수 있다. 여기서, 9개의 가장 근접한 이웃 픽셀들에 걸친 평균화의 선택은 픽셀 pi,j에서의 디스패러티의 크기에 의해 결정된다. 이 예에서, 우리는 x 및 y 방향 모두에서의 +/- 1 픽셀들에 걸친 범위의 사각 영역에 걸쳐 평균화한다. 따라서, 하나의 "블러 파라미터"가 사용되었다고 말할 수 있다. 블러 파라미터는 블러링 효과의 원하는 "강도"를 생성하도록 선택된 방식으로 (픽셀 단위로 측정될 수 있는) 레벨로부터 계산될 수 있다. 이것은 나중에 더 논의된다. 만일 뷰 B가 이미지 데이터 내의 마지막 뷰가 아니라면(단계 430), 다음 단계는 디스패러티 레벨에 따라, 로컬 픽셀을 평균화함으로써 마지막 및 그 다음 뷰들의 픽셀값들을 대체하는 것이다(450). 일단 픽셀들이 대체되고 나면, 마지막 단계는 수정된 뷰들을 출력하는 것이다(460).
뷰 입력
전술된 바와 같이, JPEG, GIF 등과 같은 종래 포멧으로 된 디스플레이될 복수의 뷰들을 나타내는 이미지 파일 세트를 컴퓨터 내로 판독함으로써 이미지 데이터가 입력될 수 있다.
픽셀 블럭들의 움직임 추정에 기초한 방법들을 이용하여 디스패러티가 추정될 수 있다. 도 2의 실시예의 이미지 세트로부터 선택된 인접 이미지들(510, 520)이 도시되어 있다. 테스트 블럭(530)은 로컬 정합에 의해 뷰들간의 디스패러티 또는 로컬 시프트를 결정하기 위해 사용된다. 6 × 6과 같은 픽셀 블럭 크기가 선택된다. 블럭 크기에 대한 양호한 선택은, 배경으로부터 형상물들이 식별되지만 계산상 너무 많은 시간이 걸리지 않도록 하는 수준의 충분히 큰 것이다. 어떤 경우든, 블럭은 양호하게는 이미지 크기보다 훨씬 작아야 한다. 그 다음, 하나의 이미지로부터 일련의 블럭들이 선택되고, 각각은 주로 수평 방향으로 (반드시 배타적인 것은 아님) 소정량만큼 시프트된다. 각각의 시프트된 위치에 대해, 픽셀 블럭들이 인접 이미지 내의 등가 크기의 블럭과 비교된다. 픽셀 블럭들간의 차이가 최소일 때 최상의 정합이 구해진다. 차이를 결정하는 적절한 메트릭은 픽셀 휘도값에서의 제곱된 차이, 즉,
Figure pct00006
최소의 차이에 대응하는 시프트는 그 블럭에 대한 디스패러티로서 지정된다. 이 "블럭 정합" 접근법은 이미지 전체에 걸쳐 적용되며, 그 목적은 한 이미지로부터 그 이웃 이미지로의 형상물들의 추정된 시프트를 기술하는 숫자들의 어레이에 해당하는 "디스패러티 맵"을 발생시키는 것이다.
예를 들어, 전경에서 손을 쭉 편 사람과 그 뒤에 거리를 둔 나무가 있는 9개-뷰 무안경 입체 이미지들에 대해, 그 이미지들은, 주제인 사람의 얼굴이 디스플레이의 평면에 있고 복수의 뷰 표현에서 이미지별로 시프트가 매우 적거나 없도록 처리될 것이다. 뷰 N과 뷰 N+1 사이에 만들어지는 디스패러티의 추정은 이미지 N으로부터 한 블럭의 픽셀을 취하고, 그 다음, 계산적으로 이를 시프트하고, 이미지 N+1 내의 픽셀들과의 최상의 비교를 기대함으로써 이루어진다(이 프로세스는 서로에 관해 투명도를 슬라이딩하고 최상의 정합을 기대하는 것과 비교될 수 있다). 예를 들어, 주제물의 눈의 일부를 나타내는 픽셀 블럭은 정확히 동일한 위치의 픽셀 블럭에 의해 다른 이미지에서 최상으로 정합될 수 있다. 이것은 이미지 내의 이 지점에서의 디스패러티가 제로임을 의미한다. 원거리 나무의 가지의 일부를 나타내는 픽셀 블럭은 이미지 N+1에서 2개 픽셀만큼 시프트된 픽셀 블럭과 최상으로 정합될 수 있다. 유사하게, 펼친 손의 손톱의 일부를 나타내는 픽셀 블럭은 이미지 N+1에서 3 픽셀만큼 좌측 시프트된 픽셀 블럭에 의해 최상으로 정합될 수 있다. 이미지의 이 지점에서의 디스패러티는 -3이다.
도 6은 디스패러티 맵(600)에서 공간적으로 필터링된 디스패러티를 예시하는 개략도이다. 한 실시예에서, 디스패러티 맵(600)은 예시된 바와 같이 부드럽게 변동하는 디스패러티 맵을 주도록 종래의 필터링 수단에 의해 "평활화"될 수 있다. 미디언 필터링(median filtering)과 같은 표준 기술을 이용한 평활화는, 이미지 내의 노이즈와 관련되기 쉬운 디스패러티 맵에서의 작은 가짜 디테일을 제거한다.
이미지 블러링
일단 디스패러티 맵이 얻어지고 나면, 조사 대상의 인접 뷰들에 대응하는 이미지들은 이 패러티의 함수로서 블러링될 수 있다. 작은 블럭 영역에 대해서는(예를 들어, 3×3 픽셀), 전술된 바와 같이, 사각형 영역에 걸친 평균화하는 것으로 족하지만, 훨씬 큰 영역에 대해서는, 대략 원형의 영역에 걸친 평균화에 의한 블러링 또는 가우시안 블러링을 사용하는 것이 바람직할 것이다. 픽셀들이 평균화된 영역과 디스패러티 값간의 정확한 관계는, 수직선 은닉 또는 "링잉" 아티팩트 은닉이라는 목적과 함께 변경될 수 있다. 한 실시예에서, 블러와 디스패러티간의 임계치화된 선형 관계는 블러링이 구현되어야 하는 경우에 사용될 수 있다. 더 앞선 예의 관점에서:
블러 = abs(디스패러티 - 1)
이 경우, 디스패러티가 1보다 클때까지 제로이고, 그 위에서 임계치 블러는 디스패러티와 함께 증가한다.
또 다른 실시예에서, 사용자는 2개 픽셀보다 큰 디스패러티를 갖는 블러 영역만을 선택할 수 있다. 이 실시예에서, 3 및 그 이상의 디스패러티 레벨에 대해 블러 픽셀 그리드에 걸쳐 픽셀들이 평균화될 수 있는 비선형 임계치 관계가 사용될 수 있다. 여기서, 블러 = (2n +1)2이고, n = 디스패러티2
도 7은 예시적인 이미지 세트의 한 뷰에 미치는 디스패러티-관련 블러링 효과를 예시하는 개략도이다. 비선형 디스패러티 관련 블러링의 효과를 예시하기 위해 원래의 변경되지 않은 이미지(700)는 그 수정된 버전(730)과 비교된다. 인접한 이미지들 사이에 큰 디스패러티를 갖는 영역(710)에서, 수정된 뷰 이미지가 블러링되어 나타난다. 최소한의 디스패러티를 갖는 영역(720)은 전형적으로 변경되지 않고 남아 있는데, 이것은 최종 이미지의 결과적 열화가 이미지들간의 원래의 디스패러티보다 더욱 나쁘기 때문이다.
도 8은, 혼합이 존재하는 디스플레이 상에서 볼 수 있는 도 7의 수정된 이미지를 예시하는 개략도(800)이다. 도 8a는 도 7의 블러링된 혼합된 이미지를 도시하는 도 8의 영역(810)의 확대된 뷰를 도시한다. 여기서, 링잉 아티팩트(820)는 이제 블러링에 의해 위장된다.
도 9는 도 3 및 8의 상세 이미지들간의 비교를 예시하는 도면(900)이다. 여기서, 원래의 뷰(910)는 도 3의 상세 이미지이고, 수정된 뷰(920)는 도 8의 상세 이미지이다. 2개 이미지의 비교시, 더 자연스러운 "필드의 깊이" 블러링을 댓가로 링잉에서의 주목할만한 개선이 이루어진다.
실시예에서, 블러링은, 비록 링잉 아티팩트가 수평 패러티의 함수이긴 하지만, 수평뿐만 아니라 수직으로 적용된다. 블러링의 원형 대칭성은, 2D 사진에서 사진사에 의해 도입된 블러링과 유사하기 때문에 자연스런 모습에 기여한다.
출력 수정된 뷰
프로세스의 다음 단계는 수정된 뷰들을 출력하는 것이다. 수정된 뷰들은 나중의 이용을 위해 일련의 이미지 파일들로서 출력되거나, 참고용으로 인용하는, 복수의 입력 뷰들을 렌티큘라 무안경 입체 디스플레이에 의해 요구되는 특정한 처리된 픽셀 데이터로 변환하는 시스템을 기술하고 있는 미국특허 출원 제10/956,987호에서 Lipton 등에 의해 기술되는 시스템에 대한 입력을 위해 직접 사용될 수 있다.
도 10은 입체 이미지를 향상시키기 위한 시스템(1000)을 예시하는 개략도이다. 시스템(1000)은 디스패러티 결정 모듈(1002)과 블러링 모듈(1004)을 포함한다. 디스패러티 결정 모듈(1002)은 이미지 세트 내의 인접한 이미지 뷰들간의 디스패러티 차이를 결정하도록 동작가능하다. 디스패러티 결정 모듈(1002)에서, 이미지 뷰들은 입체 이미지의 적어도 2개의 상이한 뷰들을 포함한다. 블러링 모듈(1004)은 이미지 세트 내의 이미지 뷰들의 적어도 하나의 적어도 한 부분을 블러링하도록 동작할 수 있다. 한 실시예에서, 블러링 모듈(1004)은 가중치부여된 로컬 픽셀 평균화를 이용하여 블러링하도록 동작할 수도 있다.
도 11은 입체 이미지를 향상시키기 위한 시스템(1100)의 개략도이다. 시스템(1100)은 입력 모듈(1102), 디스패러티 유도 모듈(1104), 픽셀 대체 모듈(1106), 및 출력 모듈(1110)을 포함한다. 시스템(1100)은 선택사항으로서 평활화 모듈(1108)을 포함할 수 있다.
동작시, 입력 모듈(1102)은 이미지 세트 내의 입력 이미지 뷰들을 수신하도록 동작할 수 있다. 이미지 뷰들은 입체 이미지의 적어도 2개의 투시뷰를 포함한다. 디스패러티 결정 모듈(1104)은 이미지 세트 내의 인접한 이미지 뷰들간의 디스패러티 차이에 기초하여 디스패러티 데이터를 유도하도록 동작할 수 있다. 픽셀 대체 모듈(1106)은, 인접한 이미지 뷰들의 첫번째 뷰가 이미지 세트 내의 마지막 뷰일 때 인접 이미지 뷰들의 두번째 뷰의 픽셀값을 로컬 픽셀값들의 평균값으로 대체하고, 인접 이미지 뷰들의 첫번째 뷰가 이미지 세트 내의 마지막 뷰가 아닐 때 이미지 세트 내의 마지막 뷰의 픽셀값과 마지막 뷰 다음의 픽셀 값을 로컬 픽셀값들의 평균값으로 대체하도록 동작할 수 있다. 한 실시예에서, 선택사항으로서, 미디언 필터링으로 디스패러티 맵을 평탄화하도록 동작할 수 있는 평탄화 모듈(1108)이 포함될 수 있다. 출력 모듈(1110)은 이미지 세트의 수정된 이미지 뷰들을 출력하도록 동작할 수 있다.
한 실시예에서, 디스패러티 유도 모듈(1104)은 블럭-기반의 움직임 추정을 이용하도록 동작할 수 있다. 또 다른 실시예에서, 디스패러티 유도 모듈(1104)은 인접한 이미지 뷰들사이의 형상물들의 추정된 시프트를 기술하는 숫자들의 어레이를 포함하는 디스패러티 맵을 발생시키도록 동작할 수 있다.
본 명세서에서 기술된 본 발명의 시스템 및 기술들은 컴퓨터 프로세서 상에서 실행되는 소프트웨어를 이용하여 구현될 수 있거나, 하드웨어, 로직 회로, 이들의 조합으로 구현될 수도 있다. 본 명세서에서 기술된 처리를 수행하기 위해 개인용 컴퓨터, 워크스테이션, 서버, 또는 단독형 프로세서가 이용될 수 있다.
본 명세서에서 개시된 원리에 따라 다양한 실시예들이 기술되었지만, 이들은 예시적 목적이지 제한하고자 함이 아니라는 것을 이해해야 한다. 따라서, 본 발명(들)의 범위는 전술된 예들만으로 제한되어서는 안되며, 본 명세서로부터 발생하는 등가물 및 특허청구범위에 따라서만 정의되어야 한다. 나아가, 전술된 잇점 및 특징들이 실시예들에서 제공되었지만, 논의된 클레임들의 적용을 이러한 잇점들 중 일부 또는 전부를 달성하는 구조 및 프로세스만으로 제한해서는 안된다.
추가적으로, 본 명세서의 머릿글 부분은 37 CFR 1.77하의 제안에 따라 제공되었으며 기타 조직화 단서를 제공하기 위해 제공되었다. 이들 머릿글들은 본 명세서에서 논의된 청구항들에서 개시된 본 발명(들)을 제한 또는 특징화해서는 안된다. 머릿글이 "기술 분야"에 관해 예로서 구체적으로 언급하고 있지만, 청구항은 소위 분야를 기술하기 위해 머릿글에서 선택된 언어에 의해 제한되어서는 안된다. 나아가, "배경 기술"에서의 용어의 설명은 소정의 기술이 본 명세서의 임의의 발명(들)에 대한 종래 기술이라는 것을 인정하는 것으로 해석되어서는 안된다. 나아가, 본 명세서에서의 단수의 임의의 참조문헌은 본 발명에는 오직 단일 관점의 신규성만 있다고 논쟁하는데 사용되어서는 안된다. 본 명세서로부터 발생하는 복수의 청구항의 제한에 따라 복수의 발명들이 개시될 수 있으며, 이와 같은 청구항들은 그에 따라 발명(들) 및 이로써 보호되어야 하는 그 등가물들을 정의한다. 어떤 경우든, 이와 같은 청구항들의 범위는 본 명세서에 비추어 자신의 가치에 따라 고려되어야 하며, 본 명세서의 머릿글에 의해 제약되어서는 안된다.
100: 무안경 입체 시스템
110: 입체 이미지를 향상시키기 위한 시스템
120: 2D 디스플레이
130: 관찰자
140: 인접한 뷰들이 혼합되는 영역

Claims (23)

  1. 입체 이미지(stereoscopic image)를 향상시키기 위한 방법에 있어서,
    이미지 세트 내의 인접한 이미지 뷰들 ―상기 이미지 뷰들은 상기 입체 이미지의 적어도 2개의 상이한 투시뷰(perspective view)를 포함함― 간의 디스패러티(disparity) 차이를 결정하고;
    상기 이미지 세트 내의 이미지 뷰들 중 적어도 하나의 적어도 일부를 블러링(blurring)하는 것
    을 포함하는, 입체 이미지를 향상시키기 위한 방법.
  2. 제1항에 있어서, 상기 이미지 세트 내의 이미지 뷰들 중 적어도 하나의 적어도 일부를 블러링하는 것은, 로컬 픽셀 평균화에 의한 블러링을 포함하는 것인, 입체 이미지를 향상시키기 위한 방법.
  3. 제2항에 있어서, 상기 로컬 픽셀 평균화에 의한 블러링은 가중치부여된 로컬 픽셀 평균화를 포함하는 것인, 입체 이미지를 향상시키기 위한 방법.
  4. 제1항에 있어서, 상기 이미지 세트 내의 이미지 뷰들 중 적어도 하나의 적어도 일부를 블러링하는 것은, 2차원 블러링을 포함하는 것인, 입체 이미지를 향상시키기 위한 방법.
  5. 제1항에 있어서, 상기 이미지 세트 내의 이미지 뷰들 중 적어도 하나의 적어도 일부를 블러링하는 것은, 상기 이미지 세트 내의 복수의 이미지 뷰들의 복수의 부분들을 블러링하는 것을 포함하는 것인, 입체 이미지를 향상시키기 위한 방법.
  6. 입체 이미지를 향상시키기 위한 방법에 있어서,
    이미지 세트 내의 이미지 뷰들 ―상기 이미지 뷰들은 상기 입체 이미지의 적어도 2개의 투시뷰를 포함함― 을 입력하고,
    상기 이미지 세트 내의 이미지 뷰들의 적어도 하나의 적어도 일부를 블러링하며;
    상기 이미지 세트의 수정된 이미지 뷰들을 출력하는 것
    을 포함하는, 입체 이미지를 향상시키기 위한 방법.
  7. 제6항에 있어서, 상기 이미지 세트 내의 이미지 뷰들 중 적어도 하나의 적어도 일부를 블러링하는 것은,
    상기 이미지 세트 내의 인접한 이미지 뷰들간의 디스패러티 차이에 기초하여 디스패러티 데이터를 유도하고,
    인접한 이미지 뷰들의 첫번째 뷰가 상기 이미지 세트 내의 마지막 뷰일 때, 인접 이미지 뷰들의 두번째 뷰의 픽셀값을 로컬 픽셀값들의 평균값으로 대체하고,
    인접 이미지 뷰들의 첫번째 뷰가 상기 이미지 세트 내의 마지막 뷰가 아닐 때, 상기 이미지 세트 내의 마지막 뷰의 픽셀값과 마지막 뷰 다음의 픽셀 값을 로컬 픽셀값들의 평균값으로 대체하는 것을 포함하는 것인, 입체 이미지를 향상시키기 위한 방법.
  8. 제7항에 있어서, 상기 이미지 세트 내의 인접한 이미지 뷰들간의 디스패러티 차이에 기초하여 디스패러티 데이터를 유도하는 것은, 블럭 기반의 움직임 추정을 이용하는 것을 포함하는 것인, 입체 이미지를 향상시키기 위한 방법.
  9. 제7항에 있어서, 상기 이미지 세트 내의 인접한 이미지 뷰들간의 디스패러티 차이에 기초하여 디스패러티 데이터를 유도하는 것은, 디스패러티 맵을 발생시키는 것을 포함하고, 상기 디스패러티 맵은 인접한 이미지 뷰들간의 형상물들의 추정된 시프트를 기술하는 숫자들의 어레이를 포함하는 것인, 입체 이미지를 향상시키기 위한 방법.
  10. 제9항에 있어서, 필터링에 의해 상기 디스패러티 맵을 평활화하는 것을 더 포함하는, 입체 이미지를 향상시키기 위한 방법.
  11. 제10항에 있어서, 상기 필터링에 의해 디스페러티 맵을 평활화하는 것은 미디어 필터링(median filtering)을 이용하는 것을 포함하는 것인, 입체 이미지를 향상시키기 위한 방법.
  12. 제10항에 있어서, 상기 디스패러티 데이터의 함수로서 상기 인접한 이미지 뷰들을 블러링하는 것을 더 포함하는, 입체 이미지를 향상시키기 위한 방법.
  13. 제12항에 있어서, 상기 인접한 이미지 뷰들을 블러링하는 것은, 상기 인접한 이미지 뷰들의 사각형 영역에 걸친 픽셀들을 평균화하는 것을 포함하는 것인, 입체 이미지를 향상시키기 위한 방법.
  14. 제12항에 있어서, 상기 인접한 이미지 뷰들을 블러링하는 것은, 상기 인접한 이미지 뷰들의 실질적으로 원형의 영역에 걸친 픽셀들을 평균화하는 것을 포함하는 것인, 입체 이미지를 향상시키기 위한 방법.
  15. 제12항에 있어서, 상기 인접한 이미지 뷰들을 블러링하는 것은, 가우시안 블러링(Gaussian blurring)을 이용하는 것을 포함하는 것인, 입체 이미지를 향상시키기 위한 방법.
  16. 제12항에 있어서, 상기 인접한 이미지 뷰들을 블러링하는 것은,
    디스패러티 데이터가 미리결정된 임계치를 초과하는 이미지 뷰들에 인접한 이미지의 일부만을 블러링하는 것을 더 포함하는 것인, 입체 이미지를 향상시키기 위한 방법.
  17. 입체 이미지를 향상시키기 위한 시스템에 있어서,
    이미지 세트 내의 인접한 이미지 뷰들 ―상기 이미지 뷰들은 상기 입체 이미지의 적어도 2개의 상이한 투시뷰를 포함함― 간의 디스패러티 차이를 결정하도록 동작할 수 있는 디스패러티 모듈과;
    상기 이미지 세트 내의 이미지 뷰들 중 적어도 하나의 적어도 일부를 블러링하도록 동작할 수 있는 블러링 모듈
    을 포함하는 입체 이미지를 향상시키기 위한 시스템.
  18. 제17항에 있어서, 상기 블러링 모듈은 가중치부여된 로컬 픽셀 평균화를 이용하여 블러링하도록 동작할 수 있는 것인, 입체 이미지를 향상시키기 위한 시스템.
  19. 제17항에 있어서, 상기 입체 이미지는 무안경 입체 시스템을 위한 것인, 입체 이미지를 향상시키기 위한 시스템.
  20. 입체 이미지를 향상시키기 위한 시스템에 있어서,
    이미지 세트 내의 이미지 뷰들 ―상기 이미지 뷰들은 상기 입체 이미지의 적어도 2개의 투시뷰를 포함함― 을 수신하도록 동작할 수 있는 입력 모듈과;
    상기 이미지 세트 내의 인접한 이미지 뷰들간의 디스패러티 차이에 기초하여 디스패러티 데이터를 유도하도록 동작할 수 있는 디스패러티 유도 모듈과;
    인접한 이미지 뷰들의 첫번째 뷰가 상기 이미지 세트 내의 마지막 뷰일 때, 인접 이미지 뷰들의 두번째 뷰의 픽셀값을 로컬 픽셀값들의 평균값으로 대체하고, 인접 이미지 뷰들의 첫번째 뷰가 상기 이미지 세트 내의 마지막 뷰가 아닐 때, 상기 이미지 세트 내의 마지막 뷰의 픽셀값과 마지막 뷰 다음의 픽셀 값을 로컬 픽셀값들의 평균값으로 대체하도록 동작할 수 있는 픽셀 대체 모듈과;
    상기 이미지 세트의 수정된 이미지 뷰들을 출력하도록 동작할 수 있는 출력 모듈
    을 포함하는, 입체 이미지를 향상시키기 위한 시스템.
  21. 제20항에 있어서, 상기 디스패러티 유도 모듈은 블럭-기반의 움직임 추정을 이용하도록 동작할 수 있는 것인, 입체 이미지를 향상시키기 위한 시스템.
  22. 제20항에 있어서, 상기 디스패러티 유도 모듈은 인접한 이미지 뷰들 사이의 형상물들의 추정된 시프트를 기술하는 숫자들의 어레이를 포함하는 디스패러티 맵을 발생시키도록 동작할 수 있는 것인, 입체 이미지를 향상시키기 위한 시스템.
  23. 제22항에 있어서, 미디언 필터링으로 상기 디스패러티 맵을 평활화하도록 동작할 수 있는 평활화 모듈을 더 포함하는, 입체 이미지를 향상시키기 위한 시스템.
KR1020107029777A 2008-06-06 2009-06-05 입체 이미지의 블러 향상 KR20110015452A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US5966108P 2008-06-06 2008-06-06
US61/059,661 2008-06-06

Publications (1)

Publication Number Publication Date
KR20110015452A true KR20110015452A (ko) 2011-02-15

Family

ID=41398567

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107029777A KR20110015452A (ko) 2008-06-06 2009-06-05 입체 이미지의 블러 향상

Country Status (5)

Country Link
US (1) US8405708B2 (ko)
EP (1) EP2286385A4 (ko)
JP (1) JP5509487B2 (ko)
KR (1) KR20110015452A (ko)
WO (1) WO2009149413A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9456152B2 (en) 2011-07-12 2016-09-27 Samsung Electronics Co., Ltd. Device and method for blur processing
US9613403B2 (en) 2013-03-28 2017-04-04 Samsung Electronics Co., Ltd. Image processing apparatus and method

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5337170B2 (ja) 2008-02-08 2013-11-06 グーグル インコーポレイテッド タイミング調節されるシャッターを用いる複数のイメージセンサーを有するパノラマカメラ
JP5186614B2 (ja) * 2010-03-24 2013-04-17 富士フイルム株式会社 画像処理装置および画像処理方法
JP5450643B2 (ja) * 2010-05-25 2014-03-26 パナソニック株式会社 画像符号化装置、画像符号化方法、プログラムおよび集積回路
JP4875762B2 (ja) * 2010-05-26 2012-02-15 シャープ株式会社 画像処理装置、画像表示装置および画像撮像装置
WO2011158573A1 (ja) * 2010-06-17 2011-12-22 富士フイルム株式会社 立体画像表示制御装置およびその動作制御方法
JPWO2012001970A1 (ja) * 2010-06-30 2013-08-22 富士フイルム株式会社 画像処理装置および方法並びにプログラム
US8582866B2 (en) * 2011-02-10 2013-11-12 Edge 3 Technologies, Inc. Method and apparatus for disparity computation in stereo images
US8768044B2 (en) 2010-09-14 2014-07-01 Texas Instruments Incorporated Automatic convergence of stereoscopic images based on disparity maps
JP2012100116A (ja) * 2010-11-02 2012-05-24 Sony Corp 表示処理装置、表示処理方法およびプログラム
CN103238168A (zh) * 2010-12-03 2013-08-07 夏普株式会社 图像处理装置、图像处理方法及图像处理程序
US9275475B2 (en) * 2011-06-03 2016-03-01 Apple Inc. Generating a simulated three dimensional scene by producing reflections in a two dimensional scene
JP5932666B2 (ja) * 2011-07-19 2016-06-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像符号化装置とその集積回路、および画像符号化方法
KR20130024504A (ko) * 2011-08-31 2013-03-08 삼성전기주식회사 삼차원 카메라 시스템 및 주시각 조정 방법
JP5968107B2 (ja) * 2011-09-01 2016-08-10 キヤノン株式会社 画像処理方法、画像処理装置およびプログラム
TWI448146B (zh) * 2011-10-14 2014-08-01 Au Optronics Corp 可改善鬼影現象之立體影像處理方法及其立體顯示裝置
JP5572647B2 (ja) * 2012-02-17 2014-08-13 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム、および表示制御方法
KR20140043264A (ko) * 2012-09-26 2014-04-09 삼성전자주식회사 다시점 영상 처리 장치 및 방법
JP5800996B2 (ja) * 2012-09-26 2015-10-28 富士フイルム株式会社 画像処理装置、方法及びプログラム、プリンタ、表示装置
JP2014206893A (ja) * 2013-04-15 2014-10-30 ソニー株式会社 画像処理装置と画像処理方法およびプログラム
JP2015154101A (ja) * 2014-02-10 2015-08-24 ソニー株式会社 画像処理方法、画像処理装置及び電子機器
JP2016225811A (ja) * 2015-05-29 2016-12-28 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
EP3166315A1 (en) 2015-11-05 2017-05-10 Axis AB A method and apparatus for controlling a degree of compression of a digital image
WO2017162594A1 (en) * 2016-03-21 2017-09-28 Thomson Licensing Dibr with depth map preprocessing for reducing visibility of holes by locally blurring hole areas

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3058769B2 (ja) * 1992-09-01 2000-07-04 沖電気工業株式会社 ３次元画像生成方法
JP3182009B2 (ja) * 1992-12-24 2001-07-03 日本電信電話株式会社 両眼立体視装置
GB2297876A (en) 1995-02-09 1996-08-14 Sharp Kk Observer tracking autostereoscopic display
US6108005A (en) * 1996-08-30 2000-08-22 Space Corporation Method for producing a synthesized stereoscopic image
US7092003B1 (en) * 1999-01-21 2006-08-15 Mel Siegel 3-D imaging arrangements
JP2000354257A (ja) * 1999-06-10 2000-12-19 Sony Corp 画像処理装置、画像処理方法、およびプログラム提供媒体
US6426755B1 (en) * 2000-05-16 2002-07-30 Sun Microsystems, Inc. Graphics system using sample tags for blur
US7113634B2 (en) * 2001-07-31 2006-09-26 Canon Kabushiki Kaisha Stereoscopic image forming apparatus, stereoscopic image forming method, stereoscopic image forming system and stereoscopic image forming program
US7715591B2 (en) * 2002-04-24 2010-05-11 Hrl Laboratories, Llc High-performance sensor fusion architecture
JP4072674B2 (ja) * 2002-09-06 2008-04-09 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US7156194B2 (en) 2003-08-26 2007-01-02 Halliburton Energy Services, Inc. Methods of drilling and consolidating subterranean formation particulate
KR100682889B1 (ko) * 2003-08-29 2007-02-15 삼성전자주식회사 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치
US7616227B2 (en) 2003-10-02 2009-11-10 Real D Hardware based interdigitation
EP1728116B1 (en) * 2004-03-12 2012-09-19 Koninklijke Philips Electronics N.V. Multiview display device
FR2873214B1 (fr) * 2004-07-13 2008-10-10 Canon Res Ct France S A S Soc Procede et dispositif d'obtention d'un signal stereoscopique
EP1807806B1 (en) * 2004-10-26 2011-04-06 Koninklijke Philips Electronics N.V. Disparity map
US7423645B2 (en) * 2005-06-01 2008-09-09 Microsoft Corporation System for softening images in screen space
US8384763B2 (en) * 2005-07-26 2013-02-26 Her Majesty the Queen in right of Canada as represented by the Minster of Industry, Through the Communications Research Centre Canada Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging
US20070248260A1 (en) * 2006-04-20 2007-10-25 Nokia Corporation Supporting a 3D presentation
FR2917845B1 (fr) * 2007-06-19 2011-08-19 Christophe Brossier Procede de visualisation d'une sequence d'images produisant une sensation de relief

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9456152B2 (en) 2011-07-12 2016-09-27 Samsung Electronics Co., Ltd. Device and method for blur processing
US9613403B2 (en) 2013-03-28 2017-04-04 Samsung Electronics Co., Ltd. Image processing apparatus and method

Also Published As

Publication number Publication date
WO2009149413A1 (en) 2009-12-10
EP2286385A4 (en) 2013-01-16
US20100002073A1 (en) 2010-01-07
US8405708B2 (en) 2013-03-26
JP5509487B2 (ja) 2014-06-04
JP2011523306A (ja) 2011-08-04
EP2286385A1 (en) 2011-02-23

Similar Documents

Publication Publication Date Title
JP5509487B2 (ja) 立体視画像のブラー強化
US8711204B2 (en) Stereoscopic editing for video production, post-production and display adaptation
US9445072B2 (en) Synthesizing views based on image domain warping
KR101468267B1 (ko) 중간 뷰 합성 및 멀티-뷰 데이터 신호 추출
US10368046B2 (en) Method and apparatus for generating a three dimensional image
Vázquez et al. Stereoscopic imaging: filling disoccluded areas in depth image-based rendering
US10095953B2 (en) Depth modification for display applications
US20150302592A1 (en) Generation of a depth map for an image
EP1771014A1 (en) Stereoscopic image generating method and apparatus
US20070024614A1 (en) Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging
JP2013172190A (ja) 画像処理装置、および画像処理方法、並びにプログラム
Schmeing et al. Depth image based rendering: A faithful approach for the disocclusion problem
JP6715864B2 (ja) 画像に対する深度マップを決定するための方法及び装置
JP2011176800A (ja) 画像処理装置、立体表示装置及び画像処理方法
US20160180514A1 (en) Image processing method and electronic device thereof
KR102161785B1 (ko) ３차원 이미지의 시차의 프로세싱
Jung A modified model of the just noticeable depth difference and its application to depth sensation enhancement
WO2012176526A1 (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
US9787980B2 (en) Auxiliary information map upsampling
Gunnewiek et al. Coherent spatial and temporal occlusion generation
JP2011176822A (ja) 画像処理装置、立体表示装置及び画像処理方法
JP6131256B6 (ja) 映像処理装置及びその映像処理方法
JP6131256B2 (ja) 映像処理装置及びその映像処理方法

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid