KR100954281B1 - 다시점 영상의 엘리애징 제거를 위한 필터링 장치 및 방법 - Google Patents

다시점 영상의 엘리애징 제거를 위한 필터링 장치 및 방법 Download PDF

Info

Publication number
KR100954281B1
KR100954281B1 KR1020080013497A KR20080013497A KR100954281B1 KR 100954281 B1 KR100954281 B1 KR 100954281B1 KR 1020080013497 A KR1020080013497 A KR 1020080013497A KR 20080013497 A KR20080013497 A KR 20080013497A KR 100954281 B1 KR100954281 B1 KR 100954281B1
Authority
KR
South Korea
Prior art keywords
pixel
filtering
parallax
calculator
image
Prior art date
Application number
KR1020080013497A
Other languages
English (en)
Other versions
KR20090088129A (ko
Inventor
엄기문
김태원
장은영
허남호
김진웅
이수인
김만배
이세노
유지상
박명수
박세환
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020080013497A priority Critical patent/KR100954281B1/ko
Publication of KR20090088129A publication Critical patent/KR20090088129A/ko
Application granted granted Critical
Publication of KR100954281B1 publication Critical patent/KR100954281B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B3/00Ohmic-resistance heating
    • H05B3/20Heating elements having extended surface area substantially in a two-dimensional plane, e.g. plate-heater
    • H05B3/34Heating elements having extended surface area substantially in a two-dimensional plane, e.g. plate-heater flexible, e.g. heating nets or webs
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B3/00Ohmic-resistance heating
    • H05B3/10Heating elements characterised by the composition or nature of the materials or by the arrangement of the conductor
    • H05B3/12Heating elements characterised by the composition or nature of the materials or by the arrangement of the conductor characterised by the composition or nature of the conductive material
    • H05B3/14Heating elements characterised by the composition or nature of the materials or by the arrangement of the conductor characterised by the composition or nature of the conductive material the material being non-metallic
    • H05B3/145Carbon only, e.g. carbon black, graphite
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B2203/00Aspects relating to Ohmic resistive heating covered by group H05B3/00
    • H05B2203/013Heaters using resistive films or coatings
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02BCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B30/00Energy efficient heating, ventilation or air conditioning [HVAC]

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 다시점 영상의 엘리애징 제거를 위한 필터링 장치 및 방법에 관한 것으로, 보다 상세하게는 화소의 입체 시차 (parallax) 또는 변이 (disparity) 값에 따라 적응적으로 저주파 필터링의 강도를 조절함으로써, 특정한 다시점 모니터에 종속되지 않고, 다양한 다시점 모니터에 공용으로 사용 가능한 다시점 영상의 엘리애징 제거를 위한 필터링 장치를 제공하는 효과가 있다.
다시점 영상, 시차값, 앤티 앨리애징, 필터?DP n="2" type="HARD"/>

Description

다시점 영상의 엘리애징 제거를 위한 필터링 장치 및 방법{Apparatus and method for reducing aliasing effects of multi-view images}
본 발명은 다시점 모니터를 시청할 때에 발생하는 시점 영상 앨리애징 (view aliasing) 및 시점간 엘리애징 (inter-perspective aliasing)을 극복하기 위한 필터링 방법 및 장치에 관한 것으로, 보다 상세하게는 다시점 카메라로부터 획득된 다시점 영상의 필터링에 있어서, 시점 영상 앨리애징 및 시점간 엘리애징 현상을 제거하여, 시점 영상을 시청하거나 시점 이동시에 발생하는 다수의 영상의 중첩으로 인한 눈의 피로감을 감소하는 필터링 방법 및 장치에 관한 것이다.
본 발명은 정보통신부 및 정보통신연구진흥원의 IT성장동력기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2007-S-004-01, 과제명: 무안경 개인형 3D 방송기술개발].
3D 입체영상은 현실 세계인 3차원 세계의 리얼리티를 전달할 수 있는 영상매체이며, 임장감(Presence feeling), 실재감, 자연감, 선명성 등의 장점을 갖고 있다.
3D 입체영상은 다수의 디스플레이 수단을 사용하여 좌, 우의 양 쪽 눈에 각 각 서로 다른 2차원의 영상을 보게 하거나 하나의 입체 영상 디스플레이수단에서 일정 시간 간격으로 서로 다른 2차원의 상을 교차 디스플레이함으로써 하나 이상의 시점을 가지는 다시점 영상을 사용자에게 디스플레이하여 사용자의 뇌가 물체에서 반사되어 나온 두 빛을 정확히 서로 합성 처리해 3차원 영상의 원근감과 실재감을 재생하도록 한다.
다시점 영상은 디스플레이중에 사용자가 시점 위치를 이동하면 눈의 피로감을 주는 상호간섭(crosstalk) 또는 시점간 앨리애징 (inter-perspective aliasing) 이 발생하게 된다. 또한 다시점 영상의 해상도가 다시점 모니터의 해상도보다 크면, 입력영상의 축소(downsampling)을 하게 되므로 시점 영상의 앨리애징이 발생한다, 따라서 이러한 앨리애징으로 인한 눈의 피로감을 줄이기 위해 저주파 필터를 사용하여 화소를 블러링하여 앨리애징을 감소시키는 방법이 개발되었다.
그러나 기존의 엘리애징 감소 방법은 렌티큘라 (lenticular), 배리어 (barrier) 방식의 다시점 모니터의 구조에 기반하여 저주파 필터링을 적용하는 방식이므로, 다시점 모니터를 변경하면, 개발한 필터를 사용하지 못하거나, 사용하더라도 엘리애징 감소 효과가 적다는 문제점이 있었다
본 발명은 상기와 같은 종래 기술을 개선하기 위해 안출된 것으로서, 다시점 모니터의 내부 하드웨어 구조에 관계없이, 화소의 입체 시차 (parallax) 또는 변이 (disparity) 값에 따라 적응적으로 저주파 필터링의 강도를 조절함으로써, 다시점 모니터 기종에 독립적인 다시점 영상의 엘리애징 제거를 위한 필터링 방법 및 그 장치를 제공하는 것이다.
본 발명의 목적은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기한 목적들을 달성하기 위한 본 발명의 제 1 측면에 따르면, 다시점 영상의 엘리애징 감소 필터링 장치는 다시점 영상 및 다시점 깊이 데이터로부터 화소의 시차값을 계산하는 화소 시차 계산부, 상기 화소 시차 계산부에서 계산된 시차값에 대응하는 필터링 강도(filtering strength)를 계산하는 필터링 강도 계산부, 및 상기 필터링 강도 계산부에서 계산된 필터링 강도에 대응하여 다시점 영상을 구성하는 화소들을 필터링하는 필터부를 포함한다.
상기한 목적들을 달성하기 위한 본 발명의 제 2 측면에 따르면, 다시점 영상의 엘리애징 감소 필터링 방법은 다시점 영상과 상기 다시점 영상에 대응되는 깊이 데이터를 수신하는 단계, 상기 다시점 영상과 깊이 데이터로부터 모든 영상들의 시차값을 계산하는 단계, 상기 화소 시차값이 적은 화소는 필터링의 강도가 낮고, 시차값이 큰 화소는 필터링 강도가 높도록 화소에 적용할 저주파 필터링의 강도를 계산하는 단계, 현 화소를 중심으로 하는 필터가 적용될 픽셀 블록인 N x N 블록에 DFT(Discrete Fourier Transform)을 적용하여 주파수 영역에서의 N x N 주파수 계수를 계산하는 단계, 상기 필터링 강도와 상기 N으로부터 임계주파수를 계산하는 단계, 상기 N x N 주파수 계수의 주파수 성분 중에서 상기 임계주파수를 초과하는 주파수 성분을 제거하는 단계, 및 상기 N x N 주파수 계수에 역 DFT를 적용하여 NxN 화소 블록을 복원하는 단계를 포함한다.
기타 실시 예들의 구체적인 사항들은 상세한 설명 및 첨부 도면들에 포함되어 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.
상술한 바와 같이 본 발명은 화소의 입체 시차 (parallax) 또는 변이 (disparity) 값에 따라 적응적으로 저주파 필터링의 강도를 조절함으로써, 특정한 다시점 모니터에 종속되지 않고, 다양한 다시점 모니터에 공용으로 사용가능한 다시점 영상의 엘리애징 제거를 위한 필터링 장치를 제공하는 효과가 있다.
이하에서는 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다. 그리고 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
다시점 영상을 사용한 3D 입체 영상은 다시점 영상을 구성하는 화소의 입체 시차가 크면 눈의 피로도가 증가한다. 특히 3D 입체감이 모니터와 양안사이에서 발생하는 음시차 (negative parallax)의 경우에 눈의 피로도가 크다.
따라서, 본 발명에서는 입체 시차가 적은 화소는 원 데이터값을 유지하도록 하고, 반대로 입체시차가 큰 화소는 필터링 강도를 증가시켜 많이 블러링(blurring)되게 함으로써 앨리애징을 감소시킨다.
도1은 본 발명의 일실시예에 따른 다시점 영상의 엘리애징 감소 필터링 장치의 구성도이다.
본 발명의 일실시예에 따른 다시점 영상의 엘리애징 감소 필터링 장치는 도1에 도시된 바와 같이 다시점 영상 입력부(100), 깊이 데이터 입력부 (150), 화소 시차 계산부(200), 필터링 강도 계산부(300), NxN 블록 선정부 (400), 이산 프리에 변환부(500), 임계 주파수 계산부(600), 주파수 대역 계산부(700), 역 이산 프리에 변환부(800), 필터링된 화소 생성부(900), 및, 필터링된 다시점 영상 생성부(950)를 포함한다.
다시점 영상 입력부 (100)는 N대의 다시점 카메라로부터 수신한 다시점 영상 F1, F2,..., FN을 상기 화소 시차 계산부(200)로 전달한다.
깊이 데이터 입력부(150)는 N대의 다시점 카메라로부터 수신한 다시점 영상 F1, F2,..., FN에 대응되는 깊이 데이터 D1, D2, ..., D N를 상기 화소 시차 계산부(200)로 전달한다.
깊이 데이터 D1, D2,..., D N는 일반적으로 [0, 255]의 그레이 스케일 값으로 표현되며, 카메라와 가까운 화소는 큰 값을 가지게 된다.
3D입체 영상에 있어서 영상을 구성하는 화소 각각의 위치를 나타내는 위치 정보(X, Y, Z)는 다시점 영상에서는 (u, v)로 투영된다. 카메라 내부 파라메터(intrinsic parameter)K와 외부 파라메터(extrinsic parameter)R(rotation), T(translation)가 주어지면, 두 좌표는 하기된 수학식 1과 수학식 2와 같은 관계를 가지게 된다.
Figure 112008011124865-pat00001
Figure 112008011124865-pat00002
화소 시차 계산부(200)는 다시점 영상 입력부(100)로부터 수신한 N 개의 다시점 영상과 깊이 데이터 입력부(150)로부터 수신한 N 개의 깊이 데이터로부터 모든 영상들의 시차값 d을 계산한다.
화소 시차 계산부(200)는 상기 수학식1, 수학식2에서 임의의 영상의 화소 좌표 p = (ui, vi)를 3D 공간상의 점 (X, Y, Z)로 역투영한 후에, 다시 이 점을 다른 시점 영상들에게 투영하여 각 영상에서의 대응점의 좌표 값을 계산한다.
계산된 각 영상에서의 대응점의 좌표 값을 p'= (u'i, v'i)이라 하면, 이 화소의시차값 d는 d = p - p'= (ui - u'i , vi - v'i)이다.
화소 시차 계산부(200)는 다시점 영상 F1, F2, ..., FN 중 k 번째의 영상 k (k = 1, ..., N)와 해당 시점의 깊이 데이터 D K가 있을 때에, k 번째의 영상 k의 모든 화소 (ui, vi) 에 대해서, 영상 k+1과 영상 k-1 의 대응점의 좌표 값을 계산한다.
화소 시차 계산부(200)는 계산된 영상 k+1과 영상 k-1 의 대응점의 좌표 값 을 각각 (u'i+1, v'i +1), (u 'i-1, v' i-1)라고 하고, 영상 k와 k+1간의 시차 di ,i+1 = (ui - ui +1, vi - vi +1)을 계산하여 저장한다. 또한 영상 k-1과 k간의 시차 di -1,i = (ui -1 - ui, vi -1 - vi)을 계산하여 저장할 수도 있다.
상기 과정은 다시점 영상 입력부(100), 깊이 데이터 입력부(150)로부터 수신한 모든 영상에 대해서 수행한다.
또한, 깊이 데이터 입력부(150)가 없거나, 깊이 데이터 입력부(150)로부터 깊이 데이터 D1, D2,..., D N를 수신하지 못하면, 종래 기술인 스테레오 정합 (stereo matching) 방법으로 화소의 시차값을 얻을 수도 있다.
필터링 강도 계산부(300)는 화소 시차 계산부(200)에서 계산된 화소 시차값을 하기된 수학식 3에 적용하여 화소에 적용할 저주파 필터링의 강도 r을 계산한다. 강도가 크면 화소는 많이 블러링(blurred)되고, 강도가 낮으면 적게 블러링된다.
Figure 112008011124865-pat00003
dmax는 사용자가 정한 최대시차 또는 현 영상 내 최대 시차값이다.
각 화소의 시차가 작으면 r도 작아진다. 반대로 시차가 크면, r도 커지게 된다.
시차값 d의 부호가 0보다 크면, 양시차이고, 0보다 작으면 음시차이다. 음시차의 경우에는 3D 모니터로 시청하게 되면, 입체가 모니터와 양안 사이에서 보이게 된다.
필터링은 양시차 화소에만 적용할 수도 있고, 음시차 화소에만 적용할 수도 있으며, 음시차와 양시차 화소 모두에게 적용할 수도 있다.
NxN 블록 선정부(400)는 현 화소를 중심으로 하는 필터가 적용될 픽셀 블록인 N x N 블록을 선정한다.
NxN 블록 선정부(400)는 N을 3, 5, 7과 같은 소수로 정할 수 있다.
이산프리에 변환부(500)는 DFT (Discrete Fourier Transform)을 상기 N x N 블록에 적용하여 주파수 영역에서의 N x N 주파수 계수를 계산한다.
N x N 주파수 계수는 수직주파수 u, 수평주파수 v를 포함하며 u={0, 1,..... N-1} 및 v={0, 1, ..... N-1}이고, 직류 성분은 (u, v) = (0, 0)이다.
u 또는 v가 커지면 해당 주파수 성분이 증가한다.
임계 주파수 계산부(600)는 필터링 강도 계산부(300)에서 계산된 필터링 강도 r과 NxN 블록 선정부(400)에서 선정된 N을 하기된 수학식 4에 적용하여 임계주파수 fc을 계산한다.
fc= (1-r) x (N + N)
다만, 상기 수학식 4는 가능한 많은 방법중의 하나이며, 이 식을 변형하여 여러 형태의 계산식이 가능하다.
주파수 대역 계산부(700)는 임계주파수계산부(600)에서 계산된 임계주파수 fc를 사용하여 N x N 주파수 계수는 주파수 성분 중에서 임계주파수를 초과하는 주파수 성분을 제거함으로써 수직 및 수평 주파수 성분의 폭이 일정하게 되도록 조정한다.
주파수 대역 계산부(700)는 도2에 도시된 바와 같이 (u+v) 가 fc보다 크면(도2의 u과 v가 N-1값을 가지는 라인에 위치한 색이 다른 부분), 해당 주파수 성분을 0으로 대치하여 제거한다.
예를 들어, r=0이면, fc는 2xN이므로, (u+v)는 항상 fc보다 작다. 따라서, 모든 주파수 성분은 그대로 유지된다. 또한, r=1이면, fc는 0이므로, (u, v) = (0, 0)을 제외하고, 다른 주파수 성분은 0으로 대치되므로, 평균 DC값만 존재한다.
역 이산 프리에 변환부(800)는 주파수 대역 계산부(700)에서 수직 및 수평 주파수 성분의 폭이 조정된 N x N 주파수 계수에 역 DFT를 적용하여 NxN 화소 블록을 복원한다.
필터링된 화소 생성부(900)는 역 이산 프리에 변환부(900)에서 복원된 N x N 화소 블록에서 중심 화소 값을 추출한다.
필터링된 다시점 영상 생성부(950)는 필터링된 화소 생성부(900)에서 추출된 중심 화소 값들로 필터링된 영상을 생성한다.
도3은 본 발명의 일실시예에 따른 다시점 영상의 엘리애징 감소 필터링 방법의 순서도이다.
단계(S100)에서 화소 시차 계산부(200)는 다시점 영상 입력부(100)와 깊이 데이터 입력부(150)로부터 N 개의 다시점 영상과 다시점 영상에 대응하는 N 개의 깊이 데이터를 수신한다.
단계(S200)에서 화소 시차 계산부(200)는 상기 단계(S100)에서 수신한 N 개의 다시점 영상과 N 개의 깊이 데이터로부터 모든 영상들의 시차값 d을 계산한다.
단계(S300)에서 필터링 강도 계산부(300)는 상기 단계(S200)에서 계산된 화소 시차값으로부터 화소에 적용할 저주파 필터링의 강도 r을 계산한다.
단계(S400)에서 NxN 블록 선정부(400)는 현 화소를 중심으로 하는 필터가 적용될 픽셀 블록인 N x N 블록을 선정한다.
단계(S500)에서 이산 프리에 변환부(500)는 DFT을 상기 단계(S400)에서 선정된 N x N 블록에 적용하여 주파수 영역에서의 N x N 주파수 계수를 계산한다.
단계(S600)에서 임계 주파수 계산부(600)는 상기 단계(S300) 에서 계산된 필터링 강도 r과 상기 단계(S400)에서 선정된 N으로부터 임계주파수 fc을 계산한다.
단계(S700)에서 주파수 대역 계산부(700)는 상기 단계(S600) 에서 계산된 임계주파수 fc를 사용하여 N x N 주파수 계수는 주파수 성분 중에서 임계주파수를 초과하는 주파수 성분을 제거한다.
단계(S800)에서 역 이산 프리에 변환부(800)는 상기 단계(S700)에서 임계주 파수를 초과하는 주파수 성분이 제거된 N x N 주파수 계수에 역 DFT를 적용하여 NxN 화소 블록을 복원한다.
단계(S900)에서 필터링된 화소 생성부(900)는 상기 단계(S800)에서 복원된 N x N 화소 블록에서 중심 화소 값을 추출한다.
단계(S950)에서 필터링된 다시점 영상 생성부(950)는 상기 단계(S900)에서 추출된 중심 화소 값들로 필터링된 영상을 생성한다.
지금까지 본 발명에 따른 구체적인 실시예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허 청구의 범위뿐 아니라 이 특허 청구의 범위와 균등한 것들에 의해 정해져야 한다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
도1은 본 발명의 일실시예에 따른 다시점 영상의 엘리애싱 감소 필터링 장치의 구성도이다.
도2는 N x N 주파수 계수에 있어서 임계 주파수를 초과한 영역을 표시하는 상태도이다.
도3은 본 발명의 일실시예에 따른 다시점 영상의 엘리애싱 감소 필터링 방법의 순서도이다.

Claims (13)

  1. 삭제
  2. 다시점 영상 및 다시점 깊이 데이터로부터 화소의 시차값을 계산하는 화소 시차 계산부;
    상기 화소 시차 계산부에서 계산된 시차값에 대응하는 필터링 강도(filtering strength)를 계산하는 필터링 강도 계산부;
    상기 필터링 강도 계산부에서 계산된 필터링 강도에 대응하여 다시점 영상을 구성하는 화소를 필터링하는 필터부;
    N개의 다시점 카메라 시스템으로부터 수신한 N개의 다시점 영상을 화소 시차 계산부로 전송하는 다시점 영상 입력부, 및
    N개의 다시점 카메라 시스템으로부터 수신한 N개의 깊이 데이터를 화소 시차 계산부로 전송하는 깊이 데이터 입력부를 포함하는 다시점 영상의 엘리애징 제거를 위한 필터링 장치.
  3. 다시점 영상 및 다시점 깊이 데이터로부터 화소의 시차값을 계산하는 화소 시차 계산부,
    상기 화소 시차 계산부에서 계산된 시차값에 대응하는 필터링 강도(filtering strength)를 계산하는 필터링 강도 계산부, 및
    상기 필터링 강도 계산부에서 계산된 필터링 강도에 대응하여 다시점 영상을 구성하는 화소를 필터링하는 필터부
    를 포함하고,
    상기 화소 시차 계산부는 영상의 화소 좌표를 3D 공간상의 점으로 역투영한 후에, 다시 이 점을 다른 시점 영상들에게 투영하여 각 영상에서의 대응점의 좌표을 계산하고, 상기 화소의 시차값은 상기 대응점의 좌표와 상기 임의의 영상의 화소 좌표간의 차이로 계산되는 것을 특징으로 하는 다시점 영상의 엘리애징 제거를 위한 필터링 장치.
  4. 다시점 영상 및 다시점 깊이 데이터로부터 화소의 시차값을 계산하는 화소 시차 계산부,
    상기 화소 시차 계산부에서 계산된 시차값에 대응하는 필터링 강도(filtering strength)를 계산하는 필터링 강도 계산부, 및
    상기 필터링 강도 계산부에서 계산된 필터링 강도에 대응하여 다시점 영상을 구성하는 화소를 필터링하는 필터부
    를 포함하고,
    상기 화소 시차 계산부는 깊이 데이터를 수신하지 못하면, 스테레오 정합 (stereo matching) 방법으로 화소의 시차값을 계산하는 것을 특징으로 하는 다시점 영상의 엘리애징 제거를 위한 필터링 장치.
  5. 다시점 영상 및 다시점 깊이 데이터로부터 화소의 시차값을 계산하는 화소 시차 계산부,
    상기 화소 시차 계산부에서 계산된 시차값에 대응하는 필터링 강도(filtering strength)를 계산하는 필터링 강도 계산부, 및
    상기 필터링 강도 계산부에서 계산된 필터링 강도에 대응하여 다시점 영상을 구성하는 화소를 필터링하는 필터부
    를 포함하고,
    상기 필터링 강도 계산부는 상기 시차값을 하기된 수학식 3에 적용하여 화소에 적용할 저주파 필터링의 강도를 계산하는 것을 특징으로 하는 다시점 영상의 엘리애징 제거를 위한 필터링 장치.
    Figure 112009075579398-pat00004
    [수학식 3]
    (r은 저주파 필터링의 강도이고, d는 시차값이며 dmax는 사용자가 정한 최대시차 또는 현 영상 내 최대 시차값이다.)
  6. 제5항에 있어서,
    상기 필터링 강도 계산부는 상기 시차값이 양수일때만 화소에 적용할 저주파 필터링의 강도를 계산하는 것을 특징으로 하는 다시점 영상의 엘리애징 제거를 위한 필터링 장치.
  7. 제5항에 있어서,
    상기 필터링 강도 계산부는 상기 시차값이 음수일때만 화소에 적용할 저주파 필터링의 강도를 계산하는 것을 특징으로 하는 다시점 영상의 엘리애징 제거를 위한 필터링 장치.
  8. 다시점 영상 및 다시점 깊이 데이터로부터 화소의 시차값을 계산하는 화소 시차 계산부,
    상기 화소 시차 계산부에서 계산된 시차값에 대응하는 필터링 강도(filtering strength)를 계산하는 필터링 강도 계산부, 및
    상기 필터링 강도 계산부에서 계산된 필터링 강도에 대응하여 다시점 영상을 구성하는 화소를 필터링하는 필터부
    를 포함하고,
    상기 필터부는
    현 화소를 중심으로 하는 필터가 적용될 픽셀 블록인 N x N 블록을 선정하는 NxN 블록 선정부,
    DFT (Discrete Fourier Transform)을 상기 N x N 블록에 적용하여 주파수 영역에서의 N x N 주파수 계수를 계산하는 이산 프리에 변환부,
    상기 필터링 강도 r과 상기 NxN 블록 선정부에서 선정된 N에 대응하는 임계주파수를 계산하는 임계주파수계산부,
    상기 N x N 주파수 계수에서 상기 임계주파수를 초과하는 주파수 성분을 제거하는 주파수 대역 계산부, 및
    상기 N x N 주파수 계수에 역 DFT를 적용하여 NxN 화소 블록을 복원하는 역 이산 프리에 변환부를 포함하는 것을 특징으로 하는 다시점 영상의 엘리애징 제거를 위한 필터링 장치.
  9. 제8항에 있어서,
    상기 NxN 블록 선정부가 선정하는 블록의 좌우 폭과 상하 높이를 나타내는 숫자인 N은 소수인 것을 특징으로 하는 다시점 영상의 엘리애징 제거를 위한 필터링 장치.
  10. 제8항에 있어서,
    상기 임계주파수계산부는 상기 필터링 강도와 상기 NxN 블록 선정부에서 선정된 N을 하기된 수학식 4에 적용하여 임계주파수를 계산하는 것을 특징으로 하는 다시점 영상의 엘리애징 제거를 위한 필터링 장치.
    fc= (1-r) x (N + N) [수학식 4]
    (fc 는 임계주파수이고, r은 필터링 강도이다.)
  11. 제8항에 있어서,
    상기 역 이산 프리에 변환부에서 복원된 N x N 화소 블록에서 중심 화소 값을 추출하는 필터링된 화소 생성부 및
    상기 중심 화소 값들로 필터링된 영상을 생성하는 필터링된 다시점 영상 생 성부를 더 포함하는 것을 특징으로 하는 다시점 영상의 엘리애징 제거를 위한 필터링 장치.
  12. 다시점 영상과 상기 다시점 영상에 대응되는 깊이 데이터를 수신하는 단계,
    상기 다시점 영상과 깊이 데이터로부터 모든 영상들의 시차값을 계산하는 단계,
    상기 화소 시차값이 적은 화소는 필터링의 강도가 낮고, 시차값 큰 화소는 필터링 강도가 높도록 화소에 적용할 저주파 필터링의 강도를 계산하는 단계,
    현 화소를 중심으로 하는 필터가 적용될 픽셀 블록인 N x N 블록에 DFT을 적용하여 주파수 영역에서의 N x N 주파수 계수를 계산하는 단계,
    상기 필터링 강도와 상기 N으로부터 임계주파수를 계산하는 단계,
    상기 N x N 주파수 계수의 주파수 성분 중에서 상기 임계주파수를 초과하는 주파수 성분을 제거하는 단계, 및
    상기 N x N 주파수 계수에 역 DFT를 적용하여 NxN 화소 블록을 복원하는 단계를 포함하는 다시점 영상의 엘리애징 제거를 위한 필터링 방법.
  13. 제12항에 있어서,
    상기 복원된 N x N 화소 블록에서 중심 화소 값을 추출하는 단계 및,
    상기 추출된 중심 화소 값들로 필터링된 영상을 생성하는 단계를 더 포함하는 다시점 영상의 엘리애징 제거를 위한 필터링 방법.
KR1020080013497A 2008-02-14 2008-02-14 다시점 영상의 엘리애징 제거를 위한 필터링 장치 및 방법 KR100954281B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080013497A KR100954281B1 (ko) 2008-02-14 2008-02-14 다시점 영상의 엘리애징 제거를 위한 필터링 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080013497A KR100954281B1 (ko) 2008-02-14 2008-02-14 다시점 영상의 엘리애징 제거를 위한 필터링 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20090088129A KR20090088129A (ko) 2009-08-19
KR100954281B1 true KR100954281B1 (ko) 2010-04-23

Family

ID=41206895

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080013497A KR100954281B1 (ko) 2008-02-14 2008-02-14 다시점 영상의 엘리애징 제거를 위한 필터링 장치 및 방법

Country Status (1)

Country Link
KR (1) KR100954281B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013133627A1 (ko) * 2012-03-06 2013-09-12 엘지전자 주식회사 비디오 신호 처리 방법
US10264246B2 (en) 2015-05-21 2019-04-16 Samsung Electronics Co., Ltd. Multi-view image display apparatus and control method thereof, controller, and multi-view image generation method

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8687044B2 (en) * 2010-02-02 2014-04-01 Microsoft Corporation Depth camera compatibility
KR20120003147A (ko) 2010-07-02 2012-01-10 삼성전자주식회사 루프 필터를 이용한 깊이 영상 부호화 장치 및 복호화 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040018859A (ko) * 2002-08-27 2004-03-04 한국전자통신연구원 시각 피로 감소를 위한 스테레오 영상의 초점심도 조정장치 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040018859A (ko) * 2002-08-27 2004-03-04 한국전자통신연구원 시각 피로 감소를 위한 스테레오 영상의 초점심도 조정장치 및 그 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013133627A1 (ko) * 2012-03-06 2013-09-12 엘지전자 주식회사 비디오 신호 처리 방법
US9924169B2 (en) 2012-03-06 2018-03-20 Lg Electronics Inc. Method and apparatus for selecting a filter based on a variance of depth data
US10264246B2 (en) 2015-05-21 2019-04-16 Samsung Electronics Co., Ltd. Multi-view image display apparatus and control method thereof, controller, and multi-view image generation method

Also Published As

Publication number Publication date
KR20090088129A (ko) 2009-08-19

Similar Documents

Publication Publication Date Title
KR100739730B1 (ko) 3d 입체 영상 처리 장치 및 방법
KR101483660B1 (ko) 깊이-관련 정보 전파를 위한 방법 및 장치
EP1704730B1 (en) Method and apparatus for generating a stereoscopic image
US8213708B2 (en) Adjusting perspective for objects in stereoscopic images
KR100517517B1 (ko) 중간 시점 영상 합성 방법 및 그를 적용한 3d 디스플레이장치
US20130009952A1 (en) Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging
US9154762B2 (en) Stereoscopic image system utilizing pixel shifting and interpolation
WO2011118084A1 (ja) 画像処理装置および画像処理方法
KR20110116671A (ko) 메쉬 생성 장치 및 그 방법, 그리고, 영상 처리 장치 및 그 방법
Daly et al. Perceptual issues in stereoscopic signal processing
CN102957937A (zh) 处理三维立体影像的系统与方法
Schmeing et al. Depth image based rendering: A faithful approach for the disocclusion problem
Ceulemans et al. Robust multiview synthesis for wide-baseline camera arrays
CN101873509A (zh) 消除深度图序列背景和边缘抖动的方法
Farid et al. Perceptual quality assessment of 3D synthesized images
KR100954281B1 (ko) 다시점 영상의 엘리애징 제거를 위한 필터링 장치 및 방법
US9088774B2 (en) Image processing apparatus, image processing method and program
Devernay et al. Adapting stereoscopic movies to the viewing conditions using depth-preserving and artifact-free novel view synthesis
Tam et al. Stereoscopic image rendering based on depth maps created from blur and edge information
JP2015095779A (ja) 画像処理装置、画像処理方法及び電子機器
WO2015115946A1 (en) Methods for encoding and decoding three-dimensional video content
KR100672925B1 (ko) 적응적 시차 추정 방식을 이용한 다시점 영상 생성 방법
Köppel et al. Filling disocclusions in extrapolated virtual views using hybrid texture synthesis
Balcerek et al. Simple efficient techniques for creating effective 3D impressions from 2D original images
Jeong et al. Depth image‐based rendering for multiview generation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee