KR101828802B1 - Ｉｒ 인텐시티를 이용한 잡음 예측 기반 영상 필터링 장치 및 방법 - Google Patents

Ｉｒ 인텐시티를 이용한 잡음 예측 기반 영상 필터링 장치 및 방법 Download PDF

Info

Publication number
KR101828802B1
KR101828802B1 KR1020110082088A KR20110082088A KR101828802B1 KR 101828802 B1 KR101828802 B1 KR 101828802B1 KR 1020110082088 A KR1020110082088 A KR 1020110082088A KR 20110082088 A KR20110082088 A KR 20110082088A KR 101828802 B1 KR101828802 B1 KR 101828802B1
Authority
KR
South Korea
Prior art keywords
noise
prediction model
depth
pixel
noise prediction
Prior art date
Application number
KR1020110082088A
Other languages
English (en)
Other versions
KR20130008434A (ko
Inventor
김용선
강병민
김도균
이기창
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US13/467,457 priority Critical patent/US9819879B2/en
Priority to EP12173586A priority patent/EP2547095A1/en
Publication of KR20130008434A publication Critical patent/KR20130008434A/ko
Application granted granted Critical
Publication of KR101828802B1 publication Critical patent/KR101828802B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

IR 인텐시티를 기반으로 깊이 영상과 연관된 잡음 예측 모델을 생성함으로써, 생성된 잡음 예측 모델을 통해 깊이 영상 내에 포함된 잡음을 예측하는 영상 필터링 장치 및 방법에 관한 것이다.

Description

ＩＲ 인텐시티를 이용한 잡음 예측 기반 영상 필터링 장치 및 방법{IMAGE FILTERING APPARATUS AND METHOD BASED ON NOISE PREDICTION USING INFRARED RAY INTENSITY}
영상으로부터 잡음을 제거하는 필터링 기술에 관한 것이다.
ToF(Time-of-Flight) 방식의 깊이 영상은 객체로 방출된 적외선(IR: Infrared Ray) 신호와 상기 방출된 적외선 신호가 상기 객체로부터 반사되어 돌아오는 반사 신호간의 위상차를 이용하여 획득할 수 있다.
그러나, 이렇게 획득한 깊이 영상에는 잡음(Noise)이 포함되어 있기 때문에 필터링을 통해 잡음을 제거해야 한다.
종래의 깊이 영상 필터링 방식은 픽셀 단위 비교를 통해 각 픽셀의 가중치를 선정하고, 선정된 가중치에 기초하여 인접 픽셀만 필터링함으로써, 깊이 영상의 잡음 제거에 한계가 있었다.
일실시예에 따른 영상 필터링 장치는 선정된 개수의 깊이(Depth) 영상들로부터 각 픽셀별 깊이값의 표준 편차를 산출하고, 상기 선정된 개수의 IR(Infrared Ray) 인텐시티(Intensity) 영상들을 이용하여 각 픽셀별 IR 인텐시티 평균값을 산출하는 수치 산출부, 및 산출된 상기 표준 편차 및 상기 IR 인텐시티 평균값을 이용하여 깊이 영상과 연관된 잡음(Noise) 예측 모델을 생성하는 모델 생성부를 포함한다.
상기 영상 필터링 장치는 노출 시간(Integration Time) 또는 거리가 상이한 선정된 개수의 깊이 영상들을 획득하는 깊이 영상 획득부를 더 포함할 수 있다. 상기 수치 산출부는 상기 획득한 깊이 영상들 내에 포함된 각 픽셀별 깊이값의 표준 편차를 산출할 수 있다.
상기 영상 필터링 장치는 색상 또는 재질이 상이한 객체를 포함하는 선정된 개수의 IR 인텐시티 영상들을 획득하는 IR 인텐시티 획득부를 더 포함할 수 있다. 상기 수치 산출부는 상기 획득한 IR 인텐시티 영상들을 이용하여 각 픽셀별 IR 인텐시티 평균값을 산출할 수 있다.
상기 모델 생성부는 상기 잡음 예측 모델을 지수 함수로서 생성할 수 있다.
상기 영상 필터링 장치는 상기 생성된 잡음 예측 모델과 연관된 필터 파라미터를 변경하여, 상기 잡음 예측 모델을 개선하는 파라미터 결정부를 더 포함할 수 있다.
상기 파라미터 결정부는 상기 필터 파라미터로서, 상기 깊이 영상 내 픽셀별 잡음 향상 배수를 계산하고, 계산된 잡음 향상 배수를 이용하여 상기 잡음 예측 모델을 개선할 수 있다.
상기 파라미터 결정부는 상기 필터 파라미터로서, 잡음 향상 배수를 이용하여 상기 깊이 영상 내 각 픽셀별 서치 레인지(Search Range)를 계산하고, 계산된 서치 레인지를 이용하여 상기 잡음 예측 모델을 개선할 수 있다.
상기 파라미터 결정부는 상기 필터 파라미터로서, 상기 서치 레인지에 포함된 블록에 대한 유사도, 크기 또는 가중치 중 어느 하나를 변경하여 상기 잡음 예측 모델을 개선할 수 있다.
다른 일실시예에 따른 영상 필터링 장치는 깊이 영상과 연관된 잡음 예측 모델을 생성하는 모델 생성부, 및 상기 생성된 잡음 예측 모델을 이용하여 깊이 카메라로부터 획득한 깊이 영상으로부터 잡음을 제거하는 잡음 제거부를 포함한다.
상기 모델 생성부는 상기 깊이 카메라로부터 획득된 깊이 영상들의 각 픽셀별 깊이값 표준편차 및 IR 인텐시티 영상들의 각 픽셀별 IR 인텐시티 평균값을 이용하여 상기 잡음 예측 모델을 생성할 수 있다.
상기 잡음 제거부는 상기 잡음 예측 모델과 연관된 필터 파라미터를 변경하여, 상기 깊이 영상으로부터 잡음을 제거할 수 있다.
일실시예에 따른 영상 필터링 방법은 깊이 영상들과 연관된 각 픽셀별 깊이값의 표준 편차를 산출하는 단계, IR 인텐시티 영상들을 이용하여 각 픽셀별 IR 인텐시티 평균값을 산출하는 단계, 및 상기 표준 편차 및 상기 IR 인텐시티 평균값을 이용하여 깊이 영상과 연관된 잡음 예측 모델을 생성하는 단계를 포함할 수 있다.
IR 인텐시티를 기반으로 깊이 영상과 연관된 잡음 예측 모델을 생성함으로써, 잡음 예측 모델을 통해 깊이 영상의 잡음을 예측할 수 있다.
깊이 영상에 포함된 잡음에 따라 잡음 예측 모델의 필터 파라미터를 가변함으로써, 잡음 예측 모델을 개선할 수 있다.
깊이 영상 고정밀화 방법으로 영상 신호 처리(ISP: Image Signal Processor)에 적용 가능하다.
IR 인텐시티를 기반으로 생성한 잡음 예측 모델을 영상 향상 또는 잡음 제거(Denoising)에 적용 가능하다.
도 1은 본 발명의 일실시예에 따른 영상 필터링 장치의 구성을 도시한 블록도이다.
도 2는 IR 인텐시티 영상으로부터 잡음을 예측하는 일례를 도시한 도면이다.
도 3은 깊이 영상의 잡음과 IR 인텐시티 간의 상관관계를 나타내는 일례를 도시한 도면이다.
도 4는 잡음 예측 모델을 이용하여 잡음을 깊이 영상에 추가하는 일례를 도시한 도면이다.
도 5는 깊이 영상 내 블록 유사도를 산출하는 일례를 도시한 도면이다.
도 6은 깊이 영상 내 픽셀별 서치 레인지와 블록 크기를 나타내는 일례를 도시한 도면이다.
도 7은 깊이 영상 내 픽셀당 가중치를 산출하는 일례를 도시한 도면이다.
도 8은 본 발명의 다른 실시예에 따른 영상 필터링 장치의 구성을 도시한 블록도이다.
도 9는 잡음 예측 모델을 이용하여 깊이 영상으로부터 잡음을 제거하는 일례를 도시한 도면이다.
도 10은 본 발명의 일실시예에 따른 영상 필터링 방법의 순서를 도시한 흐름도이다.
이하, 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 다양한 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.
도 1은 본 발명의 일실시예에 따른 영상 필터링 장치의 구성을 도시한 블록도이다.
도 1을 참고하면, 영상 필터링 장치(100)는 깊이 카메라(110), 깊이 영상 획득부(120), IR 인텐시티 획득부(130), 수치 산출부(140), 모델 생성부(150), 및 파라미터 결정부(160)를 포함할 수 있다.
깊이 카메라(110, Depth Camera)는 ToF(Time of Flight) 방식으로 정해진 단일 파장을 갖는 적외선 신호를 객체로 방출하고, 방출된 적외선 신호가 상기 객체로부터 반사되어 돌아오는 반사 신호의 위상차를 계산함으로써, 깊이 영상을 획득할 수 있다. 여기서, 객체는 피사체(subject)를 의미하며, 사진을 찍는 대상이 되는 것이다.
즉, 상기 깊이 영상의 정밀도 또는 잡음은 픽셀 내에서 반사된 IR(Infrared Ray)에 의해 발생된 전자의 개수에 따라 결정된다. 일례로, 상기 깊이 영상 내 잡음은 푸아송(Poisson) 분포로 모델링될 수 있다. 푸아송 분포를 적용하여 근사화하면, 깊이 영상 내 잡음(
Figure 112011063851650-pat00001
R)은 다음과 같은 관계를 갖는다.
Figure 112011063851650-pat00002
여기서, k는 상수, Nelectron은 수신된 IR 로부터 픽셀에 발생한 전자의 개수(전하량)이다.
수학식 1을 참고하면, 전자의 개수가 많을수록 잡음이 적고, 전자의 개수가 적을수록 잡음이 큰 것을 알 수 있다. 또한, 픽셀별로 잡음이 다를 수 있음을 알 수 있다.　　이러한, 영상 필터링 장치(100)는 수학식 1을 기반으로 IR 인텐시티(Intensity)와 전자의 개수간의 상관관계를 나타낼 수 있다.
Figure 112011063851650-pat00003
여기서, Nelectron은 수신된 IR 로부터 픽셀에 발생한 전자의 개수, ρ는 IR이 객체로부터 반사된 반사도, dist2은 깊이 카메라가 객체로부터 떨어진 거리, IR은 IR 인텐시티(Intensity)값이다.
영상 필터링 장치(100)는 IR 인텐시티(Intensity)를 이용하여 잡음을 정확하게 예측하고, 예측된 잡음에 따라 필터 파라미터를 변경함으로써, 영상 블록 기반의 에버리징(Averaging) 방식의 필터링을 제안한다.
수학식 1, 2로부터 깊이 영상의 잡음은 각 픽셀에서 수광된 IR에 의해 발생된 전자의 개수에 관계되어 있음을 알 수 있다. 이 전자의 개수는 깊이 카메라(110) 또는 깊이 센서로부터 얻을 수 있는 IR 인텐시티에 비례한다. IR 인텐시티와 깊이 영상 내 잡음간의 상관관계를 나타내는 함수는 다음의 과정을 통하여 구한다.
깊이 영상 획득부(120)는 깊이 카메라(110)로부터 상기 깊이 영상을 획득할 수 있다. 실시예로, 깊이 영상 획득부(120)는 깊이 카메라(110)의 노출 시간(Integration Time) 또는 깊이 카메라(110)와 객체 간의 거리를 변경하여, 선정된 개수의 깊이 영상들을 획득할 수 있다. 상기 선정된 개수는 좋은 잡음 예측 모델을 생성하기 위해 적절한 개수를 고려하여 선정될 수 있다. 상기 선정된 개수는 N(N은 자연수)개를 의미하며, 예컨대, '10,000'개 일 수 있다.
수치 산출부(140)는 상기 선정된 개수의 깊이 영상들로부터 각 픽셀별 깊이값의 표준 편차(Standard Deviation)를 산출한다. 수치 산출부(140)는 상기 깊이 영상들로부터 각 픽셀별 깊이값을 추출하고, 추출된 깊이값의 표준편차를 산출할 수 있다. 즉, 수치 산출부(140)는 N장의 깊이 영상들 내 동일한 위치의 픽셀 내 깊이값의 표준편차를 산출할 수 있다.
IR 인텐시티 획득부(130)는 깊이 카메라(110)로부터 색상 또는 재질이 상이한 객체를 포함하는 선정된 개수의 IR(Infrared Ray) 인텐시티(Intensity) 영상들을 획득할 수 있다. IR 인텐시티 영상은 상기 객체로 방출된 적외선 신호가 상기 객체로부터 반사되어 돌아오는 반사 신호로부터 얻어지는 전하량으로 생성될 수 있다. 여기서, 상기 선정된 개수는 M(M은 자연수)개를 의미하며, 예컨대, '10,000'개 일 수 있다.
이때, 상기 N과 상기 M은 동일한 값을 가질 수 있다.
수치 산출부(140)는 상기 선정된 개수의 IR 인텐시티 영상들을 이용하여 각 픽셀별 IR 인텐시티 평균값을 산출한다. 수치 산출부(140)는 상기 IR 인텐시티 영상들로부터 각 픽셀별 IR 인텐시티값을 추출하고, 추출된 IR 인텐시티값을 평균하여 IR 인텐시티 평균값을 산출할 수 있다.
모델 생성부(150)는 산출된 상기 표준 편차 및 상기 IR 인텐시티 평균값을 이용하여 깊이 영상과 연관된 잡음(Noise) 예측 모델을 생성한다. 모델 생성부(150)는 상기 잡음 예측 모델을 지수 함수 형태로 생성할 수 있다.
Figure 112011063851650-pat00004
여기서,
Figure 112011063851650-pat00005
d는 잡음 예측 모델, a, b, c는 상수, IR은 IR 인텐시티값이다. 참고로, a, b, c는 깊이 카메라(110)에 따라 가변적으로 달라질 수 있다.
실시예로, 모델 생성부(150)는 수학식 3에서 상수 a, b, c를 가변적으로 변경함으로써, 정확한 잡음 예측 모델을 생성할 수 있다.
파라미터 결정부(160)는 상기 생성된 잡음 예측 모델을 이용하여 깊이 영상 내 잡음을 효율적으로 제거할 수 있다. 파라미터 결정부(160)는 상기 생성된 잡음 예측 모델을 이용하여 깊이 카메라(110)로부터 획득되는 실제 깊이 영상에 적용시킴으로써, 상기 잡음 예측 모델이 정확히 생성되었는지 확인할 수 있다.
도 2는 IR 인텐시티 영상으로부터 잡음을 예측하는 일례를 도시한 도면이다.
도 2를 참고하면, 210은 실제 N장의 깊이 영상을 이용하여 각 픽셀별 깊이값의 표준편차를 산출하여 획득한 잡음을 나타낸다. 220은 IR 인텐시티 영상으로부터 획득한 IR 인텐시티이다. 230은 상기 획득한 IR 인텐시티(220)를 이용하여 상기 생성된 잡음 예측 모델을 통해 예측한 잡음을 나타낸다. 210 잡음과 230 잡음의 상관관계는 0.96으로, 1에 매우 가까운 것을 알 수 있다. 상관관계가 1에 가까울수록 두 데이터가 일치한다고 볼 수 있기 때문에, 상기 생성된 잡음 예측 모델이 비교적 정확하다고 할 수 있다.
도 3은 깊이 영상의 잡음과 IR 인텐시티 간의 상관관계를 나타내는 일례를 도시한 도면이다.
도 3을 참고하면, 깊이 영상의 잡음은 IR 인텐시티와 반비례 관계임을 알 수 있다. 즉, IR 인텐시티가 클수록 잡음이 적고, IR 인텐시티가 적을수록 잡음이 많음을 알 수 있다. 도면에서, 실선은 상기 생성된 잡음 예측 모델로 깊이 영상 내 잡음을 나타낸 것이고, 점은 실제 깊이 영상 내 잡음을 나타낸 것이다. 예컨대, 예측된 잡음(실선)과 실제 잡음(점) 간의 에러가 1.7mm 정도 차이가 난다면, 파라미터 결정부(160)는 상기 생성된 잡음 예측 모델이 비교적 정확히 생성되었다고 확인할 수 있다.
도 4는 잡음 예측 모델을 이용하여 잡음을 깊이 영상에 추가하는 일례를 도시한 도면이다.
도 4를 참고하면, 410은 잡음 예측 모델을 이용하여 가우시안(Gaussian) 잡음을 발생시켜, N개 평균한 깊이 영상에 추가한 시뮬레이션 깊이 영상이다. 이때, N개를 평균한 깊이 영상을 잡음 없는(Noise-free) 영상으로 가정할 수 있다.
420은 잡음 예측 모델을 이용하여 가우시안(Gaussian) 잡음을 발생시켜, N개 평균한 깊이 영상에 추가하여, 캡쳐한 깊이 영상을 나타낸다.
즉, 도 4에서는 시뮬레이션 깊이 영상(410)과, 캡쳐한 깊이 영상(420)에 랜덤 잡음이 추가된 형태이므로, 두 영상간의 유사도를 정량적으로 비교하기 어렵지만, 정성적으로는 매우 유사함을 알 수 있다. 따라서, 파라미터 결정부(160)는 상기 생성된 잡음 예측 모델이 비교적 정확히 생성되었다고 확인할 수 있다.
실시예로, 파라미터 결정부(160)는 상기 생성된 잡음 예측 모델과 연관된 필터 파라미터를 변경하여, 상기 잡음 예측 모델을 개선할 수 있다.
파라미터 결정부(160)는 상기 필터 파라미터로서, 상기 깊이 영상 내 픽셀별 잡음 향상 배수를 계산할 수 있다.
Figure 112011063851650-pat00006
여기서, r은 잡음 향상 배수,
Figure 112011063851650-pat00007
d는 잡음 예측 모델, dt는 원하는 잡음 레벨이다.
예를 들어, 깊이 영상 내에 '10'만큼의 잡음이 포함되어 있는 경우, 원하는 잡음 레벨을 '1'로 설정할 수 있다. 따라서, 10의 잡음을 1만큼 줄일려면, 10배의 잡음이 줄어들어야 한다. 이를, 확률 변수(random variable)로 계산하면, 100개를 평균내면 10배만큼의 잡음을 줄일 수 있다.
따라서, 파라미터 결정부(160)는 r배의 잡음 향상 배수를 얻으려면, 최소 r2의 픽셀이 필요하다. 파라미터 결정부(160)는 상기 계산된 잡음 향상 배수를 이용하여 상기 잡음 예측 모델을 개선할 수 있다.
다른 실시예로, 파라미터 결정부(160)는 상기 필터 파라미터로서, 잡음 향상 배수를 이용하여 상기 깊이 영상 내 각 픽셀별 서치 레인지(Search Range)를 계산할 수 있다. 서치 레인지는 깊이 영상 내 잡음을 필터링할 윈도우를 의미할 수 있다. 예컨대, 서치 레인지 's'의 가로와 세로는 각각 'r'로 계산될 수 있다(s = r x r). 서치 레인지(s)의 가로, 세로를 'r'로 계산하는 경우는 서치 레인지에 포함된 픽셀값에 에지와 같은 특이값이 포함되어 있지 않는 경우(픽셀값이 플랏(flat)한 경우)에 이용할 수 있다. 만약, 깊이 영상 내 에지가 포함되어 있는 경우, 파라미터 결정부(160)는 1.4 x r(
Figure 112011063851650-pat00008
x r)를 서치 레인지로서 계산할 수 있다. 파라미터 결정부(160)는 계산된 서치 레인지를 이용하여 상기 잡음 예측 모델을 개선할 수 있다.
상기 서치 레인지는 깊이 영상 내 잡음을 필터링하기 위해, 평균하는 픽셀 수와 연관되어 있다. 이상적으로는 상기 서치 레인지가 클수록 필터링이 많이 된다고 할 수 있다. 따라서, 깊이 영상 내에 에지가 포함되어 있는지 없는지 불명확하므로, 파라미터 결정부(160)는 최소한의 서치 레인지로 1.4r만큼을 사용할 수 있다.
또 다른 실시예로, 파라미터 결정부(160)는 상기 필터 파라미터로서, 상기 서치 레인지에 포함된 블록에 대한 유사도, 크기 또는 가중치 중 어느 하나를 변경하여 상기 잡음 예측 모델을 개선할 수 있다.
파라미터 결정부(160)는 서치 레인지 내에 포함된 블록 간의 유사도(σ)를 계산할 수 있다.
Figure 112011063851650-pat00009
여기서, σ는 블록 유사도,
Figure 112011063851650-pat00010
d는 잡음 예측 모델이다.
도 5는 깊이 영상 내 블록 유사도를 산출하는 일례를 도시한 도면이다.
도 5를 참고하면, 파라미터 결정부(160)는 깊이 영상에 포함된 블록 내 픽셀의 히스토그램(Histogram)을 이용하여　상기 블록의 중심픽셀 및 주변픽셀의 신뢰도를　계산하고, 픽셀 별 신뢰도에 따른 픽셀당 가중치를 이용하여 블록 유사도를　계산할 수 있다.
일반적으로, 서치 레인지에 포함된 두 블록은 잡음 레벨만큼 차이가 날 것이라고 예측할 수 있다. 파라미터 결정부(160)는 상기 계산된 블록 유사도에 기초하여 각 블록에 대한 가중치를 줄 수 있다. 파라미터 결정부(160)는 상기 블록 유사도를 가변적으로 변경함으로써, 상기 잡음 예측 모델을 개선할 수 있다.
파라미터 결정부(160)는 서치 레인지에 포함된 블록 크기(p)를 계산할 수 있다.
Figure 112011063851650-pat00011
여기서, p는 블록 크기, s는 서치 레인지이다.
도 6은 깊이 영상 내 픽셀별 서치 레인지와 블록 크기를 나타내는 일례를 도시한 도면이다.
도 6을 참조하면, 파라미터 결정부(160)는 서치 레인지에 기초하여 블록 크기를 설정할 수 있다. 예컨대, 파라미터 결정부(160)는 서치 레인지가 크면 블록 크기도 크게 설정하고, 서치 레인지가 작으면 블록 크기도 작게 설정할 수 있다. 즉, 상기 서치 레인지와 블록의 크기는 비례 관계임을 알 수 있다. 즉, 파라미터 결정부(160)는 상기 서치 레인지에 기초하여 상기 블록 크기를 가변적으로 변경함으로써, 상기 잡음 예측 모델을 개선할 수 있다.
파라미터 결정부(160)는 상기 서치 레인지에 포함된 블록에 대한 가중치(w)를 계산할 수 있다.
Figure 112011063851650-pat00012
여기서, w는 블록 가중치, r은 잡음 향상 배수이다.
파라미터 결정부(160)는 상기 서치 레인지와 상기 블록 유사도를 이용하여 상기 블록 가중치를 계산할 수 있다.
예를 들어, 잡음 향상 배수가 크면, 블록 가중치도 함께 커져야 잡음이 많이 제거된다. 따라서, 파라미터 결정부(160)는 상기 블록 가중치를 가변적으로 변경함으로써, 상기 잡음 예측 모델을 개선할 수 있다.
이로써, 파라미터 결정부(160)는 상기 개선된 잡음 예측 모델을 이용하여 깊이 영상 내 잡음을 효율적으로 제거할 수 있다.
도 7은 깊이 영상 내 픽셀당 가중치를 산출하는 일례를 도시한 도면이다.
도 7을 참조하면, 파라미터 결정부(160)는 블록에 포함된 중심 픽셀의 신뢰도가 낮은 경우, 픽셀당 가중치를 낮춰 솔트 앤 페퍼(Salt &　Pepper) 타입의 잡음을 제거할 수 있다(710). 반면, 파라미터 결정부(160)는 중심 픽셀의 신뢰도가 높은 경우, 픽셀당 가중치를 높여 객체 내 에지를 선명하게 향상시킬 수 있다(720).
도 8은 본 발명의 다른 실시예에 따른 영상 필터링 장치의 구성을 도시한 블록도이다.
도 8을 참고하면, 영상 필터링 장치(800)는 모델 생성부(810), 잡음 제거부(820), 및 깊이 카메라(830)를 포함할 수 있다.
깊이 카메라(830)는 ToF 방식으로 정해진 단일 파장을 갖는 적외선 신호를 객체로 방출하고, 방출된 적외선 신호가 상기 객체로부터 반사되어 돌아오는 반사 신호의 위상차를 계산함으로써, 깊이 영상을 획득할 수 있다.
모델 생성부(810)는 상기 획득한 깊이 영상과 연관된 잡음 예측 모델을 생성한다. 실시예로, 모델 생성부(810)는 깊이 카메라(830)로부터 획득된 깊이 영상들의 각 픽셀별 깊이값 표준편차 및 IR 인텐시티 영상들의 각 픽셀별 IR 인텐시티 평균값을 이용하여 상기 잡음 예측 모델을 생성할 수 있다.
예컨대, 모델 생성부(810)는 노출 시간 또는 거리가 상이한 N(N은 자연수)개의 깊이 영상들을 내에 포함된 각 픽셀별 깊이값의 표준 편차를 산출할 수 있다. 또한, 모델 생성부(810)는 색상 또는 재질이 상이한 객체를 포함하는 M(M은 자연수)개의 IR 인텐시티 영상들을 이용하여 각 픽셀별 IR 인텐시티 평균값을 산출할 수 있다.
다른 실시예로, 모델 생성부(810)는 상기 잡음 예측 모델을 지수 함수(수학식 3)로서 생성할 수 있다.
잡음 제거부(820)는 상기 생성된 잡음 예측 모델을 이용하여 깊이 카메라(830)로부터 획득한 깊이 영상으로부터 잡음을 제거한다. 실시예로, 잡음 제거부(820)는 상기 잡음 예측 모델과 연관된 필터 파라미터를 변경함으로써, 상기 잡음 예측 모델을 개선시킬 수 있다. 잡음 제거부(820)는 상기 개선된 잡음 예측 모델을 이용하여 상기 깊이 영상으로부터 잡음을 제거할 수 있다.
도 9는 잡음 예측 모델을 이용하여 깊이 영상으로부터 잡음을 제거하는 일례를 도시한 도면이다.
도 9를 참조하면, 입력된 깊이 영상(910)에 대하여, 920(종래기술)은 픽셀별 필터 파라미터를 고정하여, 깊이 영상(910) 내 잡음을 제거한 영상이고, 930(본 발명)은 픽셀별 필터 파라미터를 가변하여, 깊이 영상(910) 내 잡음을 제거한 영상이다.
제1 영역(위에 동그라미)은 잡음이 적게 포함되어 있는 영역이다. 제1 영역에서는, 930의 영상에서는 에지가 남아있는 반면, 920의 영상에서는 블러(blur)가 된 것을 알 수 있다. 반면, 제2 영역(아래 동그라미)은 잡음이 많이 포함되어 있는 영역이다. 제2 영역에서는, 930의 영상이 920의 영상보다 잡음이 많이 줄었음을 알 수 있다.
왜냐하면, 제1 영역은 잡음이 적게 포함되어 있기 때문에, 1배만큼만 필터링하면 되고, 제2 영역은 잡음이 많이 포함되어 있기 때문에, 10배만큼 필터링해야 한다. 따라서, 본 발명과 같은 영상 필터링 장치에서는 픽셀 별로 서로 상이한 필터 파라미터를 주어, 깊이 영상으로부터 잡음을 제거할 수 있다. 즉, 영상 필터링 장치는 가변적으로 필터 파라미터를 변경하여 잡음이 적게 포함되어 있는 제1 영역에서는 1배만큼 필터링하고, 잡음이 많이 포함되어 있는 제2 영역에서는 제1 영역과 달리 10배만큼 필터링할 수 있다.
반면, 종래기술에서는 픽셀별로 모두 동일하게 필터 파라미터를 적용하였기 때문에, 제1 영역과 제2 영역 모두 동일한 값, 예컨대, '5'배만큼 필터링한 것이다. 따라서, 잡음이 적에 포함된 제1 영역에서는 너무 많이 필터링되어, 블러 현상이 발생하고, 잡음이 많이 포함된 제2 영역에서는 적게 필터링되어, 잡음이 남아있는 것이다.
즉, 본 발명과 같은 영상 필터링 장치에서는 깊이 영상 내 포함된 잡음을 예측하고, 필터 파라미터를 가변하여 예측된 잡음을 제거함으로써, 깊이 영상 내 잡음을 효율적으로 제거할 수 있다.
도 10은 본 발명의 일실시예에 따른 영상 필터링 방법의 순서를 도시한 흐름도이다.
도 10에 도시한 영상 필터링 방법은 도 1에 도시한 영상 필터링 장치(100) 또는 도 8에 도시한 영상 필터링 장치(800)에 의해 수행될 수 있다.
도 10을 참조하면, 단계 1010에서, 영상 필터링 장치는 깊이 영상들과 연관된 각 픽셀별 깊이값의 표준 편차를 산출한다. 실시예로, 상기 영상 필터링 장치는 노출 시간 또는 거리가 상이한 N(N은 자연수)개의 깊이 영상들을 획득하고, 상기 획득한 깊이 영상들 내에 포함된 각 픽셀별 깊이값의 표준 편차를 산출할 수 있다.
단계 1020에서, 상기 영상 필터링 장치는 IR 인텐시티 영상들을 이용하여 각 픽셀별 IR 인텐시티 평균값을 산출한다. 실시예로, 상기 영상 필터링 장치는 색상 또는 재질이 상이한 객체를 포함하는 M(M은 자연수)개의 IR 인텐시티 영상들을 획득하고, 상기 획득한 IR 인텐시티 영상들을 이용하여 각 픽셀별 IR 인텐시티 평균값을 산출할 수 있다.
단계 1030에서, 상기 영상 필터링 장치는 상기 표준 편차 및 상기 IR 인텐시티 평균값을 이용하여 깊이 영상과 연관된 잡음 예측 모델을 생성한다. 실시예로, 상기 영상 필터링 장치는 상기 잡음 예측 모델을 지수 함수(수학식 3)로서 생성할 수 있다.
단계 1040에서, 상기 영상 필터링 장치는 상기 생성된 잡음 예측 모델을 이용하여 깊이 카메라로부터 획득하는 깊이 영상으로부터 잡음을 제거한다.
실시예로, 상기 영상 필터링 장치는 상기 생성된 잡음 예측 모델과 연관된 필터 파라미터를 변경하여 상기 잡음 예측 모델을 개선할 수 있다. 예를 들어, 상기 영상 필터링 장치는 상기 깊이 영상 내 픽셀별 잡음 향상 배수를 계산하고, 상기 계산된 잡음 향상 배수를 이용하여 상기 깊이 영상 내 각 픽셀별 서치 레인지를 계산함으로써, 상기 계산된 서치 레인지를 이용하여 상기 잡음 예측 모델을 개선할 수 있다. 상기 영상 필터링 장치는 상기 필터 파라미터로서, 상기 서치 레인지에 포함된 블록에 대한 유사도, 크기 또는 가중치 중 어느 하나를 변경할 수도 있다.
이로써, 상기 영상 필터링 장치는 상기 필터 파라미터를 가변하여 잡음 예측 모델을 개선시키고, 개선된 잡음 예측 모델을 통해 깊이 영상 내 잡음을 효율적으로 제거할 수 있다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 영상 필터링 장치
110: 깊이 카메라
120: 깊이 영상 획득부
130: IR 인텐시티 획득부
140: 수치 산출부
150: 모델 생성부
160: 파라미터 결정부

Claims (19)

  1. 선정된 개수의 깊이(Depth) 영상들로부터 각 픽셀별 깊이값의 표준 편차를 산출하고, 상기 선정된 개수의 IR(Infrared Ray) 인텐시티(Intensity) 영상들을 이용하여 각 픽셀별 IR 인텐시티 평균값을 산출하는 수치 산출부;
    산출된 상기 표준 편차 및 상기 IR 인텐시티 평균값을 이용하여 깊이 영상과 연관된 잡음(Noise) 예측 모델을 생성하는 모델 생성부; 및
    상기 생성된 잡음 예측 모델과 연관된 필터 파라미터를 변경하여, 상기 잡음 예측 모델을 개선하는 파라미터 결정부
    를 포함하고,
    상기 파라미터 결정부는,
    상기 필터 파라미터로서, 잡음 향상 배수를 이용하여 상기 깊이 영상 내 각 픽셀별 서치 레인지(Search Range)를 계산하고,
    상기 필터 파라미터로서, 상기 서치 레인지에 포함된 블록에 대한 유사도를 변경하여 상기 잡음 예측 모델을 개선하고,
    상기 유사도는,
    상기 블록 내에서 중심 픽셀 및 주변 픽셀의 신뢰도에 기초하여 결정되는 영상 필터링 장치.
  2. 제1항에 있어서,
    노출 시간(Integration Time) 또는 객체와의 거리가 상이한 선정된 개수의 깊이 영상들을 획득하는 깊이 영상 획득부
    를 더 포함하고,
    상기 수치 산출부는,
    상기 획득한 깊이 영상들 내에 포함된 각 픽셀별 깊이값의 표준 편차를 산출하는, 영상 필터링 장치.
  3. 제1항에 있어서,
    색상 또는 재질이 상이한 객체를 포함하는 선정된 개수의 IR 인텐시티 영상들을 획득하는 IR 인텐시티 획득부
    를 더 포함하고,
    상기 수치 산출부는,
    상기 획득한 IR 인텐시티 영상들을 이용하여 각 픽셀별 IR 인텐시티 평균값을 산출하는, 영상 필터링 장치.
  4. 제1항에 있어서,
    상기 모델 생성부는,
    상기 잡음 예측 모델을 지수 함수로서 생성하는, 영상 필터링 장치.
  5. 삭제
  6. 제1항에 있어서,
    상기 파라미터 결정부는,
    상기 필터 파라미터로서, 상기 깊이 영상 내 픽셀별 잡음 향상 배수를 계산하고, 계산된 잡음 향상 배수를 이용하여 상기 잡음 예측 모델을 개선하는, 영상 필터링 장치.
  7. 제1항에 있어서,
    상기 파라미터 결정부는,
    상기 계산된 서치 레인지를 이용하여 상기 잡음 예측 모델을 개선하는, 영상 필터링 장치.
  8. 제7항에 있어서,
    상기 파라미터 결정부는,
    상기 필터 파라미터로서, 상기 서치 레인지에 포함된 블록에 대한 크기 또는 가중치 중 어느 하나를 변경하여 상기 잡음 예측 모델을 개선하는, 영상 필터링 장치.
  9. 깊이 영상과 연관된 잡음 예측 모델을 생성하는 모델 생성부; 및
    상기 생성된 잡음 예측 모델을 이용하여 깊이 카메라로부터 획득한 깊이 영상으로부터 잡음을 제거하는 잡음 제거부
    를 포함하는, 영상 필터링 장치.
  10. 제9항에 있어서,
    상기 모델 생성부는,
    상기 깊이 카메라로부터 획득된 깊이 영상들의 각 픽셀별 깊이값 표준편차 및 IR 인텐시티 영상들의 각 픽셀별 IR 인텐시티 평균값을 이용하여 상기 잡음 예측 모델을 생성하는, 영상 필터링 장치.
  11. 제9항에 있어서,
    상기 잡음 제거부는,
    상기 잡음 예측 모델과 연관된 필터 파라미터를 변경하여, 상기 깊이 영상으로부터 잡음을 제거하는, 영상 필터링 장치.
  12. 깊이 영상들과 연관된 각 픽셀별 깊이값의 표준 편차를 산출하는 단계;
    IR 인텐시티 영상들을 이용하여 각 픽셀별 IR 인텐시티 평균값을 산출하는 단계;
    상기 표준 편차 및 상기 IR 인텐시티 평균값을 이용하여 깊이 영상과 연관된 잡음 예측 모델을 생성하는 단계; 및
    상기 생성된 잡음 예측 모델과 연관된 필터 파라미터를 변경하여 상기 잡음 예측 모델을 개선하는 단계
    를 포함하고,
    상기 잡음 예측 모델을 개선하는 단계는,
    상기 깊이 영상 내 픽셀별 잡음 향상 배수를 계산하는 단계;
    상기 계산된 잡음 향상 배수를 이용하여 상기 깊이 영상 내 각 픽셀별 서치 레인지를 계산하는 단계; 및
    상기 필터 파라미터로서, 상기 서치 레인지에 포함된 블록에 대한 유사도를 변경하여 상기 잡음 예측 모델을 개선하는 단계
    를 포함하고,
    상기 유사도는,
    상기 블록 내에서 중심 픽셀 및 주변 픽셀의 신뢰도에 기초하여 결정되는
    영상 필터링 방법.
  13. 제12항에 있어서,
    상기 각 픽셀별 깊이값의 표준 편차를 산출하는 단계는,
    노출 시간 또는 객체와의 거리가 상이한 N(N은 자연수)개의 깊이 영상들을 획득하는 단계; 및
    상기 획득한 깊이 영상들 내에 포함된 각 픽셀별 깊이값의 표준 편차를 산출하는 단계
    를 포함하는, 영상 필터링 방법.
  14. 제12항에 있어서,
    상기 IR 인텐시티 평균값을 산출하는 단계는,
    색상 또는 재질이 상이한 객체를 포함하는 M(M은 자연수)개의 IR 인텐시티 영상들을 획득하는 단계; 및
    상기 획득한 IR 인텐시티 영상들을 이용하여 각 픽셀별 IR 인텐시티 평균값을 산출하는 단계
    를 포함하는, 영상 필터링 방법.
  15. 제12항에 있어서,
    상기 깊이 영상과 연관된 잡음 예측 모델을 생성하는 단계는,
    상기 잡음 예측 모델을 지수 함수로서 생성하는 단계
    를 포함하는, 영상 필터링 방법.
  16. 삭제
  17. 제12항에 있어서,
    상기 잡음 예측 모델을 개선하는 단계는,
    상기 계산된 서치 레인지를 이용하여 상기 잡음 예측 모델을 개선하는 단계
    를 포함하는, 영상 필터링 방법.
  18. 제17항에 있어서,
    상기 잡음 예측 모델을 개선하는 단계는,
    상기 필터 파라미터로서, 상기 서치 레인지에 포함된 블록에 대한 크기 또는 가중치 중 어느 하나를 변경하여 상기 잡음 예측 모델을 개선하는 단계
    를 포함하는, 영상 필터링 방법.
  19. 제12항에 있어서,
    상기 생성된 잡음 예측 모델을 이용하여 깊이 카메라로부터 획득하는 깊이 영상으로부터 잡음을 제거하는 단계
    를 더 포함하는, 영상 필터링 방법.
KR1020110082088A 2011-07-12 2011-08-18 Ｉｒ 인텐시티를 이용한 잡음 예측 기반 영상 필터링 장치 및 방법 KR101828802B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/467,457 US9819879B2 (en) 2011-07-12 2012-05-09 Image filtering apparatus and method based on noise prediction using infrared ray (IR) intensity
EP12173586A EP2547095A1 (en) 2011-07-12 2012-06-26 Image filtering apparatus and method based on noise prediction using infrared ray (IR) intensity

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161506765P 2011-07-12 2011-07-12
US61/506,765 2011-07-12

Publications (2)

Publication Number Publication Date
KR20130008434A KR20130008434A (ko) 2013-01-22
KR101828802B1 true KR101828802B1 (ko) 2018-02-14

Family

ID=47838540

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110082088A KR101828802B1 (ko) 2011-07-12 2011-08-18 Ｉｒ 인텐시티를 이용한 잡음 예측 기반 영상 필터링 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101828802B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022075792A1 (ko) * 2020-10-08 2022-04-14 삼성전자주식회사 전자 장치 및 그 제어 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Dragos Falie ET AL: "Noise Characteristics of 3D Time-of-Flight Cameras", International Symposium on Signals, Circuits and Systems, 2007(ISSCS 2007), 13-14 July 2007(2007.07.13.)*
Frederic Garcia ET AL: "Pixel weighted average strategy for depth sensor data fusion", 2010 17th IEEE International Conference on Image Processing (ICIP), 26-29 Sept. 2010(2010.09.26.)*

Also Published As

Publication number Publication date
KR20130008434A (ko) 2013-01-22

Similar Documents

Publication Publication Date Title
US9819879B2 (en) Image filtering apparatus and method based on noise prediction using infrared ray (IR) intensity
KR101896301B1 (ko) 깊이 영상 처리 장치 및 방법
KR101518722B1 (ko) 안개 등의 대기 산란 입자로 인한 왜곡 보정용 영상 처리 방법 및 장치
US20150092017A1 (en) Method of decreasing noise of a depth image, image processing apparatus and image generating apparatus using thereof
KR101248808B1 (ko) 경계 영역의 잡음 제거 장치 및 방법
KR20100085675A (ko) 깊이 정보를 이용한 깊이 노이즈 필터링 방법 및 장치
US20190304112A1 (en) Methods and systems for providing selective disparity refinement
KR20100132189A (ko) 영상 처리 장치 및 방법
JP6646667B2 (ja) ノイズの多い奥行きまたは視差画像のリアルタイム適応的フィルタリングを行う方法および装置
JP2016505186A (ja) エッジ保存・ノイズ抑制機能を有するイメージプロセッサ
KR20140118031A (ko) 영상 처리 장치 및 방법
US11520052B2 (en) Adaptive processing in time of flight imaging
JP2018133110A (ja) 画像処理装置及び画像処理プログラム
KR101828802B1 (ko) Ｉｒ 인텐시티를 이용한 잡음 예측 기반 영상 필터링 장치 및 방법
US9129369B1 (en) Method for characterizing an atmospheric channel
JP5431501B2 (ja) 画像処理装置、及びその方法
KR101651889B1 (ko) 극저조도 영상의 화질 개선 장치 및 방법
WO2014165159A1 (en) System and method for blind image deconvolution
KR102079686B1 (ko) 인텐시티 영상과 깊이 영상을 이용한 컬러 영상 개선 장치 및 방법
JP2015215783A (ja) 画像処理装置、画像処理方法及びプログラムを記録した記録媒体
JP7427398B2 (ja) 画像処理装置、画像処理方法、画像処理システム及びプログラム
JP6172641B2 (ja) 画像フィルタリング装置、画像フィルタリング方法及び画像フィルタリングプログラム
KR102351152B1 (ko) ToF 센서를 이용한 삼차원 카메라의 다중 반사 경로로 인한 깊이 정보 오차 보정 방법 및 장치
JP7036227B2 (ja) 画像処理方法および画像処理装置
CN117148378B (zh) 一种基于激光器的光学成像系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant