KR20210067021A - Skellam 분포를 이용한 ToF 카메라 영상의 노이즈 모델링 방법 및 장치 - Google Patents

Abstract

Skellam 분포를 이용한 ToF 카메라 영상의 노이즈 모델링 방법 및 장치가 제공된다. 본 발명의 실시예에 따른 노이즈 모델링 방법은, 거리 영상들을 획득하고, 획득한 거리 영상들에 대한 Skellam 파라미터들을 계산하며, 계산된 Skellam 파라미터들의 분포를 기초로 거리 영상들의 노이즈를 모델링한다. 이에 의해, ToF 카메라의 거리 영상이 다양한 최신 기술들의 성능 향상을 위해 의미 있는 정보를 전달할 수 있도록 하여 준다.

Description

Skellam 분포를 이용한 ToF 카메라 영상의 노이즈 모델링 방법 및 장치{Method and Device for Noise Modeling of ToF Camera Image using Skellam Distribution}

본 발명은 입력 영상 노이즈 모델링 방법에 관한 것으로, 더욱 상세하게는 ToF(Time-of-Flight) 카메라를 통해 입력된 영상의 노이즈를 모델링하는 방법에 관한 것이다.

노이즈 모델 유형으로는 공간 도메인에서의 노이즈, 주파수 도메인에서의 노이즈와 같은 것들이 존재하며 공간 도메인에서의 노이즈는 노이즈 확률 밀도로 표현하고 주파수 도메인에서의 노이즈는 노이즈의 다양한 푸리에 특성으로 표현할 수 있다.

현재 ToF 카메라와 같은 3D 카메라를 통해 획득한 거리(depth) 영상이 다양한 핵심 기술에 정보를 전달하는 역할을 하고 있음에도 불구하고 거리 영상의 노이즈를 파악하고 제거하기 위한 연구가 부족하다.

ToF 카메라 영상은 다양한 요소의 영향을 받는다. 그 중에서도 CCD 또는 CMOS 카메라의 센서를 사용하는 ToF 카메라 영상의 가장 주된 노이즈는 광자 노이즈이다. 이러한 노이즈를 제거하여 고품질의 거리 영상을 획득하기 위해서는 광자 노이즈에 적합한 노이즈 모델링이 필요하다.

기존의 노이즈 제거 방식들은 ToF 카메라를 통해 획득된 거리 노이즈의 특성을 분석하고 고려하지 않았기 때문에 적절한 노이즈 제거가 어렵다. 따라서, 적절한 노이즈 제거를 위해서는 영상의 시/공간적 특성을 분석하고 파악하여 이에 맞는 노이즈 모델을 적용하는 것이 필요하다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, ToF 카메라 영상의 노이즈를 Skellam 분포를 활용하여 모델링하고 제거하는 방법 및 장치를 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 노이즈 모델링 방법은, 거리 영상들을 획득하는 단계; 획득한 거리 영상들에 대한 Skellam 파라미터들을 계산하는 단계; 계산된 Skellam 파라미터들의 분포를 기초로, 거리 영상들의 노이즈를 모델링하는 단계;를 포함한다.

거리 영상들은, ToF 카메라를 이용하여 생성할 수 있다. 노이즈는, 거리 영상들의 광자 노이즈일 수 있다. Skellam 파라미터들은, 거리에 대해 선형성을 갖는다. 시간적 Skellam 파라미터들은, 공간적 Skellam 파라미터들과 에르고딕한 특성을 갖는다.

계산 단계는, 거리 영상들에 대한 시간적 Skellam 파라미터들과 공간적 Skellam 파라미터들을 계산할 수 있다.

본 발명의 실시예에 따른 노이즈 모델링 방법은, 모델링된 노이즈를 참조하여, 거리 영상들에서 노이즈를 제거하는 단계;를 더 포함할 수 있다.

한편, 본 발명의 다른 실시예에 따른, 노이즈 모델링 장치는, 거리 영상들을 획득하는 카메라; 및 획득한 거리 영상들에 대한 Skellam 파라미터들을 계산하고, 계산된 Skellam 파라미터들의 분포를 기초로 거리 영상들의 노이즈를 모델링하는 프로세서;를 포함한다.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, ToF 카메라 영상의 광자 노이즈를 Skellam 분포를 활용하여 모델링하고 제거함으로써, ToF 카메라의 거리 영상이 다양한 최신 기술들(가상현실, 자율주행차, Human Robot Interaction 등)의 성능 향상을 위해 의미 있는 정보를 전달할 수 있도록 하여 준다.

도 1은 색상 패치에 따른 Skellam 파라미터와 분포 변화,
도 2는 RGB 영상의 시/공간적 에르고딕 특성,
도 3은 본 발명의 일 실시예에 따른 ToF 카메라 영상의 노이즈 모델링/제거 방법의 설명에 제공되는 흐름도,
도 4는 거리 영상 획득에 이용될 수 있는 ToF 카메라 예시,
도 5에는 도 4의 ToF 카메라로 획득된 거리 영상 예시,
도 6은 임의의 거리에서 획득된 영상,
도 7은 도 6의 거리 영상에 대한 Skellam 파라미터들,
도 8은 시/공간적 영역에서의 Skellam 파라미터들을 비교한 그래프들, 그리고,
도 9는 본 발명의 다른 실시예에 따른 ToF 카메라 영상 노이즈 모델링 장치의 블럭도이다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

본 발명의 실시예에서는 ToF 카메라를 통해 입력된 영상의 광자 노이즈를 모델링을 수행함에 있어, 연속적으로 입력된 거리(depth) 영상으로부터 시/공간적 거리의 Skellam 분포를 활용하여 노이즈를 모델링한다.

이는 거리 영상의 Skellam 분포가 분포는 시간적/공간적으로 에르고딕한 특성을 작으며, 거리 값에 대한 Skellam 파라미터 값이 선형성을 가진다는 특성을기반으로 한다.

더 나아가, 본 발명의 실시예에서는 노이즈 모델링을 통해 거리 영상의 노이즈를 제거함으로써 응용 기술 분야에 의미 있는 영상 정보를 전달할 수 있도록 한다.

CCD 또는 CMOS 카메라 영상에서 발생할 수 있는 가장 주된 노이즈는 광자 노이즈로써, 이를 활용하는 ToF 카메라의 거리 영상에서도 같은 노이즈가 발생할 수 있다. 일반적으로 광자 노이즈는 포아송 분포에 의해 모델링된다. 광자의 수는 픽셀의 밝기를 결정할 수 있으며, 이 값이 커질수록 포아송 분포는 가우시안 분포에 근접해진다. 이러한 사실에 기반하여 밝기 차에 대한 분포를 표현하기 위해 포아송 분포를 사용한다. 두 포아송 랜덤 변수 사이의 차이는 Skellam 분포로 정의될 수 있으며, 이 Skellam 분포의 통계를 사용함으로써 밝기 차에 대한 Skellam 파라미터들을 예측할 수 있다.

시/공간적 영역의 각 RGB 채널에서의 Skellam 파라미터가 크게 다르지 않으며, 밝기의 차이가 에르고딕한 특성을 보인다. 또한, 밝기 값이 커질수록 Skellam 파라미터 값이 증가하는 선형성도 보인다.

도 1은 이러한 선형성을 보여준다. 더 밝은 패치일수록 Skellam 파라미터의 값이 증가함을 알 수 있다. 도 2에는 RGB 영상 각 패치에 대한 시/공간적 에르고딕한 특성을 표현하였다.

도 3은 본 발명의 일 실시예에 따른 ToF 카메라 영상의 노이즈 모델링/제거 방법의 설명에 제공되는 흐름도이다. 본 발명의 실시예에 따른 노이즈 모델링/제거 방법에서는, Skellam 분포를 활용하여 ToF 카메라 영상의 노이즈 모델링을 수행한다.

이를 위해, 먼저 ToF 카메라로 각 거리에 대한 거리 영상들을 획득한다(S110). 도 4에는 거리 영상 획득에 이용될 수 있는 ToF 카메라를 나타내었는데, 예시적인 것으로 ToF 카메라의 종류는 문제되지 않는다. 도 5에는 도 4의 ToF 카메라로 획득된 거리 영상을 예시하였다.

다음, S110단계에서 획득한 거리 영상들에 대한 Skellam 파라미터들을 계산한다(S120). 구체적으로, S120단계에서는 거리 영상들에 대한 시간적 Skellam 파라미터들과 공간적 Skellam 파라미터들을 계산한다.

다음 식은 시간적 Skellam 파라미터들을 계산하기 위한 식을 나타낸다.

다음 식은 공간적 Skellam 파라미터들을 계산하기 위한 식을 나타낸다.

전술한 바와 같이, Skellam 파라미터들은 거리에 대해 선형성을 갖는다. 이는 S120단계에서 계산된 Skellam 파라미터들과 거리 사이의 3D 그래프를 출력해 보면 확인가능하다.

도 6은 임의의 거리에서 획득된 영상을 보여주며, 영상의 가장자리인 밝은 색으로 갈수록 더 거리가 먼 것을 의미한다. 도 7에는 도 6의 거리 영상의 x, y 좌표에 따른 Skellam 파라미터들을 3D 그래프로 나타내었는데, 거리가 멀어질수록 Skellam 파라미터들이 증가하는 것을 확인할 수 있다.

또한, 시간적 Skellam 파라미터들은 공간적 Skellam 파라미터들과 에르고딕한 특성을 갖는다고 전술한 바 있는데, 이 역시 S120단계에서 계산된 시/공간적 Skellam 파라미터들을 통해 확인할 수 있다.

도 8에는 임의의 거리 6개에 대한 시/공간적 영역에서의 Skellam 파라미터들을 비교하여 나타내었는데, 각 거리의 Skellam 파라미터의 분포가 거의 일치하는 것을 확인할 수 있다. 이는 거리의 차이가 에르고딕한 특성을 가지는 것을 보여주는 것이다.

다음, S120단계에서 계산된 Skellam 파라미터들의 분포를 기초로, 거리 영상들의 노이즈를 모델링한다(S130).

더 나아가, S130단계에서 모델링된 노이즈를 참조하여, 거리 영상들에서 노이즈를 제거할 수도 있다(S140).

도 9는 본 발명의 다른 실시예에 따른 ToF 카메라 영상 노이즈 모델링 장치의 블럭도이다. 본 발명의 실시예에 따른 노이즈 모델링 장치는, 도 9에 도시된 바와 같이, ToF 카메라(210), 노이즈 모델링부(220), 노이즈 제거부(230) 및 출력부(240)를 포함하여 구성된다.

ToF 카메라(210)는 거리 영상들을 획득한다. 노이즈 모델링부(220)는 ToF 카메라(210)에서 획득한 거리 영상들에 대한 Skellam 파라미터들을 계산하고, 계산된 Skellam 파라미터들의 분포를 기초로 거리 영상들의 노이즈를 모델링한다.

노이즈 제거부(230)는 노이즈 모델링부(220)에서 모델링된 노이즈를 참조하여, 거리 영상들에서 광학 노이즈를 제거한다. 출력부(240)는 노이즈 제거부(230)에서 노이즈가 제거된 거리 영상들을 이를 필요로 하는 모듈들로 출력한다.

지금까지, Skellam 분포를 이용한 ToF 카메라 영상의 노이즈 모델링 방법 및 장치에 대해 바람직한 실시예를 들어 상세히 설명하였다.

본 발명의 실시예에서는, ToF 카메라 센서로부터 발생할 수 있는 광자 노이즈를 ToF 카메라를 통해 획득된 거리 영상의 광자 노이즈를 모델링하였는데, 획득된 거리 영상의 시/공간적 변화를 분석하여 도출한 Skellam 분포의 선형성과 에르고딕한 특성을 기반으로 하였다.

나아가, 본 발명의 실시예에서는, Skellam 분포 기반의 모델링을 통한 노이즈 제거 기법을 제시하였다.

이에 따라, ToF 카메라의 거리 영상이 다양한 핵심 기술들(가상현실, 자율주행차, Human Robot Interaction 등)의 성능 향상을 위해 의미 있는 정보를 전달할 수 있게 된다.

한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

210 : ToF 카메라
220 : 노이즈 모델링부
230 : 노이즈 제거부
240 : 출력부

Claims (8)

1. 거리 영상들을 획득하는 단계;
   획득한 거리 영상들에 대한 Skellam 파라미터들을 계산하는 단계;
   계산된 Skellam 파라미터들의 분포를 기초로, 거리 영상들의 노이즈를 모델링하는 단계;를 포함하는 것을 특징으로 하는 노이즈 모델링 방법.
   
2. 청구항 1에 있어서,
   노이즈는,
   거리 영상들의 광자 노이즈인 것을 특징으로 하는 노이즈 모델링 방법.
   
3. 청구항 1에 있어서,
   Skellam 파라미터들은,
   거리에 대해 선형성을 갖는 것을 특징으로 하는 노이즈 모델링 방법.
   
4. 청구항 1에 있어서,
   계산 단계는,
   거리 영상들에 대한 시간적 Skellam 파라미터들과 공간적 Skellam 파라미터들을 계산하는 것을 특징으로 하는 노이즈 모델링 방법.
   
5. 청구항 1에 있어서,
   시간적 Skellam 파라미터들은,
   공간적 Skellam 파라미터들과 에르고딕한 것을 특징으로 하는 노이즈 모델링 방법.
   
6. 청구항 1에 있어서,
   모델링된 노이즈를 참조하여, 거리 영상들에서 노이즈를 제거하는 단계;를 더 포함하는 것을 특징으로 하는 노이즈 모델링 방법.
   
7. 청구항 1에 있어서,
   거리 영상들은,
   ToF 카메라를 이용하여 생성하는 것을 특징으로 하는 노이즈 모델링 방법.
   
8. 거리 영상들을 획득하는 카메라; 및
   획득한 거리 영상들에 대한 Skellam 파라미터들을 계산하고, 계산된 Skellam 파라미터들의 분포를 기초로 거리 영상들의 노이즈를 모델링하는 프로세서;를 포함하는 것을 특지으로 하는 노이즈 모델링 장치.
   

Images