KR20220065240A - 최대 코렌트로피 기준 칼만필터를 이용한 영상 잡음 제거 방법 - Google Patents

Abstract

본 발명은 최대 코렌트로피 기준 칼만필터를 이용한 영상 잡음 제거 방법에 관한 것으로, 프로세서에 의해 수행되는 영상 잡음 제거 방법으로서, a) 초점에 차이가 있는 영상 프레임들을 입력받아 측정 위치를 추정 위치로 초기화하는 단계와, b) 상기 a) 단계의 수행에 의하여 각 영상 프레임들의 변위인 위치 분산을 비가우시안 지터 노이즈 분산으로 초기화하는 단계와, c) 칼만 이득에 포함되는 스칼라 항을 산출하는 단계와, d) 상기 스칼라 항이 적용되는 칼만 이득을 산출하는 단계와, e) 상기 칼만 이득을 이용하여 영상 프레임 위치의 분산을 갱신하는 단계와, f) 상기 칼만 이득을 이용하여 영상 프레임의 위치를 갱신하는 단계를 포함할 수 있다.

Description

최대 코렌트로피 기준 칼만필터를 이용한 영상 잡음 제거 방법{method for noise removal of images using kalman filter based on maximum corentropy}

본 발명은 영상 잡음 제거 방법에 관한 것으로, 더 상세하게는 개선된 최대 코렌트로피 기준 칼만필터를 이용한 영상 잡음 제거 방법에 관한 것이다.

최근 승용, 화물 및 산업용 차량에는 안전을 고려하여 어라운드 뷰 시스템이 적용되고 있다. 어라운드 뷰 시스템은 차량 주변의 영상을 획득하고, 3차원 형상을 복원하여 주변의 사람이나 장애물을 확인할 수 있는 시스템이다.

그러나 스키드로더 등의 산업용 차량은 자체의 진동에 의해 카메라를 이용하여 촬영되는 영상은 초점에 차이가 발생하게 된다.

이처럼 초점이 다른 각 영상 프레임을 이용하여 3차원 형상을 복원하는 것은 어려움이 있다.

종래에는 3차원 형상 복원에서 칼말 필터나 베이즈 필터를 이용하는 방법이 알려져 있으나, 지터 잡음과 가우시안 잡음의 제거에 한정된다.

칼만 필터와 적응 신경망 필터를 이용하는 방법은 지터 잡음의 분산만을 이용하기 때문에 평균치에서 크게 벗어난 아웃라이어를 가지는 지터 잡음을 제거할 수 없다.

또한, 기존에 알려진 최대 코렌트로피 기준 칼만 필터를 이용하는 방법은 영상 프레임 위치에 대한 공분산 행렬과 칼만 이득에서 수치 불안정성과 계산 복잡성으로 인하여 지터 잡음을 효과적으로 제거하기 어려우며, 3차원 형상 복원의 신뢰도가 낮아지게 되는 문제점이 있었다.

등록특허 10-0985805(2010년 9월 30일 등록, 적응적인 칼만필터를 이용한 영상 안정화 장치 및 방법)

상기와 같은 문제점을 감안한 본 발명이 해결하고자 하는 과제는, 진동에 의해 초점이 각기 다른 영상 프레임들을 이용하여 광축 방향으로 생성되는 지터 잡음을 제거할 수 있는 영상 잡음 제거 방법을 제공함에 있다.

또한, 본 발명이 해결하고자 하는 다른 과제는, 3차원 형상 복원의 성공률을 높임과 아울러 연산속도를 향상시킬 수 있는 영상 잡음 제거 방법을 제공함에 있다.

상기와 같은 기술적 과제를 해결하기 위한 본 발명 영상 잡음 제거 방법은, a) 초점에 차이가 있는 영상 프레임들을 입력받아 측정 위치를 추정 위치로 초기화하는 단계와, b) 상기 a) 단계의 수행에 의하여 각 영상 프레임들의 변위인 위치 분산을 비가우시안 지터 노이즈 분산으로 초기화하는 단계와, c) 칼만 이득에 포함되는 스칼라 항을 산출하는 단계와, d) 상기 스칼라 항이 적용되는 칼만 이득을 산출하는 단계와, e) 상기 칼만 이득을 이용하여 영상 프레임 위치의 분산을 갱신하는 단계와, f) 상기 칼만 이득을 이용하여 영상 프레임의 위치를 갱신하는 단계를 포함할 수 있다.

본 발명의 실시예에서, 상기 c) 단계는, 가우시안 커널을 이용하여 상기 스칼라 항을 산출할 수 있다.

본 발명의 실시예에서, 상기 가우시안 커널의 적용에 의하여, 상기 영상 프레임들이 기준 평면에 대하여 변위 방향과 변위 정도를 확인하며, 변위 정도를 최대화하여 최대 코렌트로피 기준으로 필터링할 수 있다.

본 발명의 실시예에서, 상기 c) 단계는, 아래의 수학식 1로 상기 스칼라 항을 산출할 수 있다.

[수학식 1]

λik는 스칼라 항, Gσ는 가우시안 커널, Zik는 영상 프레임의 측정위치, Bik는 관측 행렬, Rik는 영상 프레임의 위치 분산

본 발명의 실시예에서, 상기 가우시안 커널은 아래의 수학식 2로 표현될 수 있다.

[수학식 2]

σ는 커널 크기

본 발명의 실시예에서, 상기 ||Zik-BikㆍXik||_Rik ^-1은 아래의 수학식 3으로 정의될 수 있다.

[수학식 3]

본 발명의 실시예에서, 상기 d) 단계는, 아래의 수학식 4를 이용하여 칼만 이득을 산출할 수 있다.

[수학식 4]

Kik는 칼만 이득, λik는 스칼라 항, Pik는 추정값의 오차공분산, Rik는 측정값의 노이즈, Bik는 관측 행렬, Rik는 영상 프레임의 위치 분산

본 발명 영상 잡음 제거 방법은, 초점이 다른 각 영상 프레임 위치에 대한 공분산 행렬과 칼만 이득을 변경하여, 광축 방향으로 생성되는 지터 잡음을 제거할 수 있는 효과가 있다.

또한, 본 발명은 초점이 다른 영상 프레임들을 이용하여 3차원 형상을 정확하게 복원함과 아울러 연산 속도를 높여, 진동에 의해 영상의 초점이 변동되는 영상을 이용하여 스키드로더 등의 산업용 차량에서 3차원 형상을 제공하는 어라운드 뷰 시스템을 구현할 수 있는 효과가 있다.

도 1은 본 발명의 바람직한 실시예에 따른 영상 잡음 제거 방법의 순서도이다.
도 2는 도 1의 알고리즘 예시도이다.
도 3은 SFF 개념도이다.

본 발명의 구성 및 효과를 충분히 이해하기 위하여, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예들을 설명한다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라, 여러가지 형태로 구현될 수 있고 다양한 변경을 가할 수 있다. 단지, 본 실시예에 대한 설명은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위하여 제공되는 것이다. 첨부된 도면에서 구성요소는 설명의 편의를 위하여 그 크기를 실제보다 확대하여 도시한 것이며, 각 구성요소의 비율은 과장되거나 축소될 수 있다.

'제1', '제2' 등의 용어는 다양한 구성요소를 설명하는데 사용될 수 있지만, 상기 구성요소는 위 용어에 의해 한정되어서는 안 된다. 위 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 수 있다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 '제1구성요소'는 '제2구성요소'로 명명될 수 있고, 유사하게 '제2구성요소'도 '제1구성요소'로 명명될 수 있다. 또한, 단수의 표현은 문맥상 명백하게 다르게 표현하지 않는 한, 복수의 표현을 포함한다. 본 발명의 실시예에서 사용되는 용어는 다르게 정의되지 않는 한, 해당 기술분야에서 통상의 지식을 가진 자에게 통상적으로 알려진 의미로 해석될 수 있다.

이하에서는, 도면을 참조하여 본 발명의 바람직한 실시예에 따른 영상 잡음 제거 방법에 대하여 상세히 설명한다.

도 1은 본 발명의 바람직한 실시예에 따른 영상 잡음 제거 방법의 순서도이고, 도 2는 도 1의 과정을 표현한 알고리즘의 예시도이다.

도 1과 도 2를 참조하면 본 발명의 바람직한 실시예에 따른 영상 잡음 제거 방법은, 광축 방향의 지터 잡음을 포함하는 영상 프레임을 입력받는 단계(S10)와, 영상 프레임의 실제 위치를 예측하는 단계(S20)와, 영상 프레임 위치의 분산을 비가우시안 지터 노이즈의 분산으로 초기화하는 단계(S30)와, 가우시안 커널을 사용하여 스칼라항을 연산하는 단계(S40)와, 칼만 이득을 연산하는 단계(S50)와, 영상 프레임 위치의 분산을 갱신하는 단계(S60)와, 영상 프레임의 위치를 갱신하는 단계(S70)와, 남아있는 지터 노이즈를 계산하는 단계(S80)를 포함한다.

이하, 상기와 같이 구성된 본 발명 영상 잡음 제거 방법의 구성과 작용에 대하여 보다 상세히 설명한다.

먼저, 본 발명은 진동에 의해 카메라의 광축 방향으로 변위를 가지는 영상 프레임을 광축 방향으로의 변위를 제거하는 처리를 '잡음 제거'라 칭하며, 잡음을 제거한 영상을 이용하여 3차원의 객체 형상을 복원하는 처리를 포함할 수 있다.

이러한 본 발명의 처리는 마이크로 프로세서 등의 하드웨어인 프로세서에서 실행되는 것으로 이후 특별한 설명이 없더라도 프로세서의 처리 과정으로 이해되어야 한다.

도 3는 3차원 형상 복원 방법들 중 하나인 SFF(Shape From Focus)를 설명하기 위한 개념도이다.

도 3을 참조하면 광학렌즈(2)의 진동이 있는 카메라로 촬영된 이미지 평면(1)들은 기준평면(3)을 기준으로 변위를 가지게 되며, 이러한 변위를 가지는 이미지 평면(1)들을 광축 방향에 대하여 위치를 보정하는 필터를 적용할 수 있다.

본 발명은 이러한 필터에 관한 것으로, 각 단계의 구체적인 설명을 통해 본 발명의 특징적인 구성을 설명한다.

먼저, S10단계와 같이 광축 방향의 지터 잡음을 포함하는 영상 프레임을 입력받는다.

본 발명은 앞서 언급한 바와 같이 스키드로더 등의 자체 진동이 발생하는 산업용 차량에 장착될 수 있으며, 도 3에서와 같이 진동에 의해 장착된 카메라에서 얻어지는 이미지 프레임은 각각 초점이 변하게 된다.

실험적으로 초점이 다른 이미지 프레임들을 임의로 촬영하여 본 발명의 알고리즘에 적용할 수 있다.

그 다음, S20단계와 같이 초점이 다른 이미지(또는 영상) 프레임의 실제 위치를 예측한다.

도 2에 도시한 바와 같이 영상 프레임의 위치 측정치(Zik)를 위치 추정치(Xik)로 초기화한다.

이러한 초기화는 도 3에서 각 영상 프레임의 위치를 기준위치로 변환하는 것이고, 변환에 의해 각 프레임 마다의 변위를 확인할 수 있다.

확인된 변위들은 모두 지터 잡음의 크기로 볼 수 있다.

그 다음, S30단계와 같이 측정값의 노이즈(Rik)는 추정값의 오차공분산(Pik)로 할 수 있다. 이때 각 영상 프레임들의 위치 분산은 비가우시안 지터 노이즈 분산(≡10⁴)으로 초기화할 수 있다.

위에 나열된 변수들(R, P, Z, X)에서 i는 영상 프레임에 대한 임의의 순번이며, i는 1 부터 N까지(N은 양의 정수)로 정의된다.

이는 통상의 칼만 필터 알고리즘이 반복적으로 수행됨을 의미하는 k와 결합되어, 1 부터 N까지 반복적으로 수행됨을 뜻한다.

그 다음, S40단계와 같이 가우시안 커널을 사용하여 스칼라항을 연산한다.

본 발명은 종래 칼만 필터 알고리즘과 다르게 비가우시안 지터 노이즈를 제거하기 위한 것으로, 스칼라 항을 더 포함한다.

스칼라 항(λik)는 아래의 수학식 1에 의해 연산된다.

위의 수학식 1에서 Gσ는 가우시안 커널이다.

가우시안 커널은 서포트 백터 머신(SVM)의 변형인 커널-SVM의 일종으로, 마진이 최대화된 초평면을 찾는 기법으로, 기본적으로 선형 분류를 한다.

입력 공간(Input Space)의 데이터를 선형 분류가 가능한 고차원 공간(Feature Space)로 매핑한 후, 두 범주를 분류하는 초평편을 갖는다.

이처럼 스칼라 항을 이용하는 구체적인 이유는 본 발명에서 진동은 기준 평면(3)을 사이에 두고, 측정된 이미지 프레임의 위치가 광축 방향에 대하여 전과 후에 위치할 수 있으며, 이러한 위치를 두 개의 범주로 분류할 수 있다.

또한, 마진을 최대화하기 때문에 최대 코렌트로피를 기준으로 하는 칼만 필터 알고리즘의 구현이 가능하게 된다.

본 발명에서는 가우시안 커널을 적용한다.

가우시안 커널은 아래의 수학식 2와 같이 정의된다.

위의 수학식 2에서 σ는 커널의 크기를 나타낸다.

또한, 수학식1에서 ||Zik-BikㆍXik||_Rik ^-1은 아래의 수학식 3으로 풀어서 정의할 수 있다.

수학식 3에서 Bik는 관측 행렬로 시스템에서 주어지는 행렬이다.

이와 같이 스칼라 항을 계산하고, 그 스칼라 항이 적용된 칼만 이득을 산출한다.

그 다음, S50단계와 같이 각 회차별로 칼만 이득을 연산한다.

상기 칼만 이득은 연산은 도 2에서 6번째 행에 기재되어 있다.

칼만 이득의 연산은 스칼라 항의 곱을 더 포함하며, 최대 코렌트로피 기준의 칼만 필터 알고리즘을 제공한다.

그 다음, S60단계와 같이 영상 프레임 위치의 분산을 갱신하고, S70단계와 같이 영상 프레임의 위치를 갱신한다.

이처럼 본 발명은 갱신된 위치의 분산과 위치 갱신 및 반복을 통해 코렌트로피를 최대화함으로써 영상 프레임의 실제 위치를 추정하게 된다.

이후, S80단계와 같이 잔류하는 지터 노이즈를 계산한다.

이처럼 추정된 영상 프레임의 실제 위치를 기반으로 3차원 형상 복원을 수행할 수 있다.

이상에서 본 발명에 따른 실시예들이 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 범위의 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 다음의 청구범위에 의해서 정해져야 할 것이다.

Claims (7)

1. 프로세서에 의해 수행되는 영상 잡음 제거 방법으로서,
   a) 초점에 차이가 있는 영상 프레임들을 입력받아 측정 위치를 추정 위치로 초기화하는 단계;
   b) 상기 a) 단계의 수행에 의하여 각 영상 프레임들의 변위인 위치 분산을 비가우시안 지터 노이즈 분산으로 초기화하는 단계;
   c) 칼만 이득에 포함되는 스칼라 항을 산출하는 단계;
   d) 상기 스칼라 항이 적용되는 칼만 이득을 산출하는 단계;
   e) 상기 칼만 이득을 이용하여 영상 프레임 위치의 분산을 갱신하는 단계; 및
   f) 상기 칼만 이득을 이용하여 영상 프레임의 위치를 갱신하는 단계를 포함하는 영상의 잡음 제거 방법.
2. 제1항에 있어서,
   상기 c) 단계는,
   가우시안 커널을 이용하여 상기 스칼라 항을 산출하는 것을 특징으로 하는 영상의 잡음 제거 방법.
3. 제2항에 있어서,
   상기 가우시안 커널의 적용에 의하여,
   상기 영상 프레임들이 기준 평면에 대하여 변위 방향과 변위 정도를 확인하며,
   변위 정도를 최대화하여 최대 코렌트로피 기준으로 필터링하는 것을 특징으로 하는 영상의 잡음 제거 방법.
4. 제1항에 있어서,
   상기 c) 단계는,
   아래의 수학식 1로 상기 스칼라 항을 산출하는 것을 특징으로 하는 영상의 잡음 제거 방법.
   [수학식 1]
   

   

   
   λik는 스칼라 항, Gσ는 가우시안 커널, Zik는 영상 프레임의 측정위치, Bik는 관측 행렬, Rik는 영상 프레임의 위치 분산
5. 제4항에 있어서,
   상기 가우시안 커널은 아래의 수학식 2로 표현되는 것을 특징으로 하는 영상의 잡음 제거 방법.
   [수학식 2]
   

   

   
   σ는 커널 크기
6. 제4항에 있어서,
   상기 ||Zik-BikㆍXik||_Rik ^-1은 아래의 수학식 3으로 정의되는 것을 특징으로 하는 영상의 잡음 제거 방법.
   [수학식 3]
   

   
7. 제1항에 있어서,
   상기 d) 단계는,
   아래의 수학식 4를 이용하여 칼만 이득을 산출하는 것을 특징으로 하는 영상의 잡음 제거 방법.
   [수학식 4]
   

   

   
   Kik는 칼만 이득, λik는 스칼라 항, Pik는 추정값의 오차공분산, Rik는 측정값의 노이즈, Bik는 관측 행렬, Rik는 영상 프레임의 위치 분산

Images