KR20090092538A - 영상의 블러 제거 방법 및 장치 - Google Patents

Abstract

영상의 블러(Blur) 제거 방법에 있어서, 입력된 영상의 블러를 추정하는 과정과, 블러 추정시 발생하는 블러 추정 에러를 잡음으로 모델링하는 과정과, 정규화 함수를 정규화 파라미터로 가지는 최소화(Minimization) 함수를 추정하는 과정과, 각 채널의 블러의 에러 값을 반영하도록 정규화 함수를 추정하는 과정과, 미리 설정된 종료 조건을 만족할 때까지 반복(iteration) 과정을 통해 각 채널의 블러의 에러 값에 따라 상기 정규화 함수를 갱신하며, 최소화 함수를 이용하여 블러를 제거하는 과정을 포함한다.

Description

영상의 블러 제거 방법 및 장치{METHOD AND APPRATUS FOR DEBLURRING IN IMAGE}

본 발명은 영상 처리에 관한 것으로, 특히 영상의 화질을 개선하기 위하여 영상 획득 과정에서 발생하는 블러(blur)를 제거하는 방법 및 장치에 관한 것이다.

영상의 블러(blur)는 카메라의 초점의 불일치, 장시간 동안의 CCD 노출, 인터레이스드 스캔 방식 카메라에서의 손떨림 등에 의해 발생된다. 또한, 짧은 시간동안의 CCD 노출의 경우에도 카메라에 근접한 물체가 매우 빠르게 움직일 때에는 장시간 CCD 노출 경우처럼 블러가 발생할 수 있다.

블러는 영상의 품질에 가장 큰 영향을 미치는 선명도에 직접적인 영향을 준다. 이러한 블러는 쉽게 제거되지 않으며 여러 가지 아티펙트(artifact)를 발생시키는 원인이 된다. 근래에 들어서는 한 장의 영상으로부터 블러를 제거하는 것에 한계를 인식하고, 여러 장의 영상으로부터 블러를 제거하면서 해상도를 증가시키는 방법이 연구되고 있다. 그러나 이러한 경우에도 블러를 정확하게 추정하지 않으면 블러가 잡음과 같이 영향을 미치기 때문에 최종적인 영상의 열화를 피할 수 없다.

블러와 잡음을 제거하는 영상기법은 영상복원(Image restoration)이라는 이름으로 연구되어 왔다. 이를 설명하기 위한 영상 모델은 하기의 수학식 1과 같이 나타낼 수 있다.

상기 수학식 1에서 x는 복원해야 할 원 영상이고, y는 획득한 영상이고, H는 블러이고, n은 잡음이다.

획득한 영상 y로부터 복원해야 할 원 영상 x를 구하는 일련의 과정을 영상복원이라 한다. 특히 여러 장의 영상으로부터 하나의 고해상도 영상을 획득하는 것을 고해상도 영상 재구성(Superresolution / High-resolution image reconstruction)이라 한다. 이는 하기의 수학식 2와 같이 표현할 수 있다.

상기 수학식 2에서 x는 복원해야 할 원 영상이고, y_{1 ~k}는 획득한 각 영상이고, H_{1 ~k}는 각 영상의 블러이고, n은 잡음이다.

상기 수학식 2를 참조하면 각각의 다양한 센서에 따라 각각 블러가 다르다. 각 블러는 H₁부터 H_k로 표현된다. 이를 합성하는 방법은 하기의 수학식 3과 같다.

상기 수학식 3의 해는 하기의 수학식 4와 같이 구할 수 있다.

상기와 같은 지금까지 개발된 방식은 블러의 추정이 정확한 것을 가정하고 있다. 그러나 실질적으로 블러를 정확하게 추정하는 것은 거의 불가능하다. 따라서 어느 정도의 블러 추정의 에러를 감수해야 한다. 따라서 블러 추정의 에러를 고려한 더욱 정확한 블러 제거 방법이 요구된다.

본 발명은 영상의 화질을 개선하기 위하여 여러 장의 움직임 없는 영상으로부터 블러(blur)를 제거하기 위한 방법 및 장치를 제공하고자 한다.

이를 달성하기 위한 본 발명의 일 형태에 따르면, 영상의 블러(Blur) 제거 방법에 있어서, 입력된 영상의 블러를 추정하는 과정과, 상기 블러 추정시 발생하는 블러 추정 에러를 잡음으로 모델링하는 과정과, 정규화 함수를 정규화 파라미터로 가지는 최소화(Minimization) 함수를 추정하는 과정과, 각 채널의 블러의 에러 값을 반영하도록 상기 정규화 함수를 추정하는 과정과, 미리 설정된 종료 조건을 만족할 때까지 반복(iteration) 과정을 통해 각 채널의 블러의 에러 값에 따라 상기 정규화 함수를 갱신하며, 상기 최소화 함수를 이용하여 상기 블러를 제거하는 과정을 포함함을 특징으로 한다.

본 발명의 다른 형태에 따르면, 영상의 블러(Blur) 제거 장치에 있어서, 입력된 영상의 블러를 추정하며, 상기 블러 추정시 발생하는 블러 추정 에러를 잡음으로 모델링하는 블러 추정부와, 각 채널의 블러의 에러 값을 반영하는 정규화 함수를 추정하는 정규화 함수 추정부와, 미리 설정된 종료 조건을 만족할 때까지 반복(iteration) 과정을 통해 각 채널의 블러의 에러 값에 따라 상기 정규화 함수를 갱신하며, 상기 정규화 함수를 정규화 파라미터로 가지는 최소화 함수를 이용하여 블러를 제거하는 블러 제거부와, 상기 블러 제거를 반영한 결과를 출력하는 영상 복원부를 포함함을 특징으로 한다.

본 발명은 블러 제거를 위해 여러 장의 영상을 입력으로 받아서, 블러를 추정하고 블러 추정 과정에서 발생하는 에러를 블러 제거 과정에 반영하여 효율적으로 블러를 제거하여 고해상도 영상을 얻을 수 있는 효과가 있다.

도 1은 본 발명의 일 실시 예에 따른 영상의 블러 제거 동작 흐름도

도 2는 본 발명의 일 실시 예에 따른 영상의 블러 제거 장치의 블록 구성도

이하 첨부된 도면을 참조하여 본 발명을 구성하는 장치 및 동작 방법을 본 발명의 실시 예를 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.

본 발명은 여러 장의 움직임 없는 영상으로부터 블러를 제거하는 동작을 수행하며 이 과정에서 추정된 블러의 에러를 자동적으로 고려하여 블러를 효율적으로 제거하는 방법 및 장치를 제안한다.

도 1은 본 발명의 일 실시 예에 따른 영상의 블러 제거 동작 흐름도이다.

먼저 영상을 입력받으면 110단계에서 입력된 영상들의 블러를 추정하며 상기 블러 추정 에러를 잡음으로 모델링한다. 다음 120단계에서 블러 추정 에러를 반영하는 정규화 함수를 추정하고, 130단계에서 상기 정규화 함수를 정규화 파라미터로 가지는 최소화 함수를 추정하여 블러를 제거한다. 다음 140단계에서 종료 조건을 만족하는지 판단한다. 상기 판단결과 종료 조건이 만족하면 종료하고, 상기 판단결과 종료 조건이 만족하지 않으면 120단계로 진행하여 정규화 함수를 반복(iteration)하여 계속적으로 업그레이드한다. 이 과정에서 상기 정규화 함수는 자동적으로 블러 추정 에러에 따라 변하면서 최적의 결과를 출력한다. 상기의 블러 제거 동작을 보다 상세히 살펴보기로 한다.

< 잡음의 모델 >

블러의 추정 에러는 잡음으로써 모델링할 수 있다. 정확하게 추정된 블러를 H_true라 하고, 잘못 추정한 블러를 H_false라고 하면, 추정된 H를 이용하여 상기 수학식 1의 영상 모델을 하기의 수학식 5의 영상 모델과 같이 변경할 수 있다.

상기 수학식 5에서 n은 영상의 잡음이고, y는 획득한 영상이고, x는 원영상이고, H_true는 정확하게 추정한 블러이고, H_false는 추정한 블러의 에러이고, n은 잡음이다.

상기 수학식 5에 따라 전체 잡음은 하기의 수학식 6과 같이 모델링할 수 있다.

　

상기 수학식 6에서 n_T는 영상의 전체 잡음이고, y는 획득한 영상이고, x는 원영상이고, H_true는 정확하게 추정한 블러이고, H_false는 추정한 블러의 에러이고, n은 잡음이다.

결과적으로 전체 잡음 n_T의 분산은 하기의 수학식 7과 같이 정의할 수 있다.

상기 수학식 7에서 n_T는 영상의 전체 잡음이고, x는 원영상이고, H_false는 추정한 블러의 에러이고, n은 영상의 잡음이다.

따라서, 전체적인 잡음은 블러의 추정 에러 H_false에 의해 레벨이 결정된다.

< 블러 제거를 위한 최소화 함수(minimization functional) >

블러 제거 방법에는 다양한 방법을 사용할 수 있다. 본 발명의 일 실시 예에 서는 한정 최소 자승(Constraint least square) 방식을 사용한다.

상기 수학식 8에서 y는 획득한 영상이고, x는 원영상이고, H는 영상의 블러이고, 는 정규화 파라미터이고, C는 고역필터이다.

상기 수학식 8에서 정규화 파라미터 α는 블러를 제거하는 부분 과 블러를 제거하는 과정에서 발생하는 링잉을 줄이는 부분 의　사이를 조절하는 값이다. 그러나 각 채널마다 블러 추정 에러가 다르기 때문에, 본 발명은 정규화 파라미터의 위치를 하기의 수학식 9와 같이 수정한다.

상기 수학식 9에서 y는 획득한 영상이고, x는 원영상이고, H는 영상의 블러이고, 는 정규화 파라미터이고, C는 고역필터이다.

상기 수학식 9에서 각 채널의 블러 추정 에러에 따라 영역을 획득하기 위해 정규화 파라미터 를 채널에 특성에 따라 변하는 정규화 함수 로 수정한다. 따라서 전체적인 최소화 함수(Minimization functional)는 하기의 수학식 10과 같이 수정된다.

상기 수학식 10에서 y는 획득한 영상이고, x는 원영상이고, H는 영상의 블러이고, 는 정규화 함수이고, C는 고역필터이다.

< 정규화 함수의 정의 >

본 발명의 일 실시 예에 따른 정규화 함수는 다음과 같은 세 가지 특성을 만족해야 한다.

첫 번째로 정규화 함수는 각 채널의 블러의 에러의 값에 의해 변해야 하며 각 채널의 블러 추정 에러에 의해 모델링된 잡음이 증가함에 따라 정규화 함수도 증가해야한다. 두 번째는 상기 수학식 10을 최소화하는 과정에서 정규화 함수는 미분 가능해야 한다. 만약 미분 가능하지 않다면 항상 갖는 해를 보장할 수 없다. 세 번째는 정규화 함수는 블러 추정 에러에 따라 자동적으로 변해야 한다.

상기의 세 가지 특성을 만족하기 위해 본 발명에서는 정규화 함수를 하기의 수학식 11과 같이 정의한다.

상기 수학식 11에서 y는 획득한 영상이고, x는 원영상이고, H는 영상의 블러이고, 는 정규화 함수이고, P는 상수값이다.

< 블러 제거 >

각 채널에 대한 블러 추정 이후, 다시 각 채널에 대해 정규화 함수를 상기 수학식 11과 같이 정의하여 상기 수학식 10에 대입하여 해를 얻기 위해 x로 미분하면 하기의 수학식 12와 같이 나타낼 수 있다.

상기 수학식 12에서 y는 획득한 영상이고, x는 원영상이고, H는 영상의 블러이고, 는 정규화 함수이고, C는 고역필터이고, C^T는 C의 전치행렬이다.

상기 수학식 12에 따라 반복(iteration) 식은 하기의 수학식 13과 같이 쓸 수 있다.

상기 수학식 13에서 n은 반복수(iteration number)이고, β는 반복 스텝(iteration 　step)이고, 그리고 는 상기 수학식 12의 값이다.

< 종료 조건 >

본 발명의 일 실시 예에 따른 블러 제거 방법에서 종료 조건(stop condition)은 하기의 수학식 14와 같이 설정한다.

도 2는 본 발명의 일 실시 예에 따른 영상의 블러 제거 장치의 블록 구성도이다. 도 2를 참조하면 본 발명의 일 실시 예에 따른 영상의 블러 제거 장치는 블러 추정부(210)와 정규화 함수 추정부(220)와, 블러 제거부(230)와, 영상 복원부(240)를 포함한다.

상기 블러 추정부(210)는 블러를 추정하며 블러 추정 에러를 잡음으로 모델링한다.

상기 정규화 함수 추정부(220)는 각 채널의 블러 추정 에러를 반영하는 정규화 함수를 추정한다.

상기 블러 제거부(230)는 상기 정규화 함수를 정규화 파라미터로 가지는 최소화 함수를 이용하여 반복(iteration) 과정을 통해 각 채널의 블러 추정 에러에 따라 상기 정규화 함수를 갱신하며 블러를 제거한다.

상기 영상 복원부(240)는 블러 제거를 반영한 결과를 출력한다.

상기와 같이 본 발명의 일 실시 예에 따른 영상의 블러 제거 방법 및 장치의 동작 및 구성이 이루어질 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다.

Claims (16)

1. 영상의 블러(Blur) 제거 방법에 있어서,

   입력된 영상의 블러를 추정하는 과정과,

   상기 블러 추정시 발생하는 블러 추정 에러를 잡음으로 모델링하는 과정과,

   정규화 함수를 정규화 파라미터로 가지는 최소화(Minimization) 함수를 추정하는 과정과,

   각 채널의 블러의 에러 값을 반영하도록 상기 정규화 함수를 추정하는 과정과,

   미리 설정된 종료 조건을 만족할 때까지 반복(iteration) 과정을 통해 각 채널의 블러의 에러 값에 따라 상기 정규화 함수를 갱신하며, 상기 최소화 함수를 이용하여 상기 블러를 제거하는 과정을 포함함을 특징으로 하는 영상의 블러 제거 방법.
2. 제 1항에 있어서, 상기 블러 추정 에러에 의해 모델링된 상기 잡음은 하기의 수학식 6과 같으며, 상기 잡음의 분산은 하기의 수학식 7과 같음을 특징으로 하는 영상의 블러 제거 방법.

   [수학식 6]

   　

   [수학식 7]

   상기 수학식 6,7에서 상기 n_T는 영상의 전체 잡음이고, 상기 x는 원영상이고, 상기 y는 획득한 영상이고, 상기 H_true는 정확하게 추정한 블러이고, 상기 H_false는 추정한 블러의 에러이고, 상기 n은 잡음(noise)임.
3. 제 2항에 있어서, 상기 최소화 함수는 한정 최소 자승(Constraint least square) 방식을 사용하여 하기의 수학식 10과 같이 정의하는 것을 특징으로 하는 영상의 블러 제거 방법.

   [수학식 10]

   상기 수학식 10에서 y는 획득한 영상이고, x는 원영상이고, H는 영상의 블러이고, 는 정규화 함수이고, C는 고역필터임.
4. 제 3항에 있어서, 상기 정규화 함수는,

   각 채널의 블러 추정 에러에 의해 변하며 이에 따라 상기 각 채널의 블러 추정 에러에 의해 모델링된 상기 잡음에 따라 변하며,

   상기 최소화 함수를 최소화하는 과정에서 미분 가능하며,

   상기 블러 추정 에러에 따라 자동적으로 변하는 것을 특징으로 하는 영상의 블러 제거 방법.
5. 제 3항에 있어서, 상기 정규화 함수는 하기의 수학식 11과 같이 정의하는 것을 특징으로 하는 영상의 블러 제거 방법.

   [수학식 11]

   상기 수학식 11에서 y는 획득한 영상이고, x는 원영상이고, H는 영상의 블러이고, 는 정규화 함수이고, P는 상수값임.
6. 제 5항에 있어서, 상기 정규화 함수를 상기 최소화 함수에 대입하여 x로 미분하면 하기의 수학식 12와 같음을 특징으로 하는 영상의 블러 제거 방법.

   [수학식 12]

   상기 수학식 12에서 y는 획득한 영상이고, x는 원영상이고, H는 영상의 블러이고, 는 정규화 함수이고, C는 고역필터이고, C^T는 C의 전치행렬임.
7. 제 6항에 있어서, 상기 반복(iteration) 식은 하기의 수학식 13과 같음을 특징으로 하는 영상의 블러 제거 방법.

   [수학식 13]

   상기 수학식 13에서 n은 반복수(iteration number)이고, β는 반복 스텝(iteration 　step)이고, 그리고 는 상기 수학식 12의 값임.
8. 제 7항에 있어서, 상기 반복의 종료 조건은 하기의 수학식 14와 같이 설정하는 것을 특징으로 하는 영상의 블러 제거 방법.

   [수학식 14]
9. 영상의 블러(Blur) 제거 장치에 있어서,

   입력된 영상의 블러를 추정하며, 상기 블러 추정시 발생하는 블러 추정 에러를 잡음으로 모델링하는 블러 추정부와,

   각 채널의 블러의 에러 값을 반영하는 정규화 함수를 추정하는 정규화 함수 추정부와,

   미리 설정된 종료 조건을 만족할 때까지 반복(iteration) 과정을 통해 각 채널의 블러의 에러 값에 따라 상기 정규화 함수를 갱신하며, 상기 정규화 함수를 정규화 파라미터로 가지는 최소화 함수를 이용하여 블러를 제거하는 블러 제거부와,

   상기 블러 제거를 반영한 결과를 출력하는 영상 복원부를 포함함을 특징으로 하는 영상의 블러 제거 장치.
10. 제 9항에 있어서, 상기 블러 추정 에러에 의해 모델링된 상기 잡음은 하기의 수학식 6과 같으며, 상기 잡음의 분산은 하기의 수학식 7과 같음을 특징으로 하는 영상의 블러 제거 장치.

    [수학식 6]

    　

    [수학식 7]

    상기 수학식 6,7에서 상기 n_T는 영상의 전체 잡음이고, 상기 x는 원영상이고, 상기 y는 획득한 영상이고, 상기 H_true는 정확하게 추정한 블러이고, 상기 H_false는 추정한 블러의 에러이고, 상기 n은 잡음(noise)임.
11. 제 10항에 있어서, 상기 최소화 함수는 한정 최소 자승(Constraint least square) 방식을 사용하여 하기의 수학식 10과 같이 정의하는 것을 특징으로 하는 영상의 블러 제거 장치.

    [수학식 10]

    상기 수학식 10에서 y는 획득한 영상이고, x는 원영상이고, H는 영상의 블러이고, 는 정규화 함수이고, C는 고역필터임.
12. 제 11항에 있어서, 상기 정규화 함수는,

    각 채널의 블러 추정 에러에 의해 변하며 이에 따라 상기 각 채널의 블러 추정 에러에 의해 모델링된 상기 잡음에 따라 변하며,

    상기 최소화 함수를 최소화하는 과정에서 미분 가능하며,

    상기 블러 추정 에러에 따라 자동적으로 변하는 것을 특징으로 하는 영상의 블러 제거 장치.
13. 제 11항에 있어서, 상기 정규화 함수는 하기의 수학식 11과 같이 정의하는 것을 특징으로 하는 영상의 블러 제거 장치.

    [수학식 11]

    상기 수학식 11에서 y는 획득한 영상이고, x는 원영상이고, H는 영상의 블러이고, 는 정규화 함수이고, P는 상수값임.
14. 제 13항에 있어서, 상기 정규화 함수를 상기 최소화 함수에 대입하여 x로 미분하면 하기의 수학식 12와 같음을 특징으로 하는 영상의 블러 제거 장치.

    [수학식 12]

    상기 수학식 12에서 y는 획득한 영상이고, x는 원영상이고, H는 영상의 블러이고, 는 정규화 함수이고, C는 고역필터이고, C^T는 C의 전치행렬임.
15. 제 14항에 있어서, 상기 반복(iteration) 식은 하기의 수학식 13과 같음을 특징으로 하는 영상의 블러 제거 장치.

    [수학식 13]

    상기 수학식 13에서 n은 반복수(iteration number)이고, β는 반복 스텝(iteration 　step)이고, 그리고 는 상기 수학식 12의 값임.
16. 제 15항에 있어서, 상기 반복의 종료 조건은 하기의 수학식 14와 같이 설정하는 것을 특징으로 하는 영상의 블러 제거 장치.

    [수학식 14]