KR20110026942A - 저해상도 영상의 손실 정보 추정 방법과 고해상도 영상 변환 방법 - Google Patents

Abstract

본 발명은 저해상도 영상의 손실 정보 추정 방법과 저해상도 영상의 고해상도 영상 변환 방법에 관한 것이다. 본 발명의 구성은 하위 레벨 보간을 이용하여 손실 정보를 계산하는 단계, 계산된 손실 정보의 보간을 통해서 손실 정보를 추정하는 단계, 추정된 손실 정보와 가중치를 결합하여 손실 정보를 적용하는 단계를 포함한다.

저해상도, 고해상도, 개선, 향상, 손실 정보, 영상

Description

저해상도 영상의 손실 정보 추정 방법과 고해상도 영상 변환 방법{Loss information estimation method and high resolution transform method of low resolution image}

본 발명은 영상을 확대하고 화질을 좋게 만들기 위한 영상 해상도 향상에 관한 기술임.

영상 해상도 향상 기술은 저해상도의 영상을 고해상도로 변화시키는 것을 의미한다. 원본 고해상도 영상이 있다고 가정하면, 저해상도 영상은 원본 영상의 일부 화소 정보만을 가지고 있는 영상으로 정의할 수 있으며, 복원된 고해상도 영상은 저해상도 영상의 일부 화소 정보와 이 화소 정보들을 토대로 추정한 화소 정보들로 구성된다. 즉, 해상도 향상은 손실된 정보의 정확한 추정으로 설명할 수 있다. 어떤 저해상도 영상을 가로와 세로로 2배씩 확대하게 되면 저해상도 영상의 1개 화소에 대응되는 화소가 4개로 증가한다. 따라서 기존 1개값 이외의 3개의 화소값은 존재하지 않기 때문에 이 정보들을 추정하여야 한다. 하지만 1개 화소에서 4개 화소의 값을 추정하는 것은 아주 난해한 작업이며, 결과 영상의 정확성도 낮아진다. 이런 문제점들을 해결하기 위해서 보간법이 사용된다.

보간법이나 영상 해상도 향상 방법은 실험 환경과 응용 환경에서 다르게 적용된다. 실험 환경에서는 원본 고해상도 영상이 확보되어 있으며, 저해상도 영상은 원본 고해상도 영상의 축소와 부가잡음을 통해서 생성된다. 실험 환경에서는 훼손 정보를 토대로 비교적 정확한 영상 복원이 가능할 수 있다. 반면 응용 환경에서는 획득한 저해상도 영상으로부터 고해상도 영상을 추정해야하며, 부가적으로 알 수 있는 정보가 없다. 따라서 해상도 향상 정도를 객관적으로 측정할 수는 없다. 기존의 연구에서는 실험 환경에서 얻어진 결과를 통해서 모델을 생성하고, 생성된 모델을 응용 환경에서 적용하여 왔다.

영상 해상도 향상을 위한 다양한 분야의 많은 연구가 진행되었다. 영상 보간을 위한 가장 기초적인 방법으로 최근린 보간법이 있다. 이 방법의 기본 개념은 출력 화소의 값으로 생성된 위치에 가장 가까운 원시 화소를 출력 화소로 할당하는 것이다. 즉, 이웃하는 최근접 화소의 값을 그대로 빈 출력 화소에 보간하는 방법이다. 이 방법은 처리 속도가 빠르지만 보간된 영상에 계단 현상이나 블록 현상이 심하게 나타나는 단점이 있다. 이것은 보간된 화소값을 입력 영상에서 찾아야하는 문제점 때문에 발생한다.

일반적으로 많이 사용되는 방법으로 양선형 보간법이 있다. 이 방법은 영상 처리에서 보편적으로 사용되는 방법으로 보간된 영상의 화소는 네개의 가장 가까운 화소들의 가중치를 곱한 값들의 합으로 정의되며 가중치는 선형적인 방법으로 결정된다. 각각의 가중치는 각각의 존재하는 픽셀로부터의 거리에 반비례한다. 최근린 보간법보다는 개선된 화질을 나타내지만 상대적으로 높은 계산복잡도를 가진다.

양선형 보간법과 함께 많이 사용되는 방법으로 3차 상승 보간법이 있다. 4×4 격자의 값들을 윈도우로 이용하여 이웃 화소를 참조하여 보간하는 방법이다. 가중치를 양방향으로 줄 수 있어 오차를 줄일 수 있지만, 양선형 보간법보다 더 높은 계산복잡도를 요구한다. 3차 상승 보간법과 함께 고차 보간법으로는 B-스플라인 보간법이 있다. 출력 영상의 화소를 이웃한 16개의 화소의 삼차 상승 연산을 통해서 계산한다. 우수한 화질의 결과 영상을 얻을 수 있지만, 역시 계산복잡도가 높아서 실제적인 사용에 제약이 존재한다.

앞서 언급한 양선형 보간법이나 고등차수 보간법의 경우에 다수의 인접한 화소들을 참조하여 출력 화소를 생성하기 때문에, 최근린 보간법보다는 좋은 화질의 결과를 생산한다. 하지만 다수의 화소를 참조함에 따라서 각각의 화소가 가지는 주파수 특성이 사라짐에 따라 출력 영상의 윤곽선 영역이 손실되고 흐려짐 현상이 발생하는 문제점이 있다. 이와 같이 고정된 매개변수를 사용하는 선형 보간법의 문제점을 해결하기 위해서 적응적인 매개변수를 적용하는 적응적 보간법이 제안되었다.

적응적 보간법의 대표적인 방법으로는 적응 매개변수 왜곡거리방법, 이동선형보간법, 최소평균자승에러방법, 적응적 3차회선보간법 등이 있다. 비교적 화질 개선 정도는 높지만 계산복잡도가 증가하는 단점이 있다.

이외에도 초해상도 기술이 영상 해상도 향상에 이용된다. 초해상도 기술은 다수개의 저해상도 영상의 정보를 이용해서 고해상도 영상으로 재생성하는 기술이다. 최근에는 하나의 저해상도로부터 고해상도 영상을 생성해내는 초해상도 기술이 연구되고 있으며, 동영상에 적용하기 위한 연구도 진행되고 있다.

본 발명은 저해상도 영상의 손실 정보 추정 방법과 저해상도 영상의 고해상도 영상 변환 방법에 관한 것이다. 영상 해상도 향상에 있어서 원본 고해상도 영상이 있고, 이로부터 생성된 저해상도 영상이 있다고 가정했을 때, 저해상도 영상을 고해상도 영상으로 완전 복원하는 것은 매우 어려운 일이다. 이것은 고해상도 영상이 저해상도 영상으로 변환될 때의 손실 정보를 정확하게 계산해내기 힘들기 때문이다. 저해상도 영상은 aliasing에 의해 많은 고주파 성분의 정보가 손실된다. 따라서 정확한 손실 정보를 추정할 수 없기 때문에 완전 복원은 거의 불가능하다. 그리고 이런 손실 정보들은 보간된 영상에서 흐려짐 현상, 인공물 발생, 링 현상 등 부작용으로 나타난다. 이런 현상의 발생이 대표적인 문제점으로 지적된다. 따라서 손실된 고주파 성분을 효과적으로 복원하는 것이 우선적으로 해결되어야 할 과제로 인식되고 있다.

본 발명은 저해상도 영상의 손실 정보 추정 방법과 저해상도 영상의 고해상도 영상 변환 방법에 관한 것이다.

본 발명에서의 과제 해결 수단으로 하위 레벨 보간을 이용한 손실 정보 계산 단계, 계산된 손실 정보의 보간을 이용한 손실 정보 추정 단계, 추정된 손실 정보와 가중치를 결합한 손실 정보 적용 단계를 이용한다. 상기 손실 정보 계산 단계는 획득한 저해상도 영상의 하위 레벨 보간을 이용해서 손실 정보를 계산하는 것을 특 징으로 하며, 이 단계에서는 입력 영상에 따라 종속적으로 계산되는 영상 적응성을 가지는 특징이 있다. 다음으로 상기 손실 정보 추정 단계는 손실 정보 계산 단계의 결과인 계산 손실 정보를 이용하여 손실 정보를 추정하는 것을 특징으로 하며, 이 손실 정보 추정의 정확성은 앞서 얻어진 계산 손실 정보의 정확성에 근거하는 특징이 있다. 다음으로 상기 손실 정보 적용 단계는 앞서 추정된 결과인 추정 손실 정보에 임의의 가중치를 결합하여 손실 정보를 보간된 고해상도 영상에 적용하는 것을 특징으로 하며, 여기에서 가중치는 추정된 손실 정보가 적용될 때 잡음으로 부가되지 않도록 적용 강도를 조절하는 역할을 한다.

본 발명의 영상 보간 방법은 보간 커널에 대한 독립성을 가지는 것을 특징으로 하는데, 상기 보간 커널 독립성은 특정 보간 커널에 제약을 받지 않고, 어떤 보간 커널도 적용시킬수 있다는 특징이 있다.

본 발명은 저해상도 영상의 손실 정보 추정 방법과 저해상도 영상의 고해상도 영상 변환 방법에 관한 것이다. 영상 해상도 향상 기술은 다양한 영상처리 분야의 기반 기술로 사용되어 왔으며 컴퓨터 비전 시스템의 전반에 걸쳐 사용된다. 특히 위성, 항공, 의료, 군사, 보안 분야에서 영상 분석이나 객체 확인을 위한 목적으로 많이 사용되어 왔으며, 최근 들어서는 일반 사용자들의 사용도 증가하고 있다. 멀티미디어 시스템의 응용 환경에서는 MPEG 또는 H.264의 움직임 보상 방법, 리프팅 기반의 웨이블릿 변환, 격행 주사 방식을 사용하는 디지털 TV의 주사선 제거 등의 목적으로 사용되어 왔다.

본 발명을 통해서 윤곽선 부분, 질감이 복잡한 영역, 영상의 문자열 부분들의 인식상태가 개선된, 영상의 해상도 향상이 가능해진다. 따라서 상기 언급한 영상 개선 및 영상 확대, 영상 복원을 이용하는 다양한 응용 환경에서 유용하게 사용될 수 있다.

본 발명은 저해상도 영상의 손실 정보 추정 방법과 저해상도 영상의 고해상도 영상 변환 방법에 관한 것이다. 지금까지 연구되고 있는 영상 해상도 향상 방법에서는 복원된 영상에서 발생하는 흐려짐 현상이나 블록 현상, 인공물 발생 등이 공통된 문제점으로 인식되어왔다. 이런 문제점들을 해결하기 위하여 본 발명에서는 하위 레벨 보간을 이용한 손실 정보 추정과 영상 해상도 향상 기법을 제안한다. 본 발명은 손실 정보 계산, 손실 정보 추정, 손실 정보 적용의 세 과정으로 구성된다.

본 발명에서는 획득한 저해상도 영상에서 손실 정보를 추정하여 보간된 고해상도 영상에 적용하는 것을 주요 내용으로 한다. 손실 정보는 추정이 비교적 쉬운 저주파대역 손실 정보와 추정이 난해한 고주파대역의 손실 정보로 분류할 수 있다. 저주파대역의 손실 정보는 보간 커널을 통해서 비교적 유사하게 추정할 수 있지만, 영상의 밝기 변화가 심한 윤곽선 영역에서의 추정은 정확도가 낮다. 따라서 손실 정보를 추정하고 추정한 손실 정보에서 고주파 영역에 해당하는 정보들을 보간된 영상에 더해줌으로써 기존의 방법들보다 정확한 영상으로 복원할 수 있다.

제안 알고리즘의 기술에 앞서 고해상도 영상과 저해상도 영상의 정의가 요구된다. 고해상도 영상의 정보를 사전에 확보하고 있다고 가정하고, 고해상도 영상으 로부터 훼손된 저해상도 영상을 생성한다고 제한한다. 아래의 수학식 (1)에서 고해상도 영상을 정의한다.

: high resolution image

수식에서 I _H 는 고해상도 영상을 나타내며, 수학식 (1)에서 정의된 고해상도 영상으로부터 다운샘플링과 잡음부가로 규정된 저해상도 영상을 생성한다. 이 과정을 아래의 수학식 (2)에서 정의한다.

수식에서 I _L 은 획득한 저해상도 영상, D _X 는 X비율만큼 가로와 세로로 다운샘플하는 연산, N _L 은 부가 잡음을 각각 나타낸다. 수학식 (2)로부터 획득한 저해상도 영상을 이용해서 제안한 알고리즘의 첫 번째 단계인 손실 정보를 계산한다. 손실 정보 계산 단계를 획득한 저해상도 영상의 다운샘플링-보간 과정을 통해서 수행된다. 이 과정을 아래의 수학식 (3)~(5)에 나타내었다.

수식에서 I _LL 은 저해상도 영상을 X비율만큼 다운샘플링한 영상을 나타낸다. 즉, 특정한 크기로 축소된 영상을 생성한다. 다음으로 다운샘플된 영상을 축소 비율과 동일한 비율로 보간시킨다.

수식에서 R _L 은 보간된 저해상도 영상, K _X 는 규정된 보간 커널을 이용해서 X비율만큼 보간하는 연산을 각각 나타낸다. 다음으로 획득한 저해상도 영상과 보간된 저해상도 영상을 이용해서 손실 정보를 계산한다.

수식에서 E _L 은 계산된 손실 정보를 나타내는데, 이 계산된 손실 정보는 획득한 저해상도 영상과 보간된 저해상도 영상의 차영상을 의미한다. 이상의 수학식 (3)~(5)에서와 같이 획득된 저해상도 영상으로부터 손실 정보를 계산할 수 있다. 이 과정의 특징은 획득된 영상으로부터 정확하게 계산할 수 있다는 것이며, 모든 입력 영상에 적응적이라는 것이다. 즉, 기존의 연구에서처럼 사전 훈련을 통한 누적된 경험적 손실 정보가 아닌, 입력 영상에 대해서만 종속적으로 계산되는 정보임을 의미한다. 다음으로 두 번째 단계인 손실 정보를 추정 단계를 기술하였다. 이 과정에서는 계산된 손실 정보를 보간된 고해상도 영상에 적용하기 위한 손실 정보로 재생성하는 과정이다. 이 과정은 아래의 수학식 (6)에서 정의한다.

수식에서 E _H 는 추정된 손실 정보를 나타내는데, 이 추정된 손실 정보는 계산된 손실 정보를 X비율만큼 보간하여 생성한다. 즉, 계산된 손실 정보에 보간 커널을 적용시킨 것을 의미한다. 이때의 보간 커널은 수학식 (4)의 커널과 동일하다. 여기서 추정된 손실 정보의 정확성의 근거는 계산된 손실 정보의 정확성에 기초한다. 즉, 동일한 영상에 대해서 저해상도에서의 손실 정보 특성은 고해상도에서도 유사하게 나타나기 때문에, 저해상도와 고해상도에서 동일한 보간 커널을 사용함으 로써 손실 정보 추정이 보다 정확할 수 있다.

다음으로 마지막 단계인 손실 정보 적용에 대해서 알아본다. 이 과정에서는 위에서 추정한 손실 정보를 보간된 고해상도 영상에 적용한다. 이 과정을 아래의 수학식 (7)~(9)에 나타내었다.

수식에서 R _H 는 보간된 고해상도 영상을 나타내며, 보간 커널은 수학식 (4), 수학식 (6)과 동일하다. 즉, 보간된 고해상도 영상은 획득한 저해상도 영상을 보간 커널에 적용한 결과이다. 이 결과 영상에 추정 손실 정보를 더해줌으로써 최종적인 복원 영상을 얻을 수 있다.

수식에서 R _P 는 보간된 고해상도 영상과 추정 손실 정보의 결합을 나타낸다. 이와 같은 손실 정보 적용을 통해서 일반적인 보간법보다 화질의 열화를 줄일 수 있다. 추정하기 어려운 윤곽선 부분의 손실 정보를 더해줌으로써 보간된 영상의 윤곽선 정보가 명확하게 되고 전체적인 영상 해상도가 향상된다. 하지만 추정 손실 정보를 모두 적용하게 되면 저주파 대역의 정보들도 그대로 더해지게 되어서 전체적인 영상의 밝기가 상승된다. 이것은 영상 밝기 변화가 적은 부분의 경우 보간을 통해서 대부분 정확하게 추정되기 때문에, 손실 정보의 적용은 오히려 잡음으로 취급된다. 따라서 화질의 열화를 야기시킬 수 있다. 이런 단점을 해결하기 위해서 추정 손실 정보에 적정 가중치를 적용한다.

수식에서 R _PW 는 손실 정보에 가중치를 적용하여 더해준 최종적인 고해상도 영상,

는 가중치를 각각 나타낸다. 가중치가 0인 경우는 손실 정보를 적용하지 않은 상태를 의미하며, 1인 경우는 수학식 (8)과 동일한 상태를 의미한다. 이와 같은 손실 정보에 대한 가중치 적용을 통해서 윤곽선 부분을 살리면서도 손실 정보의 잡음화를 최소화 할 수 있다. 가중치 계수의 적용을 달리하여 실험한 결과 영상에 따라 다르게 나타나지만 평균적으로 0.3~0.65에서 높은 PSNR을 확인할 수 있었다.

앞서 언급한 제안한 방법의 입력 영상에 대한 적응성과 손실 정보에 대한 정확성 외에 제안한 방법에서는 보간 커널에 대한 독립성을 가지고 있다. 즉, 특정 보간 커널에 제약을 받지 않고, 어떤 보간 커널도 적용시킬 수 있다는 것이다. 알고리즘의 전과정에서 사전에 규정된 보간 커널을 사용하는 것이 아니라, 응용 환경의 요구에 따라서 적절한 보간 커널을 사용할 수 있다. 예를 들어, 실시간 처리를 위해서는 계산복잡도가 낮은 양선형 보간법을 사용할 수 있고, 보다 정확한 결과를 얻기 위한 환경에서는 적응보간법과 같은 고차 보간 커널을 사용할 수 있다.

도 1에서는 지금까지 서술한 본 발명의 알고리즘 흐름도를 나타내고 있다. 저해상도 영상 획득 단계(100)에서는 웹을 비롯한 여러가지 방법으로 해상도 향상을 위한 저해상도 영상을 확보하는 역할을 한다. 이렇게 획득된 저해상도 영상은 저저해상도 생성 단계(200)에서 다운샘플링을 통해서 더욱 낮은 해상도의 영상으로 생성된다. 생성된 저저해상도 영상은 저해상도 보간 단계(300)을 통해서 획득한 저해상도 영상과 동일한 크기를 가지는 보간된 저해상도 영상을 만들어낸다. 보간된 저해상도 영상과 획득한 저해상도 영상은 저해상도 손실 정보 계산 단계(400)에서 차연산을 통해서 저해상도 손실 정보 영상을 생성해낸다. 고해상도 보간 단계(500)을 통해서 획득한 저해상도 영상은 원래의 크기보다 큰 규정된 사이즈의 고해상도 영상으로 보간된다. 그리고 고해상도 손실 정보 추정 단계(600)에서는 저해상도 손실 정보 영상을 보간하여 고해상도 손실 정보 영상을 추정하여 생성한다. 마지막으로 고해상도 영상 복원 단계(700)에서는 보간된 고해상도 영상과 손실 정보 추정 영상의 합연산을 통해서 최종적으로 복원된 고해상도 영상을 생성해낸다. 이 과정에서 적절한 손실 정보 추정 영상에 적절한 가중치를 적용하여 잡음의 영향이 줄어든 고해상도 복원 영상을 얻을 수 있다.

도 1은 본 발명에서의 알고리즘의 전체 흐름도.

Claims (8)

1. 하위 레벨 보간을 이용한 손실 정보 계산 단계, 계산된 손실 정보의 보간을 이용한 손실 정보 추정 단계, 추정된 손실 정보와 가중치를 결합한 손실 정보 적용 단계를 포함하는 것을 특징으로 하는 저해상도 영상의 손실 정보 추정 방법과 저해상도 영상의 고해상도 영상 변환 방법.
2. 청구항 1항 있어서, 손실 정보 계산 단계는 획득한 저해상도 영상의 하위 레벨 보간을 이용해서 손실 정보를 계산하는 것을 특징으로 하는 저해상도 영상의 손실 정보 추정 방법과 저해상도 영상의 고해상도 영상 변환 방법, 여기에서 상기 하위 레벨 보간은 획득한 저해상도 영상의 다운샘플-보간 과정을 통해서 획득한 저해상도 영상과 보간된 저해상도 영상의 손실 정보를 계산하는 것을 특징으로 하는 저해상도 영상의 손실 정보 추정 방법과 저해상도 영상의 고해상도 영상 변환 방법.
3. 청구항 2항에 있어서, 손실 정보 계산 단계는 입력 영상에 따라 종속적으로 계산되는 영상 적응성을 가지는 것을 특징으로 하는 저해상도 영상의 손실 정보 추정 방법과 저해상도 영상의 고해상도 영상 변환 방법, 여기에서 상기 영상 적응성은 사전 훈련을 통한 누적된 경험적인 손실 정보 계산법이 아닌 입력 영상에 대해서만 종속적으로 계산 결과를 나타내는 것을 특징으로 하는 저해상도 영상의 손실 정보 추정 방법과 저해상도 영상의 고해상도 영상 변환 방법.
4. 청구항 1항에 있어서, 손실 정보 추정 단계는 청구항 2항에서 계산된 결과인 계산 손실 정보를 이용하여 손실 정보를 추정하는 것을 특징으로 하는 저해상도 영상의 손실 정보 추정 방법과 저해상도 영상의 고해상도 영상 변환 방법, 여기에서 상기 손실 정보 추정은 계산 손실 정보 영상을 1항에서 사용한 보간 커널과 동일한 보간 커널을 사용해서 보간하는 것을 특징으로 하는 저해상도 영상의 손실 정보 추정 방법과 저해상도 영상의 고해상도 영상 변환 방법.
5. 청구항 4항에 있어서, 손실 정보 추정의 정확성은 청구항 2항의 계산 손실 정보의 정확성에 근거하는 것을 특징으로 하는 저해상도 영상의 손실 정보 추정 방법과 저해상도 영상의 고해상도 영상 변환 방법, 여기에서 상기 계산 손실 정보의 정확성은 동일한 영상에 대해서 저해상도에서의 손실 정보 특성은 고해상도에서도 유사하게 나타나기 때문에, 저해상도와 고해상도에서 동일한 보간 커널을 사용함으로써 손실 정보 추정이 보다 정확할 수 있다는 것을 특징으로 하는 저해상도 영상의 손실 정보 추정 방법과 저해상도 영상의 고해상도 영상 변환 방법.
6. 청구항 1항에 있어서, 손실 정보 적용 단계는 청구항 4항에서 추정된 결과인 추정 손실 정보에 임의의 가중치를 결합하여 손실 정보를 보간된 고해상도 영상에 적용하는 것을 특징으로 하는 저해상도 영상의 손실 정보 추정 방법과 저해상도 영상의 고해상도 영상 변환 방법, 여기에서 상기 손실 정보 적용은 보간된 고해상도 영상과 추정 손실 정보의 합으로 이루어지는 것을 특징으로 하는 저해상도 영상의 손실 정보 추정 방법과 저해상도 영상의 고해상도 영상 변환 방법.
7. 청구항 1항에 있어서, 가중치는 추정된 손실 정보가 적용될때 잡음으로 부가되지 않도록 적용 강도를 조절하는 역할을 하는 것을 특징으로 하는 저해상도 영상의 손실 정보 추정 방법과 저해상도 영상의 고해상도 영상 변환 방법.
8. 청구항 2, 4, 6항에 있어서, 본 발명의 영상 보간 방법은 보간 커널에 대한 독립성을 가지는 것을 특징으로 하는 저해상도 영상의 손실 정보 추정 방법과 저해상도 영상의 고해상도 영상 변환 방법, 상기 보간 커널 독립성은 특정 보간 커널에 제약을 받지 않고, 어떤 보간 커널도 적용시킬수 있다는 것을 특징으로 하는 저해상도 영상의 손실 정보 추정 방법과 저해상도 영상의 고해상도 영상 변환 방법.

Images