KR101070981B1 - 경계선 성분 분류 기반 신경회로망 모델을 이용한 영상 화질 개선방법 - Google Patents

경계선 성분 분류 기반 신경회로망 모델을 이용한 영상 화질 개선방법 Download PDF

Info

Publication number
KR101070981B1
KR101070981B1 KR1020090106639A KR20090106639A KR101070981B1 KR 101070981 B1 KR101070981 B1 KR 101070981B1 KR 1020090106639 A KR1020090106639 A KR 1020090106639A KR 20090106639 A KR20090106639 A KR 20090106639A KR 101070981 B1 KR101070981 B1 KR 101070981B1
Authority
KR
South Korea
Prior art keywords
image
neural network
network model
boundary
high frequency
Prior art date
Application number
KR1020090106639A
Other languages
English (en)
Other versions
KR20110049570A (ko
Inventor
조성원
김재민
강민희
Original Assignee
홍익대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 홍익대학교 산학협력단 filed Critical 홍익대학교 산학협력단
Priority to KR1020090106639A priority Critical patent/KR101070981B1/ko
Publication of KR20110049570A publication Critical patent/KR20110049570A/ko
Application granted granted Critical
Publication of KR101070981B1 publication Critical patent/KR101070981B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4666—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Abstract

본 발명은 저해상도의 영상을 확대하여 고해상도의 영상을 생성하는 방법에 관한 것으로, 입력 영상을 주파수 성분별로 저주파수 영상, 중간주파수 영상 및 고주파수 영상으로 분류하여 생성하는 단계와, 상기 중간주파수 영상의 각 성분에 따른 효과적인 학습을 위하여, 경계선 영상을 성분별로 분류하는 단계와, 상기 분류된 경계선 영상에 따른 신경회로망 모델을 구성하는 단계와, 상기 신경회로망 모델을 통하여 고주파수 영상을 추정하는 단계 및 상기 추정된 고주파수 영상과 상기 저주파수 영상과의 합을 통하여 고해상도 영상을 구현하는 단계를 포함하는 경계선 성분 분류 기반 신경회로망 모델을 이용한 영상 화질 개선방법이 제공된다.
신경회로망, 영상 화질개선, 경계선

Description

경계선 성분 분류 기반 신경회로망 모델을 이용한 영상 화질 개선방법 {Image Enhancement Method Using Neural Network Model Based on Edge Component Classification}
본 발명은 저해상도의 영상을 확대하여 고해상도의 영상을 생성하는 방법에 관한 것으로, 보다 상세하게는 입력된 저주파 영상과 유사성이 높은 고주파 성분을 예측하여 보간법을 통해 확대된 영상에 더해줌으로써 고해상도 영상을 구현하기 위한 방법에 관한 것이다.
디지털 방송 시대를 맞이하며 HD(High Definition) TV나 대형 LCD 모니터 등 고급 영상 장비의 급속한 보급으로 인해 고화질 영상의 필요성이 더욱 강조되고 있다. 이미 HD규격 해상도(가로 1920픽셀, 세로 1080픽셀)보다 4~16배 선명한 Ultra HD 규격의 해상도(가로 7680픽셀, 세로 4320픽셀)에 대한 연구가 활발히 진행중이며 그리 머지않은 미래에 사용 가능할 것으로 예견된다. 그 외에도 고해상도의 영상은 정지 영상과 비디오 영상 등 여러 응용 분야에서 유용하게 사용되고 있다. 그 예로 군사적 감시 장치와 같은 지상으로부터 높은 고도에서 촬영된 영상으로부터 적의 활동 정보를 얻어내기 위한 목적을 가진 것과 정확한 진단을 위한 의료 영상 촬영 등의 분야를 들 수 있다. 또한, 감시 시스템에는 자동차 번호판 인식이나 얼굴 인식에 있어서도 고해상도의 영상을 필요로 한다. 이러한 장비들에서 기존의 저해상도 규격의 영상을 사용하거나, 기존 영상 획득 장치의 교체 없이 고해상도 영상 규격의 영상을 얻기 위해서는 효과적인 영상 확대 기술이 필요로 한다. 뿐만 아니라 영상 신호를 취득하는 과정과 전송하는 과정에서 여러 요소에 의한 화질 저하가 발생하게 되는데, 여러 요인 중에서도 특히 밴드폭(bandwidth)의 제한으로 인한 고주파 성분의 감소가 화질 저하의 주요인이며 이를 개선하기 위하여 고주파 성분의 복원에 중점을 둔 영상 확대 기법에 관한 연구가 필요하게 된다.
저해상도의 영상을 확대하여 고해상도의 영상을 만들어내는 방법으로서 여러 가지 영상 보간 기법들이 있는데, 이는 영상 처리 연구의 초기부터 계속 진행되어 왔고 현재에도 여러 가지 방법들이 꾸준히 제안되고 있다. 기본적인 영상 보간 기법은 선형(linear) 보간 기법과 비선형(nonlinear) 보간 기법으로 나뉜다. 선형 보간 기법은 최근접 보간법(nearest neighbor interpolation), 쌍선형 보간법(bilinar interpolation), 쌍입방 보간법(bicubic interpolation) 등이 널리 사용되고 있다. 최근접 보간법과 쌍선형 보간법은 계산이 간단하고 계산량이 적은 장점이 있으나 보간 시 블록 효과 (blocking effect)가 심하게 나타나게 된다. 이에 비해 쌍입방 보간법은 블록 효과를 줄일 수 있으나 윤곽(edge) 영역에서의 블러링 (blurring)과 링잉 효과 (ringing effect)가 나타나게 된다. 최근 컴퓨터의 발달로 많은 계산을 빠르게 처리할 수 있게 되어 비선형 보간 방법들에 대한 연구가 활발히 진행되고 있다. 비선형 방법들은 인간의 시각적 특성 (human visual system)에 민감한 에지 영역에 중점을 두어 연구되고 있다. 비선형 필터, 마르코프 확률장 (Markov random field) 모델 등이 비선형 보간법의 예이다.
영상 화질의 개선에 뛰어난 효과를 보이는 Freeman 등이 제안한 Example-Based Super-resolution 방법은 저해상도 입력 영상이 가지고 있지 않은 고주파 성분을 패치(patch)화 하여 DB(Data Base)영상내의 패치와의 유사성을 이용하여 효과적으로 복구하는 방법이다. 그러나 유사한 패치를 찾기 위해 방대한 계산양을 필요로 하고, DB에 입력 영상과 유사한 값의 패치가 없을 경우 오차가 심해지는 단점이 있다.
본 발명은 상술한 종래의 문제점을 극복하기 위한 것으로서, 본 발명이 해결하고자 하는 과제는 고해상도 영상을 구현하기 위한 경계선 성분 분류 기반 신경회로망 모델을 이용한 영상 화질 개선방법을 제공하기 위한 것이다.
본 발명의 다른 목적은 중간 주파수 영상과 고주파수 영상간의 관계를 역전파(Backpropagation) 신경회로망 모델에 학습시켜 저주파 성분만 가진 입력 영상에 고주파 성분을 예측하여 합성함으로써 영상의 해상도를 개선하는 방법을 제공하기 위한 것이다.
본 발명의 또 다른 목적은 역전파 신경회로망 모델의 학습의 입력이 되는 저해상도 패치의 경계선(Edge) 성분에 따라 분류하여 학습시킴으로써 정확도가 높은 결과값을 도출할 수 있는 방법을 제공하기 위한 것이다.
본 발명의 예시적인 실시예에 따르면, 경계선 성분 분류 기반 신경회로망 모델을 이용한 영상 화질 개선방법에 있어서, 입력 영상을 주파수 성분별로 저주파수 영상, 중간주파수 영상 및 고주파수 영상으로 분류하여 생성하는 단계; 상기 중간주파수 영상의 각 성분에 따른 효과적인 학습을 위하여, 경계선 영상을 성분별로 분류하는 단계; 상기 분류된 경계선 영상에 따른 신경회로망 모델을 구성하는 단계; 상기 신경회로망 모델을 통하여 고주파수 영상을 추정하는 단계; 및 상기 추정된 고주파수 영상과 상기 저주파수 영상과의 합을 통하여 고해상도 영상을 구현하 는 단계를 포함하는 영상 화질 개선방법이 제공된다.
상기 저주파수 영상을 생성하는 단계는 상기 입력 영상을 축소하는 단계; 및 상기 축소된 영상을 보간법을 이용하여 원래 입력 영상의 크기로 확대하는 단계를 포함한다.
상기 중간주파수 영상을 생성하는 단계는 상기 저주파수 영상을 저주파수 차단 필터에 통과시키는 단계; 및 상기 중간주파수 영상을 패치화하는 단계를 포함한다.
상기 저주파수 차단 필터는 라플라시안 필터를 이용하는 것을 특징으로 한다.
상기 고주파수 영상을 생성하는 단계는 상기 입력 영상과 상기 저주파수 영상 과의 차를 통하여 구하는 단계를 포함한다.
상기 경계선 영상을 성분별로 분류하는 단계는 미리 정해진 각도에 따른 경계선 영상과 평활 영상을 검출하는 단계; 및 상기 검출된 영상에 따라 패치를 생성하는 단계를 포함한다.
상기 미리 정해진 각도에 따른 경계선 영상과 평활 영상을 검출하는 단계는, 고주파수 영상에 소벨(sobel) 마스크를 적용하여 평활 영상, 0도, 45도, 90도 및 135도 경계선 영상을 검출하는 단계를 포함한다.
상기 신경회로망 모델은 역전파 알고리즘인 것을 특징으로 한다.
상기 분류된 경계선 영상에 따른 신경회로망 모델을 구성하는 단계는, 상기 중간주파수 영상을 상기 신경회로망 모델의 입력값으로 사용하고, 상기 고주파수 영상을 목표값으로 설정하여, 상기 신경회로망 모델을 학습시키는 단계; 및 상기 목표값과 결과값의 오차가 설정치 이내로 줄어들 때까지 반복 학습을 수행하는 단계를 포함한다.
상기 신경회로망 모델을 통하여 고주파수 영상을 추정하는 단계는 상기 구성된 신경회로망 모델을 통해서 얻은 결과값을 자동 회귀 모델을 적용하여 경계선 영상 성분별 가중치를 선정하여 고주파수 영상을 추정하는 단계를 포함한다.
상기 신경회로망 모델을 학습시키는 단계는, 가중치를 초기화하는 단계;통신망을 통한 입력 벡터를 전파하는 단계; 출력층에서 에러를 계산하는 단계; 중간층에서 에러를 계산하는 단계; 상기 가중치를 업데이트 하는 단계; 및 총 오차가 미리 설정한 임계값 이내에 도달할때 까지, 상기 가중치를 초기화하는 단계를 제외한 나머지 과정을 반복 수행하는 단계를 포함한다.
본 발명에서 따르면, 기존의 보간법의 결과들과 비교해 보았을 때 인간의 시각에 민감한 경계선 부분을 효과적으로 복원함으로써 영상의 선명도가 높아지는 효과를 얻을 수 있다.
시각적인 향상뿐만 아니라 영상의 품질 면에 있어서도 종래기술에 따른 방법에 비해 원래 영상에 더욱 근접한 영상을 획득할 수 있다.
그리고, 신경회로망 모델 구성 시 입력 값을 분류하여 여러 개의 모델을 구성하기 때문에 학습 시간을 단축시키고 결과 값의 오차 또한 줄어들어 PSNR을 높일 수 있게 된다.
또한, 영상 확대를 시행하는 시간도 거의 차이가 없었기 때문에 본 발명에서 제안하는 방법을 이용하면 실시간으로 사용이 가능하다는 큰 장점이 있다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대해 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 경계선 성분 분류 기반 신경회로망 모델을 이용한 영상 화질 개선방법의 흐름도이며, 도 2는 본 발명의 실시예에 따른 경계선 성분 분류 기반 신경회로망 모델을 이용한 영상 화질 개선방법의 개념 구성도이다.
도 1을 참조하여 본 발명의 실시예에 따른 영상 화질 개선방법의 전체 과정을 살펴보면, 우선 입력 영상에 대한 주파수별 영상을 생성하는 과정을 수행한다(S10). 입력 영상을 주파수 성분별로 저주파수 영상, 중간 주파수 영상 및 고주파수 영상으로 분류하여 생성한다. 이에 대한 상세한 설명은 이하의 도 3 내지 도 6에서 상술한다.
중간 주파수 영상의 각 성분에 따른 효과적인 학습을 위하여, 영상의 경계선 성분별 분류 과정을 수행한다(S20). 그 다음, 각 경계선 영역에 따른 최적의 신경회로망 모델을 구성하는 과정을 수행한다(S30).
그리고 나서, 신경회로망 모델을 통하여 복원한 고주파수 영상은 저주파수 영상과의 합을 통하여 목표하는 고해상도의 영상을 구현하는 과정을 수행한다(S40).
도 2를 참조하여 본 발명의 실시예에 따른 영상 화질 개선방법을 개괄적으로 살펴본다. 본 발명의 실시예에 따른 영상 화질 개선방법은 도 2에 도시된 바와 같이 크게 영상의 주파수 성분별 분류를 통한 패치 생성과 신경회로망 모델을 구성하기 위한 학습 과정으로 나눌 수 있다.
먼저 주파수 성분별 분류를 통한 패치 생성 과정을 살펴보면 다음과 같다. 저해상도의 입력 영상을 보간법을 통하여 N배 확대하여 고주파 성분이 없는 고해상도의 영상을 생성한다. 저주파 성분의 제거를 위하여 생성된 고해상도의 영상을 저주파 차단 필터에 통과시켜서 중간 주파수(Mid-Frequency)영상을 생성한다. 중간 주파수 영상은 패치화하여 신경회로망 모델의 입력으로 사용되며, 신경회로망 모델은 입력된 중간 주파수 패치에 해당하는 고주파수 패치를 추론하게 된다.
생성된 중간 주파수 패치와 고주파 패치를 이용해 신경회로망 모델을 학습시키게 되는데 분류된 패치를 각각의 신경회로망 모델에 입력하여 학습시켜서 결과 값과 목표 값의 오차가 줄어들 때까지 충분한 횟수의 반복을 통하여 정확한 모델을 구성한다. 구성된 모델을 통해서 복원한 고주파 영상은 보간법을 이용하여 생성한 저주파 영상과의 합을 통하여 원하는 고해상도의 영상을 구하게 된다.
도 3은 도 1에 도시된 주파수별 영상 생성하는 과정을 나타낸 흐름도이며, 도 4a 및 도 4b는 원래 영상과 저주파수 영상을 나타낸 도이고, 도 5 및 도 6은 도 3에 도시된 과정에 따라 생성된 중간 주파수 영상과 고주파수 영상을 나타낸 도이다.
도 3 내지 도 6을 참조하여 주파수별 영상 생성하는 과정과 실제 생성된 주파수별 영상을 살펴본다.
우선 입력 영상으로부터 저주파수 영상을 생성하는 과정을 수행한다(S11). 그 다음에 중간 주파수 영상을 생성하는 과정을 수행하며(S12), 그리고 나서 고주파수 영상을 생성하는 과정을 수행한다(S13).
S11과정 즉, 저주파수 영상을 생성하는 과정을 좀 더 자세히 살펴본다.
신경회로망 모델의 입력으로 사용할 중간 주파수 영상을 생성하기 위해서는 저주파수 영상을 획득해야 한다. 이러한 저주파수 영상은 입력 영상을 축소시킨 후 다시 보간법을 이용하여 원래 입력 영상의 크기로 확대하여 구한다. 도 4a에는 원래 입력 영상이 도시되며, 도 4b에는 본 발명의 실시예에 따라 생성된 저주파수 영상이 도시된다.
보간법이란 주어진 데이터 점들의 정보들로부터 그 점들 사이의 정보를 유추하는 수치적 방법이다. 원래 영상을 1/4 인수의 해상도로 축소하는 경우 원래 영상의 화소 격자에서 하나씩 건너뛰면서 새로운 영상의 격자에 써가면 영상이 원래 영상의 1/4 인수의 해상도로 줄어든다. 그러나 원래 영상을 4의 인수에 의해 해상도를 확대하는 것은 화소의 값이 없는 격자가 생겨서 잘되지 않는다. 4의 인수에 의해 해상도가 확대되면 실제 화소값들 사이에 빈 공간이 생기게 되는 것이다. 보간법은 주변의 화소들을 분석함으로써 새로운 화소를 생성한다. 영상 처리에서 주로 사용되는 보간법에는 최근접 이웃 보간법과 양선형 보간법, B-스플라인 보간법, 3차 회선 보간법 등 여러 가지 방법이 있으나, 본 발명의 실시예에서는 양선형 보간법 또는 3차 회선 보간법을 사용하였다.
양선형 보간법(bilinear interpolation)은 세 번의 일차 보간들을 요구하므로, 최근접 이웃 보간법보다 상당히 많은 계산을 요구하지만, 최근접 이웃 보간법보다 더 부드러운 영상을 산출한다. 양선형 보간법에 의해 확대된 영상들은 최근접 이웃 보간법에 비하여 계단 현상이 현저하게 없어진다.
3차 회선 보간법은 가중치 함수(weight function)를 정의하고, 원 영상의 주변 픽셀 값에 가중치를 곱한 값을 모두 합하여 화소값을 계산하는 방식을 사용한다. 각 행(row)에 대하여 보간을 먼저 실시한 후, 거기서 구해진 값들을 이용하여 다시 열(column)에 대한 보간을 수행하는 방식을 사용한다. 3차 회선 보간법에서는 모두 16개의 화소값을 참조하여 결과 영상 화소값을 계산한다. 3차 회선 보간법에서는 총 5번의 보간이 이루어진다. 4개의 점에 대하여 3차 회선 보간법을 수행하는 방법은 다음과 같다. 3차 함수를 이용하여 4개의 점에 대한 가중치를 계산하고, 픽셀의 값과 가중치를 곱한 값들의 합으로 결과값을 계산한다. 이 가중치 함수가 3차 곡선의 모양을 가지기 때문에, 이 보간 방법을 3차 회선 보간법이라고 부르는 것이다.
S12 과정 즉, 중간 주파수 영상을 생성하는 과정을 좀 더 상세히 살펴본다. 저주파수 성분을 제거하기 위하여, S11 과정을 통하여 생성된 저주파수 영상을 저 주파수 차단 필터에 통과시킨다. 이렇게 저주파수 차단 필터를 통과시켜 생성된 영상을 중간 주파수(Mid-Frequency)영상이라고 하며, 중간 주파수 영상은 패치화하여 신경회로망 모델의 입력으로 사용된다.
이때, 저주파수 차단 필터로는 아래의 [식 1]에 도시된 라플라시안(Laplacian) 필터를 이용하며, 이러한 라플라시안 필터를 이용하여 고주파수 성분과 저주파수 성분이 제거된 중간 주파수 영상은 도 5에 도시된다.
[식 1]
Figure 112009068179138-pat00001
S13 과정 즉, 고주파수 영상을 생성하는 과정을 좀 더 상세히 살펴본다.
중간 주파수 영상의 학습 목표가 될 고주파수 영상은 축소 이전의 원래 영상과 저주파 영상과의 차를 통하여 구한다. 이렇게 얻은 영상은 고주파수 정보를 가지고 있으나 화소값들의 크기가 작아 육안으로 실제 화소 값의 확인하기는 어렵다. 고주파수 정보를 육안으로 확인하기 위해서는 정규화 과정을 통하여 확인할 수 있다. 도 6a는 S13 과정을 통하여 획득한 실제 고주파수 영상이며, 도 6b는 도 6a에 도시된 영상을 정규화한 영상이다.
도 7은 도 1에 도시된 중간 주파수 영상의 경계선 성분 분류하는 과정을 나 타낸 흐름도이며, 도 8은 경계선 영상 추출에 사용된 소벨(sobel) 마스크를 나타낸 도이고, 도 9는 각도별로 추출된 경계선 영상을 나타낸 도이다.
도 7을 참조하여, S20 과정 즉, 영상을 경계선 성분별 분류 과정을 살펴본다. 우선, 중간 주파수 영상의 각 성분에 따른 효과적인 학습을 위하여, 미리 정해진 각도의 경계선 특성을 갖는 영상과 평활 영상을 검출하는 과정을 수행한다(S21). 그리고 나서, 분류된 영상에 따라 패치를 생성하는 과정을 수행한다(S22).
즉, 얻어진 고주파수 영상에 1차 미분 연산자 중의 하나인 소벨(sobel) 마스크를 적용하여 평활한 영상, 0도, 45도, 90도 및 135도의 경계선 영상을 종류별로 검출한다. 경계선 영상의 검출에는 도 8에 도시된 소벨(sobel) 마스크를 이용하였다. 분류된 영상에 따라 각각 패치를 만들고, 만들어진 패치는 같은 위치의 저주파수 패치가 신경회로망의 입력으로 들어 왔을 때의 목표값으로 설정된다.
도 9a는 0도에서 추출된 경계선 영상이며, 도 9b는 45도에서 추출된 경계선 영상이며, 도 9c는 90도에서 추출된 경계선 영상이고, 도 9d는 135도에서 추출된 경계선 영상이다.
도 10은 도 1에 도시된 경계선 성분별 분류에 따른 신경회로망 모델을 구성 및 고해상도 영상 구현 과정을 나타낸 흐름도이며, 도 11은 영상 복원을 위한 신경회로망 구조를 나타낸 도이다.
도 10을 참조하면, 생성된 중간 주파수 패치와 고주파 패치를 이용해 신경회 로망 모델을 학습시키게 되는데, 우선 분류된 패치를 각각의 신경회로망 모델에 입력하여 학습시키는 과정을 수행한다(S31).
결과값과 목표값의 오차가 설정치 이내로 줄어들 때까지 충분한 횟수의 반복을 통하여 최적 모델을 구성하는 과정을 수행한다(S32).
구성된 신경회로망 모델을 통해서 추론한 결과값은 자동 회귀(AR:Auto regressive) 모델을 적용하여 구한 가중치의 합으로 나타내고 패치들을 이용하여 고주파수 영상을 복원하는 과정을 수행한다(S33). 복원한 고주파수 영상은 보간법을 이용하여 생성한 저주파수 영상과의 합을 통하여 원하는 고해상도의 영상을 구현하는 과정을 수행한다(S34).
도 11을 참조하면, 영상 복원을 위한 신경회로망 모델에서 이용한 역전파 알고리즘은 다층(Multi-layer)이고 feedforward 신경망에서 사용되는 학습 알고리즘이며 학습의 방법은 지도 학습(supervised learning)이다. 신경 회로망 구조는 일반적으로 입력층, 출력층, 중간층인 3층 이상의 구조를 사용하는데, 특히 이 구조에 따라 특성이 크게 달라지며 아직 뚜렷한 신경회로망 지표가 없으므로 많은 시행착오를 통하여 신경회로망을 구성할 수밖에 없다.
본 발명에서는 입력층, 출력층, 2개의 중간층으로 구성된 4층 구조를 사용하였으며 입력층은 5X5 패치의 각각의 구성 요소로 이루어진 25개의 값을 가진 벡터를 사용하였다. 이는 중간 화소값을 중심으로 더 많은 정보를 이용하여 신경회로망의 성능을 향상시키기 위한 목적이다. 출력층에서는 입력층의 중간 화소 값을 중심으로 상관관계를 지닌 고주파수 성분의 3X3 패치들의 값을 가진 벡터 요소들로 9개 의 출력을 사용하였다. 즉, 도 11에 도시된 바와 같이, 입력층의 M는 25가 되고, N는 9가 되는 것이고 은닉층(Hidden layers) 수가 2인 것이다. 또한, 입력층에서 사용되는 패치들의 공간적 좌표와 출력층에서 사용되는 패치들의 공간적 좌표는 같아야 한다. 그래서, 학습을 마친 신경회로망 모델에 고주파수 성분의 정보를 모르는 입력 영상이 들어왔을 때 그에 맞는 고주파수 성분의 정보를 추정할 수 있다.
영상 복원을 위한 신경회로망 모델에서 이용한 역전파 알고리즘은 주어진 입력에 대하여 희망하는 출력과 신경회로망의 실제 출력값 간의 오차를 최소가 되도록 가중치(weight)와 바이어스(bias)를 조정하기 위한 학습 과정을 필요로 한다. 입력층에 들어가는 정보는 위에서 설명한 중간주파수 성분을 가진 영상의 패치값을 사용하게 된다. 출력층에서는 학습을 위한 예제 영상과 이 영상을 저주파수 영상으로 변환한 영상과의 차를 통해 고주파수 성분을 가진 영상의 패치들의 값을 사용하게 된다.
그리고, 신경회로망 모델의 성능을 향상시키기 위해 입력 영상을 앞서 설명한 저주파수 성분의 영상 변환과 같은 방법으로 구한 영상과 입력 영상과의 차를 이용하여 고주파수 성분이 강한 부분(즉, 경계선 특성을 가진 영상)과 그렇지 않은 부분(즉, 평활 영상)으로 나누어 따로 학습시키게 된다. 입력층에 사용되는 벡터의 성분은 화소값으로 이루어지는데 경우에 따라서는 고주파수 성분이 강한 부분과 그렇지 않은 부분의 화소값이 큰 차이가 없을 수도 있다. 그런 경우 주파수 성분이 적은 부분의 출력 화소값은 거의 0에 가까운 값이 나와야 하는데, 영역을 나누지 않고 학습시켰을 경우에는 주파수 성분이 적은 부분의 출력 화소값들이 다른 값을 가지게 되어 오차로서 작용하였다. 그래서 본 발명에서는 고주파수 성분이 강한 부분과 그렇지 않은 부분으로 영상을 나누어 따로 학습시킴으로써 오차를 줄일 수 있었다. 입력층의 패치값들과 출력층의 패치값들을 통해 가중치(weight)와 바이어스(bias)를 조정하며 주어진 입력에 대하여 희망하는 출력과 신경회로망의 실제 출력값 간의 오차를 최소가 되도록 하는 강인한 신경회로망이 되도록 학습시킨다.
도 12는 본 발명의 실시예에 따른 신경회로망 모델의 학습 알고리즘의 순서도이며, 도 13은 본 발명의 실시예에 따른 구현된 고해상도 영상을 나타낸 도이다.
도 12를 참조하면, 우선 가중치를 초기화하는 과정을 수행한다(S110). 그 다음에 통신망을 통한 입력 벡터를 전파하는 과정을 수행한다(S120). S120 과정은 이하의 [식 2]로 표현된다.
[식 2]
Figure 112009068179138-pat00002
그 다음에, 출력층에서 에러를 계산하는 과정을 수행하며(S130), 중간층에서 에러를 계산하는 과정을 수행한다(S140). S130 및 S140과정은 이하의 식 3 및 식 4로 표현된다.
[식 3]
Figure 112009068179138-pat00003
[식 4]
Figure 112009068179138-pat00004
그리고 나서, 가중치를 업데이트 하는 과정을 수행한다(S150). S150은 이하의 식 5와 같다.
[식 5]
Figure 112009068179138-pat00005
총 오차가 미리 설정한 임계값 이내에 도달할때 까지, S120 내지 S150 과정을 계속하여 반복 수행한다. 본 발명에서는 반복 횟수를 200000번으로 정하였고 총 오차에 대한 임계값(Threshold)을 정하여 반복하는 도중에 정해놓은 임계값에 도달하면 학습을 마치도록 설정하였다. 임계값은 10-10 으로 설정하였고α= 0.3으로 하 였다.
고해상도의 영상을 구현하기 위해서는 입력 영상과 제안하는 신경회로망 모델을 통해 추정되어진 고주파수 성분의 영상과의 합성 과정을 거치게 된다. 영상의 확대를 통해 얻어진 입력 영상과 확대된 영상에서 잃게 되는 상세 정보를 가진 고주파수 영상과의 합을 통해 최종적으로 고해상도의 영상으로 해상도 개선이 이루어진다. 본 발명의 실시예에서 입력 영상의 확대는 기존의 보간법인 양선형 보간법을 이용하였다.
도 13을 참조하면, (a)는 입력 영상인 Lena 영상에 보간법을 이용하여 2배 확대한 영상이다. 그리고 (b)는 실제 신경회로망 모델을 통해 추정되어진 고주파수 성분을 가진 영상을 정규화한 영상이다. (c)는 (a) 영상과 (b) 영상의 합을 통해 구현한 고해상도 영상의 결과이다.
도 14는 종래 기술들과 본원 발명의 영상 화질 개선방법에 따라 구현된 영상과 종래 기술들에 따라 구현된 영상을 비교한 도이며, 도 15는 기술들과 본원 발명의 영상 화질 개선방법에 따라 구현된 영상과 종래 기술들에 따라 구현된 영상의 성능 평가 결과를 비교한 표이다.
도 14에 도시된 바와 같이, 본 발명에 따른 영상 화질 개선방법은 기존의 보간법들보다 시각적으로 흐림(burring) 현상이 줄어들고 영상의 선명도와 뚜렷함에 있어 더 우수하다는 것을 알 수 있다. 이는 기존의 보간법을 통해 확대된 영상에 보간을 통해 잃게 되는 원영상의 상세 정보를 더해줌으로써 나온 결과이다. 즉, 제안하는 신경회로망 모델을 통해 우리가 원하는 상세 정보가 잘 추정되었음을 알 수 있다.
도 15를 참조하면, 시각적인 성능의 향상뿐만이 아니라 영상의 품질에 있어서도 향상이 있었음 알 수 있다. 성능 평가의 객관적 지표로는 PSNR (Peak Signal To Noise Ratio)을 이용하였다. PSNR은 원영상과 결과 영상과의 각각의 화소값들간의 비교를 통해 원영상과의 유사도를 dB(데시벨)로 나타낸다. PSNR은 이하의 식 6과 같다.
[식 6]
Figure 112009068179138-pat00006
도 15에 도시된 표를 통해 알 수 있듯이 3개의 실험 영상을 최근접 이웃 보간법(NN)과 양선형 보간법(Bilinear)과 3차 회선 보간법(Cubic)과 제안하는 방법의 PSNR 수치를 나타낸 것이다. 본 발명은 3차 회선 보간법을 이용한 확대 영상에 고주파수 성분의 영상을 합한 결과 영상을 측정하였다.
기존의 방법들과의 결과 영상 비교를 통하여 확인해 본 결과 시각적으로 선명도와 뚜렷함에 있어 우수한 성능을 보여주었다. 이는 특히 인간의 시각에 민감한 경계선(edge) 부분을 효과적으로 구현한 결과이다. 또한, 영상의 품질의 객관적 지표로 삼은 PSNR의 값도 기존의 방법들보다 더 나은 결과를 보여주며 원 영상에 더욱 근접한 영상으로 구현되었음을 알 수 있다. Example-based 신경회로망 방법은 입력 데이터의 종류가 많기 때문에 트레이닝 데이터의 구성에 따라 비교적 편차가 컸으며 적절한 데이터를 구하기 위해 많은 시행착오를 필요로 한다. 그에 반해 본 발명에 따른 방법은 경계선 성분에 따른 분류로 입력 데이터의 종류를 줄여 효율적인 신경회로망 모델의 구성을 가능하게 하였다.
이상에서 설명한 것은 본 발명에 따른 경계선 성분 분류 기반 신경회로망 모델을 이용한 영상 화질 개선방법의 예시적인 실시예에 불과한 것으로서, 본 발명은 상기한 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이, 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.
도 1은 본 발명의 실시예에 따른 경계선 성분 분류 기반 신경회로망 모델을 이용한 영상 화질 개선방법의 흐름도이다.
도 2는 본 발명의 실시예에 따른 경계선 성분 분류 기반 신경회로망 모델을 이용한 영상 화질 개선방법의 개념 구성도이다.
도 3은 도 1에 도시된 주파수별 영상 생성하는 과정을 나타낸 흐름도이다.
도 4a 및 도 4b는 원래 영상과 저주파수 영상을 나타낸 도이다.
도 5 및 도 6은 도 3에 도시된 과정에 따라 생성된 중간 주파수 영상과 고주파수 영상을 나타낸 도이다.
도 7은 도 1에 도시된 중간 주파수 영상의 경계선 성분 분류하는 과정을 나타낸 흐름도이다.
도 8은 경계선 영상 추출에 사용된 소벨(sobel) 마스크를 나타낸 도이다.
도 9는 각도별로 추출된 경계선 영상을 나타낸 도이다.
도 10은 도 1에 도시된 경계선 성분별 분류에 따른 신경회로망 모델 구성 및 고해상도 영상 구현 과정을 나타낸 흐름도이며, 도 11은 영상 복원을 위한 신경회로망 구조를 나타낸 도이다.
도 12는 본 발명의 실시예에 따른 신경회로망 모델의 학습 알고리즘의 순서도이다.
도 13은 본 발명의 실시예에 따른 구현된 고해상도 영상을 나타낸 도이다.
도 14는 종래 기술들과 본원 발명의 영상 화질 개선방법에 따라 구현된 영상 과 종래 기술들에 따라 구현된 영상을 비교한 도이다.
도 15는 기술들과 본원 발명의 영상 화질 개선방법에 따라 구현된 영상과 종래 기술들에 따라 구현된 영상의 성능 평가 결과를 비교한 표이다.

Claims (11)

  1. 경계선 성분 분류 기반 신경회로망 모델을 이용한 영상 화질 개선방법에 있어서,
    입력 영상을 이용하여 주파수 성분별로 저주파수 영상, 중간주파수 영상 및 고주파수 영상을 생성하는 단계;
    상기 중간주파수 영상의 각 성분에 따른 학습을 위하여, 상기 중간주파수 영상의 경계선 영상을 성분별로 분류하는 단계;
    상기 분류된 경계선 영상에 따른 신경회로망 모델을 구성하는 단계;
    상기 신경회로망 모델을 통하여 고주파수 영상을 추정하는 단계; 및
    상기 추정된 고주파수 영상과 상기 저주파수 영상과의 합을 통하여 고해상도 영상을 구현하는 단계를 포함하며,
    상기 경계선 영상을 성분별로 분류하는 단계는,
    미리 정해진 각도에 따른 경계선 영상과 평활 영상을 검출하는 단계; 및
    상기 검출된 영상에 따라 패치를 생성하는 단계를 포함하는 것을 특징으로 하는 영상 화질 개선방법.
  2. 제1항에 있어서,
    상기 저주파수 영상을 생성하는 단계는,
    상기 입력 영상을 축소하는 단계; 및
    상기 축소된 영상을 보간법을 이용하여 원래 입력 영상의 크기로 확대하는 단계를 포함하는 것을 특징으로 하는 영상 화질 개선방법.
  3. 제1항에 있어서,
    상기 중간주파수 영상을 생성하는 단계는,
    상기 저주파수 영상을 저주파수 차단 필터에 통과시키는 단계; 및
    상기 중간주파수 영상을 패치화하는 단계를 포함하는 것을 특징으로 하는 영상 화질 개선방법.
  4. 제3항에 있어서,
    상기 저주파수 차단 필터는,
    [식]
    Figure 112009068179138-pat00007
    상기 식에 도시된 라플라시안 필터를 이용하는 것을 특징으로 하는 영상 화질 개선방법.
  5. 제1항에 있어서,
    상기 고주파수 영상을 생성하는 단계는,
    상기 입력 영상과 상기 저주파수 영상 과의 차를 통하여 구하는 단계를 포함 하는 것을 특징으로 하는 영상 화질 개선방법.
  6. 삭제
  7. 제1항에 있어서,
    상기 미리 정해진 각도에 따른 경계선 영상과 평활 영상을 검출하는 단계는,
    고주파수 영상에 소벨(sobel) 마스크를 적용하여 평활 영상, 0도, 45도, 90도 및 135도 경계선 영상을 검출하는 단계를 포함하는 것을 특징으로 하는 영상 화질 개선방법.
  8. 제1항에 있어서,
    상기 신경회로망 모델은 역전파 알고리즘인 것을 특징으로 하는 영상 화질 개선방법.
  9. 제1항 또는 제8항에 있어서,
    상기 분류된 경계선 영상에 따른 신경회로망 모델을 구성하는 단계는,
    상기 중간주파수 영상을 상기 신경회로망 모델의 입력값으로 사용하고, 상기 고주파수 영상을 목표값으로 설정하여, 상기 신경회로망 모델을 학습시키는 단계; 및
    상기 목표값과 결과값의 오차가 설정치 이내로 줄어들 때까지 반복 학습을 수행하는 단계를 포함하는 것을 특징으로 하는 영상 화질 개선방법.
  10. 제1항에 있어서, 상기 신경회로망 모델을 통하여 고주파수 영상을 추정하는 단계는,
    상기 구성된 신경회로망 모델을 통해서 얻은 결과값을 자동 회귀 모델을 적용하여 경계선 영상 성분별 가중치를 선정하여 고주파수 영상을 추정하는 단계를 포함하는 것을 특징으로 하는 영상 화질 개선방법.
  11. 제9항에 있어서,
    상기 신경회로망 모델을 학습시키는 단계는,
    가중치를 초기화하는 단계;
    통신망을 통한 입력 벡터를 전파하는 단계;
    출력층에서 에러를 계산하는 단계;
    중간층에서 에러를 계산하는 단계;
    상기 가중치를 업데이트 하는 단계; 및
    총 오차가 미리 설정한 임계값 이내에 도달할때 까지, 상기 가중치를 초기화하는 단계를 제외한 나머지 과정을 반복 수행하는 단계를 포함하는 것을 특징으로 하는 영상 화질 개선방법.
KR1020090106639A 2009-11-05 2009-11-05 경계선 성분 분류 기반 신경회로망 모델을 이용한 영상 화질 개선방법 KR101070981B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090106639A KR101070981B1 (ko) 2009-11-05 2009-11-05 경계선 성분 분류 기반 신경회로망 모델을 이용한 영상 화질 개선방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090106639A KR101070981B1 (ko) 2009-11-05 2009-11-05 경계선 성분 분류 기반 신경회로망 모델을 이용한 영상 화질 개선방법

Publications (2)

Publication Number Publication Date
KR20110049570A KR20110049570A (ko) 2011-05-12
KR101070981B1 true KR101070981B1 (ko) 2011-10-06

Family

ID=44360684

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090106639A KR101070981B1 (ko) 2009-11-05 2009-11-05 경계선 성분 분류 기반 신경회로망 모델을 이용한 영상 화질 개선방법

Country Status (1)

Country Link
KR (1) KR101070981B1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101653038B1 (ko) * 2014-05-12 2016-09-12 주식회사 칩스앤미디어 이미지 패치를 이용한 해상도 스케일링 장치 및 그 방법
KR101659578B1 (ko) 2015-09-01 2016-09-23 삼성전자주식회사 자기 공명 영상 처리 방법 및 장치
KR102384234B1 (ko) 2016-10-26 2022-04-07 삼성전자주식회사 영상처리장치, 영상처리방법 및 컴퓨터 판독가능 기록 매체
WO2018154092A1 (en) 2017-02-24 2018-08-30 Deepmind Technologies Limited Multiscale image generation
WO2019009448A1 (ko) * 2017-07-06 2019-01-10 삼성전자 주식회사 영상을 부호화 또는 복호화하는 방법 및 장치
WO2019112084A1 (ko) * 2017-12-06 2019-06-13 한국과학기술원 Cnn을 이용한 압축 왜곡 제거 방법
KR102027773B1 (ko) * 2017-12-29 2019-10-02 한국과학기술원 자기공명영상의 왜곡 보정을 위한 방법 및 이를 적용한 자기공명영상 장치
KR102050780B1 (ko) * 2018-01-10 2019-12-02 한국과학기술원 신경망을 이용한 컨텐츠 인지 기반 컨텐츠 전송 서버 장치 및 방법
CN108235058B (zh) * 2018-01-12 2021-09-17 广州方硅信息技术有限公司 视频质量处理方法、存储介质和终端
KR102174777B1 (ko) * 2018-01-23 2020-11-06 주식회사 날비컴퍼니 이미지의 품질 향상을 위하여 이미지를 처리하는 방법 및 장치
WO2019147020A1 (ko) * 2018-01-23 2019-08-01 주식회사 날비컴퍼니 이미지의 품질 향상을 위하여 이미지를 처리하는 방법 및 장치
CN114399495A (zh) * 2022-01-14 2022-04-26 平安普惠企业管理有限公司 图像清晰度的计算方法、装置、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007328735A (ja) 2006-06-09 2007-12-20 Victor Co Of Japan Ltd 画像処理装置及び画像処理プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007328735A (ja) 2006-06-09 2007-12-20 Victor Co Of Japan Ltd 画像処理装置及び画像処理プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
논문 : ACTA
논문:한국지능시스템학회 학술발표 논문집*

Also Published As

Publication number Publication date
KR20110049570A (ko) 2011-05-12

Similar Documents

Publication Publication Date Title
KR101070981B1 (ko) 경계선 성분 분류 기반 신경회로망 모델을 이용한 영상 화질 개선방법
Varghese et al. Video denoising based on a spatiotemporal Gaussian scale mixture model
Mao et al. Non rigid geometric distortions correction-application to atmospheric turbulence stabilization
US6754398B1 (en) Method of and system for image processing and recording medium for carrying out the method
Aslantas et al. A comparison of criterion functions for fusion of multi-focus noisy images
US20080232707A1 (en) Motion blurred image restoring method
CN107133923B (zh) 一种基于自适应梯度稀疏模型的模糊图像非盲去模糊方法
KR102236788B1 (ko) 이미지 복원 방법 및 장치
JP2001057677A (ja) 画像処理方法および装置並びに記録媒体
CN111553867B (zh) 一种图像去模糊方法、装置、计算机设备及存储介质
CN110717922A (zh) 一种图像清晰度评价方法及装置
US20150213579A1 (en) Method and device for reconstructing super-resolution images
WO2014070489A1 (en) Recursive conditional means image denoising
Fang et al. Reduced-reference quality assessment of image super-resolution by energy change and texture variation
Villar-Corrales et al. Deep learning architectural designs for super-resolution of noisy images
Giannoula Classification-based adaptive filtering for multiframe blind image restoration
Tavassoli et al. A new method for impulse noise reduction from digital images based on adaptive neuro-fuzzy system and fuzzy wavelet shrinkage
KR20100097858A (ko) 예제 기반 신경회로망을 이용한 고해상도 영상 확대
Kaur et al. De-noising diseased plant leaf image
Park et al. False contour reduction using neural networks and adaptive bi-directional smoothing
El Hassani et al. Efficient image denoising method based on mathematical morphology reconstruction and the Non-Local Means filter for the MRI of the head
Maalouf et al. Offline quality monitoring for legal evidence images in video-surveillance applications
RU2661537C2 (ru) Способ и система сверхразрешения с помощью комбинированной разреженной аппроксимации
Gabarda et al. Multifocus image fusion through pseudo-Wigner distribution
Hassanpour Image zooming using non-linear partial differential equation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee