KR101428364B1 - 특이값 분해를 이용한 입체 영상 처리 방법 및 그 장치 - Google Patents

특이값 분해를 이용한 입체 영상 처리 방법 및 그 장치 Download PDF

Info

Publication number
KR101428364B1
KR101428364B1 KR1020130017038A KR20130017038A KR101428364B1 KR 101428364 B1 KR101428364 B1 KR 101428364B1 KR 1020130017038 A KR1020130017038 A KR 1020130017038A KR 20130017038 A KR20130017038 A KR 20130017038A KR 101428364 B1 KR101428364 B1 KR 101428364B1
Authority
KR
South Korea
Prior art keywords
image
images
value
singular value
histogram
Prior art date
Application number
KR1020130017038A
Other languages
English (en)
Inventor
정제창
하창우
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020130017038A priority Critical patent/KR101428364B1/ko
Application granted granted Critical
Publication of KR101428364B1 publication Critical patent/KR101428364B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

특이값 분해를 이용하여 입체 영상을 처리하는 방법 및 장치가 개시된다. 입체 영상 처리 방법은, 스테레오 영상을 구성하는 서로 다른 시점(view point)의 두 개의 영상 각각에 대한 특이값 분해(SVD: Singular Value Decomposition)를 수행하여 두 개의 영상 각각에 대한 특이값을 산출하는 단계와, 스테레오 영상에 대해 히스토그램 평활화(histogram equalization)를 수행하여 평균한 히스토그램 평활 영상을 생성하는 단계와, 히스토그램 평활 영상에 대한 SVD를 수행하여 히스토그램 평활 영상에 대한 특이값을 산출하고 히스토그램 평활 영상에 대한 특이값을 이용하여 제어 특이값을 산출하는 단계와, 두 개의 영상 각각에 대한 특이값 및 제어 특이값을 이용하여 두 개의 영상을 처리하는 단계를 포함한다. 또한, 노이즈 제거를 위한 파라미터를 적용하여 대비 강화 및 노이즈 제거가 동시에 수행될 수 있다.

Description

특이값 분해를 이용한 입체 영상 처리 방법 및 그 장치{METHOD FOR PROCESSING STEREO IMAGE USING SINGULAR VALUE DECOMPOSITION AND APPARATUS THEREOF}
본 발명은 스테레오 영상의 처리에 관한 것으로, 더욱 상세하게는 특이값 분해를 이용하여 입체 영상을 처리하는 방법 및 장치에 관한 것이다.
의학, 위성, 방송 등에 사용되는 다시점(multi-view)의 입체 영상은 영상 간 저대비(low contrast) 또는 다른 밝기(different brightness) 등으로 인하여 주관적인 화질의 저하가 유발될 수 있다.
특히, 최근 위성을 이용하여 3차원의 입체 영상을 구현하는 기술에 대한 연구가 활발히 진행되고 있다.
그러나, 위성에서 촬영되는 입체 위성 영상(stereoscopic satellite image)은 우주 공간이라는 불안정한 환경에서 영상이 촬영되고, 이미 수 년 또는 수 십년 전에 우주 공간으로 보내진 위성에 탑재된 영상 촬영 장치의 노후화 등에 따라 위성에서 촬영된 영상을 이용하여 고품질의 입체 영상을 재현하기 어렵다.
또한, 촬영된 영상의 노이즈의 제거를 위한 다양한 기법이 현재 활용되고 있다. 예컨대, 영상의 노이즈를 제거하기 위하여 특이값 분해(SVD: Singular Value Decomposition)에 기반한 기법이 활용되고 있다.
그러나, 입체 영상의 구현에 있어서 영상 간 저대비 또는 노이즈 등으로 인하여 발생하는 화질 저하를 효과적으로 처리하는 기술은 미흡한 실정이다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 특이값 분해를 이용하여 대비 강화 및 노이즈 제거를 수행하는 입체 영상 처리 방법을 제공하는데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 특이값 분해를 이용하여 대비 강화 및 노이즈 제거를 수행하는 입체 영상 처리 장치를 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 측면에 따른 입체 영상 처리 방법은, 스테레오 영상을 구성하는 서로 다른 시점(view point)의 두 개의 영상 각각에 대한 특이값 분해(SVD: Singular Value Decomposition)를 수행하여 두 개의 영상 각각에 대한 특이값을 산출하는 단계와, 스테레오 영상에 대해 히스토그램 평활화(histogram equalization)를 수행하여 평균한 히스토그램 평활 영상을 생성하는 단계와, 히스토그램 평활 영상에 대한 SVD를 수행하여 히스토그램 평활 영상에 대한 특이값을 산출하고 히스토그램 평활 영상에 대한 특이값을 이용하여 제어 특이값을 산출하는 단계와, 두 개의 영상 각각에 대한 특이값 및 제어 특이값을 이용하여 두 개의 영상을 처리하는 단계를 포함한다.
여기에서, 상기 스테레오 영상은, 시점을 달리하는 좌측 영상과 우측 영상으로 구성될 수 있다.
여기에서, 상기 두 개의 영상을 처리하는 단계는, 두 개의 영상 각각에 대한 특이값의 최대값을 입력값으로 하고, 제어 특이값의 최대값을 기준값으로 하며, 입력값과 기준값의 비(ratio)를 대비(contrast) 강화값으로 하여 두 개의 영상을 처리할 수 있다.
여기에서, 상기 두 개의 영상을 처리하는 단계는, 대비 강화값을 두 개의 영상 각각에 대한 특이값의 가중치로 적용하여 두 개의 영상 간의 대비를 강화할 수 있다.
여기에서, 상기 두 개의 영상을 처리하는 단계는, 대비 강화값에 영상의 노이즈를 제거하기 위한 노이즈 제거값을 반영할 수 있다.
여기에서, 상기 노이즈 제거값은, 계수 근사법(rank approximation)을 통하여 산출될 수 있다.
여기에서, 상기 입체 영상 처리 방법은, MIE(Midway Image Equalization)을 이용하여 상기 두 개 영상에 대한 밝기를 조절하는 단계를 더 포함할 수 있다.
상기 목적을 달성하기 위한 본 발명의 다른 측면에 따른 입체 영상 처리 장치는, 스테레오 영상에 대해 히스토그램 평활화(histogram equalization)를 수행하여 평균한 히스토그램 평활 영상을 산출하는 히스토그램 평활부와, 스테레오 영상을 구성하는 서로 다른 시점(view point)의 두 개의 영상 각각에 대한 특이값 분해(SVD: Singular Value Decomposition)를 수행하여 두 개의 영상 각각에 대한 특이값을 산출하고, 히스토그램 평활 영상에 대한 SVD를 수행하여 히스토그램 평활 영상에 대한 특이값을 산출하는 특이값 산출부와, 두 개의 영상 각각에 대한 특이값 및 히스토그램 평활 영상에 대한 특이값을 이용하여 두 개의 영상을 처리하는 영상 처리부를 포함한다.
상기와 같은 본 발명의 실시예에 따른 입체 영상 처리 방법 및 장치는, 특이값 분해를 이용한 대비 강화 및 노이즈 제거를 수행하도록 하여 입체 영상의 화질을 향상시킬 수 있다.
또한, 본 발명은 우주 공간이라는 불안정한 환경에서 위성을 통하여 획득된 입체 위성 영상에 적용하여 고품질의 입체 영상이 재현되도록 할 수 있다.
도 1은 본 발명의 실시예에 따른 특이값 분해를 이용한 입체 영상 처리 방법을 설명하기 위한 흐름도이다.
도 2a는 본 발명의 실시예에 따른 스테레오 영상의 원본의 좌측 및 우측 영상을 나타낸다.
도 2b는 본 발명의 실시예에 따라 히스토그램 평활된 좌측 및 우측 영상을 나타낸다.
도 2c는 본 발명의 실시예에 따른 특이값 분해를 이용한 입체 영상 처리 방법을 적용한 좌측 및 우측 영상을 나타낸다.
도 3a는 본 발명의 실시예에 따른 원본의 좌측 영상의 히스토그램을 나타내는 그래프이다.
도 3b는 본 발명의 실시예에 따라 히스토그램 평활된 좌측 영상의 히스토그램을 나타내는 그래프이다.
도 3c는 본 발명의 실시예에 따른 특이값 분해를 이용한 입체 영상 처리 방법을 적용한 좌측 영상의 히스토그램을 나타내는 그래프이다.
도 4는 본 발명의 실시예에 따른 특이값 분해를 이용한 입체 영상 처리 방법의 적용 결과를 비교하기 위한 그래프이다.
도 5는 본 발명의 실시예에 따른 특이값 분해를 이용한 입체 영상 처리 장치의 구성을 나타내는 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
먼저, 본 발명에서 사용되는 특이점 분해(SVD: Singular Value Decomposition)에 대해 설명하면 다음과 같다.
Figure 112013014338186-pat00001
m×n 의 매트릭스 A에 대한 SVD는 수학식 1과 같이 나타낼 수 있다. 수학식 1에서
Figure 112013014338186-pat00002
이고,
Figure 112013014338186-pat00003
로 직교 매트릭스(orthogonal matrix)이다.
또한,
Figure 112013014338186-pat00004
는 V의 전치 행렬이고,
Figure 112013014338186-pat00005
는
Figure 112013014338186-pat00006
인 대각 행렬(diagonal matrix)이다.
Figure 112013014338186-pat00007
Figure 112013014338186-pat00008
는 수학식 2와 같이 나타낼 수 있으며,
Figure 112013014338186-pat00009
이다.
본 발명의 실시예에 따르면, 시점(view point)을 달리하는 두 개의 영상으로 구성된 스테레오 영상에서, 저대비(low contrast)로 표현되는 영상을 새로운 특이값(
Figure 112013014338186-pat00010
)을 이용하여 대비를 강화할 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 특이값 분해를 이용한 입체 영상 처리 방법을 설명하기 위한 흐름도이다. 이하 설명의 편의를 위하여, 특이값 분해를 이용한 입체 영상 처리 방법을입체 영상 처리 방법으로 칭한다.
도 1을 참조하면, 본 발명의 실시예에 따른 입체 영상 처리 방법은, 두 개의 영상 각각에 대한 특이값을 산출하는 단계(S120)와, 히스토그램 평활 영상을 생성하는 단계(S130)와, 히스토그램 평활 영상에 대한 특이값을 이용하여 제어 특이값을 산출하는 단계(S140) 및 두 개의 영상 각각에 대한 특이값의 최대값과 제어 특이값의 최대값의 비를 대비 강화값으로 하여 두 개의 영상을 처리하는 단계(S150)를 포함한다.
먼저, 스테레오 영상을 수신한다(S110). 스테레오 영상은 시점(view point)을 달리하는 적어도 두 개의 영상으로 구성될 수 있다. 특히, 본 발명의 실시예에 따른 스테레오 영상은 위성(satellite)에 의해 촬영된 영상일 수 있다.
또한, 스테레오 영상은 시점을 달리하는 좌측 영상과 우측 영상으로 구성될 수 있으나, 본 발명의 실시예에 따르면 상측 영상 또는 하측 영상을 포함하여 구성될 수 있다. 따라서, 본 발명에서의 스테레오 영상은 두 개의 영상으로 구성되는 것에 한정하는 것은 아니다.
스테레오 영상을 구성하는 서로 다른 시점(view point)의 두 개의 영상 각각에 대한 특이값 분해(SVD)를 수행하여 두 개의 영상 각각에 대한 특이값을 산출할 수 있다(S120). 여기서, 특이값 분해는 상기한 수학식 1을 이용하여 수행할 수 있다.
스테레오 영상에 대해 히스토그램 평활화(HE: Histogram Equalization)를 수행할 수 있으며, 히스토그램 평활화된 영상을 평균하여 히스토그램 평활 영상을 생성할 수 있다(S130).
여기서, 히스토그램 평활화(HE)는 입력 영상의 히스토그램을 이용하여 변환 함수를 생성하는 것으로 입력 영상의 히스토그램 분포와 상관없이 출력 영상이 낮은 밝기에서부터 높은 밝기까지 균등하게 분포하도록 하는 것을 의미할 수 있다.
히스토그램 평활 영상에 대한 특이값 분해(SVD)를 수행하여 히스토그램 평활 영상에 대한 특이값을 산출할 수 있고, 히스토그램 평활 영상에 대한 특이값을 이용하여 제어 특이값을 산출할 수 있다(S140).
두 개의 영상 각각에 대한 특이값 및 제어 특이값을 이용하여 두 개의 영상을 처리할 수 있다.
상세하게는, 두 개의 영상 각각에 대한 특이값의 최대값을 입력값으로 하고, 제어 특이값의 최대값을 기준값으로 하며, 입력값과 기준값의 비(ratio)를 대비(contrast) 강화값으로 하여 두 개의 영상을 처리할 수 있다(S150). 예컨대, 대비 강화값을 두 개의 영상 각각에 대한 특이값의 가중치로 적용할 수 있다.
또한, 대비 강화값에 영상의 노이즈를 제거하기 위한 노이즈 제거값을 반영할 수 있으며, 노이즈 제거값은 계수 근사법(rank approximation)을 통해 산출될 수 있다(S160).
따라서, 본 발명의 실시예에 따른 입체 영상 처리 방법은, 스테레오 영상에 대한 대비 강화(contrast enhancement) 및 노이즈 제거(noise cancellation)을 동시에 수행할 수 있다.
또한, 본 발명의 실시예에 따른 입체 영상 처리 방법은, MIE(Midway Image Equalization)을 이용하여 두 개 영상에 대한 밝기를 조절하는 단계를 더 포함할 수 있다(S170). 즉, 이를 통하여 좌측 영상과 우측 영상을 일치시킬 수 있다.
본 발명의 실시예에 따른 입체 영상 처리 방법을 수학식을 기초하여 상세히 설명하면 다음과 같다.
Figure 112013014338186-pat00011
Figure 112013014338186-pat00012
,
Figure 112013014338186-pat00013
,
Figure 112013014338186-pat00014
은 k 번째 스테레오 영상을 구성하는 각각의 영상에 대한 특이값, k 번째 스테레오 영상을 구성하는 영상들의 평균 영상에 대한 특이값, 히스토그램 평활 영상에 대한 특이값을 각각 나타낸다.
따라서,
Figure 112013014338186-pat00015
는 히스토그램 평활 영상에 대한 특이값을 이용하여 산출한 제어 가능한 특이값이다. 여기서,
Figure 112013014338186-pat00016
을 제어 특이값이라 칭한다.
Figure 112013014338186-pat00017
은 대비 강화에 따라 발생할 수 있는 노이즈를 제거하는 항(노이즈 제거값)으로,
Figure 112013014338186-pat00018
는 대각 행렬로 나타날 수 있다. 여기서,
Figure 112013014338186-pat00019
인 경우
Figure 112013014338186-pat00020
은 1이 되고, 그 외의 경우에는
Figure 112013014338186-pat00021
은 0이 된다.
또한,
Figure 112013014338186-pat00022
는
Figure 112013014338186-pat00023
의 범위에 있는 변수이다.
Figure 112013014338186-pat00024
가 0일 경우에는
Figure 112013014338186-pat00025
는 k 번째 스테레오 영상을 구성하는 영상들의 평균 영상에 대한 특이값이 되고,
Figure 112013014338186-pat00026
가
Figure 112013014338186-pat00027
일 경우에는
Figure 112013014338186-pat00028
는 히스토그램 평활 영상에 대한 특이값의 최대값이 될 수 있다.
Figure 112013014338186-pat00029
수학식 4는 수학식 3의 해(solution)을 나타낸다. 수학식 4은 수학식 3의 각 항의 절대값의 제곱을 더함으로써 산출될 수 있다.
Figure 112013014338186-pat00030
수학식 4은 상기의 수학식 5와 같이 나타낼 수 있으며, 수학식 5의 최소값에 따른 해(solution)는 하기의 수학식 6과 같이 나타낼 수 있다.
Figure 112013014338186-pat00031
따라서, 본 발명의 실시예에 따르면, 제어 특이값(
Figure 112013014338186-pat00032
)은 히스토그램 평활 영상에 대한 특이값(
Figure 112013014338186-pat00033
), 스테레오 영상을 구성하는 영상들의 평균 영상에 대한 특이값(
Figure 112013014338186-pat00034
) 및 노이즈 제거값(
Figure 112013014338186-pat00035
)을 이용하여 산출될 수 있다.
Figure 112013014338186-pat00036
대비(contrast) 강화값(
Figure 112013014338186-pat00037
)은 수학식 7을 이용하여 산출할 수 있다.
여기서,
Figure 112013014338186-pat00038
은 두 개의 영상 각각에 대한 특이값의 최대값을 의미하고,
Figure 112013014338186-pat00039
는 제어 특이값의 최대값을 의미할 수 있다.
따라서, 본 발명의 실시예에 따르면, 두 개의 영상 각각에 대한 특이값의 최대값(
Figure 112013014338186-pat00040
)을 입력값으로 하고, 제어 특이값의 최대값(
Figure 112013014338186-pat00041
)을 기준값으로 하며, 입력값과 기준값의 비(ratio)를 대비(contrast) 강화값(
Figure 112013014338186-pat00042
)으로 하여 두 개의 영상을 처리할 수 있다.
또한, 노이즈 제거값(
Figure 112013014338186-pat00043
)은 계수 근사법(rank approximation)을 통하여 산출될 수 있다.
노이즈 제거값(
Figure 112013014338186-pat00044
)에서
Figure 112013014338186-pat00045
는 하기의 수학식 8을 통하여 산출할 수 있다.
Figure 112013014338186-pat00046
Figure 112013014338186-pat00047
는 전역 노이즈 변수(global noise variance)를 의미하는 것으로,
Figure 112013014338186-pat00048
와 같이 나타날 수 있다. 즉,
Figure 112013014338186-pat00049
는 웨이브렛(wavelet) 계수(
Figure 112013014338186-pat00050
)를 이용하여 추정될 수 있다.
또한, m과 n은 열과 행의 각각의 개수(number)를 나타내고,
Figure 112013014338186-pat00051
는 필터 강도를 결정하는 실험값일 수 있다.
Figure 112013014338186-pat00052
수학식 9는 본 발명의 실시예에 따른 영상 처리가 수행된 결과를 나타낸다. 즉,
Figure 112013014338186-pat00053
는 대비 강화 및 노이즈 제거가 수행된 영상을 나타낸다.
여기서,
Figure 112013014338186-pat00054
및
Figure 112013014338186-pat00055
는 수학식 1을 참조하여 이해될 수 있으며,
Figure 112013014338186-pat00056
와 같이 나타낼 수 있다.
따라서, 대비 강화값(
Figure 112013014338186-pat00057
)을 두 개의 영상 각각에 대한 특이값(
Figure 112013014338186-pat00058
)의 가중치로 적용하여 두 개의 영상 간의 대비를 강화함과 동시에 노이즈를 제거할 수 있다.
본 발명의 실시예에 따른 입체 영상 처리 방법은, MIE(Midway Image Equalization)을 이용하여 두 개 영상에 대한 밝기를 조절할 수 있다.
Figure 112013014338186-pat00059
수학식 10은 MIE의 수행을 설명한다. 수학식 10을 참조하면,
Figure 112013014338186-pat00060
는 MIE를 수행한 결과 영상을 나타낸다.
또한,
Figure 112013014338186-pat00061
및
Figure 112013014338186-pat00062
는 스테레오 영상을 구성하는 두 개의 영상 각각을 나타낸다. 예컨대,
Figure 112013014338186-pat00063
및
Figure 112013014338186-pat00064
는 시점(view point)을 달리하는 좌측 영상과 우측 영상을 각각 의미할 수 있다.
또한, 본 발명의 실시예에 따르면,
Figure 112013014338186-pat00065
및
Figure 112013014338186-pat00066
는 대비 강화와 노이즈 제거가 수행된 두 개의 영상 각각을 나타낼 수 있다.
따라서, MIE를 이용하여 좌측 영상과 우측 영상의 밝기 등을 일치시킬 수 있다.
도 2a는 본 발명의 실시예에 따른 스테레오 영상의 원본의 좌측 및 우측 영상을 나타내고, 도 2b는 본 발명의 실시예에 따라 히스토그램 평활된 좌측 및 우측 영상을 나타내며, 도 2c는 본 발명의 실시예에 따른 특이값 분해를 이용한 입체 영상 처리 방법을 적용한 좌측 및 우측 영상을 나타낸다.
도 2a를 참조하면, 스테레오 영상을 구성하는 좌측 및 우측의 원본 영상이 저대비(low contrast)의 특징을 가짐을 알 수 있다. 즉, 밝은 부분인 원형 부분과 그 외의 부분의 대비가 낮은 것을 알 수 있다. 따라서, 이렇게 대비가 낮은 원본 영상으로 구성된 스테레오 영상의 화질은 저하될 수 있다.
도 2b은 스테레오 영상을 구성하는 좌측 및 우측에 대하여 히스토그램 평활화(HE)를 수행한 경우를 나타낸다. 저대비의 원본 영상에 히스토그램 평활화(HE)를 수행한 결과로, 대비가 향상된 것을 알 수 있다.
그러나 도 2b를 참조하면, 밝은 부분인 원형 부분의 경계 부분에서 번짐 현상(blur)이 발생함을 알 수 있다. 즉, 원본 영상에 히스토그램 평활화(HE)를 수행하는 과정에서 노이즈(noise)가 발생할 수 있으며, 이로 인하여 스테레오 영상의 화질이 저하될 수 있다.
도 2c는 본 발명의 실시예에 따른 입체 영상 처리 방법에 의해 처리된 좌측 및 우측 영상을 나타낸다. 도 2c를 참조하면, 본 발명에 따른 입체 영상 처리 방법을 적용하여 대비를 향상시킬 수 있음을 알 수 있다. 즉, 원본 영상에 비하여 밝은 부분인 원형 부분과 그 외의 부분의 대비가 향상된 것을 알 수 있다.
또한, 도 2b와 도 2c를 비교하여 보면, 밝은 부분인 원형 부분의 경계 부분에서 발생하는 번짐 현상(blur)이 감소된 것을 알 수 있다.
따라서, 본 발명의 실시예에 따른 입체 영상 처리 방법을 스테레오 영상에 적용함으로써 대비를 향상시킴과 동시에 노이즈를 감소시킬 수 있다.
도 3a는 본 발명의 실시예에 따른 원본의 좌측 영상의 히스토그램을 나타내는 그래프이고, 도 3b는 본 발명의 실시예에 따라 히스토그램 평활된 좌측 영상의 히스토그램을 나타내는 그래프이며, 도 3c는 본 발명의 실시예에 따른 특이값 분해를 이용한 입체 영상 처리 방법을 적용한 좌측 영상의 히스토그램을 나타내는 그래프이다.
도 3a, 도 3b 및 도 3c를 참조하면, 원본의 좌측 영상 및 히스토그램 평활된 좌측 영상과 비교하여 본 발명의 실시예에 따른 입체 영상 처리 방법을 적용한 좌측 영상의 대비가 향상된 것을 알 수 있다.
도 3a, 도 3b 및 도 3c에서, x축은 그레이 레벨(gray level)을 나타내고, y축은 그레이 레벨에 따른 히스토그램 값을 나타낸다.
도 3c는 도 3a 및 도 3b와 비교하여, 히스토그램 값의 피크값이 나타나는 그레이 레벨 간의 간격이 크다. 즉, 본 발명의 실시예에 따른 입체 영상 처리 방법을 적용한 경우 대비가 강화되었음을 알 수 있다.
또한, 도 3b와 도 3c를 비교하여 보면, 도 3c의 히스토그램의 그래프의 조밀도 및 경계가 뚜렷함을 알 수 있다.
따라서, 도 3a, 도 3b 및 도 3c를 참조하면, 본 발명의 실시예에 따른 입체 영상 처리 방법을 스테레오 영상에 적용함으로써, 대비 향상 및 노이즈 제거가 동시에 이루어질 수 있다.
도 4는 본 발명의 실시예에 따른 특이값 분해를 이용한 입체 영상 처리 방법의 적용 결과를 비교하기 위한 그래프이다.
도 4를 참조하면, 원본의 좌측 및 우측 영상, 히스토그램 평활화가 수행된 영상, 본 발명의 실시예에 따른 대비 강화 및 노이즈 제거가 수행된 좌측 및 우측 영상, MIE에 따른 밝기 조절을 더 수행한 좌측 및 우측 영상을 나타낸다.
본 발명의 실시예에 따른 대비 강화 및 노이즈 제거가 수행된 경우에 좌측 영상과 우측 영상이 더욱 유사한 대비를 가짐을 알 수 있다. 또한, 본 발명의 실시예에 따른 대비 강화 및 노이즈 제거가 수행된 경우에 좌측 영상과 우측 영상이 원본의 좌측 및 우측 영상과 비교하여 그레이 레벨(gray level)에 따른 확률(probability) 변화가 선형적으로 증가함을 알 수 있고, 이를 통하여 대비가 향상되었음을 알 수 있다.
또한, 히스토그램 평활화(HE)가 수행된 영상은 그레이 레벨에 따른 확률이 선행적으로 증가하여 대비가 향상되었으나, 원본의 좌측 영상과 우측 영상과 다른 그래프 특성을 보임을 알 수 있다. 이는, 히스토그램 평활화(HE)의 수행에 따라 노이즈가 발생할 수 있음을 나타낸다.
마지막으로 MIE에 따른 밝기 조절을 더 수행함으로써, 좌측 영상과 우측 영상의 밝기를 조절할 수 있으며, 이를 통하여 스테레오 영상의 화질을 더욱 향상시킬 수 있음을 알 수 있다.
도 5는 본 발명의 실시예에 따른 특이값 분해를 이용한 입체 영상 처리 장치(100)의 구성을 나타내는 블록도이다. 이하 설명의 편의를 위하여, 특이값 분해를 이용한 입체 영상 처리 장치(100)를 입체 영상 처리 장치(100)로 칭한다.
도 5를 참조하면, 본 발명의 실시예에 따른 입체 영상 처리 장치(100)는, 히스토그램 평활부(110), 특이값 산출부(120) 및 영상 처리부(130)를 포함한다.
히스토그램 평활부(110)는 스테레오 영상에 대해 히스토그램 평활화(histogram equalization)를 수행하여 평균한 히스토그램 평활 영상을 산출할 수 있다.
여기서, 스테레오 영상은 시점을 달리하는 좌측 영상과 우측 영상으로 구성될 수 있다.
특이값 산출부(120)는 스테레오 영상을 구성하는 서로 다른 시점(view point)의 두 개의 영상 각각에 대한 특이값 분해(SVD)를 수행하여 두 개의 영상 각각에 대한 특이값을 산출할 수 있다.
또한, 특이값 산출부(120)는 히스토그램 평활 영상에 대한 SVD를 수행하여 히스토그램 평활 영상에 대한 특이값을 산출할 수 있다.
영상 처리부(130)는 두 개의 영상 각각에 대한 특이값 및 제어 특이값을 이용하여 두 개의 영상을 처리할 수 있다.
예를 들어, 영상 처리부는(130)는 두 개의 영상 각각에 대한 특이값의 최대값을 입력값으로 하고, 히스토그램 평활 영상에 대한 특이값을 이용하여 산출된 제어 특이값의 최대값을 기준값으로 할 수 있으며, 입력값과 기준값의 비(ratio)를 대비(contrast) 강화값으로 하여 두 개의 영상을 처리할 수 있다.
상세하게는, 영상 처리부(130)는 대비 강화값을 두 개의 영상 각각에 대한 특이값의 가중치로 적용하여 두 개의 영상 간의 대비를 강화하는 대비 강화부(131)를 포함할 수 있다.
또한, 영상 처리부(130)는 대비 강화값에 영상의 노이즈를 제거하기 위한 노이즈 제거값을 반영할 수 있다.
예를 들어, 노이즈 제거값은 계수 근사법(rank approximation)을 통해 산출될 수 있다.
또한, 영상 처리부(130)는 MIE(Midway Image Equalization)을 이용하여 두 개 영상에 대한 밝기를 조절하는 밝기 조절부(132)를 더 포함할 수 있다. 즉, MIE를 이용하여 좌측 영상과 우측 영상의 밝기 등을 일치시킬 수 있다.
본 발명의 실시예에 따른 입체 영상 처리 장치(100)의 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 설명하였으나, 각 구성부 중 적어도 두 개가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합 및 분리된 실시예의 경우도 본 발명의 본질에서 벋어나지 않는 한 본 발명의 권리범위에 포함된다.
또한, 본 발명의 실시예에 따른 입체 영상 처리 장치(100)의 동작은, 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.
상술한 본 발명의 실시예에 따른 입체 영상 처리 방법 및 장치는, 특이값 분해를 이용한 대비 강화 및 노이즈 제거를 수행하도록 하여 입체 영상의 화질을 향상시킬 수 있다.
특히, 본 발명은 우주 공간이라는 불안정한 환경에서 획득된 입체 위성 영상에 적용하여 고품질의 입체 영상이 재현되도록 할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 입체 영상 처리 장치
110: 히스토그램 평활부 120: 특이값 산출부
130: 영상 처리부 131: 대비 강화부
132: 밝기 조절부

Claims (14)

  1. 스테레오 영상을 구성하는 서로 다른 시점(view point)의 두 개의 영상 각각에 대한 특이값 분해(SVD: Singular Value Decomposition)를 수행하여 상기 두 개의 영상 각각에 대한 특이값을 산출하는 단계;
    상기 스테레오 영상에 대해 히스토그램 평활화(histogram equalization)를 수행하여 평균한 히스토그램 평활 영상을 생성하는 단계;
    상기 히스토그램 평활 영상에 대한 SVD를 수행하여 상기 히스토그램 평활 영상에 대한 특이값을 산출하고 상기 히스토그램 평활 영상에 대한 특이값을 이용하여 제어 특이값을 산출하는 단계; 및
    상기 두 개의 영상 각각에 대한 특이값 및 상기 제어 특이값을 이용하여 상기 두 개의 영상 간의 대비를 강화하도록 처리하는 단계를 포함하는 특이값 분해를 이용한 입체 영상 처리 방법.
  2. 청구항 1에 있어서,
    상기 스테레오 영상은
    시점을 달리하는 좌측 영상과 우측 영상으로 구성되는 것을 특징으로 하는 특이값 분해를 이용한 입체 영상 처리 방법.
  3. 청구항 1에 있어서,
    상기 두 개의 영상 간의 대비를 강화하도록 처리하는 단계는
    상기 두 개의 영상 각각에 대한 특이값의 최대값을 입력값으로 하고, 상기 제어 특이값의 최대값을 기준값으로 하며, 상기 입력값과 기준값의 비(ratio)를 대비(contrast) 강화값으로 하여 상기 두 개의 영상을 처리하는 것을 특징으로 하는 특이값 분해를 이용한 입체 영상 처리 방법.
  4. 청구항 3에 있어서,
    상기 두 개의 영상 간의 대비를 강화하도록 처리하는 단계는
    상기 대비 강화값을 상기 두 개의 영상 각각에 대한 특이값의 가중치로 적용하여 상기 두 개의 영상 간의 대비를 강화하는 것을 특징으로 하는 특이값 분해를 이용한 입체 영상 처리 방법.
  5. 청구항 4에 있어서,
    상기 두 개의 영상 간의 대비를 강화하도록 처리하는 단계는
    상기 대비 강화값에 영상의 노이즈를 제거하기 위한 노이즈 제거값을 반영하는 것을 특징으로 하는 특이값 분해를 이용한 입체 영상 처리 방법.
  6. 청구항 5에 있어서,
    상기 노이즈 제거값은,
    계수 근사법(rank approximation)을 통하여 산출되는 것을 특징으로 하는 특이값 분해를 이용한 입체 영상 처리 방법.
  7. 청구항 1에 있어서,
    MIE(Midway Image Equalization)을 이용하여 상기 두 개 영상에 대한 밝기를 조절하는 단계를 더 포함하는 것을 특징으로 하는 특이값 분해를 이용한 입체 영상 처리 방법.
  8. 스테레오 영상에 대해 히스토그램 평활화(histogram equalization)를 수행하여 평균한 히스토그램 평활 영상을 산출하는 히스토그램 평활부;
    상기 스테레오 영상을 구성하는 서로 다른 시점(view point)의 두 개의 영상 각각에 대한 특이값 분해(SVD: Singular Value Decomposition)를 수행하여 상기 두 개의 영상 각각에 대한 특이값을 산출하고, 상기 히스토그램 평활 영상에 대한 SVD를 수행하여 상기 히스토그램 평활 영상에 대한 특이값을 산출하는 특이값 산출부; 및
    상기 두 개의 영상 각각에 대한 특이값 및 상기 히스토그램 평활 영상에 대한 특이값을 이용하여 상기 두 개의 영상 간의 대비를 강화하도록 처리하는 영상 처리부를 포함하는 특이값 분해를 이용한 영상 처리 장치.
  9. 청구항 8에 있어서,
    상기 스테레오 영상은,
    시점을 달리하는 좌측 영상과 우측 영상으로 구성되는 것을 특징으로 하는 특이값 분해를 이용한 입체 영상 처리 장치.
  10. 청구항 8에 있어서,
    상기 영상 처리부는
    상기 두 개의 영상 각각에 대한 특이값의 최대값을 입력값으로 하고, 상기 히스토그램 평활 영상에 대한 특이값을 이용하여 산출된 제어 특이값의 최대값을 기준값으로 하며, 상기 입력값과 기준값의 비(ratio)를 대비(contrast) 강화값으로 하여 상기 두 개의 영상을 처리하는 것을 특징으로 하는 특이값 분해를 이용한 입체 영상 처리 장치.
  11. 청구항 10에 있어서,
    상기 영상 처리부는
    상기 대비 강화값을 상기 두 개의 영상 각각에 대한 특이값의 가중치로 적용하여 상기 두 개의 영상 간의 대비를 강화하는 대비 강화부를 포함하는 것을 특징으로 하는 특이값 분해를 이용한 입체 영상 처리 장치.
  12. 청구항 11에 있어서,
    상기 대비 강화부는
    상기 대비 강화값에 영상의 노이즈를 제거하기 위한 노이즈 제거값을 반영하는 것을 특징으로 하는 특이값 분해를 이용한 입체 영상 처리 장치.
  13. 청구항 12에 있어서,
    상기 노이즈 제거값은
    계수 근사법(rank approximation)을 통해 산출되는 것을 특징으로 하는 특이값 분해를 이용한 입체 영상 처리 장치.
  14. 청구항 8에 있어서,
    상기 영상 처리부는
    MIE(Midway Image Equalization)을 이용하여 상기 두 개 영상에 대한 밝기를 조절하는 밝기 조절부를 더 포함하는 것을 특징으로 하는 특이값 분해를 이용한 입체 영상 처리 장치.
KR1020130017038A 2013-02-18 2013-02-18 특이값 분해를 이용한 입체 영상 처리 방법 및 그 장치 KR101428364B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130017038A KR101428364B1 (ko) 2013-02-18 2013-02-18 특이값 분해를 이용한 입체 영상 처리 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130017038A KR101428364B1 (ko) 2013-02-18 2013-02-18 특이값 분해를 이용한 입체 영상 처리 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR101428364B1 true KR101428364B1 (ko) 2014-08-18

Family

ID=51749929

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130017038A KR101428364B1 (ko) 2013-02-18 2013-02-18 특이값 분해를 이용한 입체 영상 처리 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR101428364B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210021158A (ko) 2019-08-14 2021-02-25 서강대학교산학협력단 노이즈 제거장치 및 노이즈 제거방법
US12236567B2 (en) 2021-08-26 2025-02-25 Samsung Electronics Co., Ltd. Image evaluation method that can quantify images distorted by artifacts, computer program performing the method, and computing device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000315257A (ja) * 1999-04-30 2000-11-14 Shiseido Co Ltd 皮膚状態の三次元画像生成方法
JP2001078228A (ja) 1999-09-03 2001-03-23 Sony Corp 画像生成装置及び方法
JP2008517352A (ja) 2004-08-09 2008-05-22 クラシフアイ・リミテッド 非接触光学手段および３ｄ指紋認識方法
KR20100019804A (ko) * 2008-08-11 2010-02-19 한국전자통신연구원 스테레오 비전 시스템 및 그 제어방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000315257A (ja) * 1999-04-30 2000-11-14 Shiseido Co Ltd 皮膚状態の三次元画像生成方法
JP2001078228A (ja) 1999-09-03 2001-03-23 Sony Corp 画像生成装置及び方法
JP2008517352A (ja) 2004-08-09 2008-05-22 クラシフアイ・リミテッド 非接触光学手段および３ｄ指紋認識方法
KR20100019804A (ko) * 2008-08-11 2010-02-19 한국전자통신연구원 스테레오 비전 시스템 및 그 제어방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210021158A (ko) 2019-08-14 2021-02-25 서강대학교산학협력단 노이즈 제거장치 및 노이즈 제거방법
US12236567B2 (en) 2021-08-26 2025-02-25 Samsung Electronics Co., Ltd. Image evaluation method that can quantify images distorted by artifacts, computer program performing the method, and computing device

Similar Documents

Publication Publication Date Title
US9123103B2 (en) Method and apparatus for image denoising with three-dimensional block-matching
CN109743473A (zh) 视频图像3d降噪方法、计算机装置及计算机可读存储介质
US9661328B2 (en) Method of bit allocation for image and video compression using perceptual guidance
CN107333027B (zh) 一种视频图像增强的方法和装置
CN109360157B (zh) 基于tv和小波正则化的空间变化模糊图像复原方法
JP2012249038A (ja) 画像信号処理装置、画像信号処理方法
US10706507B2 (en) Hybrid denoising of images and videos based on interest metrics
US10229479B2 (en) Image signal processing apparatus, image signal processing method and image signal processing program
Katkovnik et al. Decoupled inverse and denoising for image deblurring: variational BM3D-frame technique
JP2008022428A (ja) 復号化装置、復号化方法及びプログラム
JP2008047102A (ja) 画像処理装置及び画像処理方法
KR101428364B1 (ko) 특이값 분해를 이용한 입체 영상 처리 방법 및 그 장치
AU2021101814A4 (en) A novel image denoising method with hybrid dual tree complex wavelet transform
US10395344B2 (en) Image processing method
KR101514152B1 (ko) 특이값 분해를 이용한 화질 개선 방법 및 장치
JP2002208006A (ja) 画像ノイズ減少方法
JP6806136B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN106530261B (zh) 一种双动态模糊图像复原方法
Zhao et al. Local activity-tuned image filtering for noise removal and image smoothing
KR102567186B1 (ko) 화상 처리 장치, 화상 처리 프로그램과 화상 처리 방법, 및 화상 송수신 시스템과 화상 송수신 방법
Kitchener et al. Adaptive regularization for image restoration using a variational inequality approach
Kadmin Enhancement of Digital Stereo Vision Images based on Histogram and Gamma Correction Strategy
Tanikawa et al. Image restoration based on weighted average of multiple blurred and noisy images
KR101619508B1 (ko) 샤플리 값 정규화를 이용하는 영상 잡음 제거 장치 및 방법
US8625923B2 (en) Image processing apparatus, imaging apparatus, and image processing program

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20130218

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20140214

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20140730

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20140801

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20140801

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20170629

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20170629

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20180702

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20180702

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20190624

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20190624

Start annual number: 6

End annual number: 6

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20210512