KR101579005B1 - 영상생성장치 및 영상생성방법 - Google Patents

Abstract

실시 예에 따른 영상생성장치는, 서로 중첩되는 다수의 입력영상의 중첩영역을 결정하는 중첩영역 결정부; 상기 중첩영역을 통해 매핑곡선을 산출하는 매핑곡선 산출부; 및 상기 매핑곡선을 이용하여 다수의 영상을 보정하여 출력영상을 출력하는 영상 보정부를 포함한다.

Description

영상생성장치 및 영상생성방법{Image generation apparatus and Image generation method}

실시 예는 영상생성장치에 관한 것이다.

실시 예는 영상생성방법에 관한 것이다.

영상기술이 아날로그에서 디지털 방식으로 변화하면서 더 실제화면과 가까운 영상을 제공하기 위해 SD에서 HD로 발전해왔다. SD는 704x480의 해상도를 지원하고 35만 픽셀 정도로 구성되며, HD 중 Full-HD는 1920x1080의 해상도를 지원하며 200만 픽셀로 구성되어 SD에 비해 상당한 고화질이 영상을 제공한다.

현재 상용 서비스 중인 HDTV 이후에 예측 가능한 가장 실현성이 높이 차세대 미디어 한경의 핵심은 초고화질 및 초고해상도 영상 서비스이다. 미국을 비롯한 세계 영화 산업계는 디지털 시네마라는 새로운 디지털 영화를 2006년부터 본격적으로 제작 및 상영하고 있다. 초기에는 HDTV(1920x1080) 와 동일한 해상도인 2K (2048x1080) 크기의 디지털시네마가 주류였지만, 2009년 이후는 4K (4096x2160) 해상도 및 최대 16채널 오디오가 주류가 될 것이 확실시 되고 있다.

한편 디지털 방송 분야에서 차세대 방송으로 UHD TV(Ultra HDTV)가 유력시 되고 있고, UHD 콘텐츠는 4K(3840x2160)/8K(7680x4320) 해상도와 22.2 채널의 서라운드 오디오를 갖고 있다.

다만, 기존의 영상 촬영장비는 HD급화질을 제공하는 바 상기 영상 촬영장비에 의해 촬영된 영상을 UHD콘덴츠로 재생산하는 방법에 대한 연구가 활발히 이루어지고 있다.

실시 예는 경계영역을 시인할 수 없는 고화질 영상을 생성하는 영상생성장치에 관한 것이다.

실시 예에 따른 영상생성장치는, 서로 중첩되는 다수의 입력영상의 중첩영역을 결정하는 중첩영역 결정부; 상기 중첩영역을 통해 매핑곡선을 산출하는 매핑곡선 산출부; 및 상기 매핑곡선을 이용하여 다수의 영상을 보정하여 출력영상을 출력하는 영상 보정부를 포함한다.

실시 예에 따른 영상생성방법은, 서로 중첩되는 다수의 입력영상을 입력받는 단계; 상기 다수의 입력영상의 중첩영역을 결정하는 단계; 상기 중첩영역을 통해 매핑곡선을 산출하는 단계; 및 상기 매핑곡선을 통해 다수의 영상을 보정하여 출력하는 단계를 포함한다.

실시 예에 따른 영상생성장치의 상기 중첩영역 결정부는, 서로 인접하는 다수의 입력영상의 각각의 화소 간의 상관관계 값을 비교하여 중첩영역을 결정한다.

실시 예에 따른 영상생성장치의 상기 상관관계 값은 Fast-ZNCC알고리즘을 통해 추출된다.

실시 예에 따른 영상생성장치의 상기 매핑곡선 산출부는, 각각의 입력영상에 대한 상기 중첩영역에 대한 누적분포함수를 산출하는 누적분포함수 산출부; 및 상기 누적분포함수를 통해 매핑곡선을 작성하는 매핑곡선 작성부를 포함한다.

실시 예에 따른 영상생성장치의 상기 매핑곡선은 제1 영역, 제2 영역 및 상기 제1 영역과 제2 영역 사이의 제3 영역을 포함하고, 상기 제1 내지 제3 영역의 경계는 타겟영상의 누적분포함수에 의해 결정된다.

실시 예에 따른 영상생성장치의 상기 제1 및 제3 영역의 경계는 상기 타겟영상에서 화소의 개수가 0이되는 최대 계조값이다.

실시 예에 따른 영상생성장치의 상기 제1 영역은

(여기서, n1은 기준영상의 누적분포함수에서 화소의 개수가 0이되는 최대 계조값, n2는 타겟영상의 누적분포함수에서 화소의 개수가 0이되는 최대 계조 값)에 따라 매핑곡선이 산출된다.

실시 예에 따른 영상생성장치의 상기 제2영역과 제3 영역의 경계는 상기 타겟영상의 누적분포함수에서 포화가 시작되는 계조값이다.

실시 예에 따른 영상생성장치의 상기 제2 영역은

(여기서, e1은 기준영상의 누적분포함수에서 포화가 시작되는 계조값, e2는 타겟영상의 누적분포함수에서 포화가 시작되는 계조값)에 따라 매핑곡선이 산출된다.

실시 예에 따른 영상생성장치의 상기 제3 영역은

에 따라 매핑곡선이 산출된다.

실시 예에 따른 영상생성장치의 상기 매핑곡선 산출부는 산출된 매핑곡선을 보정하는 매핑곡선 보정부를 더 포함하고, 상기 매핑곡선 보정부는 상기 매핑곡선의 기울기가 미리 설정된 기준값 이상인 경우 해당영역에 대해 보정을 수행한다.

실시 예에 따른 영상생성장치의 상기 매핑곡선 보정부는 상기 해당영역에 대해 미분을 수행하여 상기 매핑곡선을 보정한다.

실시 예에 따른 영상생성장치의 상기 영상 보정부는 두 번째 이후의 보정에 대해서는 중첩영역에 대해서만 보정을 수행한다.

실시 예에 따른 영상생성장치의 상기 출력영상은 각각의 입력영상보다 해상도가 높다.

실시 예에 따른 영상생성장치는, 다수의 영상의 중첩영역에 대한 매핑곡선을 산출하여, 상기 매핑곡선을 통해 영상을 보정하여 경계영역이 시인되지 않는 입력영상대비 고화질의 출력영상을 생성할 수 있다.

도 1은 제1 실시 예에 따른 영상생성장치를 나타내는 블록도이다.
도 2는 제1 실시 예의 입력영상을 나타내는 도면이다.
도 3은 중첩영역에 대한 누적분포함수를 나타내는 도면이다.
도 4는 누적분포함수를 통해 산출한 매핑곡선을 나타내는 도면이다.
도 5는 매핑곡선의 각각의 영역에 대한 확대도이다.
도 6은 출력영상을 나태는 도면이다.
도 7은 제2 실시 예에 따른 영상생성장치를 나타내는 블록도이다.
도 8은 매핑곡선 보정부에서 보정된 매핑곡선을 나타내는 도면이다.
도 9는 실시 예에 따른 영상생성방법을 나타내는 순서도이다.

이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 다만, 본 발명의 사상은 제시되는 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서 다른 구성요소를 추가, 변경, 삭제 등을 통하여, 퇴보적인 다른 발명이나 본 발명 사상의 범위 내에 포함되는 다른 실시예를 용이하게 제안할 수 있을 것이나, 이 또한 본원 발명 사상 범위 내에 포함된다고 할 것이다.

또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.

도 1은 제1 실시 예에 따른 영상생성장치를 나타내는 블록도이다.

도 1을 참조하면, 제1 실시 예에 따른 영상생성장치(1)는 중첩영역 결정부(10), 매핑곡선 산출부(20) 및 영상 보정부(30)를 포함한다.

상기 영상생성장치(1)는 입력영상(P)을 입력받고, 상기 입력영상(P)을 통해 출력영상(Q)을 생성하여 상기 출력영상(Q)을 출력한다.

상기 영상생성장치(1)는 다수의 입력영상(P)을 입력받고, 하나의 출력영상(Q)을 출력할 수 있다. 상기 입력영상(P)은 서로 중첩되는 다수의 영상일 수 있다. 상기 입력영상(P)은 서로 중첩되는 영역을 가지는 다수의 영상일 수 있다.

상기 영상생성장치(1)는 영상촬영장치로부터 상기 입력영상(P)을 입력받고, 표시장치 또는 통신장치로 상기 출력영상(Q)을 전달할 수 있다.

도 2는 제1 실시 예의 입력영상을 나타내는 도면이다.

상기 영상생성장치(1)에는 도 2와 같은 4개의 입력영상(P)이 입력된다. 상기 영상생성장치(1)에는 제1 내지 제4 입력영상(P1 내지 P4)이 입력된다.

각각의 상기 입력영상(P)은 상기 출력영상에 비해 낮은 해상도를 가질 수 있다. 예를 들어, 상기 입력영상(P)은 HD급 해상도를 가질 수 있고, 상기 출력영상(Q)은 UHD급 해상도를 가질 수 있다.

상기 입력영상(P)은 중첩영역(S)을 가질 수 있다. 각각의 상기 입력영상(P)은 인접하는 입력영상(P)과의 관계에서 중첩영역(S)을 가질 수 있다.

상기 제1 입력영상(P1)은 상기 제2 입력영상(P2)과 인접하는 영역에 제1 중첩영역(S1)을 가진다. 상기 제2 입력영상(P2)은 상기 제1 입력영상(P1)과 인접하는 영역에 제2 중첩영역(S2)을 가진다.

상기 제1 입력영상(P1)은 상기 제3 입력영상(P3)과 인접하는 영역에 제3 중첩영역(S3)을 가지고, 상기 제2 입력영상(P2)은 상기 제4 입력영상(P4)과 인접하는 영역에 제4 중첩영역(S4)을 가진다.

상기 제3 입력영상(P3)은 상기 제4 입력영상(P4)과 인접하는 영역에 제5 중첩영역(P5)을 가지고, 상기 제4 입력영상(P4)은 상기 제3 입력영상(P3)과 인접하는 영역에 제6 중첩영역(P6)을 가진다.

상기 제3 입력영상(P3)은 상기 제1 입력영상(P1)과 인접하는 영역에 제7 중첩영역(P7)을 가지고, 상기 제4 입력영상(P4)은 상기 제2 입력영상(P2)과 인접하는 영역에 제8 중첩영역(P8)을 가진다.

상기 제1 중첩영역(S1)은 상기 제2 중첩영역(S2)과 동일한 영상이고, 상기 제3 중첩영역(S3)은 상기 제7 중첩영역(S7)과 동일한 영상이다. 상기 제4 중첩영역(S4)은 상기 제8 중첩영역(S8)과 동일한 영상이며, 상기 제5 중첩영역(S5)은 상기 제6 중첩영역(S6)과 동일한 영상이다.

각각의 상기 입력영상(P)은 인접하는 입력영상(P)과의 관계에서 동일한 영상의 중첩영역(S)을 가짐으로써 각각의 입력영상(P)의 경계선이 시인되지 않도록 하는 효과를 가진다. 다만, 각각의 상기 입력영상(P)은 인접하는 입력영상(P)과 서로 다른 색상 또는 계조를 가지는 상태에서 입력될 수 있으므로, 이에 대한 보정이 요구된다.

다시 도 1에 대해 설명한다.

상기 입력영상(P)은 상기 중첩영역 결정부(10)로 입력된다. 상기 중첩영역 결정부(10)는 상기 입력영상(P)의 중첩영역(S)을 결정한다. 즉, 상기 중첩영역 결정부(10)는 상기 입력영상(P)에서 중첩영역(S)의 면적 및 위치를 산출한다.

상기 중첩영역 결정부(10)는 인접하는 입력영상(P)의 각각의 화소간의 상관관계(correlation)를 이용하여 상기 중첩영역(S)을 결정한다. 상기 중첩영역 결정부(10)는 인접하는 입력영상(P)의 각각의 화소 간의 상관관계 값을 비교하여 상기 상관관계 값의 최대값을 추출하여 상기 중첩영역(S)을 결정한다. 상기 상관관계 값은 ZNCC(Zero-mean normalized cross correlation)알고리즘을 개선한 Fast-ZNCC통해 추출할 수 있다.

상기 매핑곡선 산출부(20)는 상기 중첩영역 결정부(10)를 통해 결정된 상기 중첩영역(S)을 이용하여 매핑곡선을 산출한다. 상기 매핑곡선 산출부(20)는 인접하는 영상간의 색상 및 휘도를 보정하기 위한 매핑곡선을 산출한다. 상기 매핑곡선 산출부(20)는 각각의 입력영상(P)의 누적분포함수(cumulative distribution function, CDF)를 산출하고 상기 누적분포함수를 이용하여 상기 매핑곡선을 산출한다.

상기 매핑곡선 산출부(20)는 누적분포함수 산출부(21) 및 매핑곡선 작성부(23)를 포함한다.

상기 누적분포함수 산출부(21)는 각각의 입력영상(P)에 대한 누적분포함수를 산출한다. 상기 누적분포함수 산출부(21)는 각각의 입력영상(P)의 중첩영역에 대한 누적분포함수를 산출한다. 상기 누적분포함수는 상기 입력영상(P)의 중첩영역의 계조 값에 따른 픽셀수를 누적한 함수일 수 있다.

상기 매핑곡선 작성부(23)는 인접하는 중첩영역의 누적분포함수를 이용하여 매핑곡선을 결정한다. 상기 매핑곡선은 상기 인접하는 입력영상의 색상 및 휘도를 보정하기 위한 기준이 된다.

예를 들어, 상기 제2 입력영상(P2)을 제1 입력영상(P1)을 기준으로 보정하는 경우에, 상기 누적분포함수 산출부(21)는 상기 제1 중첩영역(S1) 및 제2 중첩영역(S2)의 누적분포함수를 산출한다. 상기 매핑곡선 작성부(23)는 상기 제1 중첩영역(S1) 및 제2 중첩영역(S2)의 누적분포함수를 이용하여 상기 제1 입력영상(P1) 및 제2 입력영상(P2)에 대한 매핑곡선을 산출한다.

이하, 상기 제1 입력영상(P1) 및 제2 입력영상(P2)에 대한 누적분포함수를 이용하여, 매핑곡선을 산출하는 것을 예로 들어 설명한다.

도 3은 중첩영역에 대한 누적분포함수를 나타내는 도면이고, 도 4는 누적분포함수를 통해 산출한 매핑곡선을 나타내는 도면이다.

도 3a는 제1 중첩영역에 대한 누적분포함수를 나타내는 도면이고, 도 3b는 제2 중첩영역에 대한 누적분포함수를 나타내는 도면이다.

하나의 입력영상은 동일한 감마함수를 이용하여 형성되므로, 입력영상의 일부영역에서의 누적분포함수를 이용하여 매핑곡선을 산출하여 이를 입력영상의 보정의 기준으로 하더라도, 입력영상의 전영역의 누적분포함수를 이용하여 매핑곡선을 산출하는 방법과 동일한 결과를 얻을 수 있다.

또한, 상기 중첩영역은 동일한 영상을 표시하는 영역으로 상기 중첩영역의 누적분포함수를 이용하여 매핑곡선을 산출하는 경우 동일한 영상에 대한 색상 및 휘도 변화를 파악할 수 있어 인접하는 영상간의 영상보정을 보다 정확하게 할 수 있다.

즉, 상기 제1 중첩영역(S1)과 제2 중첩영역(S2) 각각의 누적분포함수를 이용하여 매핑곡선을 산출하고, 상기 매핑곡선을 이용해 상기 제2 입력영상(P2)을 상기 제1 입력영상(P1)을 기준으로 보정할 수 있다.

상기 매핑곡선 산출부(20)는 다수의 인접하는 영상 사이의 중첩영역으로 다수 개의 매핑곡선을 산출할 수 있다. 상기 누적분포함수 산출부(21)는 제1 내지 제4 입력영상(P1 내지 P4)의 누적분포함수를 산출하고, 상기 매핑곡선 작성부(23)는 인접하는 상기 제1 내지 제4 입력영상(P1 내지 P4)의 중첩영역에서의 매핑곡선을 작성할 수 있다.

예를 들어, 상기 매핑곡선 산출부(20)는 제1 입력영상(P1)과 제2 입력영상(P2)의 관계에서, 상기 제1 중첩영역(S1) 및 제2 중첩영역(S2)을 통해 매핑곡선을 산출할 수 있다. 또한, 상기 매핑곡선 산출부(20)는 상기 제1 입력영상(P1)과 제3 입력영상(P3)의 관계에서, 상기 제3 중첩영역(S3) 및 제7 중첩영역(S7)을 통해 매핑곡선을 산출할 수 있다. 또한, 상기 매핑곡선 산출부(20)는 상기 제1 입력영상(P1)과 제4 입력영상(P4)의 관계에서, 중첩되는 영역에 대해 매핑곡선을 산출할 수 있다.

또한, 상기 매핑곡선 산출부(20)는 상기 제2 입력영상(P2)과 상기 제3 입력영상(P3)의 관계에서, 중첩영역에 대한 매핑곡선을 산출할 수 있다. 또한, 상기 매핑곡선 산출부(20)는 상기 제2 입력영상(P2)과 상기 제4 입력영상(P4)의 관계에서 제4 중첩영역(S4) 및 제8 중첩영역(S8)을 통해 매핑곡선을 산출할 수 있다.

또한, 상기 매핑곡선 산출부(20)는 상기 제3 입력영상(P3)과 상기 제4 입력영상(P4)의 관계에서, 상기 제5 중첩영역(S5) 및 제6 중첩영역(S6)을 통해 매핑곡선을 산출할 수 있다.

도 4를 참조하면, 상기 매핑곡선은 제1 내지 제3 영역(R1 내지 R3)을 포함한다.

상기 제1 영역(R1)은 0계조부터 제3 영역(R3)의 시점까지로 정의되고, 상기 제2 영역(R2)은 255계로로부터 시작하여 상기 제3 영역(R3)의 종점까지로 정의될 수 있다. 상기 제3 영역(R3)은 상기 제1 영역(R1)과 제2 영역(R2)의 사이 영역으로 정의될 수 있다.

상기 매핑곡선 산출부(20)는 상기 제1 영역(R1)과 제2 영역(R2)의 매핑곡선을 산출한 후 제3 영역(R3)의 매핑곡선을 산출할 수 있다. 상기 매핑곡선 작성부(23)는 상기 누적분포함수 산출부(21)에 의해 산출된 누적분포함수를 이용하여, 상기 제1 영역(R1)과 제2 영역(R2)의 매핑곡선을 산출한 수 제3 영역(R3)의 매핑곡선을 산출할 수 있다.

도 5는 매핑곡선의 각각의 영역에 대한 확대도이다.

도 5a는 매핑곡선의 제1 영역(R1)에 대한 확대도이다.

도 5a를 참조하면, 상기 매핑곡선의 제1 영역(R1)은 하기 수학식 1에 의해 산출될 수 있다.

상기 수학식 1에서 n1은 기준영상의 누적분포함수에서 화소의 개수가 0이되는 최대 계조 값을 의미한다. 상기 n2는 타겟영상의 누적분포함수에서 화소의 개수가 0이되는 최대 계조 값을 의미한다.

즉. 상기 n1은 기준영상의 누적분포함수에서 화소의 개수가 1이상이되는 최초의 계조값을 의미하고, 상기 n2는 타겟영상의 누적분포함수에서 화소의 개수가 1이상이되는 최초의 계조값을 의미한다.

상기 n1과 n2는 기준영상 및 타겟영상의 중첩영역의 누적분포함수로 추출할 수 있다. 예를 들어, 상기 제1 입력영상(P1)과 제2 입력영상(P2)의 관계에서 상기 기준영상은 제1 입력영상(P1)이고, 상기 타겟영상은 제2 입력영상(P2)이므로, 상기 n1은 상기 제1 중첩영역(S1)의 누적분포함수인 도 3a에서 추출되고, 상기 n2는 상기 제2 중첩영역(S2)의 누적분포함수인 도 3b에서 추출될 수 있다.

상기 수학식 1에 의해 상기 매핑곡선에는 0계조부터 n2계조까지 0의 값이 채워진다. 즉, 상기 타겟영상의 누적분포함수에서 화소의 개수가 0이되는 최대 계조값이 상기 제1 영역(R1)과 제3 영역(R3)의 경계가 된다.

예를 들어, 상기 n1이 11이고, n2가 17인 경우 상기 매핑곡선에는 0부터 17 계조까지 0의 값이 채워진다.

도 5b는 매핑곡선의 제2 영역(R2)에 대한 확대도이다.

도 5b를 참조하면, 상기 매핑곡선의 제2 영역(R2)은 하기 수학식 2에 의해 산출될 수 있다.

상기 수학식 2에서 e1은 기준영상의 누적분포함수에서 포화가 시작되는 계조값을 의미하고, e2는 타겟영상의 누적분포함수에서 포화가 시작되는 계조값을 의미한다.

상기 포화가 시작되는 계조값이란 누적된 화소의 개수가 최대값을 가지는 최소의 계조값을 의미한다. 즉, 상기 포화가 시작되는 계조값 이상에 해당하는 화소는 존재하지 않는다.

상기 e1과 e2는 기준영상 및 타겟영상의 중첩영역의 누적분포함수로 추출할 수 있다. 예를 들어, 상기 제1 입력영상(P1)과 제2 입력영상(P2)의 관계에서 상기 기준영상은 제1 입력영상(P1)이고, 상기 타겟영상은 제2 입력영상(P2)이므로, 상기 e1은 상기 제1 중첩영역(S1)의 누적분포함수인 도 3a에서 추출되고, 상기 n2는 상기 제2 중첩영역(S2)의 누적분포함수인 도 3b에서 추출될 수 있다.

상기 e1 및 e2는 도 3a에서 단조증가 함수와 상수함수의 경계점을 의미한다. 즉, 상기 단조증가함수 이후에 나타나는 x축과 평행하는 직선의 시작점을 의미한다. 상기 수학식 2에 의한 결과값은 e2에서부터 채워진다. 즉, 상기 타겟영상의 누적분포함수에서의 단조증가함수와 상수함수의 경계점에 의해 상기 제2 영역(R2)이 정의된다.

예를 들어, 상기 e1이 203의 값을 가지고, 상기 e2가 211의 값을 가지는 경우 상기 매핑곡선에는 211계조부터 수학식 2에 의한 결과값이 채워진다.

도 5c는 매핑곡선의 제3 영역(R3)에 대한 확대도이다.

상기 제3 영역(R3)은 상기 제1 영역(R1) 및 제2 영역(R2)에 의해 결정될 수 있다. 상기 제3 영역(R3)은 상기 제1 영역(R1)과 제2 영역(R2)의 사이영역일 수 있다.

상기 제3 영역(R3)은 상기 타겟영상의 누적분포함수에 의해 정의될 수 있다. 상기 제3 영역(R3)은 n2와 e2의 사이영역일 수 있다. 상기 제3 영역(R3)은 상기 타겟영상의 누적분포함수에서 화소의 개수가 0이되는 최대 계조 값부터 상기 타겟영상의 누적분포함수에서 포화가 시작되는 계조 값까지의 영역일 수 있다.

상기 제3 영역(R3)에서의 매핑곡선은 수학식 3에 의해 산출될 수 있다.

상기 수학식 3에 의해 기준영상의 누적분포함수와 타겟영상의 누적분포함수의 좌표별 값을 비교하여 상기 제3 영역(R3)에서의 매핑곡선을 작성한다. 각 좌표별 상기 누적분포함수의 값을 비교하여, 상기 기준영상의 값이 타겟영상의 값보다 작을 때 상기 기준영상의 값을 상기 제3 영역(R3)에서의 매핑곡선 값으로 입력하고, 좌표를 이동시켜, 순차적으로 이를 비교한다. 이를 통해 상기 제3 영역(R3)에서의 매핑곡선을 작성한다.

상기와 같은 방법으로 매핑곡선을 작성함으로써 상기 매핑곡선의 편차가 크지 않도록 작성할 수 있고, 매핑곡선이 급격히 변화하는 것을 방지하여 보다 자연스러운 화상의 보정이 가능한 효과가 있다.

다시 도 1의 영상보정부(30)를 설명한다.

상기 영상보정부(30)는 상기 매핑곡선 산출부(20)에서 산출된 매핑곡선을 통해 입력영상을 보정하고, 출력영상(Q)을 생성하여 출력할 수 있다. 상기 영상보정부(30)는 다수 개의 입력영상(P)을 합하고, 상기 다수 개의 입력영상(P) 중 타겟영상을 보정하여 출력영상(Q)을 생성할 수 있다.

다수 개의 입력영상(P)이 입력되는 경우 순차적으로 기준영상이 선정된다. 상기 선정된 기준영상을 기준으로 타겟영상이 보정되고, 상기 기준영상이 순차적으로 변경되고, 이에 따라 타겟영상이 모두 보정된 후 상기 출력영상(Q)이 출력될 수 있다.

예를 들어, 상기 중첩영역 결정부(10)에 제1 내지 제4 입력영상(P1 내지 P4)이 입력되면, 상기 제1 입력영상(P1)이 기준영상으로 선정되고, 상기 제2 내지 제4 입력영상(P2 내지 P4)이 타겟영상으로 선정된다. 상기 매핑곡선 산출부(20)는 상기 제1 입력영상(P1)을 기준으로 상기 제2 내지 제4 입력영상(P2 내지 P4)과의 관계에서 중첩영역에 대한 매핑곡선을 각각 산출하고, 상기 영상 보정부(30)는 상기 각각의 매핑곡선을 통해 상기 제2 내지 제4 입력영상(P2 내지 P4)을 보정한다.

상기 제1 입력영상(P1)을 기준영상으로 하는 보정이 완료되면, 상기 제2 입력영상(P2)이 기준영상으로 선정된다. 상기 매핑곡선 산출부(20)는 상기 제2 입력영상(P2)을 기준으로 상기 제3 및 제4 입력영상(P3, P4)과의 관계에서 중첩영역에 대한 매핑곡선을 각각 산출하고, 상기 영상 보정부(30)는 각각의 매핑곡선을 통해 상기 제3 및 제4 입력영상(P3, P4)을 보정한다.

상기 제2 입력영상(P2)을 기준영상으로하는 보정이 완료되면, 상기 제3 입력영상(P3)이 기준영상으로 선정된다. 상기 매핑곡선 산출부(20)는 상기 제3 입력영상(P3)을 기준으로 상기 제4 입력영상(P4)과의 관계에서 중첩영역에 대한 매핑곡선을 각각 산출하고, 상기 영상 보정부(30)는 각각의 매핑곡선을 통해 상기 제4 입력영상(P4)을 보정한다.

상기 영상 보정부(30)는 상기의 보정작업을 통해 도 6과 같은 출력영상(Q)을 출력할 수 있다. 상기 출력영상(Q)은 상기 입력영상(P)에 비해 고해상도의 영상이며, 상기 출력영상(Q)은 입력영상(P)에 대한 보정을 통해 형성되므로, 상기 입력영상(P)의 경계부 또는 중첩영역이 시인되지 않는 영상이 출력될 수 있다. 이를 통해, 고해상도의 고화질 영상의 생성이 가능한 효과가 있다.

상기 제1 실시 예에서는 타겟영상의 전영역을 보정하는 것을 예로 들어 설명하였으나, 하나의 기준영상에 대한 타겟영상의 보정 이후에는 기준영상과 타겟영상의 중첩영역에서만 보정이 수행될 수 있다.

예를 들어, 상기 제1 입력영상(P1)을 기준영상으로 타겟영상이 보정되는 1차보정의 경우에는 상기 제2 내지 제4 입력영상(P2 내지 P4)의 전체가 보정된다. 이후 제2 입력영상(P2)이 기준영상으로 제3 및 제4 입력영상(P3, P4)이 보정되는 2차보정의 경우 상기 제3 입력영상(P3) 및 제4 입력영상(P4)은 상기 제2 입력영상(P2)과 중첩되는 영역만 보정된다. 또한, 상기 제3 입력영상(P3)을 기준으로 상기 제4 입력영상(P4)이 보정되는 3차보정의 경우 상기 제4 입력영상(P4)은 상기 제3 입력영상(P3)과 중첩되는 영역만 보정된다.

상기와 같이 1차보정이 영상전체에 대해 보정하고, 2차 및 3차보정의 경우 중첩되는 영역만 보정하여 보정범위를 줄일 수 있어, 연산량을 줄일 수 있는 효과가 있다. 상기 보정단계에서 연산량을 줄임으로써 상기 영상생성장치의 처리속도를 향상시킬 수 있는 효과가 있다.

도 7은 제2 실시 예에 따른 영상생성장치를 나타내는 블록도이다.

제2 실시 예는 제1 실시 예와 비교하여 매핑곡선 산출부가 매핑곡선 보정부를 추가로 구비하는 것 이외에는 동일하다. 따라서, 제2 실시 예를 설명함에 있어서, 제1 실시 예와 공통되는 구성에 대해서는 동일한 도면번호를 부여하고 상세한 설명을 생략한다.

도 7을 참조하면, 제2 실시 예에 따른 매핑곡선 산출부(120)는 누적분포함수 산출부(121), 매핑곡선 작성부(123) 및 매핑곡선 보정부(125)를 포함한다.

상기 누적분포함수 산출부(121)는 각각의 입력영상(P)에 대한 누적분포함수를 산출한다. 상기 누적분포함수 산출부(121)는 각각의 입력영상(P)의 중첩영역에 대한 누적분포함수를 산출한다. 상기 누적분포함수는 상기 입력영상(P)의 중첩영역의 계조 값에 따른 픽셀수를 누적한 함수일 수 있다.

상기 매핑곡선 작성부(123)는 인접하는 중첩영역의 누적분포함수를 이용하여 매핑곡선을 결정한다. 상기 매핑곡선은 상기 인접하는 입력영상의 색상 및 휘도를 보정하기 위한 기준이 된다.

상기 매핑곡선 보정부(125)는 상기 매핑곡선 작성부(123)에 의해 작성된 매핑곡선을 보정할 수 있다.

도 8은 매핑곡선 보정부에서 보정된 매핑곡선을 나타내는 도면이다.

도 8a는 보정 전의 매핑곡선을 나타내고, 도 8b는 보정 후의 매핑곡선을 나타낸다.

상기 매핑곡선 보정부(125)는 A영역과 같이 매핑곡선의 기울기가 급격히 변화하는 영역에 대한 보정을 수행한다.

상기 매핑곡선 보정부(125)는 하기의 수학식 4와 같이 매핑곡선의 기울기가 미리 설정된 기준값(τ) 이상인지를 판단하고, 상기 매핑곡선의 기울기가 미리 설정된 기준값(τ) 이상인 경우 해당영역에 대해 보정을 수행한다.

상기 매핑곡선 보정부(125)는 상기 매핑곡선의 기울기가 미리 설정된 기준값(τ)이상인 경우 해당영역에 대해 수학식 5에 따라 정상화(normalize)를 수행할 수 있다. 즉, 상기 매핑 보정부(125)는 상기 매핑곡선의 기울기가 미리 설정된 기준값(τ) 이상인 경우 해당영역에 대한 매핑곡선을 미분하여 상기 기울기가 급격하게 변화는 영역에 대해 보정을 수행하여, 상기 매핑곡선의 기울기가 급격하게 변화는 영역을 제거할 수 있다.

상기 수학식 5에서 max는 slope와 미리 지정된 값의 합을 의미하고, 상기 min은 slope와 미리 저장된 값의 차를 의미한다.

상기 매핑곡선 보정부(125)는 상기 수학식 5에 따라 매핑곡선의 기울기가 급격히 변화하는 영역에 대해서 정상화를 수행하여, 상기 기울기가 급격히 변화하는 영역의 기울기 변화를 줄여, 상기 매핑곡선의 급격한 변화를 줄여 상기 매핑곡선 보정부(125)에서 타겟영상에 대한 보정을 수행하는 경우 자연스러운 화상의 구현이 가능한 효과가 있다.

도 9는 실시 예에 따른 영상생성방법을 나타내는 순서도이다.

도 9를 참조하면, 실시 예에 따른 영상보정방법은 다수의 입력영상을 입력받는다. (S101)

상기 다수의 입력영상(P)은 서로 중첩되는 다수의 영상일 수 있다. 상기 입력영사(P)은 서로 중첩되는 영역을 가지는 다수의 영상일 수 있다. 상기 다수의 입력영상(P)은 상기 영상촬영장치로부터 입력받을 수 있다.

상기 입력영상(P)은 도 2와 같이 제1 내지 제4 입력영상(P1 내지 P4)을 포함할 수 있다. 각각의 상기 입력영상(P)은 상기 출력영상에 비해 낮은 해상도를 가질 수 있다. 예를 들어, 상기 입력영상(P)은 HD급 해상도를 가질 수 있고, 출력영상(Q)은 UHD급 해상도를 가질 수 있다.

상기 입력영상(P)은 중첩영역(S)을 가질 수 있다. 각각의 상기 입력영상(P)은 인접하는 입력영상(P)과의 관계에서 중첩영역(S)을 가질 수 있다.

상기 다수의 입력영상(P)을 입력 받은 후 상기 다수의 입력영상(P)의 중첩영역을 결정한다. (S103)

상기 중첩영역(S)은 상기 중첩영역 결정부(10)에서 결정할 수 있다. 상기 중첩영역 결정부(10)는 인접하는 입력영상(P)의 각각이 화소 간의 상관관계 값을 비교하여 상기 상관관계 값의 최대값을 추출하여 상기 중첩영역(S)을 결정한다. 상기 상관관계 값은 ZNCC(Zero-mean normalized cross correlation)알고리즘을 개선한 Fast-ZNCC를 통해 추출할 수 있다.

상기 중첩영역(S)을 결정한 후에 상기 중첩영역에 대한 매핑곡선을 산출한다. (S105)

상기 매핑곡선은 상기 매핑곡선 산출부(20)를 통해 산출될 수 있다. 상기 매핑곡선은 인접하는 영상간의 색상 및 휘도를 보정하기 위해 산출될 수 있다. 상기 매핑곡선은 각각의 입력영상(P)의 누적분포함수를 산출한 후 상기 누적분포함수를 이용하여 산출할 수 있다.

상기 매핑곡선은 인접하는 입력영상의 중첩영역을 통해 산출될 수 있다.

상기 매핑곡선은 제1 내지 제3 영역(R1 내지 R3)으로 나누어 산출될 수 있다. 상기 제3 영역(R3)은 상기 제1 영역(R1)과 제2 영역(R2)의 사이영역으로 정의될 수 있다.

상기 제1 영역(R1)과 제3 영역(R3)의 경계는 타겟영상에서 화소의 개수가 0이되는 최대 계조값으로 정의되고, 상기 제2 영역(R2)과 상기 제3 영역(R3)의 경계는 상기 타겟영상에서 포화가 시작되는 계조값으로 정의될 수 있다.

상기 매핑곡선 산출단계는 매핑곡선 보정단계를 포함할 수 있다. 상기 매핑곡선 보정단계는 작성된 매핑곡선을 보정할 수 있다.

상기 매핑곡선 보정단계는 상기 매핑곡선의 기울기가 미리 설정된 기준값 이상인 영역에 존재하는 경우 해당영역에 대한 보정을 수행하는 단계일 수 있다. 상기 매핑곡선 보정단계는 해당영역에 대한 정상화 또는 미분을 통해 수행할 수 있다.

상기 매핑곡선이 산출되면 타겟 영상을 보정한다. (S107)

상기 영상보정단계는 상기 영상 보정부(30)에 의해 수행될 수 있다. 상기 영상보정단계는 상기 매핑곡선을 통해 타겟 영상을 보정함으로써 수행될 수 있다. 상기 영상보정단계를 통해 타겟 영상의 전영역이 보정될 수 있다.

또는, 상기 영상보정단계를 통해 첫 번째 기준영상에 대응되는 타겟영상의 경우 타겟 영상의 전영역에 대한 보정을 수행하고, 두 번째 이후의 기준영상에 대응되는 타겟영상의 경우 중첩영역에 대해서만 보정을 수행할 수 있다. 상기와 같은 방법에 의해 보정범위를 줄일 수 있어 연산량을 줄일 수 있는 효과가 있다. 상기 보정단계에서 연산량을 줄임으로써 상기 영상생성방법의 처리속도를 향상시킬 수 있다.

상기에서는 본 발명에 따른 실시예를 기준으로 본 발명의 구성과 특징을 설명하였으나 본 발명은 이에 한정되지 않으며, 본 발명의 사상과 범위 내에서 다양하게 변경 또는 변형할 수 있음은 본 발명이 속하는 기술분야의 당업자에게 명백한 것이며, 따라서 이와 같은 변경 또는 변형은 첨부된 특허청구범위에 속함을 밝혀둔다.

1: 영상생성장치
10: 중첩영역 결정부
20,120: 매핑곡선 산출부
21,121: 누적분포함수 산출부
23,123: 매핑곡선 작성부
125: 매핑곡선 보정부
30: 영상 보정부

Claims (20)

1. 서로 중첩되는 다수의 입력영상의 중첩영역을 결정하는 중첩영역 결정부;
   상기 입력영상의 각각에 대한 상기 중첩영역의 누적분포함수를 산출하고, 산출된 상기 누적분포함수를 통해 매핑곡선을 산출하는 매핑곡선 산출부; 및
   상기 매핑곡선을 이용하여 다수의 영상을 보정하여 출력영상을 출력하는 영상 보정부를 포함하는 영상생성장치.
2. 제1항에 있어서,
   상기 중첩영역 결정부는,
   서로 인접하는 다수의 입력영상의 각각의 화소 간의 상관관계 값을 비교하여 중첩영역을 결정하는 영상생성장치.
3. 제2항에 있어서,
   상기 상관관계 값은 Fast-ZNCC알고리즘을 통해 추출되는 영상생성장치.
4. 제1항에 있어서,
   상기 매핑곡선 산출부는,
   상기 누적분포함수를 산출하는 누적분포함수 산출부; 및
   상기 매핑곡선을 작성하는 매핑곡선 작성부를 포함하는 영상생성장치.
5. 제1항에 있어서,
   상기 매핑곡선은 제1 영역, 제2 영역 및 상기 제1 영역과 제2 영역 사이의 제3 영역을 포함하고,
   상기 제1 내지 제3 영역의 경계는 타겟영상의 누적분포함수에 의해 결정되는 영상생성장치.
6. 제5항에 있어서,
   상기 제1 및 제3 영역의 경계는 상기 타겟영상의 누적분포함수에서 화소의 개수가 0이되는 최대 계조값인 영상생성장치.
7. 제5항에 있어서,
   상기 제1 영역은

   

   (여기서, n1은 기준영상의 누적분포함수에서 화소의 개수가 0이되는 최대 계조 값, n2는 타겟영상의 누적분포함수에서 화소의 개수가 0이되는 최대 계조 값)에 따라 매핑곡선이 산출되는 영상생성장치.
8. 제5항에 있어서,
   상기 제2영역과 제3 영역의 경계는 상기 타겟영상의 누적분포함수에서 포화가 시작되는 계조값인 영상생성장치.
9. 제5항에 있어서,
   상기 제2 영역은

   

   (여기서, e1은 기준영상의 누적분포함수에서 포화가 시작되는 계조값, e2는 타겟영상의 누적분포함수에서 포화가 시작되는 계조값)에 따라 매핑곡선이 산출되는 영상생성장치.
10. 제5항에 있어서,
    상기 제3 영역은
    

    

    
    에 따라 매핑곡선이 산출되는 영상생성장치.
11. 제4항에 있어서,
    상기 매핑곡선 산출부는 산출된 매핑곡선을 보정하는 매핑곡선 보정부를 더 포함하고,
    상기 매핑곡선 보정부는 상기 매핑곡선의 기울기가 미리 설정된 기준값 이상인 경우 해당영역에 대해 보정을 수행하는 영상생성장치.
12. 제11항에 있어서,
    상기 매핑곡선 보정부는 상기 해당영역에 대해 미분을 수행하여 상기 매핑곡선을 보정하는 영상생성장치.
13. 제1항에 있어서,
    상기 영상 보정부는 두 번째 이후의 보정에 대해서는 중첩영역에 대해서만 보정을 수행하는 영상생성장치.
14. 제1항에 있어서,
    상기 출력영상은 각각의 입력영상보다 해상도가 높은 영상생성장치.
15. 서로 중첩되는 다수의 입력영상을 입력받는 단계;
    상기 다수의 입력영상의 중첩영역을 결정하는 단계;
    상기 입력영상의 각각에 대한 상기 중첩영역의 누적분포함수를 산출하는 단계;
    상기 누적분포함수를 통해 매핑곡선을 산출하는 단계; 및
    상기 매핑곡선을 통해 다수의 영상을 보정하여 출력하는 단계를 포함하는 영상생성방법.
16. 삭제
17. 제15항에 있어서,
    상기 매핑곡선은 제1 영역, 제2 영역 및 상기 제1 영역과 제2 영역 사이의 제3 영역을 포함하고,
    상기 제1 내지 제3 영역의 경계는 타겟영상의 누적분포함수에 의해 결정되는 영상생성방법.
18. 제17항에 있어서,
    상기 제1 및 제3 영역의 경계는 상기 타겟영상의 누적분포함수에서 화소의 개수가 0이되는 최대 계조값인 영상생성방법.
19. 제17항에 있어서,
    상기 제2 영역과 제3 영역의 경계는 상기 타겟영상의 누적분포함수에서 포화가 시작되는 계조값인 영상생성방법.
20. 제15항에 있어서,
    상기 매핑곡선 산출단계는 산출된 매핑곡선을 보정하는 단계를 더 포함하고,
    상기 매핑곡선의 기울기가 미리 설정된 기준값 이상인 경우 해당영역에 대해 보정을 수행하는 영상생성방법.

Images