KR102122905B1 - 히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법 및 이에 이용되는 기록매체 - Google Patents

히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법 및 이에 이용되는 기록매체 Download PDF

Info

Publication number
KR102122905B1
KR102122905B1 KR1020130155162A KR20130155162A KR102122905B1 KR 102122905 B1 KR102122905 B1 KR 102122905B1 KR 1020130155162 A KR1020130155162 A KR 1020130155162A KR 20130155162 A KR20130155162 A KR 20130155162A KR 102122905 B1 KR102122905 B1 KR 102122905B1
Authority
KR
South Korea
Prior art keywords
histogram
correction
section
image
equation
Prior art date
Application number
KR1020130155162A
Other languages
English (en)
Other versions
KR20150069585A (ko
Inventor
김희석
김세호
허재영
박찬수
손휘곤
Original Assignee
청주대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 청주대학교 산학협력단 filed Critical 청주대학교 산학협력단
Priority to KR1020130155162A priority Critical patent/KR102122905B1/ko
Publication of KR20150069585A publication Critical patent/KR20150069585A/ko
Application granted granted Critical
Publication of KR102122905B1 publication Critical patent/KR102122905B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Abstract

히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법을 개시한다. 상기 히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법은 두 대의 카메라를 이용하여 입체 영상을 생성할 때 외부 조건(광원) 과 카메라 특성 및 카메라의 촬영 위치에 따라 발생 할 수 있는 두 영상 간의 색상차 보정에 이용되며, 두 영상 간의 휘도에 대한 히스토그램을 산출하는 히스토그램 산출 단계; 상기 히스토그램을 이용하여 상기 영상의 색 분포도를 분석한 후, 상기 색 분포도의 밀집도에 따라 분류하는 색 분포 분석단계; 상기 히스토그램을 색의 분포도에 따른 보정 구간을 분류하는 보정 구간 분류 단계; 각 구간에 따른 보정 값을 결정하는 보정 값 결정단계; 및 상기 구간에 따른 보정 값을 이용하여 상기 영상의 전 영역을 보정하는 영상 보정 단계를 포함한다.

Description

히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법 및 이에 이용되는 기록매체{Luminance Correction Method for Stereo Images using Histogram Interval Calibration and Recording medium use to the Method}
본 발명은 영상 보정에 관한 것으로, 보다 상세하게는 히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법 및 이에 이용되는 기록매체에 관한 것이다.
최근에 3D 디스플레이 기능이 포함된 디지털 TV가 현재까지 꾸준히 시장을 점유하고 있으며 모바일 환경에도 3D 컨텐츠가 제공 되고 있다. 뿐만 아니라 가정에서도 어린이용 컨텐츠에서 게임에 이르기 까지 많은 분야에서 입체영상 컨텐츠를 접할 수 있게 되었고 입체영상을 다양한 산업분야에 도입하고 있다.
이처럼 입체영상(3D) 방송 및 컨텐츠가 대중화 되면서 입체영상을 촬영하는 기기에 대해서도 관심이 많아지고 있다. 입체영상 생성방법에는 2D영상을 이용하여 입체영상을 생성하는 방법(2D to 3D), 사람의 좌우 양안에 해당하는 두 개의 카메라를 이용하여 스테레오 영상을 촬영하고 이를 이용하여 3D영상을 생성하는 스테레오스코픽(Stereoscopic)방법과 다수의 카메라를 이용하여 순차적인 스테레오 영상을 이용하여 입체영상을 생성하는 방법으로 멀티뷰(Multi-View)등이 있다[1].
이러한 다수의 카메라를 이용하여 입체영상 생성하는 방법은 하나의 프레임에 다수의 영상을 포함한다. 각각의 영상은 서로 다른 위치에서 촬영되며 동일한 성능의 카메라들을 이용하여 촬영하더라도 스테레오 영상 페어(Image Pair)간 광원에 의한 색상 분포의 왜곡이 발생한다.
이러한 색상 차의 외곡은 동일한 카메라를 사용 하더라도 외부 환경에 의한 변화로 인하여 발생한다. 색상 분포 차의 외곡을 보정하기 위하여 최근에 R, G, B 색상에 대한 보정 보다 Y,Cb,Cr 색상 변환에 대한 연구가 진행되고 있다. 특히 장치 내외부적 요인으로 인하여 나타나는 색상과 다른 색상을 가지게 되는 요인으로 광원의 색온도에 영상을 많이 받는 휘도(Y, Luminance) 에 대한 보정 연구가 우선적으로 진행되고 있다[2].
색 상의 분포 차 보정을 위한 방법들은 스테레오 영상뿐만 아니라 멀티뷰 시스템에서도 광범위하게 연구되고 있으며 크게 두 가지 방법으로 나뉜다.
첫 번 방법은 전체 보정(Global Correction)으로 한 쌍의 스테레오 영상에서 두 영상 사이의 색상 차를 히스토그램에서 색상 분포 특성을 이용하여 왜곡된 영상에 보정을 해주는 방법이 있다. 이 방법은 두 영상 간의 히스토그램 색상차를 SAD(Sum of Absolute Difference)연산을 통해 최소 차가 발생하는 구간을 보정 값으로 정하고 이를 왜곡된 영상에 더해주는 방법[3] 과 Chen[4]이 제안한 두 영상의 히스토그램에서 주색에 해당하는 영역을 나누어 주색에 대한 평균색상의 차를 보정 값으로 왜곡된 영상에 더해주는 방법이 있다.
최근에 Fecker[5]가 제안한 두 영상의 히스토그램을 구하고 이를 이용하여 누적 히스토그램(Cumulative Histogram)을 계산 한 후 두 영상의 색상 별 누적 히스토그램의 오차가 비슷하도록 히스토그램 매칭 버퍼(Histogram Matching Buffer)를 생성하고 이를 토대로 왜곡된 영상을 보정하는 방법 등이 있다.
이러한 전체 보정 방법들은 주로 히스토그램만을 분석하여 영상 전체에 적용함으로 빠른 연산이 가능하다는 장점이 있으나 Chen의 경우 주색의 범위를 찾기 위한 별도의 연산이 필요하며, 히스토그램에서 색 분포의 형태가 유사한 형태로 왜곡 될 경우 보정하기 어렵고 Fecker의 경우 누적 히스토그램을 사용하기 위해 높은 비트수의 연산이 필요하다는 단점이 있다.
두 번째 방법은 부분 보정(Local Correction)방법으로 한 쌍의 영상 사이에 x축으로 이동 했을 시 영상 페어사이의 깊이(Depth)가 최소 가 되는 지점을 찾아 두 영상이 최대한 겹치게 한 후 N x M 크기의 윈도우를 이용하여 두 영상 사이에서 각각의 윈도우 범위내의 픽셀들의 차를 이용하는 방법[6][7]과 두 영상 사이의 동일 객체 또는 특징 점을 찾아 각각의 색차를 이용하여 보정 하는 방법[8][9] 등이 있다.
이러한 부분 보정방법은 두 영상 간 깊이(Depth)가 최소가 되는 지점을 찾는 데에 많은 연산량을 필요로 한다.
두 영상 사이의 최대 매칭 지역(Maximum Matching Region)을 찾는 방법들로는 Rank Filter[4], SAD(Sum of Absolute Difference) of Edge Projection[10], 그리고 Segmentation[11]등이 사용 된다. 그 외 Depth Map 기반[12]의 색 분포 보정도 꾸준히 연구되고 있다.
이러한 부분 보정 방법들은 최대 매칭 지역을 계산하는데 많은 연산량을 필요로 한다. 또한 스테레오 영상의 특징상 최대로 겹치는 지점을 정확히 찾는다 해도 서로 다른 위치에서 촬영한다는 특성에 의해 동일한 객체의 윤곽선에서의 노이즈를 피할 수 없다.
한편, 스트레오뷰(Stereoview) 시스템에서 카메라 위치 또는 광원의 변화는 양안에 해당하는 두 영상 사이에서 휘도에 대한 색상분포에 차가 발생 한다 .이러한 색상변화 차는 입체영상(3D) 코딩의 품질을 저하시키거나 적합하지않는 프레임이 발생한다.
이러한 휘도에 대한 색상분포 차를 보정하기 위하여 본 발명에서는 두 대의 카메라를 이용하여 입체 영상을 생성할 때 외부 조건(광원) 과 카메라 특성 및 카메라의 촬영 위치에 따라 발생 할 수 있는 두 영상간의의 색상차를 보정 할 수 있는 방법을 적은 연산량으로 색상 히스토그램을 적용하여 색 분포를 분석한 다음 색 분포가 밀집된 부분과 분포가 낮은 부분을 나누어 색 분포에 따른 부분적인 히스토그램 보정방법인 히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법을 제안하고자 한다.
대한민국 특허등록번호 제10-0822458호(발명의 명칭: 윤곽선 검출을 이용한 영상 합성 방법 및 장치)
본 발명이 해결하고자 하는 두 대의 카메라를 이용하여 입체 영상을 생성할 때 외부 조건(광원) 과 카메라 특성 및 카메라의 촬영 위치에 따라 발생 할 수 있는 두 영상간의의 색상차를 보정 할 수 있는 방법을 적은 연산량으로 색상 히스토그램을 적용하여 색 분포를 분석한 다음 색 분포가 밀집된 부분과 분포가 낮은 부분을 나누어 색 분포에 따른 부분적인 히스토그램 보정방법인 히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법을 제공하고자 한다.
또한, 본 발명이 해결하고자 하는 다른 과제는 히스토그램을 색의 분포도에 따라 보정 구간을 나누는 방법과 각 구간별 보정 값을 결정하는 방법 및 두 개 구간에 대한 보정 값 적용 과정이 포함된 히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법을 제공하고자 한다.
또한, 본 발명이 해결하고자 하는 또 다른 과제는 히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법에 이용되는 기록매체를 제공하고자 한다.
상기 과제를 해결하기 위한 본 발명의 실시 예에 따른 히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법은 두 대의 카메라를 이용하여 입체 영상을 생성할 때 외부 조건(광원) 과 카메라 특성 및 카메라의 촬영 위치에 따라 발생 할 수 있는 두 영상 간의 색상차 보정에 이용되며, 두 영상 간의 휘도에 대한 히스토그램을 산출하는 히스토그램 산출 단계; 상기 히스토그램을 이용하여 상기 영상의 색 분포도를 분석한 후, 상기 색 분포도의 밀집도에 따라 분류하는 색 분포 분석단계; 상기 히스토그램을 색의 분포도에 따른 보정 구간을 분류하는 보정 구간 분류 단계; 각 구간에 따른 보정 값을 결정하는 보정 값 결정단계; 및 상기 구간에 따른 보정 값을 이용하여 상기 영상의 전 영역을 보정하는 영상 보정 단계를 포함한다.
상기 히스토그램은, 아래에 기재된 식 1을 이용하여 도출하며,
[식 1]
Figure 112013114151821-pat00001
Figure 112013114151821-pat00002
여기서, 영상 I의 크기를
Figure 112013114151821-pat00003
이라 할 때
Figure 112013114151821-pat00004
는 휘도에 대한 히스토그램이며,
Figure 112013114151821-pat00005
와
Figure 112013114151821-pat00006
에서
Figure 112013114151821-pat00007
는
Figure 112013114151821-pat00008
(Reference Image) 또는
Figure 112013114151821-pat00009
(Distorted Image)로서 영상 페어에서 색 분포의 기준이 되는 영상과 왜곡된 영상을 나타내는 것을 특징으로 한다.
상기 보정 구간 분류 단계는 상기 히스토그램을 경계점
Figure 112013114151821-pat00010
(Histogram Clustering Point)를 기준으로 두 개의 구간( A, B)로 분류하는 단계를 포함하고, 상기 히스토그램 경계점
Figure 112013114151821-pat00011
(Histogram Clustering Point)은, 상기 히스토그램의 색 분포 수의 기준선이 되는 값을
Figure 112013114151821-pat00012
(Threshold)로 정하고,
Figure 112013114151821-pat00013
보다 적은 색상 분포를 가지는 구간에서 색 분포의 개수를 합산하는
Figure 112013114151821-pat00014
(Lower Count)와
Figure 112013114151821-pat00015
보다 높은 분포 수를 가지는 구간에서의 색 상 분포 수를 합산하는
Figure 112013114151821-pat00016
(Upper Count)를 이용하여 도출하는 것을 특징으로 한다.
.
상기 보정 구간 분류 단계는, 상기
Figure 112013114151821-pat00017
,
Figure 112013114151821-pat00018
,
Figure 112013114151821-pat00019
와
Figure 112013114151821-pat00020
를 초기화시키는 1 단계; 상기 히스토그램 상승지점에서의 상기 히스토그램 경계점(
Figure 112013114151821-pat00021
) 후보를 판단하는 2 단계; 상기 히스토그램 하강지점에서의 상기 히스토그램 경계점(
Figure 112013114151821-pat00022
) 후보를 판단하는 3 단계; 특정 색상 값
Figure 112013114151821-pat00023
가 더 이상 상승 또는 하강 지점을 찾을 수 없는 범위에 위치하고, 상기 히스토그램 경계점(
Figure 112013114151821-pat00024
) 후보가 1개일 경우, 연산을 종료하고, 상기 히스토그램 경계점(
Figure 112013114151821-pat00025
) 후보가 2개 이상일 경우, 상기 1 단계 및 상기 2 단계를 반복수행하는 4 단계를 포함하는 것을 특징으로 한다.
상기 2 단계는 상기 히스토그램 상승 지점에서의
Figure 112013114151821-pat00026
후보 판단을 위해
Figure 112013114151821-pat00027
를 이용하여 상기
Figure 112013114151821-pat00028
보다 작은 분포를 가진 색의 범위와 상기
Figure 112013114151821-pat00029
보다 높은 분포를 가진 색의 범위를 연속 구간에 대하여 아래의 조건식 1에 따라 연산하는 단계이며,
[조건식 1]
Figure 112013114151821-pat00030
여기서,
Figure 112013114151821-pat00031
는 색 분포의 범위를 나타내며, 상기
Figure 112013114151821-pat00032
가 최소 구간을 제한하는 허용색상오차
Figure 112013114151821-pat00033
보다 더 큰 값을 갖는 다면 상승지점
Figure 112013114151821-pat00034
는 HCP 후보가 되며, 상기 히스토그램 상승 지점은
Figure 112013114151821-pat00035
값을 기준으로
Figure 112013114151821-pat00036
조건을 만족하는 색상 값
Figure 112013114151821-pat00037
를 의미하는 것을 특징으로 한다.
상기 2 단계는 새로운 구간을 탐색하기 위하여 상기
Figure 112013114151821-pat00038
를 0으로 초기화하여 재수행하는 단계를 더 포함하는 것을 특징으로 한다.
상기 3 단계는 상기 히스토그램 하강 지점에서의
Figure 112013114151821-pat00039
후보 판단을 위해 우선
Figure 112013114151821-pat00040
를 이용하여
Figure 112013114151821-pat00041
보다 작은 분포를 가진 색의 범위와
Figure 112013114151821-pat00042
보다 높은 분포를 가진 색의 범위를 연속 구간에 대하여 상기 조건식 1에 따라 연산하는 단계이며,
여기서,
Figure 112013114151821-pat00043
는 색 분포의 범위를 나타내며, 상기
Figure 112013114151821-pat00044
가 최소 구간을 제한하는 허용색상오차
Figure 112013114151821-pat00045
보다 더 큰 값을 갖는 다면 하강지점에서의 색상값
Figure 112013114151821-pat00046
는 HCP 후보가 되며, 상기 히스토그램 하강지점은
Figure 112013114151821-pat00047
를 기준으로
Figure 112013114151821-pat00048
조건을 만족하는 색상 값
Figure 112013114151821-pat00049
를 의미하는 것을 특징으로 한다.
상기 3 단계는 새로운 구간을 탐색하기 위하여 상기
Figure 112013114151821-pat00050
를 0으로 초기화하여 재수행하는 단계를 더 포함하는 것을 특징으로 한다.
상기 보정 값 결정단계는 각 영상의 히스토그램을 이용하여 최대 매칭 영역을 계산하는 단계이며, 구간별 SAD((Sum of Absolute Difference)연산을 적용하여 구간 별 오차
Figure 112013114151821-pat00051
,
Figure 112013114151821-pat00052
를 계산 한 후 최대 매칭 영역이 되는 지점을 도출하는 것을 특징으로 한다.
상기 SAD((Sum of Absolute Difference)연산은 아래에 기재된 식 3 및 식 4를 이용하며,
[식 3]
Figure 112013114151821-pat00053
[식 4]
Figure 112013114151821-pat00054
Figure 112013114151821-pat00055
여기서, 두 개의 구간
Figure 112013114151821-pat00056
,
Figure 112013114151821-pat00057
에 대하여 최대 매칭 영역이 된다는 것은 구간 별 오차
Figure 112013114151821-pat00058
,
Figure 112013114151821-pat00059
에서 가장 작은 값을 갖는
Figure 112013114151821-pat00060
,
Figure 112013114151821-pat00061
만큼 이동하여 겹칠 경우를 의미하며, 구간별 최대 매칭 영역을 찾기 위해 가장 최소값을 갖는
Figure 112013114151821-pat00062
함수 기능을 적용시켜, 가장 최소 값을 갖는
Figure 112013114151821-pat00063
는
Figure 112013114151821-pat00064
,
Figure 112013114151821-pat00065
두 구간에서의 각각의 보정 수치
Figure 112013114151821-pat00066
,
Figure 112013114151821-pat00067
가되는 것을 특징으로 한다.
상기 영상 보정 단계는 구획선형보간(Piecewise Linear Interpolation) 방식이 적용된 히스토그램 매칭 버퍼((Histogram Matching Buffer)를 이용하여 상기 영상의 전영역을 보정하는 것을 특징으로 한다.
상기 영상 보정 단계는 아래에 기재된 조건식 2를 이용하는 것을 특징으로 한다.
[조건식 2]
Figure 112013114151821-pat00068

상기 히스토그램 매칭 버퍼((Histogram Matching Buffer)는, 아래에 기재된 식 7로 정의되는 것을 특징으로 한다.
[식 7]
Figure 112013114151821-pat00069
여기서,
Figure 112013114151821-pat00070
는 히스토그램 매칭 버퍼를,
Figure 112013114151821-pat00071
는 보정 전 색 분포로서 히스토그램의 가로축에 해당되며 휘도의 색상 분포 범위는 0~255 이다.
상기 히스토그램 매칭 버퍼의 구간별 연속좌표는 상기
Figure 112013114151821-pat00072
와
Figure 112013114151821-pat00073
의 대소 관계에 따라 달라지며,
Figure 112013114151821-pat00074
인 경우 식 8에 의해 히스토그램 매칭 버퍼는 3개 구간(1 구간: [
Figure 112013114151821-pat00075
,
Figure 112013114151821-pat00076
], 2 구간: [
Figure 112013114151821-pat00077
,
Figure 112013114151821-pat00078
], 3 구간: [
Figure 112013114151821-pat00079
,
Figure 112013114151821-pat00080
])으로,
Figure 112013114151821-pat00081
인 경우 식 9에 의해 2개 구간(1 구간: [
Figure 112013114151821-pat00082
,
Figure 112013114151821-pat00083
,] 2 구간: [
Figure 112013114151821-pat00084
,
Figure 112013114151821-pat00085
])으로 나누어지는 것을 특징으로 한다.
[식 8]
Figure 112013114151821-pat00086

[식 9]
Figure 112013114151821-pat00087

상기
Figure 112013114151821-pat00088
와
Figure 112013114151821-pat00089
가 동일(
Figure 112013114151821-pat00090
)할 경우, 식 5를 이용하는 것을 특징으로 한다.
[식 5]
Figure 112013114151821-pat00091

상기 식 8과 상기 식 9의 연속적인 좌표를 상기 식 7에 대입하여 각각 히스토그램 매칭 버퍼
Figure 112013114151821-pat00092
에 대한 구간 별 보정 수치가
Figure 112013114151821-pat00093
일 경우에는 식 10으로,
Figure 112013114151821-pat00094
일 때 식 11로 표현되는 것을 특징으로 한다.
[식 10]
Figure 112013114151821-pat00095
[식 11]
Figure 112013114151821-pat00096
여기서
Figure 112013114151821-pat00097
은 보정 전 색의 분포 값이다.
상기 과제를 해결하기 위한 본 발명의 실시 예에 따른 기록매체는 제1항 내지 제16항 중 어느 하나의 항에 기재된 히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법을 기록한 코드를 포함한다.
본 발명에 따른 히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법은 스테레오 영상 생성에 있어 발생 할 수 있는 스테레오 영상 페어간 휘도에 대한 왜곡을 효과적으로 보정 할 수 있는 방법으로서, 스테레오 영상 페어간 휘도에 대한 히스토그램을 계산하고 왜곡된 영상의 휘도 히스토그램을 두 개 구간으로 나누어 각각의 구간별 최대 매칭 영역을 찾아 구간별 보정 값을 구한 후 이를 색 분포의 구간에 따라 적용함으로써, 히스토그램 구간별 보정에서 발생 할 수 있는 색 분포의 겹침 또는 단락 현상을 방지할 수 있다는 이점을 제공한다.
이러한 이점은 발명의 상세한 설명에 기재된 실험결과를 통해 실험결과에서 보여주듯이 단일 영상에서 보정 전 후 PNSR 비교 결과 및 연산속도에서 우수한 결과를 제공한다.
도 1a는 본 발명의 실시 예에 따른 히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법을 설명하기 위한 플로우 챠트이다.
도 1b는 도 1a에 도시된 S130을 보다 상세하게 설명하기 위한 플로우 챠트이다.
도 2는 히스토그램에 상승하강 구간의 변수를 나타낸 그래프이다.
도 3은
Figure 112013114151821-pat00098
,
Figure 112013114151821-pat00099
에 따른 히스토그램 매칭버퍼의 색 분포 형태를 나타낸 그래프이다.
도 4는
Figure 112013114151821-pat00100
,
Figure 112013114151821-pat00101
대소 관계에 따른 색의 겹침(a)과 단락현상(b)을 나타낸 그래프이다.
도 5는 비선형적인 색의 변화에 의한 일그러짐 현상을 나타낸 도이다.
도 6은 구획선형보간(Piecewise Linear Interpolation)을 적용한 히스토그램 매칭버퍼의 색 분포 형태를 나타낸 그래프이다.
도 7은 비선형적인 보정(a)과 선형적 보정(b)결과를 나타낸 도이다.
도 8은 본 발명과 종래의 기술들의 히스토그램 매칭 버퍼의 색분포와 휘도 히스토그램 변화결과를 비교한 예시도이다.
도 9는 종래 기술과 본 발명의 영상 보정 결과를 나타낸 도이다.
이하, 본 발명의 바람직한 실시 예의 상세한 설명은 첨부된 도면들을 참조하여 설명할 것이다. 하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
본 발명의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시 예들을 도면에 예시하고 본 명세서 또는 출원에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하에서는 본 발명의 실시 예에 따른 히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법을 도면을 참조하여 보다 상세하게 설명하도록 한다.
도 1a는 본 발명의 실시 예에 따른 히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법을 설명하기 위한 플로우 챠트이다.
도 1b는 도 1a에 도시된 S130을 보다 상세하게 설명하기 위한 플로우 챠트이다.
도 2는 히스토그램에 상승하강 구간의 변수를 나타낸 그래프이다.
도 3은
Figure 112013114151821-pat00102
,
Figure 112013114151821-pat00103
에 따른 히스토그램 매칭버퍼의 색 분포 형태를 나타낸 그래프이다.
도 4는
Figure 112013114151821-pat00104
,
Figure 112013114151821-pat00105
대소 관계에 따른 색의 겹침(a)과 단락현상(b)을 나타낸 그래프이다.
도 5는 비선형적인 색의 변화에 의한 일그러짐 현상을 나타낸 도이다.
도 6은 구획선형보간(Piecewise Linear Interpolation)을 적용한 히스토그램 매칭버퍼의 색 분포 형태를 나타낸 그래프이다.
도 7은 비선형적인 보정(a)과 선형적 보정(b)결과를 나타낸 도이다.
도 8은 본 발명과 종래의 기술들의 히스토그램 매칭 버퍼의 색분포와 휘도 히스토그램 변화결과를 비교한 예시도이다.
도 9는 종래 기술과 본 발명의 영상 보정 결과를 나타낸 도이다.
도 1a 및 도 1b에 도시된 바와 같이, 본 발명의 실시 예에 따른 히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법(S100)은 두 대의 카메라를 이용하여 입체 영상을 생성할 때 외부 조건(광원) 과 카메라 특성 및 카메라의 촬영 위치에 따라 발생 할 수 있는 두 영상 간의 색상차 보정에 이용된다.
보다 구체적으로, 상기 히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법(S100)은 히스토그램 산출 단계(S110), 색 분포 분석단계(S120), 보정 구간 분류 단계(S130), 보정값 결정단계(S140) 및 영상 보정 단계(S150)를 포함한다.
상기 히스토그램 산출 단계(S110)는 두 영상 간의 휘도에 대한 히스토그램을 산출하는 단계일 수 있다.
상기 히스토그램은 아래에 기재된 식 1을 이용하여 도출하며,
[식 1]
Figure 112013114151821-pat00106
Figure 112013114151821-pat00107
여기서, 영상 I의 크기를
Figure 112013114151821-pat00108
이라 할 때
Figure 112013114151821-pat00109
는 휘도에 대한 히스토그램이며,
Figure 112013114151821-pat00110
와
Figure 112013114151821-pat00111
에서
Figure 112013114151821-pat00112
는
Figure 112013114151821-pat00113
(Reference Image) 또는
Figure 112013114151821-pat00114
(Distorted Image)로서 영상 페어에서 색 분포의 기준이 되는 영상과 왜곡된 영상을 의미한다.
상기 색 분포 분석단계(S120)는 상기 히스토그램을 이용하여 상기 영상의 색 분포도를 분석한 후, 상기 색 분포도의 밀집도에 따라 분류하는 단계일 수 있다.
상기 보정 구간 분류 단계(S130)는 상기 히스토그램을 색의 분포도에 따른 보정 구간을 분류하는 단계일 수 있다.
상기 보정 구간 분류 단계는 상기 히스토그램을 경계점
Figure 112013114151821-pat00115
(Histogram Clustering Point)를 기준으로 두 개의 구간(A, B)로 분류하는 단계를 포함하고, 상기 히스토그램 경계점
Figure 112013114151821-pat00116
(Histogram Clustering Point)은 상기 히스토그램의 색 분포 수의 기준선이 되는 값을
Figure 112013114151821-pat00117
(Threshold)로 정하고(도 2 참조),
Figure 112013114151821-pat00118
보다 적은 색상 분포를 가지는 구간에서 색 분포의 개수를 합산하는
Figure 112013114151821-pat00119
(Lower Count)와
Figure 112013114151821-pat00120
보다 높은 분포 수를 가지는 구간에서의 색 상 분포 수를 합산하는
Figure 112013114151821-pat00121
(Upper Count)를 사용하면 히스토그램 경계점
Figure 112013114151821-pat00122
(Histogram Clustering Point)는 1단계 내지 4단계를 거쳐 도출 할 수 있다.
보다 구체적으로, 상기 보정 구간 분류 단계(S130)는 1단계(S131) 내지 4 단계(S134)를 포함한다.
상기 1 단계(S131)는 상기
Figure 112013114151821-pat00123
,
Figure 112013114151821-pat00124
,
Figure 112013114151821-pat00125
와
Figure 112013114151821-pat00126
를 초기화시키는 단계일 수 있다.
Figure 112013114151821-pat00127
,
Figure 112013114151821-pat00128
,
Figure 112013114151821-pat00129
, 여기서
Figure 112013114151821-pat00130
는 색상 값(Color Value)
상기 2 단계(S132)는 상기 히스토그램 상승지점에서의 상기 히스토그램 경계점(
Figure 112013114151821-pat00131
) 후보를 판단하는 단계일 수 있다.
상기 2 단계(S133)는 상기 히스토그램 상승 지점에서의
Figure 112013114151821-pat00132
후보 판단을 위해
Figure 112013114151821-pat00133
를 이용하여 상기
Figure 112013114151821-pat00134
보다 작은 분포를 가진 색의 범위와 상기
Figure 112013114151821-pat00135
보다 높은 분포를 가진 색의 범위를 연속 구간에 대하여 아래의 조건식 1에 따라 연산하는 단계이며,
[조건식 1]
Figure 112013114151821-pat00136
여기서,
Figure 112013114151821-pat00137
는 색 분포의 범위를 나타내며, 상기
Figure 112013114151821-pat00138
가 최소 구간을 제한하는 허용색상오차
Figure 112013114151821-pat00139
보다 더 큰 값을 갖는 다면 상승지점
Figure 112013114151821-pat00140
는 HCP 후보가 되며, 상기 히스토그램 상승 지점은
Figure 112013114151821-pat00141
값을 기준으로
Figure 112013114151821-pat00142
조건을 만족하는 색상 값
Figure 112013114151821-pat00143
를 의미한다.
상기 2 단계(S132)는 새로운 구간을 탐색하기 위하여 상기
Figure 112013114151821-pat00144
를 0으로 초기화하여 재수행하는 단계를 더 포함할 수 있다.
상기 재수행하는 단계는 아래와 같은 알고리즘으로 표현할 수 있다.
Figure 112013114151821-pat00145
다음으로, 상기 3 단계(S133)는 상기 히스토그램 하강지점에서의 상기 히스토그램 경계점(
Figure 112013114151821-pat00146
) 후보를 판단하는 단계일 수 있다.
상기 3 단계(S133)는 상기 히스토그램 하강 지점에서의
Figure 112013114151821-pat00147
후보 판단을 위해 우선
Figure 112013114151821-pat00148
를 이용하여
Figure 112013114151821-pat00149
보다 작은 분포를 가진 색의 범위와
Figure 112013114151821-pat00150
보다 높은 분포를 가진 색의 범위를 연속 구간에 대하여 상기 조건식 1에 따라 연산하는 단계이며,
여기서,
Figure 112013114151821-pat00151
는 색 분포의 범위를 나타내며, 상기
Figure 112013114151821-pat00152
가 최소 구간을 제한하는 허용색상오차
Figure 112013114151821-pat00153
보다 더 큰 값을 갖는 다면 하강지점에서의 색상값
Figure 112013114151821-pat00154
는 HCP 후보가 되며, 상기 히스토그램 하강지점은
Figure 112013114151821-pat00155
를 기준으로
Figure 112013114151821-pat00156
조건을 만족하는 색상 값
Figure 112013114151821-pat00157
를 의미한다.
상기 3 단계(S133)는 새로운 구간을 탐색하기 위하여 상기
Figure 112013114151821-pat00158
를 0으로 초기화하여 재수행하는 단계를 더 포함하는 것을 특징으로 한다.
상기 재수행하는 단계는 아래와 같은 알고리즘으로 표현할 수 있다.
Figure 112013114151821-pat00159
상기 4 단계(S134)는 특정 색상 값
Figure 112013114151821-pat00160
가 더 이상 상승 또는 하강 지점을 찾을 수 없는 범위 즉
Figure 112013114151821-pat00161
가 될 때, 상기 히스토그램 경계점(
Figure 112013114151821-pat00162
) 후보가 1개일 경우, 연산을 종료하고, 상기 히스토그램 경계점(
Figure 112013114151821-pat00163
) 후보가 2개 이상일 경우, 단일의
Figure 112013114151821-pat00164
를 얻기 위해 색 상 값
Figure 112013114151821-pat00165
으로 초기화 한 후 2 단계 및 3 단계를 재수행하여 한 개의
Figure 112013114151821-pat00166
를 계산하는 단계일 수 있다.
본 발명에서 색상분포 허용구간
Figure 112013114151821-pat00167
은 큰 값으로 설정 할 수 록
Figure 112013114151821-pat00168
값을 찾기 위한 반복처리 횟수가 줄어드는 반면 작은 값으로 설정할 경우 색 분포가 밀집된 히스토그램 구간을 보다 더 세밀하게 구분할 수 있는 특징을 갖는다.
한편, 상기 보정값 결정단계(S140)는 각 구간에 따른 보정 값을 결정하는 단계일 수 있다.
또한, 상기 보정 값 결정단계(S140)는 각 영상의 히스토그램을 이용하여 최대 매칭 영역을 계산하는 단계이며, 구간별 SAD((Sum of Absolute Difference)연산을 적용하여 구간 별 오차
Figure 112013114151821-pat00169
,
Figure 112013114151821-pat00170
를 계산 한 후 최대 매칭 영역이 되는 지점을 도출하는 단계일 수 있다.
보다 상세하게 설명하면, 왜곡된 영상
Figure 112013114151821-pat00171
의 휘도에 대한 히스토그램을
Figure 112013114151821-pat00172
라 할 때
Figure 112013114151821-pat00173
를 기준으로 두 개의 구간으로 구분 한다. 두 개의 구간 A, B에 대하여 각각의 범위를
Figure 112013114151821-pat00174
,
Figure 112013114151821-pat00175
라 할 때 식 2와 같이 히스토그램을 두 개 구간으로 구분 한다.
[식 2]
Figure 112013114151821-pat00176
,
Figure 112013114151821-pat00177
Figure 112013114151821-pat00178
,
Figure 112013114151821-pat00179

구간 별 보정 값을 도출 하는 방법으로는 두 영상에 해당하는 히스토그램을 이용한 최대 매칭 영역(Maximum Matching Region)을 계산하는 방법을 사용한다. 본 발명에서는 최대 매칭 영역을 찾기 위한 방법으로 식 3과 같이 히스토그램을 구간별 SAD(Sum of Absolute Difference)연산을 적용하여 구간 별 오차
Figure 112013114151821-pat00180
,
Figure 112013114151821-pat00181
를 계산 한 후 최대 매칭 영역이 되는 지점을 찾는다.
상기 SAD((Sum of Absolute Difference)연산은 아래에 기재된 식 3 및 식 4를 이용하며,
[식 3]
Figure 112013114151821-pat00182
[식 4]
Figure 112013114151821-pat00183
Figure 112013114151821-pat00184
여기서, 두 개의 구간
Figure 112013114151821-pat00185
,
Figure 112013114151821-pat00186
에 대하여 최대 매칭 영역이 된다는 것은 구간 별 오차
Figure 112013114151821-pat00187
,
Figure 112013114151821-pat00188
에서 가장 작은 값을 갖는
Figure 112013114151821-pat00189
,
Figure 112013114151821-pat00190
만큼 이동하여 겹칠 경우를 의미하며, 구간별 최대 매칭 영역을 찾기 위해 가장 최소값을 갖는
Figure 112013114151821-pat00191
함수 기능을 적용시켜, 가장 최소 값을 갖는
Figure 112013114151821-pat00192
는
Figure 112013114151821-pat00193
,
Figure 112013114151821-pat00194
두 구간에서의 각각의 보정 수치
Figure 112013114151821-pat00195
,
Figure 112013114151821-pat00196
가된다.
다음으로, 상기 영상 보정 단계(S150)는 상기 구간에 따른 보정 값을 이용하여 상기 영상의 전 영역을 보정하는 단계일 수 있다.
보다 구체적으로, 상기 영상 보정 단계(S150)는 왜곡된 영상을 보정하기 위해 히스토그램 매칭 버퍼(Histogram Matching Buffer)를 이용한 전체 보정방법일 수 있다.
히스토그램 매칭 버퍼를 사용하여 보정하는 방법은 픽셀 값을 1:1로 변환 하여 별도의 연산 과정 없이 보정 할 수 있다는 장점이 있다. 따라서
Figure 112013114151821-pat00197
,
Figure 112013114151821-pat00198
두개 구간으로 분리된 히스토그램에서 구간별 보정 값
Figure 112013114151821-pat00199
,
Figure 112013114151821-pat00200
를 도출하고 이를 히스토그램 매칭 버퍼연산에 적용 한다.
Figure 112013114151821-pat00201
(Corrected Image)를 보정 된 영상이라 할 때 일반적인 히스토그램 매칭 방법은 식 5와 같이 보정 값
Figure 112013114151821-pat00202
를 계산한 후 이를 왜곡된 영상의 각각의 픽셀에 더해주는 방법을 사용한다[3][4].
[식 5]
Figure 112013114151821-pat00203

식 5와 같이 보정 하는 방법은 매우 단순하며 별도의 연산이 필요치 않다는 장점이 있다. 하지만 본 발명에서는 히스토그램에서 두 개 구간에서 구간별로 다른 두 개의 보정 값이 존재 한다. 따라서
Figure 112013114151821-pat00204
를 기준으로 식 6과 같이 두 개 구간에 따라 두 개의 다른 보정 값으로 적용 할 수 있다.
[식 6]
Figure 112013114151821-pat00205

식 6와 같이 보정 하는 방법은 색 분포의 단락 또는 겹침 현상을 피할 수 없다. 따라서 색 분포를 보다 선형 적인 형태로 변형하여 색 분포의 겹침과 단락 현상을 최소화 할 수 있는 방법으로 보정을 한다.
이를 위하여 본 발명에서는 구획 선형 보간(Piecewise Linear Interpolation)을 적용하여 도 4에서 나타낸 형태의 히스토그램 매칭 버퍼를 도 5와 같이 보다 선형적인 형태로 변형 하여 보정에 사용 한다.
상기 히스토그램 매칭 버퍼((Histogram Matching Buffer)는, 아래에 기재된 식 7로 정의되는 것을 특징으로 한다.
[식 7]
Figure 112013114151821-pat00206
여기서,
Figure 112013114151821-pat00207
는 히스토그램 매칭 버퍼를,
Figure 112013114151821-pat00208
는 보정 전 색 분포로서 히스토그램의 가로축에 해당되며 휘도의 색상 분포 범위는 0~255 이다.
보다 선형적인 히스토그램 매칭 버퍼 생성을 위한 구간별 연속 적인 좌표는 보정 값
Figure 112013114151821-pat00209
와
Figure 112013114151821-pat00210
의 대소 관계에 따라 달라진다.
Figure 112013114151821-pat00211
인 경우 식 8에 의해 히스토그램 매칭 버퍼는 3개 구간(1 구간: [
Figure 112013114151821-pat00212
,
Figure 112013114151821-pat00213
], 2 구간: [
Figure 112013114151821-pat00214
,
Figure 112013114151821-pat00215
], 3 구간: [
Figure 112013114151821-pat00216
,
Figure 112013114151821-pat00217
])으로,
Figure 112013114151821-pat00218
인 경우 식 9에 의해 2개 구간(1 구간: [
Figure 112013114151821-pat00219
,
Figure 112013114151821-pat00220
,] 2 구간: [
Figure 112013114151821-pat00221
,
Figure 112013114151821-pat00222
])으로 나누어진다. 만약
Figure 112013114151821-pat00223
와
Figure 112013114151821-pat00224
가 같은 값을 갖는다면(
Figure 112013114151821-pat00225
) 식 5와 같이 보정 하게 된다.
식 6을 이용하여 왜곡된 영상을 보정하기 위한 히스토그램 매칭 버퍼를 생성하면 도 3와같이
Figure 112013114151821-pat00226
와
Figure 112013114151821-pat00227
의 대소 관계에 따라 매칭 버퍼의 형태가 달라진다.
이러한 경우 도 4에 나타낸 것처럼 색 분포에 있어서의 겹침 또는 단락현상이 발생할 수 있다. 특히 색 분포의 단락현상은 도 5와 같이 영상에서 동일한 객체 또는 영역에 비선형적인 색의 변화를 갖게 한다.
식 8과 식 9의 연속적인 좌표를 식 7에 대입하여 각각 히스토그램 매칭 버퍼
Figure 112013114151821-pat00228
에 대하여 구간 별 보정 수치를
Figure 112013114151821-pat00229
일 경우에는 식 10,
Figure 112013114151821-pat00230
일 때 식11으로 각각 나타낼 수 있다. 여기서
Figure 112013114151821-pat00231
은 보정 전 색의 분포 값이며 도 6에서 보정 전(Uncorrected )그래프로 나타낸다.
이러한 선형적인 보정은 도 4에서 발생한 부분적인 일그러짐을 도 6과 같이 방지 할 수 있다는 장점이 있다.
[식 8]
Figure 112013114151821-pat00232

[식 9]
Figure 112013114151821-pat00233

[식 10]
Figure 112013114151821-pat00234
[식 11]
Figure 112013114151821-pat00235
이하에서는 본 발명의 실시 예에 따른 히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법을 Matlab을 사용하여 검증한 검증결과를 설명하고자 한다.
또한 이미지 전체를 대상으로 히스토그램만을 분석하여 보정하는 방법들로 Chen과 Fecker가 제안한 방법들과 연산 속도 및 보정 전후의 PSNR결과를 비교한다.
실험에 사용된 단일 영상 페어는 Middlebury[14]에서 제공하는 실험 영상 중 색 분포의 차이가 발생하는 영상페어를 사용하였다. 각각의 영상 페어는 샘플 영상 들 중에서
Figure 112013114151821-pat00236
영상은 view1 영상을,
Figure 112013114151821-pat00237
영상은 view5 영상을 각각 사용 하였다. 보정 전후의 PSNR 변화와 연산 속도는 Chen, Fecker의 결과와 비교 하였다. 또한 연속된 영상으로 Merl[15]의 표준 영상 중 색 분포차가 발생하는 영상 페어로 Ballroom(view4, view5, 250frames), Exit(view4, view5, 250frames)를 사용하여 프레임별 보정 전후의 PSNR변화를 빠른 연산시간을 갖는 Fecker 결과 와 비교 하였다.
본 발명에서 제안한 보정 방법을
Figure 112013114151821-pat00238
으로 설정하여 실험한 결과 7개의 단일 스테레오 영상 페어(표 1.)에서 연산 속도는 Chen보다 매우 빠른 연산 속도를 얻었으며 Fecker보다 3.5% 감소한 결과를 얻었다. 보정 전후 단일 영상 페어에 대한 PSNR 비교 결과는 평균적으로 6.9%증가한 결과를 보였다(표 2. No. 1-7). 또한 연속된 스테레오 영상 페어(표 2. No. 8-9)의 실험 결과 Fecker와 비교하여 비슷한 성능을 보였다. 단일 영상 페어의 휘도 보정 결과는 도 8에 보정 전후의 히스토그램의 형태 변화에 대하여 제시하였으며 단일 영상의 보정 전후의 예를 도 9에 제시하였다.
No. Chen[3] x1회 Fecker[4] x10회 Proposed x10회
1 95.750000 3.984375 3.890625
2 111.546875 4.062500 4.140625
3 90.265625 3.875000 3.796875
4 102.453125 4.015625 4.609375
5 112.093750 4.171875 4.312500
6 111.656250 4.500000 4.828125
7 112.125000 4.296875 4.328125
No. Images Image Size Uncorrected Chen[3] Fecker[4] Proposed
1 Aloe 1282x1110 28.804103 28.804103 30.313519 30.617407
2 Art 1390x1110 28.565059 28.565059 29.432861 29.449379
3 Baby2 1240x1110 29.654289 29.654289 33.389012 32.993796
4 Computer 1330x1110 29.306039 29.306039 30.246099 31.683449
5 Dolls 1390x1110 28.267186 31.612650 29.041766 29.438930
6 Drumsticks 1390x1110 29.306039 29.306039 30.246099 31.683449
7 Dwarves 1390x1110 28.122599 28.122599 29.711448 30.069035
8 Ballroom 640x480 32.089695 x 32.097518 32.397693
9 Exit 640x480 31.806480 x 32.048123 31.961818
표 1은 연산 속도 비교(Cupticks)를 나타낸 표이며, 표 2는 기존 방법과 본 발명의 PSNR 결과를 비교한 표이다.
따라서 본 발명은 스테레오 영상 생성에 있어 발생 할 수 있는 스테레오 영상 페어간 휘도에 대한 왜곡을 효과적으로 보정 할 수 있는 히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법에 관한 것으로, 히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법은 스테레오 영상 페어간 휘도에 대한 히스토그램을 계산하고 왜곡된 영상의 휘도 히스토그램을 두 개 구간으로 나누어 각각의 구간별 최대 매칭 영역을 찾아 구간별 보정 값을 구한 후 이를 색 분포 구간별 더해주는 방법을 기술하고 실험하였다. 또한 히스토그램 구간별 보정에서 발생 할 수 있는 색 분포의 겹침 또는 단락 현상을 방지하기 위해 구획 선형 보간(Piecewise Linear Interpolation)을 적용하여 보다 선형 적인 색 분포가 발생하도록 히스토그램 매칭 버퍼를 생성하여 보정하였다. 실험결과 단일 영상에서 보정 전 후 PNSR 비교 결과 및 연산속도에서 우수한 결과를 얻었다.
또한, 본 발명의 히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드디스크, 플로피디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
한편, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해 되어져서는 안될 것이다.
[참고문헌]
[1] Sourimant Gael, "Depth maps estimation and use for 3 DTV," INRIA, pp. 9-29, 2010.
[2] 오현묵, 강문기, 조도 변화를 고려한 동영상 색 유동성 저감 알고리즘, 전자공학회논문지, 제 48권, SP편 제 5호, .667-674쪽, 2011년 9월
[3] Doutre, C., Nasiopoulos, P., "Color Correction of Multiview Video With Average Color as Reference," Circuits and Systems, 2009. ISCAS 2009. IEEE International Symposium, pp. 860-863, British Columbia, May 2009.
[4] Yibin Chen, Kai-Kuang Ma and Canhui Cai, "HISTOGRAM-OFFSET-BASED COLOR
CORRECTION FOR MULTI-VIEW VIDEO CODING," Proceedings of 2010 IEEE 17th International Conference on Image Processing, pp. 977-980, Singapore, September 2010.
[5] Ulrich Fecker, Marcus Barkowsky, and Andre Kaup, "Histogram-Based Prefiltering for Luminance and Chrominance Compensation of Multiview Video," IEEE Trans. Circuits and Systems for Video Tech., Vol. 18, no. 9, pp. 1258-1267, September 2008.
[6] Boxin Shi, Yangxi Li, Lin Liu, Chao Xu, "BLOCK-BASED COLOR CORRECTION ALGORITHM FOR MULTI-VIEW VIDEO CODING, "ICME 2009. IEEE International Conference, pp. 65-68, Beijing, China, June 2009.
[7] Feng Shaoa, Gang-Yi Jianga, Mei Yua, Yo-Sung Ho, "Fast color correction for multi-view video by modeling spatio-temporal variation," Journal of Visual Communication and Image Representation archive, Vol. 21 No. 5, pp. 329-403, July 2010.
[8] Jae-Il Jung, Yo-Sung Ho, "Color Correction for Multi-view Images Using Relative Luminance and Chrominance Mapping Curves," Journal of Signal Processing Systems for Signal, pp. 1-11, December 2012.
[9] Yamamoto, K., Kitahara, M., Kimata, H., Yendo, T., Fujii, T., Tanimoto, M., Shimizu, S., Kamikura, K, Yashima, Y.,"Multiview Video Coding Using View Interpolation and Color Correction," Circuits and Systems for Video Technology, IEEE Transactions, Vol. 17, No. 11, pp. 1436-1449, November 2007.
[10] Hi-Seok Kim, Sea-Ho Kim, Won-Ki Go, Sang-Bock Cho, "FPGA Implementation of Stereoscopic Image Proceesing Architecture base on the Gray-Scale Projection," 대한전자공학회, ISOCC 2012, pp. 509-512, Jeju Korea, September 2012.
[11] Dorin Comanicio, Peter Meer, "Mean shift: a robust approach toward feature space analysis," Pattern Analysis and Machine Intelligence , IEEE Transactions, Vol. 24, no. 5, pp. 603-619, May 2002.
[12] Young Seok Heo, Kyoung Mu Lee, Sang Uk Lee, "Joint Depth Map and Color Consistency Estimation for Stereo Images with Difference Illuminations and Cameras," IEEE Transaction on Pattern Analysis and Machine Intelligence, Vol. 25, No. 5, pp. 1094-1106, May 2013.
[13] https://ece.uwaterloo.ca/~dwharder/ ...
NumericalAnalysis/05Interpolation/piecewise/
[14] http://vision.middlebury.edu/stereo/data/
[15] ftp://merl.com/
S110: 히스토그램 산출 단계 S120: 색 분포 분석단계
S130: 보정 구간 분류 단계 S140: 보정 값 결정단계
S150: 영상 보정 단계

Claims (17)

  1. 두 대의 카메라를 이용하여 입체 영상을 생성할 때 외부 조건(광원) 과 카메라 특성 및 카메라의 촬영 위치에 따라 발생 할 수 있는 두 영상 간의 색상차 보정에 이용되는 히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법에 있어서,
    두 영상 간의 휘도에 대한 히스토그램을 산출하는 히스토그램 산출 단계(S110);
    상기 히스토그램을 이용하여 상기 영상의 색 분포도를 분석한 후, 상기 색 분포도의 밀집도에 따라 분류하는 색 분포 분석단계(S120);
    상기 히스토그램을 색의 분포도에 따른 보정 구간을 분류하는 보정 구간 분류 단계(S130);
    각 구간에 따른 보정 값을 결정하는 보정 값 결정단계(S140); 및
    상기 구간에 따른 보정 값을 이용하여 상기 영상의 전 영역을 보정하는 영상 보정 단계(S150);를 포함하며,
    상기 보정 구간 분류 단계(S130)는,
    상기 히스토그램을 경계점
    Figure 112020005698183-pat00346
    (Histogram Clustering Point)를 기준으로 두 개의 구간( A, B)로 분류하는 단계를 포함하고,
    상기 히스토그램 경계점
    Figure 112020005698183-pat00347
    (Histogram Clustering Point)은,
    상기 히스토그램의 색 분포 수의 기준선이 되는 값을
    Figure 112020005698183-pat00348
    (Threshold)로 정하고,
    Figure 112020005698183-pat00349
    보다 적은 색상 분포를 가지는 구간에서 색 분포의 개수를 합산하는
    Figure 112020005698183-pat00350
    (Lower Count)와
    Figure 112020005698183-pat00351
    보다 높은 분포 수를 가지는 구간에서의 색 상 분포 수를 합산하는
    Figure 112020005698183-pat00352
    (Upper Count)를 이용하여 도출하는 것을 특징으로 하는 히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법.
  2. 제1항에 있어서,
    상기 히스토그램은,
    아래에 기재된 식 1을 이용하여 도출하며,
    [식 1]
    Figure 112013114151821-pat00239

    Figure 112013114151821-pat00240

    여기서, 영상 I의 크기를
    Figure 112013114151821-pat00241
    이라 할 때
    Figure 112013114151821-pat00242
    는 휘도에 대한 히스토그램이며,
    Figure 112013114151821-pat00243
    와
    Figure 112013114151821-pat00244
    에서
    Figure 112013114151821-pat00245
    는
    Figure 112013114151821-pat00246
    (Reference Image) 또는
    Figure 112013114151821-pat00247
    (Distorted Image)로서 영상 페어에서 색 분포의 기준이 되는 영상과 왜곡된 영상을 나타내는 것을 특징으로 하는 히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 보정 구간 분류 단계(S130)는,
    상기
    Figure 112020005698183-pat00255
    ,
    Figure 112020005698183-pat00256
    ,
    Figure 112020005698183-pat00257
    와
    Figure 112020005698183-pat00258
    를 초기화시키는 1 단계(S131);
    상기 히스토그램 상승지점에서의 상기 히스토그램 경계점(
    Figure 112020005698183-pat00259
    ) 후보를 판단하는 2 단계(S132);
    상기 히스토그램 하강지점에서의 상기 히스토그램 경계점(
    Figure 112020005698183-pat00260
    ) 후보를 판단하는 3 단계(S133);
    특정 색상 값
    Figure 112020005698183-pat00261
    가 더 이상 상승 또는 하강 지점을 찾을 수 없는 범위에 위치하고, 상기 히스토그램 경계점(
    Figure 112020005698183-pat00262
    ) 후보가 1개일 경우, 연산을 종료하고, 상기 히스토그램 경계점(
    Figure 112020005698183-pat00263
    ) 후보가 2개 이상일 경우, 상기 2 단계 및 상기 3 단계를 반복수행하는 4 단계(S134)를 포함하는 것을 특징으로 하는 히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법.
  5. 제4항에 있어서,
    상기 2 단계(S132)는,
    상기 히스토그램 상승 지점에서의
    Figure 112013114151821-pat00264
    후보 판단을 위해
    Figure 112013114151821-pat00265
    를 이용하여 상기
    Figure 112013114151821-pat00266
    보다 작은 분포를 가진 색의 범위와 상기
    Figure 112013114151821-pat00267
    보다 높은 분포를 가진 색의 범위를 연속 구간에 대하여 아래의 조건식 1에 따라 연산하는 단계이며,
    [조건식 1]
    Figure 112013114151821-pat00268

    여기서,
    Figure 112013114151821-pat00269
    는 색 분포의 범위를 나타내며, 상기
    Figure 112013114151821-pat00270
    가 최소 구간을 제한하는 허용색상오차
    Figure 112013114151821-pat00271
    보다 더 큰 값을 갖는 다면 상승지점
    Figure 112013114151821-pat00272
    는 HCP 후보가 되며, 상기 히스토그램 상승 지점은
    Figure 112013114151821-pat00273
    값을 기준으로
    Figure 112013114151821-pat00274
    조건을 만족하는 색상 값
    Figure 112013114151821-pat00275
    를 의미하는 것을 특징으로 하는 히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법.
  6. 제5항에 있어서,
    상기 2 단계(S132)는,
    새로운 구간을 탐색하기 위하여 상기
    Figure 112013114151821-pat00276
    를 0으로 초기화하여 재수행하는 단계를 더 포함하는 것을 특징으로 하는 히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법.
  7. 제5항에 있어서,
    상기 3 단계(S133)는,
    상기 히스토그램 하강 지점에서의
    Figure 112013114151821-pat00277
    후보 판단을 위해 우선
    Figure 112013114151821-pat00278
    를 이용하여
    Figure 112013114151821-pat00279
    보다 작은 분포를 가진 색의 범위와
    Figure 112013114151821-pat00280
    보다 높은 분포를 가진 색의 범위를 연속 구간에 대하여 상기 조건식 1에 따라 연산하는 단계이며,
    여기서,
    Figure 112013114151821-pat00281
    는 색 분포의 범위를 나타내며, 상기
    Figure 112013114151821-pat00282
    가 최소 구간을 제한하는 허용색상오차
    Figure 112013114151821-pat00283
    보다 더 큰 값을 갖는 다면 하강지점에서의 색상값
    Figure 112013114151821-pat00284
    는 HCP 후보가 되며, 상기 히스토그램 하강지점은
    Figure 112013114151821-pat00285
    를 기준으로
    Figure 112013114151821-pat00286
    조건을 만족하는 색상 값
    Figure 112013114151821-pat00287
    를 의미하는 것을 특징으로 하는 히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법.
  8. 제7항에 있어서,
    상기 3 단계(s133)는,
    새로운 구간을 탐색하기 위하여 상기
    Figure 112013114151821-pat00288
    를 0으로 초기화하여 재수행하는 단계를 더 포함하는 것을 특징으로 하는 히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법.
  9. 제1항에 있어서,
    상기 보정 값 결정단계(S140)는,
    각 영상의 히스토그램을 이용하여 최대 매칭 영역을 계산하는 단계이며, 구간별 SAD((Sum of Absolute Difference)연산을 적용하여 구간 별 오차
    Figure 112020005698183-pat00289
    ,
    Figure 112020005698183-pat00290
    를 계산 한 후 최대 매칭 영역이 되는 지점을 도출하는 것을 특징으로 하는 히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법.
  10. 제9항에 있어서,
    상기 SAD((Sum of Absolute Difference)연산은,
    아래에 기재된 식 3 및 식 4를 이용하며,
    [식 3]
    Figure 112020005698183-pat00291

    [식 4]
    Figure 112020005698183-pat00292

    Figure 112020005698183-pat00293

    여기서, 두 개의 구간
    Figure 112020005698183-pat00294
    ,
    Figure 112020005698183-pat00295
    에 대하여 최대 매칭 영역이 된다는 것은 구간 별 오차
    Figure 112020005698183-pat00296
    ,
    Figure 112020005698183-pat00297
    에서 가장 작은 값을 갖는
    Figure 112020005698183-pat00298
    ,
    Figure 112020005698183-pat00299
    만큼 이동하여 겹칠 경우를 의미하며, 구간별 최대 매칭 영역을 찾기 위해 가장 최소값을 갖는
    Figure 112020005698183-pat00300
    함수 기능을 적용시켜, 가장 최소 값을 갖는
    Figure 112020005698183-pat00301
    는
    Figure 112020005698183-pat00302
    ,
    Figure 112020005698183-pat00303
    두 구간에서의 각각의 보정 수치
    Figure 112020005698183-pat00304
    ,
    Figure 112020005698183-pat00305
    가되는 것을 특징으로 하는 히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법.
  11. 제10항에 있어서,
    상기 영상 보정 단계(S150)는,
    구획선형보간(Piecewise Linear Interpolation) 방식이 적용된 히스토그램 매칭 버퍼((Histogram Matching Buffer)를 이용하여 상기 영상의 전영역을 보정하는 것을 특징으로 하는 히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법.
  12. 제11항에 있어서,
    상기 영상 보정 단계(S150)는,
    아래에 기재된 조건식 2를 이용하는 것을 특징으로 하는 히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법.
    [조건식 2]
    Figure 112013114151821-pat00306

  13. 제11항에 있어서,
    상기 히스토그램 매칭 버퍼((Histogram Matching Buffer)는,
    아래에 기재된 식 7로 정의되는 것을 특징으로 하는 히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법.
    [식 7]
    Figure 112013114151821-pat00307

    여기서,
    Figure 112013114151821-pat00308
    는 히스토그램 매칭 버퍼를,
    Figure 112013114151821-pat00309
    는 보정 전 색 분포로서 히스토그램의 가로축에 해당되며 휘도의 색상 분포 범위는 0~255 이다.
  14. 제13항에 있어서,
    상기 히스토그램 매칭 버퍼의 구간별 연속좌표는,
    상기
    Figure 112013114151821-pat00310
    와
    Figure 112013114151821-pat00311
    의 대소 관계에 따라 달라지며,
    Figure 112013114151821-pat00312
    인 경우 식 8에 의해 히스토그램 매칭 버퍼는 3개 구간(1 구간: [
    Figure 112013114151821-pat00313
    ,
    Figure 112013114151821-pat00314
    ], 2 구간: [
    Figure 112013114151821-pat00315
    ,
    Figure 112013114151821-pat00316
    ], 3 구간: [
    Figure 112013114151821-pat00317
    ,
    Figure 112013114151821-pat00318
    ])으로,
    Figure 112013114151821-pat00319
    인 경우 식 9에 의해 2개 구간(1 구간: [
    Figure 112013114151821-pat00320
    ,
    Figure 112013114151821-pat00321
    ,] 2 구간: [
    Figure 112013114151821-pat00322
    ,
    Figure 112013114151821-pat00323
    ])으로 나누어지는 것을 특징으로 하는 히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법.
    [식 8]
    Figure 112013114151821-pat00324


    [식 9]
    Figure 112013114151821-pat00325

  15. 제14항에 있어서,
    상기
    Figure 112013114151821-pat00326
    와
    Figure 112013114151821-pat00327
    가 동일(
    Figure 112013114151821-pat00328
    )할 경우, 식 5를 이용하는 것을 특징으로 하는 히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법.
    [식 5]
    Figure 112013114151821-pat00329

  16. 제15항에 있어서,
    상기 식 8과 상기 식 9의 연속적인 좌표를 상기 식 7에 대입하여 각각 히스토그램 매칭 버퍼
    Figure 112013114151821-pat00330
    에 대한 구간 별 보정 수치가
    Figure 112013114151821-pat00331
    일 경우에는 식 10으로,
    Figure 112013114151821-pat00332
    일 때 식 11로 표현되는 것을 특징으로 하는 히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법.
    [식 10]
    Figure 112013114151821-pat00333

    [식 11]
    Figure 112013114151821-pat00334

    여기서
    Figure 112013114151821-pat00335
    은 보정 전 색의 분포 값이다.
  17. 제1항, 제2항, 제4항 내지 제16항 중 어느 하나의 항에 기재된 히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법을 기록한 코드를 포함하는 기록매체.
KR1020130155162A 2013-12-13 2013-12-13 히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법 및 이에 이용되는 기록매체 KR102122905B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130155162A KR102122905B1 (ko) 2013-12-13 2013-12-13 히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법 및 이에 이용되는 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130155162A KR102122905B1 (ko) 2013-12-13 2013-12-13 히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법 및 이에 이용되는 기록매체

Publications (2)

Publication Number Publication Date
KR20150069585A KR20150069585A (ko) 2015-06-24
KR102122905B1 true KR102122905B1 (ko) 2020-06-16

Family

ID=53516649

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130155162A KR102122905B1 (ko) 2013-12-13 2013-12-13 히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법 및 이에 이용되는 기록매체

Country Status (1)

Country Link
KR (1) KR102122905B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102423323B1 (ko) * 2021-11-10 2022-07-21 주식회사 디펜스타 기상 환경을 고려한 촬영 영상의 영상 개선 및 영상 기록 장치

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106910174A (zh) * 2017-02-27 2017-06-30 北京津同利华科技有限公司 短波红外焦平面非均匀性的校正方法及装置
KR102401019B1 (ko) * 2022-01-25 2022-05-24 (주)디라직 칼러값 참조 기반의　저시정 디지털 이미지 보정 장치
KR102401017B1 (ko) * 2022-01-25 2022-05-24 (주)디라직 보정 구간내 수동 설정이 가능한 저시정 디지털 이미지 보정 장치 및 그 방법
KR102401018B1 (ko) * 2022-01-25 2022-05-24 (주)디라직 보정 구간내　강제 설정이 가능한 저시정 디지털 이미지 보정 장치 및 그 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000092306A (ja) * 1998-09-10 2000-03-31 Minolta Co Ltd 画像合成方法及びこの方法を用いた画像合成装置
JP2012075060A (ja) * 2010-09-30 2012-04-12 Hitachi Automotive Systems Ltd 画像処理装置及びそれを用いた撮像装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100822458B1 (ko) 2005-12-26 2008-04-16 엠텍비젼 주식회사 윤곽선 검출을 이용한 영상 합성 방법 및 장치
KR101129713B1 (ko) * 2010-05-28 2012-03-28 광운대학교 산학협력단 영상을 깊이에 따라 계층별로 분리하여 히스토그램 매칭을 하는 다시점 영상의 조명보상 방법 및 그 기록매체

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000092306A (ja) * 1998-09-10 2000-03-31 Minolta Co Ltd 画像合成方法及びこの方法を用いた画像合成装置
JP2012075060A (ja) * 2010-09-30 2012-04-12 Hitachi Automotive Systems Ltd 画像処理装置及びそれを用いた撮像装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102423323B1 (ko) * 2021-11-10 2022-07-21 주식회사 디펜스타 기상 환경을 고려한 촬영 영상의 영상 개선 및 영상 기록 장치
KR102443371B1 (ko) * 2021-11-10 2022-09-15 주식회사 디펜스타 관제 영역의 비고정 영역 영상을 보정하는 장치

Also Published As

Publication number Publication date
KR20150069585A (ko) 2015-06-24

Similar Documents

Publication Publication Date Title
US11501507B2 (en) Motion compensation of geometry information
TWI489418B (zh) Parallax Estimation Depth Generation
US9171372B2 (en) Depth estimation based on global motion
US9123115B2 (en) Depth estimation based on global motion and optical flow
US8781253B2 (en) Method and apparatus for video object segmentation
KR102122905B1 (ko) 히스토그램 구간 교정을 이용한 스테레오 영상의 휘도 보정 방법 및 이에 이용되는 기록매체
KR101634562B1 (ko) 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법
CN107481271B (zh) 一种立体匹配方法、系统及移动终端
JP2010532628A (ja) 画像中のアーチファクトを低減させる装置および方法
Tehrani et al. Iterative colour correction of multicamera systems using corresponding feature points
CA2988360A1 (en) Method and apparatus for determining a depth map for an image
Xu et al. Depth map misalignment correction and dilation for DIBR view synthesis
CN110866882A (zh) 基于深度置信度的分层联合双边滤波深度图修复算法
KR101904120B1 (ko) 타원면 모델링을 통한 깊이 영상의 처리 방법 및 장치
Arvanitidou et al. Motion-based object segmentation using hysteresis and bidirectional inter-frame change detection in sequences with moving camera
Kaviani et al. An adaptive patch-based reconstruction scheme for view synthesis by disparity estimation using optical flow
KR101904125B1 (ko) 오목면 모델링을 통한 깊이 영상의 처리 방법 및 장치
Islam et al. Robust enhancement of depth images from depth sensors
US9100573B2 (en) Low-cost roto-translational video stabilization
US20150117757A1 (en) Method for processing at least one disparity map, corresponding electronic device and computer program product
Lee et al. Local stereo matching using motion cue and modified census in video disparity estimation
CN110942420B (zh) 一种图像字幕的消除方法及装置
KR101904108B1 (ko) 평면 모델링을 통한 깊이 영상의 가변적 블록 부호화 방법 및 장치
Wei et al. Iterative depth recovery for multi-view video synthesis from stereo videos
KR101608804B1 (ko) 품질 향상을 위한 변이 지도의 경계 왜곡 보정 기반 가상시점 영상 생성 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant