KR101295782B1 - 스테레오 이미지 색 보정 장치 및 방법 - Google Patents

스테레오 이미지 색 보정 장치 및 방법 Download PDF

Info

Publication number
KR101295782B1
KR101295782B1 KR1020120002167A KR20120002167A KR101295782B1 KR 101295782 B1 KR101295782 B1 KR 101295782B1 KR 1020120002167 A KR1020120002167 A KR 1020120002167A KR 20120002167 A KR20120002167 A KR 20120002167A KR 101295782 B1 KR101295782 B1 KR 101295782B1
Authority
KR
South Korea
Prior art keywords
image
color
value
difference value
stereo
Prior art date
Application number
KR1020120002167A
Other languages
English (en)
Other versions
KR20130081147A (ko
Inventor
정순기
박순용
원광희
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020120002167A priority Critical patent/KR101295782B1/ko
Publication of KR20130081147A publication Critical patent/KR20130081147A/ko
Application granted granted Critical
Publication of KR101295782B1 publication Critical patent/KR101295782B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0077—Colour aspects

Landscapes

  • Image Processing (AREA)

Abstract

본 발명은 스테레오 이미지 색 보정 장치 및 색 보정 방법을 개시한다. 본 발명에 따른 스테레오 이미지 색 보정 장치는, 스테레오 이미지를 촬상하는 촬상부, 스테레오 이미지 중 제1 이미지를 색 보정 함수(Color Correction Function)에 의해서 변환 이미지로 색 변환하는 색 변환부, 변환 이미지와 스테레오 이미지 중 제2 이미지 사이의 로컬 레벨에 따라 색 차이값을 연산하는 연산부 및 색 차이값이 기 결정된 기준값보다 작은 경우에 변환 이미지를 출력하는 출력부를 포함한다.

Description

스테레오 이미지 색 보정 장치 및 방법{COLOR CORRECTION METHOD AND APPARATUS FOR STEREOSCOPIC IMAGE}
본 발명은 스테레오 이미지의 색 보정 장치 및 방법에 관한 것으로, 구체적으로 제1 이미지와 제2 이미지 사이의 색 관련성에 따라 색 보정 함수를 갱신하여 스테레오 이미지를 보정하는 스테레오 이미지의 색 보정 장치 및 방법에 관한 것이다.
개인 3D 디스플레이 장치의 광범위한 보급에 따라, 3D 스테레오 기술은 영화 및 텔레비전과 같은 상업적 생산물에서 경쟁적으로 사용되고 있다. 3D 디스플레이 생산자들은 지각의 품질을 감소하지 않고 의도하는 바를 전달하려고 한다. 즉 생산자들은 지각의 품질을 유지하면서도, 밝기 밸런스 및 기하학적 특징을 고려함으로써 강화될 수 있다. 특히, 색 및 밝기 밸런스는 높은 품질의 3D 스테레오 컨텐츠를 생산하기 위해서 중요한 과제이다.
3D 컨텐츠를 생산하기 위한 필수적인 단계는, 획득(acquisition) 단계, 제조(manufacturing) 단계, 표시(displaying) 단계를 포함한다. 획득 단계에서는, 2개 이상의 카메라가 영상을 획득한다. 기하학적 관계의 조정 및 카메라의 색 특징이 이 단계에서 고려될 수 있다. 제조 단계에서는, 기하학적 보정 및 색 보정이 또한 수행될 수 있다. 하지만, 최종 생산물의 품질은 획득 단계에서 이미 결정되므로, 색 또는 기하학적 보정은 획득 단계에서 수행된다.
기본적으로, 스테레오 시스템으로부터 얻어지는, 스테레오 컨텐츠, 비디오 또는 이미지는 다소 다른 밝기 및 색 분포(distribution)를 갖을 수 있다. 이는 서로 광량이 다르고 스테레오 컨텐츠에서 겹치지 않는 장면 영역이 있기 때문이다. 전형적인 3차원 스테레오 리그는, 2대의 비디오 카메라가 카메라의 내부 접안 렌즈 거리(Inter-ocular distance ; IOD)를 감소시키기 위해서 하프 미러를 사용하여 직교 방향으로 설치될 수 있다. 따라서, 하프 미러의 사용은 본질적으로 입체적인 비디오의 밝기 및 색 왜곡을 초래한다.
또한, 메인-서브 스테레오 카메라를 사용하기 때문에 스테레오 이미지 사이에는 밝기 및 색 분포가 달라진다. 전형적인 카메라 시스템은 2개의 고품질 및 고가의 비디오 카메라와 직교 또는 병렬적으로 2개의 카메라를 설치할 수 있는 스테레오 리그로 구성된다. 이러한 스테레오 시스템은 주로 방송 또는 영화 제작과 같은 전문적인 목적을 위해서 사용된다. 그러나 비전문적인 최종 사용자를 위해서, 대체적으로 값싸고 및 휴대 가능한 입체적인 카메라가 개발되고 있다.
상기 문제를 해결하기 위한 하나의 해결책으로 메인-서브 카메라 구성이 제시되고 있다. 즉, 고품질 카메라는 2D 비디오를 캡쳐하기 위해 주로 사용되지만, 스테레오 모드에서 컴팩트 서브 카메라가 3D 비디오 캡처링을 하도록 서로 결합될 수 있다. 이러한 구성은 휴대성, 간편성 및 가격면에서 장점을 갖는다. 그러나 2대의 다른 형태의 비디오 카메라 사용은 본질적으로 3D 비디오에서 컬러 왜곡 및 밝기 왜곡을 초래하는 문제점이 있다.
본 발명은 상술한 문제점을 해결하기 위해서 안출된 것으로, 본 발명의 목적은, 스테레오 이미지의 색 보정을 하는 장치 및 방법을 제공하는 것으로, 특히, 메인 카메라로부터 획득된 제2 이미지와 서브 카메라로부터 획득된 제1 이미지의 로컬 관련성에 따라 컬러 샘플을 획득하고, 컬러 샘플을 이용하여 반복적인 연산을 통해서 아핀 색 보정 함수를 갱신하며, 갱신된 아핀 색 보정 함수에 의해서 색 변환을 실행하여 제1 이미지를 보정하는 스테레오 이미지 색 보정 방법 및 장치를 제공하는 것을 목적으로 한다.
상술한 목적을 달성하기 위해서 안출된 본 발명에 따른 스테레오 이미지 색 보정 장치는, 스테레오 이미지를 촬상하는 촬상부, 상기 스테레오 이미지 중 제1 이미지를 색 보정 함수(Color Correction Function)에 의해서 변환 이미지로 색 변환하는 색 변환부, 상기 변환 이미지의 기설정된 제1영역과 상기 스테레오 이미지 중 제2 이미지의 기설정된 제2 영역 사이의 색 차이값을 연산하는 연산부 및 상기 색 차이값이 기 결정된 기준값보다 작은 경우에 상기 변환 이미지 및 제2 이미지를 색보정된 스테레오 이미지로 출력하는 출력부를 포함한다.
이 경우에, 상기 촬상부는, 상기 제1 이미지를 촬상하는 제1 촬상부 및 상기 제2 이미지를 촬상하는 제2 촬상부를 포함하고, 상기 제1 이미지는 상기 제2 이미지보다 저화질인 것을 특징으로 한다.
한편, 상기 기 설정된 제1 영역은, 상기 제1 이미지보다 작은 윈도우 영역, 스캔라인 영역, 복수의 픽셀 영역 중 어느 하나일 수 있다.
이 경우에, 상기 연산부는, 하기 수학식을 이용하여 상기 색 차이값을 연산하고,
Figure 112012001812616-pat00001
여기서, μR 은 제2 이미지의 평균 컬러 값, μS는 제1 이미지의 평균 컬러 값, w 및 h는 상기 윈도우 영역의 크기이다.
한편, 상기 연산부는, 하기 수학식을 이용하여 상기 색 차이값을 연산하고,
Figure 112012001812616-pat00002
여기서, CR(p)는 제2 이미지의 픽셀(p)에서 컬러, Cs(p)는 제1 이미지의 픽셀(p)에서의 컬러, dmin 는 최소 디스패리티, dmax는 최대 디스패리티, D(,)는 매칭 값 함수이다.
한편, 스테레오 이미지 색 보정 장치는, 상기 색 차이값이 상기 기준값보다 크거나 같은 경우에는 상기 색 보정 함수를 갱신하는 갱신부를 더 포함한다.
이 경우에, 상기 갱신부는, 하기 수학식을 이용하여 상기 색 보정 함수를 갱신하고,
Figure 112012001812616-pat00003
여기서, Ai 는 i번째 갱신된 아핀 행렬, Ai ㅿ 는 i번째 아핀 행렬, Ai-1 는 i-1번째 아핀 행렬, A0 는 갱신되지 않은 아핀 행렬, A0 ㅿ 는 첫번째 아핀 행렬이다.
이 경우에, 상기 갱신부는, 상기 갱신된 색 보정 함수에 기초하여 상기 제1 이미지가 변환 이미지로 변환되도록 상기 색 변환부를 제어할 수 있다.
한편, 상기 출력부는, 제K-1 번째 갱신된 변환 이미지와 상기 제2 이미지 사이의 제K-1번째 색 차이값(δk-1)과 제K 번째 갱신된 변환 이미지와 상기 제2 이미지 사이의 제K번째 색 차이값(δk)의 차이값(δ)이 기 결정된 값(ε)보다 작으면 상기 변환 이미지 및 상기 제2 이미지를 색보정된 스테레오 이미지로 출력할 수 있다.
이 경우에, 상기 출력부는, 하기 수학식에 따라 변환 이미지를 연산하고,
Figure 112012001812616-pat00004
여기서, ITj " 는 타켓 이미지, α는 혼합 성분, δi 는 색 보정 함수(CCFi)의 i번째 색 에러, δ'i 는 갱신된 색 보정 함수(CCF'i)의 i번째 색 에러이다.
본 발명의 다른 실시예에 따른 스테레오 이미지 색 보정 방법은, 스테레오 이미지를 촬상하는 이미지 촬상 단계, 상기 스테레오 이미지 중 제1 이미지를 색 보정 함수(Color Correction Function)에 의해서 변환 이미지로 색 변환하는 단계, 상기 변환 이미지의 기설정된 제1영역과 상기 스테레오 이미지 중 제2 이미지의 기설정된 제2 영역 사이의 색 차이값을 연산하는 단계 및 상기 색 차이값이 기 결정된 기준값보다 작은 경우에 상기 변환 이미지 및 제2 이미지를 색보정된 스테레오 이미지로 출력하는 단계를 포함한다.
이 경우에, 상기 이미지 촬상 단계는, 상기 스테레오 이미지가, 제1 이미지 및 제2 이미지를 포함하고, 상기 제1 이미지는 상기 제2 이미지보다 저화질일 수 있다.
한편, 상기 기 설정된 제1 영역은, 상기 제1 이미지보다 작은 윈도우 영역, 스캔라인 영역, 복수의 픽셀 영역 중 어느 하나일 수 있다.
이 경우에, 상기 연산하는 단계는, 하기 수학식을 이용하여 상기 색 차이값을 연산할 수 있고,
Figure 112012001812616-pat00005
여기서, μR 은 제2 이미지의 평균 컬러 값, μS는 제1 이미지의 평균 컬러 값, w 및 h는 상기 윈도우 영역의 크기이다.
한편, 상기 연산하는 단계는, 하기 수학식을 이용하여 상기 색 차이값을 연산할 수 있고,
Figure 112012001812616-pat00006
여기서, CR(p)는 제2 이미지의 픽셀(p)에서 컬러, Cs(p)는 제1 이미지의 픽셀(p)에서의 컬러, dmin 는 최소 디스패리티, dmax는 최대 디스패리티, D(,)는 매칭 값 함수이다.
한편, 스테레오 이미지 색 보정 방법은, 상기 색 차이값이 상기 기준값보다 크거나 같은 경우에는 상기 색 보정 함수를 갱신하는 단계를 더 포함할 수 있다.
이 경우에, 상기 갱신하는 단계는, 하기 수학식을 이용하여 상기 색 보정 함수를 갱신할 수 있고,
Figure 112012001812616-pat00007
여기서, Ai 는 i번째 갱신된 아핀 행렬, Ai ㅿ 는 i번째 아핀 행렬, Ai -1 는 i-1번째 아핀 행렬, A0 는 갱신되지 않은 아핀 행렬, A0 ㅿ 는 첫번째 아핀 행렬이다.
한편, 상기 갱신하는 단계는, 상기 갱신된 색 보정 함수에 기초하여 상기 제1 이미지가 변환 이미지로 변환되도록 상기 색 변환부를 제어하는 단계를 더 포함한다.
한편, 상기 출력하는 단계는, 제K-1 번째 갱신된 변환 이미지와 상기 제2 이미지 사이의 제K-1번째 색 차이값(δk-1)과 제K 번째 갱신된 변환 이미지와 상기 제2 이미지 사이의 제K번째 색 차이값(δk)의 차이값(δ)이 기 결정된 값(ε)보다 작으면 상기 변환 이미지 및 상기 제2 이미지를 색보정된 스테레오 이미지로 출력할 수 있다.
이 경우에, 상기 출력하는 단계는, 하기 수학식에 따라 변환 이미지를 연산할 수 있고,
Figure 112012001812616-pat00008
여기서, ITj " 는 타켓 이미지, α는 혼합 성분, δi 는 색 보정 함수(CCFi)의 i번째 색 에러, δ'i 는 갱신된 색 보정 함수(CCF'i)의 i번째 색 에러이다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 본 발명에 따른 색 보정 알고리즘은 어떤 종류의 스테레오 카메라 시스템에도 적용이 가능하고, 연산 비용이 저렴해지며, 알고리즘이 선형 방정식으로 구성됨으로써 단편 프로그래밍을 통한 패래럴리즘(parallelism)에 적합한 효과를 발휘한다.
도 1은 본 발명의 일 실시예에 따른 스테레오 이미지 색 보정 장치의 구성을 설명하기 위한 블럭도,
도 2는 본 발명의 일 실시예에 따른 색 보정 알고리즘이 적용되는 한 쌍의 스테레오 이미지를 설명하기 위한 도면,
도 3은 본 발명의 일 실시예에 따른 색 보정 알고리즘을 개략적으로 설명하기 위한 개념도,
도 4는 본 발명의 일 실시예에 따른 적응적 색 보정 함수 개선 과정을 설명하기 위한 블럭도,
도 5는 본 발명의 일 실시예에 따른 대응하는 색 샘플 사이의 평균 L2 거리인 평균 컬러 에러를 설명하기 위한 도면, 그리고
도 6은 본 발명의 다른 실시 예에 따른 스테레오 이미지 색 보정 방법을 설명하기 위한 흐름도이다.
이하에서는 첨부된 도면을 참조하며 본 발명을 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 스테레오 이미지 색 보정 장치의 구성을 설명하기 위한 블럭도이다.
도 1을 참고하면, 본 발명의 일 실시 예에 따른 스테레오 이미지 색 보정 장치는 촬상부(110), 색 변환부(120), 연산부(130), 갱신부(140), 및 출력부(150)를 포함한다.
촬상부(110)는 메인 카메라와 서브 카메라를 포함한다. 메인 카메라는 제2 이미지를 촬상하고, 서브 카메라는 제1 이미지를 촬상한다.
도 2는 본 발명의 일 실시예에 따라 색 보정되는 한 쌍의 스테레오 이미지를 설명하기 위한 도면이다. 도 2를 참고하면, 도 2의 (a)는 메인 카메라에 의해서 촬상되는 제2 이미지이고, 도 2의 (b)는 서브 카메라에 의해서 촬상되는 제1 이미지이다.
도 2를 참고하면, 도 2의 이미지는 동일한 장소를 메인 카메라와 서브 카메라에 의해서 각각 촬상된 이미지를 도시한다. 도 2의 좌측 이미지는 제2 이미지와 제1 이미지 사이에 기하학적인 왜곡이 있음을 확인할 수 있다. 또한, 도 2의 중간 이미지는 제2 이미지와 제1 이미지 사이에 밝기 왜곡이 있음을 확인할 수 있고, 도 2의 우측 이미지는 제2 이미지와 제1 이미지 사이에 색 왜곡이 있음을 확인할 수 있다. 따라서, 촬상부(110)에 의해서 촬상된 제2 이미지와 제1 이미지 사이에는 왜곡이 있으므로, 이를 보정할 필요성이 있다.
색 변환부(120)는 제1 이미지를 색 보정 함수(Color Correction Function)에 의해서 색 변환한다. 이때 색 보정 함수는 아핀(affine) 색 보정 함수가 사용될 수 있다. 즉, 제1 이미지는 다음의 수학식 1에 의해서 변환 이미지로 변환될 수 있다.
Figure 112012001812616-pat00009
여기서, A는 아핀 변환 행렬, L은 선형 트랜스폼, t는 트랜스레이션이고, c는 제1 이미지의 컬러 값, c'는 변환 이미지의 컬러 값이다.
연산부(130)는 변환 이미지와 제2 이미지 사이의 로컬 레벨에 따라 색 차이값을 연산한다. 로컬 레벨은 윈도우(window) 레벨, 스캔라인(scanline) 레벨, 픽셀(pixel) 레벨에 따라 변환 이미지와 제2 이미지 사이의 색 차이값을 연산한다.
즉, 윈도우(window) 레벨에 따르는 경우, 로컬 윈도우의 크기는 x축 및 y축 좌표의 디스패리티의 가능한 범위에 의해서 결정될 수 있다. 먼저, 제1 이미지에서 컬러 샘플을 무작위로 선택한다. 변환 이미지의 로컬 윈도우에 속하는 픽셀의 컬러 값 중에서 대응하는 제2 이미지의 컬러 값 중 최적으로 대응하는 값을 검색한다.
윈도우 레벨의 경우에, 색 차이값은 다음의 수학식 2에 의해서 연산될 수 있다.
Figure 112012001812616-pat00010
여기서, μR은 제2 이미지의 평균 컬러 값, μs는 제1 이미지의 평균 컬러 값이고, w 및 h는 로컬 윈도우의 크기이다. 제2 이미지와 제1 이미지의 대응하는 한 쌍의 차이값은 tδ보다 클 경우에는 해당 쌍은 버리고, 이는 cRi 가 폐색 픽셀 또는 노이즈로 간주된다.
즉, 제1 이미지의 특정 픽셀(x좌표는 xs이고 y좌표는 ys이다)을 선택하고, 이와 대응되는 제2 이미지의 특정 픽셀을 포함하는 기 결정된 크기의 윈도우 영역 범위 내에서 무작위로 컬러 샘플을 선택하여 이를 제1 이미지의 특정 픽셀과 비교하여 색 차이값을 연산한다.
제2 이미지와 제1 이미지의 평균 컬러 에러가 연산된다. 샘플링 과정 중에, 특정 컬러 채널에서 포화된 컬러는 CCF의 품질을 심각하게 저하시키므로 이를 제외한다.
또는 스캔 라인 레벨에 따를 경우, 색 차이값은, 변환 이미지와 제2 이미지의 동일한 스캔 라인에서 연산될 수 있다. 이 경우, 제1 이미지의 특정 픽셀을 선택하고 선택된 픽셀의 스캔 라인에 대응하는 제2 이미지의 스캔 라인에 포함되는 복수의 픽셀을 제1 이미지의 특정 픽셀과 비교하여 색 차이값을 연산한다.
또는, 픽셀 레벨에 따를 경우, 색 차이값은, 다음의 수학식 3에 의해서 연산될 수 있다.
Figure 112012001812616-pat00011
여기서, CR(p)는 제2 이미지의 픽셀(p)에서 컬러 값이고, Cs(p)는 제1 이미지의 픽셀(p)에서의 컬러 값, dmin 는 최소 디스패리티, dmax 는 최대 디스패리티이다. 함수 D(,)는 매칭 값 함수를 의미한다.
이렇게 연산부(130)에 의해서 연산된 색 차이값을 기 결정된 기준값과 비교하여 색 차이값이 기준값보다 작은 경우에는 해당 색 보정 함수(CCF)에 의해서 보정된 변환 이미지를 타겟 이미지로 출력부(160)를 통해서 출력한다.
이때 출력부(160)는 다음의 수학식 4에 따라 변환 이미지를 연산할 수 있다.
Figure 112012001812616-pat00012
여기서, ITj " 는 타켓 이미지, α는 혼합 성분, δi 는 색 보정 함수(CCFi)의 i번째 색 에러, δ'i 는 갱신된 색 보정 함수(CCF'i)의 i번째 색 에러이다. 즉, 출력부(160)는 k번째 갱신된 색 보정 함수에 의해서 변환된 변환 이미지와, k-1번째 갱신된 색 보정 함수에 의해서 변환된 이미지를 혼합하여 이를 최종 변환 이미지로 출력할 수도 있다.
만약, 색 차이값이 기 결정된 기준값보다 크거나 같은 경우에는 해당 색 보정 함수(CCF)를 갱신한다.
갱신부(140)는 색 보정 함수를 갱신하여 갱신 색 보정 함수를 생성한다.
갱신 색 보정 함수는 다음의 수학식 5에 의해서 연산될 수 있다.
Figure 112012001812616-pat00013
먼저, 초기 컬러 샘플의 CS0 , CR0 및 δ0가 생성되고, 얻어진 CS0 , CR0 를 이용하여 상술한 수학식 4에 의해서 갱신 색 보정 함수가 얻어진다. 이때 갱신된 색 보정 함수는 제1 이미지에 적용되어서 제1 이미지가 갱신된다. 변환부(120)는 갱신된 제1 이미지를 이용하여 갱신 변환 이미지를 연산한다.
이렇게 얻어진 갱신 제1 이미지와 제2 이미지의 색 차이값을 갱신 연산하고, 갱신된 색 차이값이 기 결정된 기준값보다 작아질 때까지 색 보정 함수의 갱신 단계는 반복될 수 있다.
갱신부(150)는, 다음의 수학식 6을 이용하여 색 보정 함수를 갱신한다.
Figure 112012001812616-pat00014
여기서, Ai 는 i번째 갱신된 아핀 행렬, Ai ㅿ 는 i번째 아핀 행렬, Ai -1 는 i-1번째 아핀 행렬, A0 는 갱신되지 않은 아핀 행렬, A0 ㅿ 는 첫번째 아핀 행렬이다.
이렇게 색 보정 함수에 대한 갱신 과정이 반복되면, 최종 색 보정 함수는 다음의 수학식 7에 의해서 연산될 수 있다. 상술한 색 보정 함수는 단일 프레임에 대해서 제1 이미지와 제2 이미지 사이의 색 차이값을 반복적으로 연산하여 이를 기준값과 비교함으로써 색 보정 함수를 갱신하는 과정에 적용될 수 있다.
Figure 112012001812616-pat00015
여기서 CCF0 는 초기 색 보정 함수를 의미하고, 보정 함수의 갱신 과정이 k번 반복적으로 수행됨으로써, k개의 색 보정 함수가 생성되고, 최종 색 보정 함수는 k개의 색 보정 함수를 곱하여서 얻어질 수 있다.
색 보정 함수는 동일한 프레임에 대해서 갱신되는 경우에는 갱신 과정에서 얻어진 색 보정 함수를 연속적으로 곱하여서 최종 색 보정 함수를 얻을 수 있다. 그러나, 시간적으로 차이가 있는 프레임에 대해서 갱신하는 경우에는 초기 색 보정 함수를 이전 단계에서 갱신된 색 보정 함수를 사용하지 않고, 디폴트 값으로 색 보정 함수를 사용할 수 있다.
도 3은 본 발명의 일 실시예에 따른 색 보정 알고리즘을 개략적으로 설명하기 위한 개념도이다.
도 3을 참고하여 색 보정 알고리즘을 살펴보면 다음과 같다.
먼저 촬상부(110)에 의해서 제2 이미지와 제1 이미지가 얻어진다. 이렇게 얻어진 제2 이미지와 제1 이미지는 색 보정 장치(100)에 입력된다.
색 보정 장치(100)는 제2 이미지와 제1 이미지 사이의 로컬 컬러 관련성을 검색한다. 즉, 윈도우 레벨의 경우에는 특정 크기의 윈도우로 이미지의 특정 영역을 한정하고, 윈도우 영역에 포함되는 소정의 컬러 샘플을 선택한다. 윈도우 영역 내의 제2 이미지와 제1 이미지 사이의 컬러 샘플의 관련성을 검색한다. 즉, 제2 이미지의 컬러 값과 제1 이미지의 컬러값을 이용하여 색 차이값을 연산한다.
이렇게 연산된 색 차이값을 기 결정된 기준값과 비교한다. 비교 결과에 따라 색 보정 함수를 반복적으로 갱신하는 연산을 수행한다. 이렇게 갱신된 색 보정 함수를 이용하여 제1 이미지를 변환하고 변환 이미지와 제2 이미지 사이의 색 차이값을 기준값과 비교하여 색 차이값이 기준값보다 작아질 때까지 반복적으로 색 보정 함수를 갱신한다.
갱신이 완료된 색 보정 함수를 이용하여 제1 이미지를 변환하고 이를 타겟 이미지로 출력한다.
도 4는 본 발명의 일 실시예에 따른 적응적 색 보정 함수 개선 과정을 설명하기 위한 블럭도이다.
도 4를 참고하면, 2대의 카메라가 각각 제2 이미지(IRi)와 제1 이미지(ISi)를 촬상한다. 이렇게 촬상된 스테레오 이미지 중에서 제1 이미지(ISi)는 색 변환부(110)에 의해서 변환 이미지(ITi)로 색 변환된다. 변환 이미지(ITi)와 제2 이미지(IRi) 사이의 로컬 관련성을 검색한다. 이렇게 로컬 관련성에 따라 컬러 샘플을 선택하면, 선택된 컬러 샘플의 컬러 값 사이의 색 차이값을 연산하고, 이를 기준값과 비교한다. 색 차이값이 기준값보다 작을 경우에는 변환 이미지를 출력한다.
만약, 색 차이값이 기준값보다 크거나 같은 경우에는 색 보정 함수를 갱신한다. 색 보정 함수의 갱신 과정에 대해서는 앞에서 자세하게 살펴보았으므로, 이에 대해서 보다 상세한 설명은 생략한다.
색 보정 함수의 갱신이 완료되면, 최종 색 보정 함수를 이용하여 제1 이미지를 변환하고, 변환된 이미지와 제2 이미지를 혼합(blending)하여 타켓 이미지(ITi)를 생성하여 이를 출력한다.
도 5는 본 발명의 일 실시예에 따른 대응하는 색 샘플 사이의 평균 L2 거리인 평균 컬러 에러를 설명하기 위한 도면이다.
도 5를 참고하면, "플라멩고 2" 데이터에 본 발명에 따른 알고리즘을 적용한시뮬레이션 그래프이다. 640×480로 구성된 각각의 비디오 이미지는, 3개 채널 컬러 프레임으로 구성된다. 각각의 채널의 컬러 값은 0 및 1 사이의 갑이다. 현재 싱글 코어 CPU에 본 발명에 따른 알고리즘을 실행하고, 이는 다음의 표 1에 나타난 것처럼, 2개의 다른 구성으로 이를 테스트한다.
세트 넘버 샘플의 개수 tδ 색 보정 함수의 갱신을 위한 평균 반복 횟수 프레임 레이트
(프레임/초)
# 1 200 0.04 2 19.7
# 2 800 0.015 6 4.0
도 5에 도시된 바와 같이, (a),(e)는 래퍼런스 프레임인 #420과 #180이고, (b),(f)는 소스 프레임이며, (c),(g)는 세트 #1의 색 보정된 프레임이고, (d),(h)는 세트 #2의 색 보정된 프레임의 평균 컬러 에러의 그래프를 도시하고 있다.
도 6은 본 발명의 다른 실시 예에 따른 스테레오 이미지 색 보정 방법을 설명하기 위한 흐름도이다.
도 6을 참고하면, 본 발명에 일 실시 예에 따른 스테레오 이미지 색 보정 방법은, 스테레오 이미지 촬상 단계(S610), 변환 이미지로 색 변환 단계(S620), 색 차이값 연산 단계(S630), 기준값과 색 차이값 비교 단계(S640), 색 보정 함수 갱신 단계(S642), 변환 이미지 갱신 단계(S644), 타겟 이미지 산출(S646) 및 타겟 이미지 출력 단계(S650)를 포함한다.
스테레오 이미지를 촬상하는 단계(S610)는, 2대의 카메라를 이용하여 제1 이미지와 제2 이미지를 촬상한다. 구체적으로 살펴보면, 2대의 카메라 중 서브 카메라에 의해서 제1 이미지가 촬상되고, 메인 카메라에 의해서 제2 이미지가 촬상된다. 제1 이미지의 화질은 제2 이미지의 화질에 비하여 저화질이다. 이렇게 두 대의 카메라는 수평으로 배열된 리그에서 설치될 수 있다. 2대의 카메라는 다양한 광 상태에서 복수의 이미지 세트를 촬상한다.
색 변환하는 단계(S620)는 스테레오 이미지 중 제1 이미지를 색 보정 함수(Color Correction Function)에 의해서 변환 이미지로 색 변환한다. 색 변환 알고리즘에 대해서는 앞에서 상세하게 설명하였으므로 자세한 설명을 생략한다.
색 차이값 연산 단계(S630)는 제1 이미지와 제2 이미지의 기 결정된 영역으로부터 얻어진 컬러 샘플의 컬러 값 사이의 색 차이값을 연산한다. 이때, 기 결정된 영역은 윈도우 영역, 스캔라인 영역, 픽셀 영역 중 어느 하나일 수 있다. 윈도우 영역의 경우에는 소정의 크기를 갖는 윈도우에 포함되는 컬러 샘플을 임의로 선택하게 된다. 또는 스캔라인의 경우에는 제1 이미지와 제2 이미지의 동일한 스캔라인의 컬러 샘플을 선택한다. 또는 픽셀 레벨의 경우에는 제1 이미지와 제2 이미지의 소정의 픽셀의 컬러 샘플을 선택하여 색 차이값을 연산하게 된다. 즉, 제1 이미지와 제2 이미지의 영역 관련성 검색은 제1 이미지 샘플 컬러 값과 제2 이미지의 샘플 컬러 값 사이의 색 차이값을 연산하는 과정이다.
색 차이값과 기준값을 비교하는 단계(S640)는, 색 차이값과 기 결정된 기준값을 서로 비교한다. 색 차이값은 제1 이미지의 컬러 값과 제2 이미지의 컬러 값 사이의 차이값이고, 이를 기 결정된 기준값과 비교한다.
만약, 기준값보다 색 차이값이 더 크면(S640-N), 색 보정 함수를 갱신한다(S642).
색 보정 함수 갱신 단계(S6421)는 색 차이값이 기 결정된 기준값보다 크거나 같은 경우에는 색 보정 함수를 갱신한다. 즉, 갱신된 색 보정 함수(CCF)는,
Figure 112012001812616-pat00016
에 의해서 연산된다. 여기서 CCF0는 첫번째 색 보정 함수, CCFK -1은 k-1번째 갱신된 색 보정 함수이다.
변환 이미지 갱신 단계(S644)는 갱신된 색 보정 함수에 기초하여 변환 이미지를 갱신한다. 색 보정 함수가 갱신될 때마다, 갱신된 색 보정 함수에 의해서 변환 이미지를 갱신한다.
타겟 이미지 산출 단계(S646)는 갱신된 변환 이미지와 변환 이미지를 이용하여 타겟 이미지를 산출할 수 있다. 이때, 타겟 이미지(
Figure 112012001812616-pat00017
)는,
Figure 112012001812616-pat00018
에 의해서 연산될 수 있다.
여기서, α는 혼합 성분, δi 는 색 보정 함수(CCFi)의 i번째 색 에러, δ'i 는 갱신 색 보정 함수(CCF'i)의 i번째 색 에러이다.
상술한 색 보정 함수 갱신 단계(S642) 및 변환 이미지 갱신 단계(S644)는 제K-1 번째 갱신된 변환 이미지와 제2 이미지 사이의 제K-1번째 색 차이값(δk-1)과 제K 번째 갱신된 변환 이미지와 상기 제2 이미지 사이의 제K번째 색 차이값(δk)의 차이값(δ)이 기 결정된 값(ε)보다 작을 때까지 반복적으로 수행될 수 있다.
출력하는 단계(S650)는 색 차이값과 기준값을 비교 결과, 색 차이값이 기준값보다 작은 경우에 변환 이미지를 타켓 이미지로 출력한다.
한편, 상술한 본 발명의 다양한 실시 예들에 따른 방법을 수행하기 위한 프로그램은 다양한 유형의 기록 매체에 저장되어 사용될 수 있다.
구체적으로는, 상술한 방법들을 수행하기 위한 코드는, RAM(Random Access Memory), 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 단말기에서 판독 가능한 다양한 유형의 기록 매체에 저장되어 있을 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 색 보정 시스템 110 : 촬상부
120 : 색 변환부 130 : 연산부
140 : 갱신부 150 : 출력부

Claims (18)

  1. 스테레오 이미지를 촬상하는 촬상부;
    상기 스테레오 이미지 중 제1 이미지를 색 보정 함수(Color Correction Function)에 의해서 변환 이미지로 색 변환하는 색 변환부;
    상기 변환 이미지의 기설정된 제1영역과 상기 스테레오 이미지 중 제2 이미지의 기설정된 제2 영역 사이의 색 차이값을 연산하는 연산부; 및
    상기 색 차이값이 기 결정된 기준값보다 작은 경우에 상기 변환 이미지 및 제2 이미지를 색보정된 스테레오 이미지로 출력하는 출력부;를 포함하는 것을 특징으로 하는 스테레오 이미지 색 보정 장치.
  2. 제1항에 있어서,
    상기 촬상부는,
    상기 제1 이미지를 촬상하는 제1 촬상부; 및
    상기 제2 이미지를 촬상하는 제2 촬상부;를 포함하고, 상기 제1 이미지는 상기 제2 이미지보다 저화질인 것을 특징으로 하는 스테레오 이미지 색 보정 장치.
  3. 제1항에 있어서,
    상기 기 설정된 제1 영역은, 상기 제1 이미지보다 작은 윈도우 영역, 스캔라인 영역, 픽셀 영역 중 어느 하나인 것을 특징으로 하는 스테레오 이미지 색 보정 장치.
  4. 제3항에 있어서,
    상기 연산부는, 하기 수학식을 이용하여 상기 색 차이값을 연산하고,
    Figure 112013053791924-pat00019

    여기서, μR 은 제2 이미지의 평균 컬러 값, μS는 제1 이미지의 평균 컬러 값, w 및 h는 상기 윈도우 영역의 크기,
    xs 와 ys 는 각각 제 1이미지의 특정 픽셀의 x좌표와 y좌표,
    xr 와 yr 는 각각 제 2이미지의 픽셀의 x좌표와 y좌표,
    cR(xr,yr)는 제2 이미지의 픽셀(xr,yr)에서 컬러값,
    cS는 제1이미지의 컬러 샘플에 대한 컬러 값인 것을 특징으로 하는 스테레오 이미지 색 보정 장치.
  5. 제3항에 있어서,
    상기 연산부는, 하기 수학식을 이용하여 상기 색 차이값을 연산하고,
    Figure 112012001812616-pat00020

    여기서, CR(p)는 제2 이미지의 픽셀(p)에서 컬러, Cs(p)는 제1 이미지의 픽셀(p)에서의 컬러, dmin 는 최소 디스패리티, dmax는 최대 디스패리티, D(,)는 매칭 값 함수인 것을 특징으로 하는 스테레오 이미지 색 보정 장치.
  6. 제1항에 있어서,
    상기 색 차이값이 상기 기준값보다 크거나 같은 경우에는 상기 색 보정 함수를 갱신하는 갱신부;를 더 포함하는 것을 특징으로 하는 스테레오 이미지 색 보정 장치.
  7. 제6항에 있어서,
    상기 갱신부는, 하기 수학식을 이용하여 상기 색 보정 함수를 갱신하고,
    Figure 112012001812616-pat00021

    여기서, Ai 는 i번째 갱신된 아핀 행렬, Ai ㅿ 는 i번째 아핀 행렬, Ai -1 는 i-1번째 아핀 행렬, A0 는 갱신되지 않은 아핀 행렬, A0 ㅿ 는 첫번째 아핀 행렬인 것을 특징으로 하는 스테레오 이미지 색 보정 장치.
  8. 제7항에 있어서,
    상기 갱신부는,
    상기 갱신된 색 보정 함수에 기초하여 상기 제1 이미지가 변환 이미지로 변환되도록 상기 색 변환부를 제어하는 것을 특징으로 하는 스테레오 이미지 색 보정 장치.
  9. 제1항에 있어서,
    상기 출력부는,
    제K-1 번째 갱신된 변환 이미지와 상기 제2 이미지 사이의 제K-1번째 색 차이값(δk-1)과 제K 번째 갱신된 변환 이미지와 상기 제2 이미지 사이의 제K번째 색 차이값(δk)의 차이값(δ)이 기 결정된 값(ε)보다 작으면 상기 변환 이미지 및 상기 제2 이미지를 색보정된 스테레오 이미지로 출력하는 것을 특징으로 하는 스테레오 이미지 색 보정 장치.
  10. 스테레오 이미지를 촬상하는 이미지 촬상 단계;
    상기 스테레오 이미지 중 제1 이미지를 색 보정 함수(Color Correction Function)에 의해서 변환 이미지로 색 변환하는 단계;
    상기 변환 이미지의 기설정된 제1영역과 상기 스테레오 이미지 중 제2 이미지의 기설정된 제2 영역 사이의 색 차이값을 연산하는 단계; 및
    상기 색 차이값이 기 결정된 기준값보다 작은 경우에 상기 변환 이미지 및 제2 이미지를 색보정된 스테레오 이미지로 출력하는 단계;를 포함하는 것을 특징으로 하는 스테레오 이미지 색 보정 방법.
  11. 제10항에 있어서,
    상기 이미지 촬상 단계는,
    상기 스테레오 이미지가, 제1 이미지 및 제2 이미지를 포함하고, 상기 제1 이미지는 상기 제2 이미지보다 저화질인 것을 특징으로 하는 스테레오 이미지 색 보정 방법.
  12. 제10항에 있어서,
    상기 기 설정된 제1 영역은, 상기 제1 이미지보다 작은 윈도우 영역, 스캔라인 영역, 픽셀 영역 중 어느 하나인 것을 특징으로 하는 스테레오 이미지 색 보정 방법.
  13. 제12항에 있어서,
    상기 연산하는 단계는, 하기 수학식을 이용하여 상기 색 차이값을 연산하고,
    Figure 112013053791924-pat00022

    여기서, μR 은 제2 이미지의 평균 컬러 값, μS는 제1 이미지의 평균 컬러 값, w 및 h는 상기 윈도우 영역의 크기,
    xs 와 ys 는 각각 제 1이미지의 특정 픽셀의 x좌표와 y좌표,
    xr 와 yr 는 각각 제 2이미지의 픽셀의 x좌표와 y좌표,
    cR(xr,yr)는 제2 이미지의 픽셀(xr,yr)에서 컬러값,
    cS는 제1이미지의 컬러 샘플에 대한 컬러 값인 것을 특징으로 하는 스테레오 이미지 색 보정 방법.
  14. 제12항에 있어서,
    상기 연산하는 단계는, 하기 수학식을 이용하여 상기 색 차이값을 연산하고,
    Figure 112012001812616-pat00023

    여기서, CR(p)는 제2 이미지의 픽셀(p)에서 컬러, Cs(p)는 제1 이미지의 픽셀(p)에서의 컬러, dmin 는 최소 디스패리티, dmax는 최대 디스패리티, D(,)는 매칭 값 함수인 것을 특징으로 하는 스테레오 이미지 색 보정 방법.
  15. 제10항에 있어서,
    상기 색 차이값이 상기 기준값보다 크거나 같은 경우에는 상기 색 보정 함수를 갱신하는 단계;를 더 포함하는 것을 특징으로 하는 스테레오 이미지 색 보정 방법.
  16. 제15항에 있어서,
    상기 갱신하는 단계는, 하기 수학식을 이용하여 상기 색 보정 함수를 갱신하고,
    Figure 112012001812616-pat00024

    여기서, Ai 는 i번째 갱신된 아핀 행렬, Ai ㅿ 는 i번째 아핀 행렬, Ai -1 는 i-1번째 아핀 행렬, A0 는 갱신되지 않은 아핀 행렬, A0 ㅿ 는 첫번째 아핀 행렬인 것을 특징으로 하는 스테레오 이미지 색 보정 방법.
  17. 제16항에 있어서,
    상기 갱신하는 단계는,
    상기 갱신된 색 보정 함수에 기초하여 상기 제1 이미지가 변환 이미지로 변환되도록 상기 색 변환부를 제어하는 단계;를 더 포함하는 것을 특징으로 하는 스테레오 이미지 색 보정 방법.
  18. 제10항에 있어서,
    상기 출력하는 단계는,
    제K-1 번째 갱신된 변환 이미지와 상기 제2 이미지 사이의 제K-1번째 색 차이값(δk-1)과 제K 번째 갱신된 변환 이미지와 상기 제2 이미지 사이의 제K번째 색 차이값(δk)의 차이값(δ)이 기 결정된 값(ε)보다 작으면 상기 변환 이미지 및 상기 제2 이미지를 색보정된 스테레오 이미지로 출력하는 것을 특징으로 하는 스테레오 이미지 색 보정 방법.
KR1020120002167A 2012-01-06 2012-01-06 스테레오 이미지 색 보정 장치 및 방법 KR101295782B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120002167A KR101295782B1 (ko) 2012-01-06 2012-01-06 스테레오 이미지 색 보정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120002167A KR101295782B1 (ko) 2012-01-06 2012-01-06 스테레오 이미지 색 보정 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130081147A KR20130081147A (ko) 2013-07-16
KR101295782B1 true KR101295782B1 (ko) 2013-08-13

Family

ID=48992975

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120002167A KR101295782B1 (ko) 2012-01-06 2012-01-06 스테레오 이미지 색 보정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101295782B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10200705B2 (en) 2015-11-27 2019-02-05 Samsung Electronics Co., Ltd. Electronic device and operating method thereof

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7300962B2 (ja) * 2019-10-16 2023-06-30 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置、プログラム、および記憶媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100504975B1 (ko) 1997-04-01 2005-11-22 소니 가부시끼 가이샤 비디오카메라에대한색보정장치
KR20090064243A (ko) * 2007-12-15 2009-06-18 한국전자통신연구원 컬러 체커 챠트를 이용한 다중 카메라간 컬러 일치 방법
JP2011146936A (ja) 2010-01-14 2011-07-28 Nippon Hoso Kyokai <Nhk> 色特性補正装置およびカメラ

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100504975B1 (ko) 1997-04-01 2005-11-22 소니 가부시끼 가이샤 비디오카메라에대한색보정장치
KR20090064243A (ko) * 2007-12-15 2009-06-18 한국전자통신연구원 컬러 체커 챠트를 이용한 다중 카메라간 컬러 일치 방법
JP2011146936A (ja) 2010-01-14 2011-07-28 Nippon Hoso Kyokai <Nhk> 色特性補正装置およびカメラ

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10200705B2 (en) 2015-11-27 2019-02-05 Samsung Electronics Co., Ltd. Electronic device and operating method thereof

Also Published As

Publication number Publication date
KR20130081147A (ko) 2013-07-16

Similar Documents

Publication Publication Date Title
US9286680B1 (en) Computational multi-camera adjustment for smooth view switching and zooming
US7907792B2 (en) Blend maps for rendering an image frame
US20090010538A1 (en) Apparatus and method for automatically computing gamma correction curve
JP6316910B2 (ja) シーン基準のメタデータ捕捉のための基準カード
WO2012035783A1 (ja) 立体映像作成装置および立体映像作成方法
US20120105599A1 (en) Camera system and image-shooting method with guide for taking stereo images and method for adjusting stereo images
WO2015191791A1 (en) Automatic video quality enhancement with temporal smoothing and user override
US9113145B2 (en) Contrast matching for stereo image
CN110889809A (zh) 图像处理方法及装置、电子设备、存储介质
CN116485979A (zh) 映射关系计算方法、颜色校准方法及电子设备
KR101295782B1 (ko) 스테레오 이미지 색 보정 장치 및 방법
US20160286090A1 (en) Image processing method, image processing apparatus, and image processing program
US9558421B2 (en) Image mastering systems and methods
JP2012238932A (ja) ３ｄ自動色補正装置とその色補正方法と色補正プログラム
KR102242710B1 (ko) 반자유 시점 영상을 제공하는 장치
JP2014003486A (ja) 画像処理装置、画像撮像装置、画像表示装置、画像処理方法及びプログラム
JP6332982B2 (ja) 画像処理装置およびその方法
KR101925370B1 (ko) 영상 투영 장치에 대한 색 보정 장치 및 방법
Gil Rodríguez et al. High quality video in high dynamic range scenes from interlaced dual-iso footage
US20150262339A1 (en) Image processing apparatus, image processing system, and image processing method
CN106572312B (zh) 一种全景视频自适应光照补偿方法和系统
TWI504235B (zh) 多視角影像的修正裝置及其方法
CN111861911B (zh) 基于引导相机的立体全景图像增强方法和系统
KR101228783B1 (ko) 색온도 변환을 이용한 3차원 입체영상의 보정방법
Jovanov et al. Multiview video quality enhancement

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170725

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180724

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190725

Year of fee payment: 7