KR20140034703A - 파노라마 생성을 위한 컬러 보정 장치 및 이를 이용한 레퍼런스 이미지 선택 방법 - Google Patents

파노라마 생성을 위한 컬러 보정 장치 및 이를 이용한 레퍼런스 이미지 선택 방법 Download PDF

Info

Publication number
KR20140034703A
KR20140034703A KR1020130109111A KR20130109111A KR20140034703A KR 20140034703 A KR20140034703 A KR 20140034703A KR 1020130109111 A KR1020130109111 A KR 1020130109111A KR 20130109111 A KR20130109111 A KR 20130109111A KR 20140034703 A KR20140034703 A KR 20140034703A
Authority
KR
South Korea
Prior art keywords
reference image
input images
value
image candidate
standard deviation
Prior art date
Application number
KR1020130109111A
Other languages
English (en)
Inventor
조용주
기명석
석주명
임성용
차지훈
레한 하피즈
마하마드 무르타자 칸
마하마드 트와하 이브라힘
아샤드 알리
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US14/024,877 priority Critical patent/US20140071228A1/en
Publication of KR20140034703A publication Critical patent/KR20140034703A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

파노라마 생성을 위한 컬러 보정 장치 및 이를 이용한 레퍼런스 이미지 선택 방법이 개시된다. 상기 입력 이미지들을 기반으로 파노라마 영상의 생성(stitching)시 컬러 보정을 위한 레퍼런스 이미지 선택 방법은 상기 입력 이미지들 간의 중첩 영역에 대한 표준편차를 기반으로 상기 입력 이미지들로부터 최적의 레퍼런스 이미지 후보를 선택하는 단계, 상기 최적의 레퍼런스 이미지 후보를 기반으로 상기 입력 이미지들에 대한 컬러 보정을 수행하는 단계 및 상기 컬러 보정된 입력 이미지들을 기반으로 상기 최적의 레퍼런스 이미지 후보를 검증(validation)하는 단계를 포함한다.

Description

파노라마 생성을 위한 컬러 보정 장치 및 이를 이용한 레퍼런스 이미지 선택 방법{COLOUR CORRECTION APPARATUS FOR PANORAMA VIDEO STITCHING AND METHOD FOR SELECTION OF REFERENCE IMAGE THEREOF}
본 발명은 파노라마 영상의 컬러 보정에 관한 것으로, 보다 구체적으로는 파노라마 영상의 컬러 보정을 위한 레퍼런스 이미지 선택에 관한 것이다.
파노라마 영상(panorama video)은 여러 장의 이미지를 사용하여 생성된다. 이때, 동일한 카메라를 사용하여 촬영된 영상이라도 컬러 차가 존재하기 때문에, 파노라마 영상 생성 시 컬러 보정(color correction)을 하지 않으면 영상의 현격한 품질 저하가 발생하게 된다.
도 1은 파노라마 영상의 일예를 나타낸다. 도 1의 (a)는 파노라마 영상 생성 시 컬러 보정 전 파노라마 영상을 나타내고, 도 1의 (b)는 파노라마 영상 생성 시 컬러 보정 후 파노라마 영상을 나타낸다.
도 1의 (a)에 도시된 파노라마 영상의 경우, 왼쪽 부분의 이미지와 오른쪽 부분의 이미지 간의 컬러 차로 인해 컬러가 왜곡된 것을 보여주고 있다.
도 1의 (b)에 도시된 파노라마 영상의 경우, 컬러 보정을 통해 컬러 왜곡 현상이 제거된 것을 보여주고 있다.
컬러 보정의 절차는 레퍼런스 이미지(reference image, IRef)를 선택하고, 선택된 레퍼런스 이미지의 컬러를 기준으로 나머지 이미지의 컬러를 조절하여 파노라마 영상을 생성하게 된다. 만일 레퍼런스 이미지로 낮은 밝기(brightness)와 대비(contrast)를 가지는 이미지를 선택할 경우, 파노라마 영상은 낮은 밝기와 대비를 갖게 되며, 이는 컬러 보정 후에도 파노라마 영상의 품질 저하를 초래하게 된다. 즉, 여러 장의 입력 이미지들 중에서 레퍼런스 이미지의 선택이 파노라마 영상 품질에 많은 영향을 주게 된다.
따라서, 파노라마 생성(stitching 또는 registration) 시, 컬러 보정 단계에서 여러 장의 입력 이미지들 중에서 자동으로 최적의 레퍼런스 이미지를 선택하는 방법 및 장치가 필요하다.
본 발명은 파노라마 영상 생성을 위한 최적의 레퍼런스 이미지를 선택하는 방법 및 장치를 제공한다.
본 발명은 최적의 레퍼런스 이미지를 선택하여 파노라마 영상의 컬러를 보정하는 방법 및 장치를 제공한다.
본 발명의 일 양태에 따르면, 입력 이미지들을 기반으로 파노라마 영상의 생성(stitching)시 컬러 보정을 위한 레퍼런스 이미지 선택 방법이 제공된다. 상기 방법은 상기 입력 이미지들 간의 중첩 영역에 대한 표준편차를 기반으로 상기 입력 이미지들로부터 최적의 레퍼런스 이미지 후보를 선택하는 단계, 상기 최적의 레퍼런스 이미지 후보를 기반으로 상기 입력 이미지들에 대한 컬러 보정을 수행하는 단계 및 상기 컬러 보정된 입력 이미지들을 기반으로 상기 최적의 레퍼런스 이미지 후보를 검증(validation)하는 단계를 포함한다.
상기 최적의 레퍼런스 이미지 후보를 검증하는 단계는, 상기 컬러 보정된 입력 이미지들과 상기 컬러 보정을 수행하기 전 상기 입력 이미지들 간의 비교 값을 도출하는 단계 및 상기 비교 값이 기설정된 기준값(threshold)을 만족하는지 여부에 따라, 상기 최적의 레퍼런스 이미지 후보를 최종 레퍼런스 이미지로 결정하는 단계를 포함하되, 상기 비교 값은 상기 컬러 보정된 입력 이미지들과 상기 컬러 보정을 수행하기 전 상기 입력 이미지들 간의 대비(contrast) 값, 에지 보존(edge preservation) 값 및 색의 포화도에 대한 변화(percentage change in saturation) 값 중 적어도 하나를 포함할 수 있다.
상기 비교 값이 상기 기설정된 기준값을 만족하지 않는 경우, 상기 표준편차를 기반으로 상기 입력 이미지들로부터 다음 최적의 레퍼런스 이미지 후보를 선택할 수 있다.
상기 입력 이미지들로부터 상기 최종 레퍼런스 이미지가 존재하지 않는 경우, 상기 기설정된 기준값을 변경하여 상기 최종 레퍼런스 이미지를 도출할 수 있다.
상기 최적의 레퍼런스 이미지 후보를 선택하는 단계는, 상기 입력 이미지들에 대한 기하학적 보정 후 인접한 두 개의 입력 이미지들 간의 중첩 영역 각각에 대한 표준편차를 계산하는 단계, 상기 표준편차를 기반으로 상기 입력 이미지들 각각에 대한 표준편차 차이값을 계산하는 단계 및 상기 표준편차 차이값을 기반으로 상기 최적의 레퍼런스 이미지 후보를 선택하기 위한 상기 입력 이미지들의 적합도를 평가(rank)하는 단계를 포함할 수 있다.
상기 최적의 레퍼런스 이미지 후보를 선택하는 단계에서는, 상기 입력 이미지들 각각에 대한 표준편차 차이값 중 최대값을 가지는 입력 이미지를 상기 최적의 레퍼런스 이미지 후보로 선택할 수 있다.
상기 입력 이미지들의 적합도를 평가하는 단계에서는, 상기 표준편차 차이값의 내림차순에 따라 상기 입력 이미지들의 적합도 순서가 결정될 수 있다.
상기 입력 이미지들은 멀티 카메라를 통해 획득된 서로 다른 시점의 이미지들일 수 있다.
본 발명의 다른 양태에 따르면, 입력 이미지들을 기반으로 파노라마 영상 생성(stitching)시의 컬러 보정을 수행하는 컬러 보정 장치가 제공된다. 상기 컬러 보정 장치는 상기 입력 이미지들 간의 중첩 영역에 대한 표준편차를 기반으로 상기 입력 이미지들로부터 최적의 레퍼런스 이미지 후보를 선택하는 레퍼런스 이미지 후보 선택 모듈, 상기 최적의 레퍼런스 이미지 후보를 기반으로 상기 입력 이미지들에 대한 컬러 보정을 수행하는 컬러 보정 모듈 및 상기 컬러 보정된 입력 이미지들을 기반으로 상기 최적의 레퍼런스 이미지 후보를 검증(validation)하는 레퍼런스 이미지 후보 검증 모듈을 포함한다.
상기 레퍼런스 이미지 후보 검증 모듈은, 상기 컬러 보정된 입력 이미지들과 상기 컬러 보정을 수행하기 전 상기 입력 이미지들 간의 비교 값을 도출하고, 상기 비교 값이 기설정된 기준값(threshold)을 만족하는지 여부에 따라 상기 최적의 레퍼런스 이미지 후보를 최종 레퍼런스 이미지로 결정하되, 상기 비교 값은 상기 컬러 보정된 입력 이미지들과 상기 컬러 보정을 수행하기 전 상기 입력 이미지들 간의 대비(contrast) 값, 에지 보존(edge preservation) 값 및 색의 포화도에 대한 변화(percentage change in saturation) 값 중 적어도 하나를 포함할 수 있다.
상기 레퍼런스 이미지 후보 검증 모듈은, 상기 비교 값이 상기 기설정된 기준값을 만족하지 않는 경우, 상기 표준편차를 기반으로 상기 입력 이미지들로부터 다음 최적의 레퍼런스 이미지 후보를 선택할 수 있다.
상기 레퍼런스 이미지 후보 검증 모듈은, 상기 입력 이미지들로부터 상기 최종 레퍼런스 이미지가 존재하지 않는 경우, 상기 기설정된 기준값을 변경하여 상기 최종 레퍼런스 이미지를 도출할 수 있다.
상기 레퍼런스 이미지 후보 선택 모듈은, 상기 입력 이미지들에 대한 기하학적 보정 후 인접한 두 개의 입력 이미지들 간의 중첩 영역 각각에 대한 표준편차를 계산하고, 상기 표준편차를 기반으로 상기 입력 이미지들 각각에 대한 표준편차 차이값을 계산하고, 상기 표준편차 차이값을 기반으로 상기 최적의 레퍼런스 이미지 후보를 선택하기 위한 상기 입력 이미지들의 적합도를 평가(rank)할 수 있다.
상기 레퍼런스 이미지 후보 선택 모듈은, 상기 입력 이미지들 각각에 대한 표준편차 차이값 중 최대값을 가지는 입력 이미지를 상기 최적의 레퍼런스 이미지 후보로 선택할 수 있다.
상기 레퍼런스 이미지 후보 선택 모듈은, 상기 표준편차 차이값의 내림차순에 따라 상기 입력 이미지들의 적합도 순서를 결정할 수 있다.
상기 입력 이미지들은 멀티 카메라를 통해 획득된 서로 다른 시점의 이미지들일 수 있다.
파노라마 영상 생성 시, 입력 이미지들로부터 최적의 레퍼런스 이미지를 선택함으로써, 입력 이미지들의 컬러 보정 효과를 향상시킬 수 있다. 향상된 컬러 보정 효과에 따라 최고 품질의 파노라마 영상을 획득할 수 있다. 또한, 파노라마 영상 생성 시 사용자와의 상호작용 없이도 자동으로 최적의 레퍼런스 이미지를 선택할 수 있다.
도 1은 파노라마 영상의 일예를 나타낸다.
도 2는 본 발명의 일 실시예에 따른 파노라마 영상 생성(stitching 또는 registration) 시 컬러 보정(color correction)을 위한 레퍼런스 이미지 선택 방법을 개략적으로 나타내는 순서도이다.
도 3은 복수 개의 입력 이미지들을 기반으로 파노라마 영상을 생성(stitching)하는 과정을 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 파노라마 영상 생성(stitching 또는 registration) 시 컬러 보정(color correction)을 위한 레퍼런스 이미지 선택 방법의 일예를 나타내는 순서도이다.
도 5는 레퍼런스 이미지에 의해 컬러 보정된 파노라마 영상을 도시한 도면이다.
도 6은 본 발명의 실시예에 따른 파노라마 영상 생성(stitching 또는 registration) 시 레퍼런스 이미지를 이용하여 컬러 보정(color correction)을 수행하는 컬러 보정 장치를 개략적으로 나타내는 블록도이다.
도 7은 레퍼런스 이미지 선택에 따라 컬러 보정된 파노라마 영상을 도시한 도면이다.
이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 아울러, 본 발명에서 특정 구성을 "포함" 한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.
파노라마 영상은 멀티 카메라(multi-camera)를 통해 획득된 복수 개의 이미지들을 스티칭하여 생성될 수 있다. 이때, 복수 개의 이미지들 간의 컬러 차이가 존재할 수 있으며, 이로 인해 파노라마 영상이 왜곡되는 경우가 발생할 수 있다. 이러한 복수 개의 이미지들 간의 컬러 차이를 보정하기 위해서 기준이 되는 레퍼런스 이미지를 선정하는 것이 중요하다. 이하, 본 발명에서는 복수 개의 이미지들로부터 최적의 레퍼런스 이미지를 선택하여 컬러 보정을 수행함으로써 파노라마 영상의 품질을 향상시킬 수 있는 방법 및 장치를 제공한다.
도 2는 본 발명의 실시예에 따른 파노라마 영상 생성(stitching 또는 registration) 시 컬러 보정(color correction)을 위한 레퍼런스 이미지 선택 방법을 개략적으로 나타내는 순서도이다. 도 2의 방법은 후술할 본 발명에 따른 컬러 보정 장치에 의해 수행될 수 있다.
도 2를 참조하면, 컬러 보정 장치는 파노라마 영상 생성을 위한 입력 이미지들로부터 최적의 레퍼런스 이미지 후보를 선택한다(S200). 이때, 입력 이미지들 간의 중첩 영역(overlapping region)에 대한 표준편차를 기반으로 최적의 레퍼런스 이미지 후보를 선택할 수 있다.
예를 들어, 서로 다른 시점(view)으로부터 획득된 n개의 입력 이미지들을 이용하여 파노라마 영상을 생성한다고 가정하자. 도 3에 도시된 바와 같이, n개의 입력 이미지들(I1, I2, …, In)은 기하학적 보정을 거쳐, 파노라마 영상 내 가장 왼쪽 이미지(I1)부터 가장 오른쪽 이미지(In)까지 n개의 이미지들로 구성될 수 있다. 이때, 기하학적 보정된 입력 이미지들(I1, I2, …, In)은 서로 인접한 두 개의 이미지들 간의 중첩 영역을 가진다. 예컨대, (Ii -1, Ii)는 기하학 보정 후 인접한 두 개의 이미지(Ii -1 및 Ii)의 중첩 영역을 의미할 수 있다(여기서, i = 2, 3, …, n).
이때, 입력 이미지들 사이의 중첩 영역 (Ii -1, Ii)에 대한 표준편차(
Figure pat00001
)를 다음 수학식 1과 같이 계산할 수 있다. 수학식 1은 Ii -1 이미지와 Ii 이미지 간의 중첩 영역에서 R, G, B 컬러에 대한 표준편차를 나타낸다.
Figure pat00002
여기서, 는 Ii 이미지의 K 컬러에 대한 표준편차를 의미한다.
본 발명의 실시예에 따르면, 입력 이미지들(I1, I2, …, In)로부터 최적의 레퍼런스 이미지를 선택하기 위해서, 상기 수학식 1에 의해 계산된 입력 이미지들 사이의 중첩 영역에 대한 표준편차(
Figure pat00003
)를 기반으로 다음 수학식 2와같이 입력 이미지들(I1, I2, …, In)에 대한 표준편차 차이값을 계산할 수 있다.
Figure pat00004
여기서,
Figure pat00005
은 Ii -1 이미지의 j 컬러에 대한 표준편차를 의미하고,
Figure pat00006
는 Ii 이미지의 j 컬러에 대한 표준편차를 의미한다. 파노라마 영상 내 가장 왼쪽 이미지(I1)에 대한 표준편차 차이값인 D0은 0으로 가정할 수 있다. 예컨대, 입력 이미지가 5개인 경우, 입력 이미지 각각에 대한 표준편차 차이값은 D1부터 D5까지 계산될 수 있으며, D5는 D1부터 D4까지의 합과 I4 이미지와 I5 이미지의 중첩 영역(Ii -1, Ii)에서 계산된 표준편차 차이를 더한 값일 수 있다.
컬러 보정 장치는 상기 수학식 1과 수학식 2를 통해 계산된 입력 이미지들 각각에 대한 표준편차 차이값을 기반으로 최적의 레퍼런스 이미지 후보를 선택할 수 있다. 예컨대, 가장 큰 표준편차 차이값을 가지는 입력 이미지를 최적의 레퍼런스 이미지 후보로 선택할 수 있다.
일예로, 컬러 보정 장치는 입력 이미지들 각각에 대한 표준편차 차이값을 기반으로 최적의 레퍼런스 이미지 후보를 선택하기 위한 입력 이미지들의 적합도(suitability)를 평가(rank)할 수 있다. 예컨대, 가장 큰 표준편차 차이값을 가지는 입력 이미지가 가장 높은 적합도를 가진 레퍼런스 이미지 후보로 평가될 수 있고, 가장 작은 표준편차 차이값을 가지는 입력 이미지가 가장 낮은 적합도를 가진 레퍼런스 이미지 후보로 평가될 수 있다. 이러한 입력 이미지들의 적합도 평가에 따라 최적의 레퍼런스 이미지 후보로 선택되는 순서를 정할 수 있다. 예컨대, 가장 높은 적합도를 가진 입력 이미지를 최적의 레퍼런스 이미지 후보로 선택하여 단계 S210 ~ 단계 S220을 수행하고, 그 결과 상기 선택된 최적의 레퍼런스 이미지 후보가 최종 레퍼런스 이미지로 결정되지 못하면 상기 적합도 평가에 따라 정해진 순서에서 다음 최적의 레퍼런스 이미지 후보를 선택하여 다시 단계 S210 ~ 단계 S220을 수행할 수 있다.
컬러 보정 장치는 최적의 레퍼런스 이미지 후보를 기반으로 입력 이미지들에 대한 컬러 보정을 수행한다(S210). 최적의 레퍼런스 이미지 후보를 기준으로 나머지 입력 이미지들의 컬러를 보정할 수 있다.
이때, 다양한 컬러 보정 방식을 이용할 수 있다. 예컨대, 전체 이미지에 하나의 함수(function)를 적용하는 글로벌(global) 컬러 보정 방법을 이용할 수도 있으며, 이미지의 부분에 따라 서로 다른 함수를 적용하는 로컬(local) 컬러 보정 방법을 이용할 수도 있다. 또는, 하나의 수식을 이용하여 컬러를 보정하는 파라메트릭(parametric) 기반 컬러 보정 방법을 이용할 수도 있으며, 룩업 테이블(Look-Up Table; LUT)과 같은 매핑 테이블(mapping table)을 이용하여 컬러를 보정하는 비-파라메트릭(non-parametric) 기반 컬러 보정 방법을 이용할 수도 있다.
컬러 보정 장치는 컬러 보정된 입력 이미지들을 기반으로 최적의 레퍼런스 이미지 후보를 검증(validation)한다(S220). 즉, 컬러 보정 장치는 단계 S210에 의해 컬러 보정이 수행된 입력 이미지들(이하, 컬러 보정된 입력 이미지들이라 함)과 컬러 보정을 수행하기 전 입력 이미지들(이하, 원본 입력 이미지들이라 함)을 비교한 비교 값을 이용하여, 최적의 레퍼런스 이미지 후보를 최종 레퍼런스 이미지 후보로 사용할지 여부를 검증한다.
구체적으로, 컬러 보정 장치는 컬러 보정된 입력 이미지들과 원본 입력 이미지들 간의 비교 값을 도출할 수 있다. 비교 값은 컬러 보정된 입력 이미지들과 원본 입력 이미지들 간의 대비(contrast) 값, 에지 보존(edge preservation) 값 및 색의 포화도에 대한 변화(percentage change in saturation) 값 중 적어도 하나일 수 있다.
여기서, 에지 보존 값은 파노라마 영상 내 오브젝트(object) 경계(edge)의 보존 정도를 나타낸 값일 수 있다. 예컨대, 원본 입력 이미지들과 컬러 보정된 입력 이미지들 간의 휘도(luminance), 대비(contrast), 구조(structure) 등의 비교 값을 이용하여 에지 보존 값을 도출할 수 있다. 또는 원본 입력 이미지 대신 이미지 그라디언트(gradient) 맵을 적용하여 휘도, 대비, 구조 등의 비교 값을 획득할 수도 있다.
색의 포화도에 대한 변화 값은 원본 입력 이미지와 비교하여 컬러 보정된 입력 이미지에서 포화된 픽셀 수의 변화량을 퍼센트를 이용하여 나타낸 값일 수 있다. 이때, 포화된 픽셀이란 픽셀 값이 1보다 작은 값 또는 255보다 큰 값을 가지는 픽셀을 말한다.
컬러 보정 장치는 상기 비교 값이 기설정된 기준값(threshold)을 만족하는지 여부를 판단하고, 판단 결과에 따라 단계 S200에서 선택된 최적의 레퍼런스 이미지 후보를 최종 레퍼런스 이미지로 결정할 수 있다. 만일 비교 값이 기설정된 기준값을 만족하지 못하면 상술한 표준편차 차이값을 기반으로 입력 이미지들로부터 다음 최적의 레퍼런스 이미지 후보를 선택할 수 있고, 다음 최적의 레퍼런스 이미지 후보를 검증할 수 있다. 이때, 상술한 과정을 통해 최종 레퍼런스 이미지를 도출하지 못한 경우, 즉 어떠한 최적의 레퍼런스 이미지 후보도 기설정된 기준값을 만족하지 못한 경우, 기설정된 기준값을 변경하여 최적의 레퍼런스 이미지 후보에 대한 검증을 수행할 수 있다.
일예로, 원본 입력 이미지들과 컬러 보정된 입력 이미지들 간의 에지 보존 값을 이용하여 최적의 레퍼런스 이미지 후보를 검증하는 경우, 컬러 보정 장치는 에지 보존 값이 기설정된 기준값보다 큰 값을 가지는지 여부를 판단할 수 있다.
만일, 에지 보존 값이 기설정된 기준값보다 큰 경우 현재 최적의 레퍼런스 이미지 후보를 최종 레퍼런스 이미지로 선정할 수 있다. 그렇지 않고, 에지 보존 값이 기설정된 기준값보다 작은 경우 현재 최적의 레퍼런스 이미지 후보 대신, 다음 최적의 레퍼런스 이미지 후보를 선택할 수 있으며, 다음 최적의 레퍼런스 이미지 후보를 이용하여 단계 S210 ~ 단계 S220을 수행할 수 있다. 다음 최적의 레퍼런스 이미지 후보는 상술한 바와 같이 입력 이미지들의 표준편차 차이값을 기반으로 하는 적합도 평가에 따라, 현재 최적의 레퍼런스 이미지 후보 다음으로 높은 적합도를 가진 입력 이미지일 수 있다.
이때, 컬러 보정 장치는 기설정된 기준값보다 큰 에지 보존 값을 가지는 최적의 레퍼런스 이미지 후보를 찾을 때까지 상기 과정을 반복한다. 만일 기설정된 기준값보다 큰 에지 보존 값을 가지는 어떠한 최적의 레퍼런스 이미지 후보도 찾지 못한 경우, 에지 보존 값에 대한 기설정된 기준값을 변경하여 상기 과정을 반복 수행할 수 있다.
다른 예로, 원본 입력 이미지들과 컬러 보정된 입력 이미지들 간의 색의 포화도에 대한 변화 값을 이용하여 최적의 레퍼런스 이미지 후보를 검증하는 경우, 컬러 보정 장치는 색의 포화도에 대한 변화 값이 기설정된 기준값보다 작은 값을 가지는지 여부를 판단할 수 있다.
만일, 색의 포화도에 대한 변화 값이 기설정된 기준값보다 작은 경우 현재 최적의 레퍼런스 이미지 후보를 최종 레퍼런스 이미지로 선정할 수 있다. 그렇지 않고, 색의 포화도에 대한 변화 값이 기설정된 기준값보다 큰 경우 현재 최적의 레퍼런스 이미지 후보 대신, 다음 최적의 레퍼런스 이미지 후보를 선택할 수 있으며, 다음 최적의 레퍼런스 이미지 후보를 이용하여 단계 S210 ~ 단계 S220을 수행할 수 있다.
또한, 상술한 바와 같이 컬러 보정 장치는 기설정된 기준값보다 작은 색의 포화도에 대한 변환 값을 가지는 최적의 레퍼런스 이미지 후보를 찾을 때까지 상기 과정을 반복한다. 만일 기설정된 기준값보다 작은 색의 포화도에 대한 변화 값을 가지는 최적의 레퍼런스 이미지 후보를 찾지 못한 경우, 색의 포화도에 대한 변화 값에 대한 기설정된 기준값을 변경하고 상기 과정을 반복 수행할 수 있다.
상술한 예시에서는 에지 보존 값과 색의 포화도에 대한 변화 값을 각각 이용하여 최적의 레퍼런스 이미지 후보를 검증하는 과정에 대해 설명하였으나, 이는 하나의 예시이며 본 발명이 이에 한정되는 것은 아니다. 예컨대, 에지 보존 값과 색의 포화도에 대한 변화 값을 모두 이용하여 최적의 레퍼런스 이미지 후보를 검증할 수도 있으며, 이에 대한 구체적인 설명은 도 4를 참조하여 설명하도록 한다.
도 4는 본 발명의 실시예에 따른 파노라마 영상 생성(stitching 또는 registration) 시 컬러 보정(color correction)을 위한 레퍼런스 이미지 선택 방법의 일예를 나타내는 순서도이다. 도 4의 방법은 후술할 본 발명에 따른 컬러 보정 장치에 의해 수행될 수 있다.
도 4를 참조하면, 컬러 보정 장치는 파노라마 영상 생성을 위한 입력 이미지들 간의 중첩 영역을 인식한다(S400).
상술한 바와 같이, 서로 다른 시점으로부터 획득된 n개의 입력 이미지들을 이용하여 파노라마 영상을 생성할 때, n개의 입력 이미지들은 기하학적 보정 후 인접한 이미지들 사이에 중첩 영역이 존재하게 된다. 따라서, 컬러 보정 장치는 기하학적 보정된 n개의 입력 이미지들에 대해서 서로 인접한 두 개의 입력 이미지들 사이의 중첩 영역들을 검출할 수 있다.
컬러 보정 장치는 입력 이미지들 간의 중첩 영역 각각에 대한 표준편차를 계산한다(S410). 이때, 중첩 영역에 대한 표준편차는 상기 수학식 1에서와 같이 계산될 수 있다.
컬러 보정 장치는 중첩 영역에 대한 표준편차를 기반으로 최적의 레퍼런스 이미지 후보를 위한 입력 이미지들의 적합도를 평가한다(S420).
입력 이미지들의 적합도는 중첩 영역에 대한 표준편차를 이용하여 입력 이미지들 각각에 대한 표준편차 차이값을 계산하여 평가될 수 있다. 여기서, 입력 이미지에 대한 표준편차 차이값은 상기 수학식 2에서와 같이 계산될 수 있다.
예를 들어, 가장 큰 표준편차 차이값을 가지는 입력 이미지가 가장 높은 적합도를 가진 레퍼런스 이미지 후보로 평가될 수 있고, 가장 작은 표준편차 차이값을 가지는 입력 이미지가 가장 낮은 적합도를 가진 레퍼런스 이미지 후보로 평가될 수 있다. 이러한 입력 이미지들의 적합도 평가에 따라 최적의 레퍼런스 이미지 후보로 선택되는 순서를 정할 수 있다.
컬러 보정 장치는 입력 이미지들의 적합도 평가를 기반으로 선택된 최적의 레퍼런스 이미지 후보를 이용하여 컬러 보정을 수행한다(S430).
이때, 상술한 바와 같이 다양한 컬러 보정 방식을 이용하여 최적의 레퍼런스 이미지 후보의 컬러를 기준으로 나머지 입력 이미지들의 컬러를 보정할 수 있다. 예컨대, 글로벌 컬러 보정 방법, 로컬 컬러 보정 방법, 파라메트릭 기반 컬러 보정 방법, 비-파라메트릭 기반 컬러 보정 방법 등을 이용할 수 있다.
컬러 보정 장치는 컬러 보정된 입력 이미지들과 원본 입력 이미지들을 비교한 비교 값을 이용하여, 최적의 레퍼런스 이미지 후보를 최종 레퍼런스 이미지 후보로 사용할지 여부를 검증할 수 있다. 본 실시예에서는 하나의 예시로서, 에지 보존 값 및 색의 포화도에 대한 변화 값을 비교 값으로 도출하여 파노라마 영상의 컬러 보정 결과를 검증하는 과정을 설명한다.
컬러 보정 장치는 단계 S430에 의해 획득된 컬러 보정된 입력 이미지들과 원본 입력 이미지들을 비교하여 에지 보존 값을 도출하고, 상기 에지 보존 값이 기설정된 에지 보존 값에 대한 제1 기준값을 만족하는지 여부를 판단한다(S440).
여기서, 에지 보존 값은 상술한 바와 같이 영상 내 오브젝트 경계의 보존 정도를 나타내는 것으로, 원본 입력 이미지와 컬러 보정된 이미지 간의 휘도 비교, 대비 비교, 구조 비교 등을 통해 계산될 수 있다. 또는 그라디언트 맵을 적용하여 컬러 보정된 입력 이미지들에 대한 그라디언트 기반의 에지 보존 값을 도출할 수도 있다.
에지 보존 값이 제1 기준값을 만족시키지 못할 경우(에지 보존 값이 제1 기준값보다 작은 경우), 즉 현재 선택된 최적의 레퍼런스 이미지 후보를 이용하여 컬러 보정된 입력 이미지들의 검증이 실패한 경우, 컬러 보정 장치는 모든 입력 이미지들이 최적의 레퍼런스 이미지 후보로 선택되었는지 여부를 판단한다(S450).
만일, 모든 입력 이미지들이 최적의 레퍼런스 이미지 후보로 선택된 경우, 즉 입력 이미지들로부터 선택된 어떠한 최적의 레퍼런스 이미지 후보도 제1 기준값을 만족시키지 못한 경우, 컬러 보정 장치는 제1 기준값을 변경한다(S460). 예컨대, 제1 기준값을 감소(예를 들어, 5% 정도 감소)시킬 수 있다. 그리고 컬러 보정 장치는 다시 입력 이미지들로부터 최적의 레퍼런스 이미지 후보를 선택하고, 변경된 제1 기준값을 적용하여 상술한 과정을 수행할 수 있다.
그렇지 않고 모든 입력 이미지들이 최적의 레퍼런스 이미지 후보로 선택되지 않은 경우, 최적의 레퍼런스 이미지 후보로 선택되지 않은 나머지 입력 이미지들로부터 최적의 레퍼런스 이미지 후보를 선택하여 상술한 과정을 반복 수행할 수 있다.
에지 보존 값이 제1 기준값을 만족시키는 경우(에지 보존 값이 제1 기준값보다 큰 경우), 컬러 보정 장치는 단계 S430에 의해 획득된 컬러 보정된 입력 이미지들과 원본 입력 이미지들을 비교하여 색의 포화도에 대한 변화 값을 도출하고, 상기 색의 포화도에 대한 변화 값이 기설정된 제2 기준값을 만족하는지 여부를 판단한다(S470).
여기서, 색의 포화도에 대한 변화 값은 상술한 바와 같이 원본 입력 이미지와 비교하여 컬러 보정된 입력 이미지에서 포화된 픽셀 수의 변화량을 퍼센트를 이용하여 나타낸 값일 수 있다.
색의 포화도에 대한 변화 값이 제2 기준값을 만족시키지 못할 경우(색의 포화도에 대한 변화 값이 제2 기준값보다 큰 경우), 즉 현재 선택된 최적의 레퍼런스 이미지 후보를 이용하여 컬러 보정된 입력 이미지들의 검증이 실패한 경우, 컬러 보정 장치는 모든 입력 이미지들이 최적의 레퍼런스 이미지 후보로 선택되었는지 여부를 판단한다(S480).
만일, 모든 입력 이미지들이 최적의 레퍼런스 이미지 후보로 선택된 경우, 즉 입력 이미지들로부터 선택된 어떠한 최적의 레퍼런스 이미지 후보도 제2 기준값을 만족시키지 못한 경우, 컬러 보정 장치는 제2 기준값을 변경한다(S490). 예컨대, 제 기준값을 증가(예를 들어, 5% 정도 증가)시킬 수 있다. 그리고 컬러 보정 장치는 다시 입력 이미지들로부터 최적의 레퍼런스 이미지 후보를 선택하고, 변경된 제2 기준값을 적용하여 상술한 과정을 수행할 수 있다.
그렇지 않고 모든 입력 이미지들이 최적의 레퍼런스 이미지 후보로 선택되지 않은 경우, 최적의 레퍼런스 이미지 후보로 선택되지 않은 나머지 입력 이미지들로부터 최적의 레퍼런스 이미지 후보를 선택하여 상술한 과정을 반복 수행할 수 있다.
색의 포화도에 대한 변화 값이 제2 기준값을 만족시키는 경우(색의 포화도에 대한 변화 값이 제2 기준값보다 작은 경우), 컬러 보정 장치는 현재 선택된 최적의 레퍼런스 이미지 후보를 최종 레퍼런스 이미지 후보로 결정할 수 있다.
이하에서는 5개의 입력 이미지들을 이용하여 하나의 파노라마 영상을 생성하는 경우를 예로 들어 상술한 본 발명에 따른 레퍼런스 이미지 선택 방법을 적용하는 실시예를 설명한다.
표 1은 5개의 입력 이미지들(I1, I2, I3, I4, I5)에 대한 표준편차 차이값(D), RGB 컬러에 대한 표준편차(Panorama STDs), 에지 보존 값(GSSIM), 색의 포화도에 대한 변화값(
Figure pat00007
)을 나타낸 일예이다. 또한 표 1은 5개의 입력 이미지들(I1, I2, I3, I4, I5)을 이용하여 도 5에 도시된 파노라마 영상을 생성하는 실험 과정을 통해 획득된 결과 값들이다.
Figure pat00008
표 1을 참조하면, 각 입력 이미지들(I1, I2, I3, I4, I5)에 대한 표준편차 차이값(D)과 RGB 컬러에 대한 표준편차(Panorama STDs)는 상기 수학식 1 및 수학식 2에 의해 계산될 수 있다.
에지 보존 값(GSSIM) 및 색의 포화도에 대한 변화값(
Figure pat00009
)은 각 입력 이미지들(I1, I2, I3, I4, I5)이 레퍼런스 이미지로 선택되었을 때, 상기 레퍼런스 이미지에 의해 컬러 보정된 이미지와 원본 이미지 간의 비교에 의해 계산될 수 있다.
표 1의 결과에 따라 상술한 본 발명의 레퍼런스 이미지 선택 방법을 적용할 경우, 최적의 레퍼런스 이미지 후보는 각 입력 이미지들(I1, I2, I3, I4, I5)에 대한 표준편차 차이값(D)을 이용해서 선택 순서가 결정될 수 있다. 예컨대, 최적의 레퍼런스 이미지 후보의 선택 순서는 표준편차 차이값(D)의 내림차순으로 결정될 수 있다. 표 1의 결과에 따르면, I5, I4, I2, I3, I1 순으로 최적의 레퍼런스 이미지 후보로 선택될 수 있다.
일예로, 에지 보존 값과 색의 포화도에 대한 변화 값 각각에 대한 기준값이 0.95와 15%로 설정된 경우, 상술한 도 4의 방법에 따라 먼저, 가장 큰 표준편차 차이값(D)을 가지는 I5가 최적의 레퍼런스 이미지 후보로 선택될 있다. 이때 I5에 의해 컬러 보정된 이미지와 원본 이미지 간의 에지 보존 값과 색의 포화도에 대한 변화 값이 표 1에 도시된 바와 같이 상기 설정된 기준값을 충족시키지 못하기 때문에, 다음으로 가장 큰 표준편차 차이값(D)을 가지는 I4가 최적의 레퍼런스 이미지 후보로 선택될 수 있다. I4에 의해 컬러 보정된 이미지와 원본 이미지 간의 에지 보존 값과 색의 포화도에 대한 변화 값은 상기 설정된 기준값을 충족시키므로 최적의 레퍼런스 이미지 후보 I4를 최종 레퍼런스 이미지로 결정할 수 있다.
상기와 같이 에지 보존 값과 색의 포화도에 대한 변화 값 각각에 대한 기준값이 0.95와 15%로 설정된 경우, 입력 이미지 I1, I4, I5를 레퍼런스 이미지로 하여 컬러 보정을 수행한 파노라마 영상을 도 5에 도시하였다.
도 5의 (a)는 표 1의 I1 입력 이미지를 최적의 레퍼런스 이미지로 선택하여 컬러 보정된 파노라마 영상(500)을 나타낸다. 도 5의 (b)는 표 1의 I5 입력 이미지를 최적의 레퍼런스 이미지 후보로 선택하여 컬러 보정된 파노라마 영상(510)을 나타낸다. 도 5의 (c)는 표 1의 I4 입력 이미지를 최적의 레퍼런스 이미지 후보로 선택하여 컬러 보정된 파노라마 영상(520)을 나타낸다.
이때, 가장 작은 표준편차 차이값(D)을 가지는 I1 이미지를 최적의 레퍼런스 이미지로 선택하여 컬러 보정된 파노라마 영상(500)은 가장 좋지 못한 품질을 보이고 있다. 가장 큰 표준편차 차이값(D)을 가지나 에지 보존 값과 색의 포화도에 대한 변화 값이 기준값을 만족시키지 못하는 I5 이미지를 최적의 레퍼런스 이미지로 선택하여 컬러 보정된 파노라마 영상(510)은 포화된 영역이 존재하는 것으로 나타났다. 반면, 본 발명에 따라 최종 레퍼런스 이미지로 선택된 I4 이미지에 의해 컬러 보정된 파노라마 영상(520)은 가장 좋은 영상 품질을 보이고 있다.
도 6은 본 발명의 실시예에 따른 파노라마 영상 생성(stitching 또는 registration) 시 레퍼런스 이미지를 이용하여 컬러 보정(color correction)을 수행하는 컬러 보정 장치를 개략적으로 나타내는 블록도이다.
도 6을 참조하면, 컬러 보정 장치(600)는 레퍼런스 이미지 후보 선택 모듈(610), 컬러 보정 모듈(620) 및 레퍼런스 이미지 후보 검증 모듈(630)을 포함한다.
레퍼런스 이미지 후보 선택 모듈(610)은 파노라마 생성을 위한 입력 이미지들이 입력되면 입력 이미지들로부터 최적의 레퍼런스 이미지 후보를 선택한다.
보다 구체적으로, 레퍼런스 이미지 후보 선택 모듈(610)은 입력 이미지들 간의 중첩 영역에 대한 표준편차를 상기 수학식 1과 같이 계산할 수 있고, 상기 표준편차를 기반으로 각 입력 이미지들에 대한 표준편차 차이값을 상기 수학식 2와 같이 계산할 수 있다. 레퍼런스 이미지 후보 선택 모듈(610)은 상기 표준편차 차이값을 기반으로 최적의 레퍼런스 이미지 후보를 선택할 수 있다.
예를 들어, 레퍼런스 이미지 후보 선택 모듈(610)은 각 입력 이미지들에 대한 표준편차 차이값을 기반으로 최적의 레퍼런스 이미지 후보를 선택하기 위한 입력 이미지들의 적합도를 평가할 수 있다. 가장 큰 표준편차 차이값을 가지는 입력 이미지가 가장 높은 적합도를 가진 레퍼런스 이미지 후보로 평가될 수 있고, 가장 작은 표준편차 차이값을 가지는 입력 이미지가 가장 낮은 적합도를 가진 레퍼런스 이미지 후보로 평가될 수 있다. 이러한 입력 이미지들의 적합도 평가에 따라 최적의 레퍼런스 이미지 후보로 선택되는 순서를 정할 수 있다.
컬러 보정 모듈(620)은 최적의 레퍼런스 이미지 후보를 기반으로 입력 이미지들에 대한 컬러 보정을 수행한다.
이때, 상술한 바와 같이 다양한 컬러 보정 방식을 이용하여 최적의 레퍼런스 이미지 후보의 컬러를 기준으로 나머지 입력 이미지들의 컬러를 보정할 수 있다. 예컨대, 글로벌 컬러 보정 방법, 로컬 컬러 보정 방법, 파라메트릭 기반 컬러 보정 방법, 비-파라메트릭 기반 컬러 보정 방법 등을 이용할 수 있다.
레퍼런스 이미지 후보 검증 모듈(630)은 컬러 보정된 입력 이미지들을 기반으로 최적의 레퍼런스 이미지 후보를 검증한다. 즉, 레퍼런스 이미지 후보 검증 모듈(630)은 컬러 보정된 입력 이미지들과 원본 입력 이미지들(컬러 보정 모듈(620)에 의해 컬러 보정되기 전 입력 이미지들)을 비교한 비교 값을 이용하여, 최적의 레퍼런스 이미지 후보를 최종 레퍼런스 이미지로 사용할지 여부를 검증한다.
이때, 비교 값은 상술한 바와 같이 컬러 보정된 입력 이미지들과 원본 입력 이미지들 간의 대비 값, 에지 보존 값 및 색의 포화도에 대한 변화 값 중 적어도 하나일 수 있다.
보다 구체적으로, 레퍼런스 이미지 후보 검증 모듈(630)은 대비 값, 에지 보존 값 및 색의 포화도에 대한 변화 값 중 적어도 하나의 비교 값을 도출하고, 상기 비교 값이 기설정된 기준값을 만족하는지 여부를 판단할 수 있다.
만일, 비교 값이 기설정된 기준값을 만족하면 현재 최적의 레퍼런스 이미지 후보를 최종 레퍼런스 이미지 후보로 결정할 수 있다. 그렇지 않고 비교 값이 기설정된 기준값을 만족하지 못하면 상술한 표준편차 차이값을 기반으로 입력 이미지들로부터 다음 최적의 레퍼런스 이미지 후보를 선택할 수 있고, 다음 최적의 레퍼런스 이미지 후보를 검증할 수 있다.
이때, 최종 레퍼런스 이미지를 도출하지 못한 경우, 즉 어떠한 최적의 레퍼런스 이미지 후보도 기설정된 기준값을 만족하지 못한 경우, 레퍼런스 이미지 후보 검증 모듈(630)은 기설정된 기준값을 변경하여 최적의 레퍼런스 이미지 후보에 대한 검증을 다시 수행할 수 있다.
상술한 과정을 통해 최종 레퍼런스 이미지가 결정되면 레퍼런스 이미지 후보 검증 모듈(630)은 최종 레퍼런스 이미지를 기반으로 컬러 보정된 파노라마 영상을 도출할 수 있다.
에지 보존 값 및 색의 포화도에 대한 변화 값이 비교 값으로 도출된 경우 이러한 비교 값을 이용하여 최적의 레퍼런스 이미지 후보를 검증하는 구체적인 방법은 본 명세서의 실시예들에서 상세히 설명한 바 있으므로, 여기서는 설명을 생략하도록 한다.
도 7은 레퍼런스 이미지 선택에 따라 컬러 보정된 파노라마 영상을 도시한 도면이다.
도 7의 (a)는 낮은 밝기와 대비를 가진 이미지를 레퍼런스 이미지로 선택한 경우, 이 레퍼런스 이미지를 이용하여 컬러 보정을 수행한 파노라마 영상(700)이다. 이 경우, 컬러 보정된 파노라마 영상(700)은 전체적으로 어두운 영상으로 나타났다.
도 7의 (b)는 포화된 이미지를 레퍼런스 이미지로 선택한 경우, 이 레퍼런스 이미지를 이용하여 컬러 보정을 수행한 파노라마 영상(710)이다. 이 경우, 컬러 보정된 파노라마 영상(710)은 영상 내 가로 등과 같이 오브젝트의 에지 부분이 구분되지 않는 것으로 나타났다.
도 7의 (c)는 본 발명이 적용되어 선택된 레퍼런스 이미지를 이용하여 컬러 보정을 수행한 파노라마 영상(720)이다. 이 경우, 컬러 보정된 파노라마 영상(720)은 선명한 에지 부분을 표현하고 있으며 오후의 색감을 가장 잘 표현하고 있다.
상술한 실시예에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

Claims (16)

  1. 입력 이미지들을 기반으로 파노라마 영상의 생성(stitching)시 컬러 보정을 위한 레퍼런스 이미지 선택 방법에 있어서,
    상기 입력 이미지들 간의 중첩 영역에 대한 표준편차를 기반으로 상기 입력 이미지들로부터 최적의 레퍼런스 이미지 후보를 선택하는 단계;
    상기 최적의 레퍼런스 이미지 후보를 기반으로 상기 입력 이미지들에 대한 컬러 보정을 수행하는 단계; 및
    상기 컬러 보정된 입력 이미지들을 기반으로 상기 최적의 레퍼런스 이미지 후보를 검증(validation)하는 단계를 포함하는 방법.
  2. 제1항에 있어서,
    상기 최적의 레퍼런스 이미지 후보를 검증하는 단계는,
    상기 컬러 보정된 입력 이미지들과 상기 컬러 보정을 수행하기 전 상기 입력 이미지들 간의 비교 값을 도출하는 단계; 및
    상기 비교 값이 기설정된 기준값(threshold)을 만족하는지 여부에 따라, 상기 최적의 레퍼런스 이미지 후보를 최종 레퍼런스 이미지로 결정하는 단계를 포함하며,
    상기 비교 값은,
    상기 컬러 보정된 입력 이미지들과 상기 컬러 보정을 수행하기 전 상기 입력 이미지들 간의 대비(contrast) 값, 에지 보존(edge preservation) 값 및 색의 포화도에 대한 변화(percentage change in saturation) 값 중 적어도 하나를 포함하는 것을 특징으로 하는 방법.
  3. 제2항에 있어서,
    상기 비교 값이 상기 기설정된 기준값을 만족하지 않는 경우,
    상기 표준편차를 기반으로 상기 입력 이미지들로부터 다음 최적의 레퍼런스 이미지 후보를 선택하는 것을 특징으로 하는 방법.
  4. 제2항에 있어서,
    상기 입력 이미지들로부터 상기 최종 레퍼런스 이미지가 존재하지 않는 경우, 상기 기설정된 기준값을 변경하여 상기 최종 레퍼런스 이미지를 도출하는 것을 특징으로 하는 방법.
  5. 제1항에 있어서,
    상기 최적의 레퍼런스 이미지 후보를 선택하는 단계는,
    상기 입력 이미지들에 대한 기하학적 보정 후 인접한 두 개의 입력 이미지들 간의 중첩 영역 각각에 대한 표준편차를 계산하는 단계;
    상기 표준편차를 기반으로 상기 입력 이미지들 각각에 대한 표준편차 차이값을 계산하는 단계; 및
    상기 표준편차 차이값을 기반으로 상기 최적의 레퍼런스 이미지 후보를 선택하기 위한 상기 입력 이미지들의 적합도를 평가(rank)하는 단계를 포함하는 것을 특징으로 하는 방법.
  6. 제5항에 있어서,
    상기 최적의 레퍼런스 이미지 후보를 선택하는 단계에서는,
    상기 입력 이미지들 각각에 대한 표준편차 차이값 중 최대값을 가지는 입력 이미지를 상기 최적의 레퍼런스 이미지 후보로 선택하는 것을 특징으로 하는 방법.
  7. 제5항에 있어서,
    상기 입력 이미지들의 적합도를 평가하는 단계에서는,
    상기 표준편차 차이값의 내림차순에 따라 상기 입력 이미지들의 적합도 순서가 결정되는 것을 특징으로 하는 방법.
  8. 제1항에 있어서,
    상기 입력 이미지들은 멀티 카메라를 통해 획득된 서로 다른 시점의 이미지들인 것을 특징으로 하는 방법.
  9. 입력 이미지들을 기반으로 파노라마 영상 생성(stitching)시의 컬러 보정을 수행하는 컬러 보정 장치에 있어서,
    상기 입력 이미지들 간의 중첩 영역에 대한 표준편차를 기반으로 상기 입력 이미지들로부터 최적의 레퍼런스 이미지 후보를 선택하는 레퍼런스 이미지 후보 선택 모듈;
    상기 최적의 레퍼런스 이미지 후보를 기반으로 상기 입력 이미지들에 대한 컬러 보정을 수행하는 컬러 보정 모듈; 및
    상기 컬러 보정된 입력 이미지들을 기반으로 상기 최적의 레퍼런스 이미지 후보를 검증(validation)하는 레퍼런스 이미지 후보 검증 모듈을 포함하는 컬러 보정 장치.
  10. 제9항에 있어서,
    상기 레퍼런스 이미지 후보 검증 모듈은,
    상기 컬러 보정된 입력 이미지들과 상기 컬러 보정을 수행하기 전 상기 입력 이미지들 간의 비교 값을 도출하고, 상기 비교 값이 기설정된 기준값(threshold)을 만족하는지 여부에 따라 상기 최적의 레퍼런스 이미지 후보를 최종 레퍼런스 이미지로 결정하며,
    상기 비교 값은,
    상기 컬러 보정된 입력 이미지들과 상기 컬러 보정을 수행하기 전 상기 입력 이미지들 간의 대비(contrast) 값, 에지 보존(edge preservation) 값 및 색의 포화도에 대한 변화(percentage change in saturation) 값 중 적어도 하나를 포함하는 것을 특징으로 하는 컬러 보정 장치.
  11. 제10항에 있어서,
    상기 레퍼런스 이미지 후보 검증 모듈은,
    상기 비교 값이 상기 기설정된 기준값을 만족하지 않는 경우, 상기 표준편차를 기반으로 상기 입력 이미지들로부터 다음 최적의 레퍼런스 이미지 후보를 선택하는 것을 특징으로 하는 컬러 보정 장치.
  12. 제10항에 있어서,
    상기 레퍼런스 이미지 후보 검증 모듈은,
    상기 입력 이미지들로부터 상기 최종 레퍼런스 이미지가 존재하지 않는 경우, 상기 기설정된 기준값을 변경하여 상기 최종 레퍼런스 이미지를 도출하는 것을 특징으로 하는 컬러 보정 장치.
  13. 제9항에 있어서,
    상기 레퍼런스 이미지 후보 선택 모듈은,
    상기 입력 이미지들에 대한 기하학적 보정 후 인접한 두 개의 입력 이미지들 간의 중첩 영역 각각에 대한 표준편차를 계산하고, 상기 표준편차를 기반으로 상기 입력 이미지들 각각에 대한 표준편차 차이값을 계산하고, 상기 표준편차 차이값을 기반으로 상기 최적의 레퍼런스 이미지 후보를 선택하기 위한 상기 입력 이미지들의 적합도를 평가(rank)하는 것을 특징으로 하는 컬러 보정 장치.
  14. 제13항에 있어서,
    상기 레퍼런스 이미지 후보 선택 모듈은,
    상기 입력 이미지들 각각에 대한 표준편차 차이값 중 최대값을 가지는 입력 이미지를 상기 최적의 레퍼런스 이미지 후보로 선택하는 것을 특징으로 하는 컬러 보정 장치.
  15. 제13항에 있어서,
    상기 레퍼런스 이미지 후보 선택 모듈은,
    상기 표준편차 차이값의 내림차순에 따라 상기 입력 이미지들의 적합도 순서를 결정하는 것을 특징으로 하는 컬러 보정 장치.
  16. 제9항에 있어서,
    상기 입력 이미지들은 멀티 카메라를 통해 획득된 서로 다른 시점의 이미지들인 것을 특징으로 하는 컬러 보정 장치.
KR1020130109111A 2012-09-12 2013-09-11 파노라마 생성을 위한 컬러 보정 장치 및 이를 이용한 레퍼런스 이미지 선택 방법 KR20140034703A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/024,877 US20140071228A1 (en) 2012-09-12 2013-09-12 Color correction apparatus for panorama video stitching and method for selecting reference image using the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120100817 2012-09-12
KR20120100817 2012-09-12

Publications (1)

Publication Number Publication Date
KR20140034703A true KR20140034703A (ko) 2014-03-20

Family

ID=50645062

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130109111A KR20140034703A (ko) 2012-09-12 2013-09-11 파노라마 생성을 위한 컬러 보정 장치 및 이를 이용한 레퍼런스 이미지 선택 방법

Country Status (1)

Country Link
KR (1) KR20140034703A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160148635A (ko) * 2014-05-27 2016-12-26 가부시키가이샤 리코 화상 처리 시스템, 촬상 장치, 화상 처리 방법 및 컴퓨터-판독 가능 저장 매체
WO2017125779A1 (en) 2016-01-22 2017-07-27 Videostitch A system for immersive video for segmented capture of a scene

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160148635A (ko) * 2014-05-27 2016-12-26 가부시키가이샤 리코 화상 처리 시스템, 촬상 장치, 화상 처리 방법 및 컴퓨터-판독 가능 저장 매체
US10554880B2 (en) 2014-05-27 2020-02-04 Ricoh Company, Ltd. Image processing system, imaging apparatus, image processing method, and computer-readable storage medium
WO2017125779A1 (en) 2016-01-22 2017-07-27 Videostitch A system for immersive video for segmented capture of a scene

Similar Documents

Publication Publication Date Title
US9251612B2 (en) Optimal dynamic seam adjustment system and method for image stitching
KR100809344B1 (ko) 자동 백색 밸런싱 방법 및 장치
CN106210501B (zh) 图像合成方法与图像处理装置
US10075635B2 (en) Apparatus and method for generating panoramic image based on image quality
KR102170686B1 (ko) 화이트 밸런스 보정 장치 및 방법
KR101742120B1 (ko) 영상 처리 장치 및 방법
US20140071228A1 (en) Color correction apparatus for panorama video stitching and method for selecting reference image using the same
TWI707302B (zh) 用於融合具有重疊視場的第一和第二影像的方法，裝置和相機
US8194978B2 (en) Method of and apparatus for detecting and adjusting colour values of skin tone pixels
US10453188B2 (en) Methods and devices for improving image quality based on synthesized pixel values
JP2011203811A (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び複眼デジタルカメラ
US8861867B2 (en) Reuse of image processing information
CN106851122A (zh) 基于双摄像头系统的自动曝光参数的标定方法和装置
KR102198217B1 (ko) 순람표에 기반한 스티칭 영상 생성 장치 및 방법
JP5735846B2 (ja) 画像処理装置およびその方法
US9767561B2 (en) Method and apparatus for a optimal seam for surround view synthesis
US20130084014A1 (en) Processing method for image interpolation
KR20140034703A (ko) 파노라마 생성을 위한 컬러 보정 장치 및 이를 이용한 레퍼런스 이미지 선택 방법
US20140022338A1 (en) Method for Producing a Panoramic Image on the Basis of a Video Sequence and Implementation Apparatus
CN112200727B (zh) 图像缝合装置、图像处理芯片、及图像缝合方法
JP2017050857A (ja) 画像処理装置、画像処理方法およびプログラム
KR101516963B1 (ko) 유효 영역을 이용한 자동 화이트 밸런스 조정 장치 및 방법
US7834886B2 (en) Methods and apparatus for dynamic correction of data for non-uniformity
KR101373471B1 (ko) 스테레오 영상 보정 장치 및 그 방법
US8400521B2 (en) Electronic camera

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid