KR102015708B1 - 광원 보정을 수행하는 영상 보정 장치 및 방법 - Google Patents

광원 보정을 수행하는 영상 보정 장치 및 방법 Download PDF

Info

Publication number
KR102015708B1
KR102015708B1 KR1020170158842A KR20170158842A KR102015708B1 KR 102015708 B1 KR102015708 B1 KR 102015708B1 KR 1020170158842 A KR1020170158842 A KR 1020170158842A KR 20170158842 A KR20170158842 A KR 20170158842A KR 102015708 B1 KR102015708 B1 KR 102015708B1
Authority
KR
South Korea
Prior art keywords
image
brightness
correction
blood
images
Prior art date
Application number
KR1020170158842A
Other languages
English (en)
Other versions
KR20190060532A (ko
Inventor
경왕준
이기주
김혜경
Original Assignee
주식회사 아이오로라
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이오로라 filed Critical 주식회사 아이오로라
Priority to KR1020170158842A priority Critical patent/KR102015708B1/ko
Publication of KR20190060532A publication Critical patent/KR20190060532A/ko
Application granted granted Critical
Publication of KR102015708B1 publication Critical patent/KR102015708B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/643—Hue control means, e.g. flesh tone control
    • G06T5/009—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

다양한 조명 환경 하에서 일관된 보정 영상을 생성할 수 있는 영상 보정 장치 및 방법이 개시된다. 상기 영상 보정 장치는 입력 영상으로부터 획득된 블러드(blurred) 영상들의 밝기 성분을 이용하여 보정 계수를 산출하기 위해 사용될 밝기 영상을 생성하는 보정 계수 보조부, 상기 생성된 밝기 영상을 상기 블러드 영상들에 적용하여 적어도 하나의 보정 계수를 산출하는 보정 계수 산출부 및 상기 산출된 보정 계수를 상기 입력 영상에 반영하여 보정 영상을 생성하는 보정 수행부를 포함한다.

Description

광원 보정을 수행하는 영상 보정 장치 및 방법{IMAGE COMPENSATING APPARATUS AND METHOD FOR PERFORMING LIGHT SOURCE COMPENSATION}
본 발명은 광원 보정(색 보정 및 톤 보정)을 수행하는 영상 보정 장치 및 방법에 관한 것이다.
일반적으로, 영상 보정 방법은 입력 영상을 태양광 하에서 촬영된 영상과 유사해지도록 보정하며, 대표적으로는 그린을 기준으로 레드 및 블루에 대한 보정 계수를 산출하고, 상기 산출된 보정 계수를 입력 영상에 반영하여 상기 입력 영상을 보정한다.
그러나, 이러한 영상 보정 방법은 인공 조명이 설치된 환경에 적합하지 않았다. 인공 조명이 설치된 환경은 광의 밝기가 환경마다 달라서 일관된 보정 영상을 생성하는데 한계가 있었다.
KR 10-1794993 B
본 발명은 다양한 조명 환경 하에서 일관된 보정 영상을 생성할 수 있는 영상 보정 장치 및 방법을 제공하는 것이다.
상기한 바와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 영상 보정 장치는 입력 영상으로부터 획득된 블러드(blurred) 영상들의 밝기 성분을 이용하여 보정 계수를 산출하기 위해 사용될 밝기 영상을 생성하는 보정 계수 보조부; 상기 생성된 밝기 영상을 상기 블러드 영상들에 적용하여 적어도 하나의 보정 계수를 산출하는 보정 계수 산출부; 및 상기 산출된 보정 계수를 상기 입력 영상에 반영하여 보정 영상을 생성하는 보정 수행부를 포함한다.
본 발명의 다른 실시예에 따른 영상 보정 장치는 입력 영상에 대하여 색 보정을 수행하는 색 보정부; 및 상기 입력 영상에 대하여 톤 보정을 수행하는 톤 보정부를 포함한다. 여기서, 상기 색 보정부는 상기 톤 보정부에 의해 생성된 상기 입력 영상의 밝기 성분을 이용하여 상기 입력 영상에 대하여 색 보정을 수행한다.
본 발명의 또 다른 실시예에 따른 영상 보정 장치는 인공 조명이 설치된 조명 환경 하에서 촬영된 입력 영상의 밝기 성분에 기초하여 채널별 보정 계수를 산출하는 보정 계수 산출부; 및 상기 산출된 채널별 보정 계수를 상기 입력 영상에 반영하여 상기 입력 영상에 대한 보정 영상을 생성하는 보정 수행부를 포함한다.
본 발명의 일 실시예에 따른 포토 합성 장치는 입력 영상에 대하여 색 보정 및 톤 보정을 수행하는 입력 영상 보정부; 및 포토 객체와 상기 보정된 입력 영상을 합성하여 합성 이미지를 출력하는 합성부를 포함한다. 여기서, 상기 입력 영상 보정부는 상기 톤 보정시 생성된 상기 입력 영상의 밝기 성분을 이용하여 상기 입력 영상에 대하여 색 보정을 수행한다.
본 발명의 일 실시예에 따른 영상 보정 방법은 입력 영상으로부터 획득된 블러드(blurred) 영상들의 밝기 성분을 이용하여 보정 계수를 산출하기 위해 사용될 밝기 영상을 생성하는 단계; 상기 생성된 밝기 영상을 상기 블러드 영상들에 적용하여 적어도 하나의 보정 계수를 산출하는 단계; 및 상기 산출된 보정 계수를 상기 입력 영상에 반영하여 보정 영상을 생성하는 단계를 포함한다.
본 발명의 영상 보정 장치 및 방법은 회색계 알고리즘을 이용하여 입력 영상으로부터 블러드 영상들을 획득하고, 상기 획득된 블러드 영상들의 밝기 영상들을 이용하여 대비가 향상된 밝기 영상을 생성하며, 상기 생성된 대비가 향상된 밝기 영상을 기초로 상기 블러드 영상을 위한 보정 계수를 산출하고, 상기 산출된 보정 계수를 상기 입력 영상에 반영하여 상기 입력 영상을 보정한다. 즉, 상기 영상 보정 장치 및 방법은 다양한 조명 환경에 따른 밝기 차이를 고려하여 입력 영상을 보정하며, 따라서 보정 영상은 조명 환경에 상관없이 일관된 밝기를 가질 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 보정 장치를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 보정 과정을 도시한 순서도이다.
도 3은 본 발명의 일 실시예에 따른 블러드 영상을 획득하는 과정에서 사용되는 평균 필터 과정을 도시한 도면이다.
도 4는 입력 영상과 대비가 향상된 결과 영상을 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 가중치에 따른 결과 영상의 채도 변화 그래프를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 포토 합성 장치를 개략적으로 도시한 블록도이다.
도 7은 설치 현장에서 조명 환경을 획득하는 과정을 도시한 도면이다.
도 8은 현장에서 촬영된 영상을 통해 추출된 패치를 도시한 도면이다.
도 9는 룩업 테이블 생성 소프트웨어를 도시한 도면이다.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 발명은 영상 보정 장치 및 방법에 관한 것으로서, 입력 영상(원본 영상, 예를 들어 촬영된 영상)이 태양광 하에서의 영상과 유사해지도록 광원 보정(색 보정 및 톤 보정)을 수행할 수 있다.
특히, 본 발명의 영상 보정 장치 및 방법은 밝기가 다른 인공 조명들 하에서 촬영된 입력 영상들이 유사한 밝기를 가지도록 입력 영상을 보정하는 기술을 제안한다. 인공 조명들의 밝기가 다르고 실내 환경에 따라 동일한 인공 조명이더라도 촬영된 입력 영상의 밝기가 다를 수 있다. 따라서, 본 발명의 영상 보정 장치 및 방법은 이러한 조명 환경을 반영하여 색 보정 및 톤 보정을 수행할 수 있다.
일 실시예에 따르면, 상기 영상 보정 장치 및 방법은 톤 보정시 생성된 입력 영상의 밝기 영상을 이용하여 색 보정을 위한 보정 계수를 산출할 수 있다. 결과적으로, 조명 환경이 다를지라도 상기 톤 보정 및 상기 색 보정이 수행된 영상들은 유사한 밝기를 가질 수 있다.
이러한 영상 보정 방법은 포토 합성 장치에 유용하게 사용될 수 있다. 포토 합성 장치는 촬영된 영상(입력 영상)과 포토 객체를 합성하여 합성 영상을 제공할 수 있다. 이 때, 조명 환경에 따라 입력 영상의 보정 영상이 특히 밝기 측면에서 달라지면, 동일한 포토 합성 장치를 사용한 합성 영상이더라도 보정 영상이 다를 수밖에 없다. 또한, 상기 입력 영상이 포토 객체와 색 불일치가 발생할 수 있다.
상기 포토 합성 장치에 본 발명의 영상 보정 방법을 적용하면, 상기 입력 영상의 보정 영상의 밝기가 조명 환경에 관계없이 유사해지므로, 상기 포토 합성 장치는 일관된 합성 영상을 제공할 수 있고 포토 객체와 색을 일치시킬 수 있다.
예를 들어, 포토 합성 장치가 영화 티켓 발권기인 경우, 상기 포토 합성 장치는 내부에 설치된 카메라로 전면의 관람객을 촬영하여 입력 영상을 획득하고, 상기 입력 영상에 대하여 본 발명의 영상 보정 방법을 반영하여 보정 영상을 획득하며, 상기 획득된 보정 영상과 포토 객체(관람할 영화에 나오는 주인공 캐릭터 등)를 합성하여 합성 영상을 생성하고, 상기 합성 영상을 포함하는 영화 티켓을 출력시킬 수 있다. 이 경우, 본 발명의 영상 보정 방법이 적용되었으므로,상기 영화 티켓은 포토 합성 장치가 설치되는 환경이 다르더라도 일정한 밝기를 가지고 출력될 수 있고 상기 보정 영상이 상기 포토 객체와 색이 일치될 수 있다.
이하, 본 발명의 다양한 실시예들을 첨부된 도면을 참조하여 상술하겠다.
도 1은 본 발명의 일 실시예에 따른 영상 보정 장치를 도시한 도면이고, 도 2는 본 발명의 일 실시예에 따른 영상 보정 과정을 도시한 순서도이고, 도 3은 본 발명의 일 실시예에 따른 블러드 영상을 획득하는 과정에서 사용되는 평균 필터 과정을 도시한 도면이다. 도 4는 입력 영상과 대비가 향상된 결과 영상을 도시한 도면이고, 도 5는 본 발명의 일 실시예에 따른 가중치에 따른 결과 영상의 채도 변화 그래프를 도시한 도면이다.
도 1을 참조하면, 본 실시예의 영상 보정 장치는 색 보정부(100) 및 톤 보정부(102)를 포함하며, 다중 크기의 회색계 알고리즘을 사용할 수 있다. 상기 회색계 알고리즘은 각 채널 평균이 회색이라는 가정을 기반으로 한다.
색 보정부(100)는 블러드 영상 획득부(120), 보정 계수 산출부(122), 보정 계수 합산부(124) 및 색 보정 수행부(126)를 포함한다.
톤 보정부(102)는 밝기 영상 획득부(130), 톤 보정 수행부(132) 및 필터링부(134)를 포함한다. 여기서, 필터링부(134)는 생략될 수 있다. 또한, 톤 보정부(102)는 후술하는 바와 같이 보정 계수를 구하기 위한 통합된 밝기 영상을 생성한다는 점에서 보정 계수 보조부로 명명될 수도 있다.
이하, 전체적인 영상 보정 과정을 살펴본 후 영상 보정 장치의 구성요소들의 동작을 상술하겠다.
우선, 전체적인 영상 보정 과정을 도 1 및 도 2를 참조하여 살펴보겠다.
도 1 및 도 2를 참조하면, 블러드 영상 획득부(120)는 입력 영상(110)에 대하여 다중 크기의 평균 필터들을 적용(회색계 알고리즘)하여 블러드 영상들, 즉 흐려진 영상들을 획득한다(S200). 여기서, 다중 크기의 평균 필터들은 전역적 색 보정뿐만 아니라 지역적 색 보정을 수행하기 위해서 사용된다.
예를 들어, 블러드 영상 획득부(120)는 채널 i에 대하여 k개의 평균 필터들, 예를 들어 3개의 평균 필터들[(9×9) 사이즈의 평균 필터, (35×35) 사이즈의 평균 필터 및 상기 입력 영상(110)의 전체 사이즈의 평균 필터]을 사용하여 입력 영상(110)으로부터 블러드 영상들(blurred images, 112)을 획득할 수 있으며, 즉 RGB 채널별 블러드 영상들(112)을 획득할 수 있다. 입력 영상(110)의 전체 사이즈의 평균 필터는 전역적 색 보정을 위한 필터이며, (9×9) 사이즈의 평균 필터 및 (35×35) 사이즈의 평균 필터는 지역적 색 보정을 위한 필터이다.
(9×9) 사이즈의 평균 필터를 사용한 평균 필터링 과정을 살펴보면, (9×9) 사이즈의 평균 필터는 도 3에 도시된 바와 같이 특정 픽셀(200) 및 그 주변 픽셀들을 포함하여 (9×9) 픽셀들을 선택하고, 상기 선택된 (9×9) 픽셀들의 밝기 평균을 구하며, 상기 구해진 밝기 평균을 특정 픽셀(200)의 값으로 대체한다. 위와 같은 방식이 입력 영상(110)의 모든 픽셀들에 적용되며, 그 결과 제 1 블러드 영상(112-1)이 생성된다. 제 1 블러드 영상(112-1)은 밝기 평균을 이용하기 때문에 입력 영상(110)에 비하여 흐려질 수밖에 없다.
이러한 방식으로, (35×35) 사이의 평균 필터가 적용된 제 2 블러드 영상(112-2) 및 입력 영상(110)의 전체 사이즈의 평균 필터가 적용된 제 3 블러드 영상(112-3)이 생성될 수 있다. 여기서, 제 3 블러드 영상(112-3)의 모든 픽셀들은 동일한 밝기를 가지게 된다.
물론, 평균 필터들의 사이즈는 (9×9), (35×35) 및 전체 사이즈로 한정되지는 않고 평균 필터들의 개수도 3개로 한정되지 않으며, 즉 지역적 색 보정 및 전역적 색 보정을 할 수 있는 한 평균 필터의 사이즈 및 개수는 다양하게 변형될 수 있다.
이렇게 구해진 블러드 영상(112)은 하기 수학식 1과 같이 표현될 수 있다.
Figure 112017117602436-pat00001
이어서, 보정 계수 산출부(122)는 블러드 영상들(112)에 대하여 각 픽셀(화소)에 대한 보정 계수를 계산한다(S202 내지 S206).
구체적으로는, 밝기 영상 획득부(130)는 블러드 영상들(112)의 밝기 성분을 추출하여 밝기로 구성된 밝기 영상들을 생성한다(S202). 3개의 블러드 영상(112)이 존재하면, 3개의 밝기 영상들이 생성될 수 있다.
계속하여, 톤 보정 수행부(132)는 입력 영상(110)의 밝기 채널(밝기 채널 영상)과 블러드 영상(112)의 밝기 채널 정보(밝기 영상)를 이용해 대비가 향상된 밝기 영상(L' k(x,y))을 획득할 수 있다. 이 때, 다중 크기 retinex 알고리즘이 적용될 수 있고, 입력 영상(110)의 밝기 채널 영상은 RGB 값을 YCbCr로 변환하여 Y 채널 값을 사용하였다.
상세하게는, 톤 보정 수행부(132)는 블러드 영상들(112)로부터 생성된 밝기 영상들을 합하여 통합된 밝기 영상(Lsum(x,y))을 생성할 수 있다(S204). 일 실시예에 따르면, 톤 보정 수행부(132)는 상기 밝기 영상들을 합할 때 하기 수학식 2와 같이 가중치를 적용할 수 있다. 여기서, 가중치들의 합은 1이다.
Figure 112017117602436-pat00002
여기서, Lk는 블러드 영상(112)의 밝기 성분(밝기 영상)을 나타내고, ρk는 통합된 다중 크기 retinex 알고리즘의 설정값일 수 있다.
즉, 톤 보정 수행부(132)는 블러드 영상들(112)의 밝기 영상들에 가중치를 적용하여 합하여 상기 통합된 밝기 영상을 생성한다.
계속하여, 톤 보정 수행부(132)는 통합된 밝기 영상(Lsum(x,y))과 스케일 k에 따른 블러드 영상(112)의 밝기 성분(Lin,k(x,y))을 하기 수학식 3과 같이 적용하여 최종적으로 대비가 향상된 밝기 영상(L' k(x,y))을 생성할 수 있다. 즉, 톤 보정 수행부(132)는 각 블러드 영상(112)에 대응하는 대비가 향상된 밝기 영상(L' k(x,y))을 생성할 수 있다.
Figure 112017117602436-pat00003
여기서, α는 밝기 영상의 대비 향상 정도를 결정하는 변수이다.
α를 통합된 다중 크기 retinex 알고리즘에서 제안한 0.8을 사용한 경우, 입력 영상(110)의 밝기 채널 영상(도 4(a))에 비하여 대비가 향상된 밝기 영상(도 4(b))이 밝기가 향상되었음을 도 4로부터 확인할 수 있다.
일 실시예에 따르면, 톤 보정 수행부(132)에 의해 대비가 향상된 밝기 영상(L' k(x,y))은 색 보정 계수를 산출하기 위하여 사용될 수 있다. 일반적인 회색계 알고리즘을 적용하면 R 채널과 B 채널에 대한 보정 계수는 하기 수학식 4와 같은 방법으로 산출되나, 본 발명의 영상 보정 방법은 하기 수학식 5에 보여지는 바와 같이 대비가 향상된 밝기 영상(L' k(x,y))을 이용하여 채널별 각 블러드 영상(112)을 위한 보정 계수를 산출할 수 있다(S206).
Figure 112017117602436-pat00004
Figure 112017117602436-pat00005
수학식 4를 참조하면, 일반적인 회색계 알고리즘에서는 한 화소에 대하여 G 채널을 기준으로 하여 R 채널 및 B 채널의 보정 계수를 산출한다. 이는 G 채널이 태양광의 그린색에 가장 유사하기 때문이다.
반면에, 본 발명의 영상 보정 방법은 수학식 5에서 알 수 있는 바와 같이 블러드 영상들(110)의 밝기 영상들의 통합된 밝기 영상을 블러드 영상(110)의 밝기 영상에 반영하여 획득된 대비가 향상된 밝기 영상(L' k(x,y))을 기준으로 하여 각 블러드 영상들(110)의 채널별 보정 계수를 산출한다. 결과적으로, 상기 영상 보정 방법은 조명 환경이 다를 지라도 유사한 밝기는 가지는 보정 영상을 생성할 수 있다.
계속하여, 보정 계수 합산부(124)는 수학식 5에 의해 산출된 보정 계수들에 가중치(ω)를 주어 하기 수학식 6에 보여지는 바와 같이 채널별 통합된 보정 계수(CRsum,i(x,y))를 산출할 수 있다(S208). 여기서, 가중치들의 합은 1이며, 주관적인 실험을 통해 최적의 값이 산출될 수 있다.
최적의 가중치를 결정하기 위하여, k를 3으로 사용하고 가중치(ωk)의 조합은 0.1 단위로 하여 36개의 영상을 사용하였다. 각각의 가중치에 대하여 영상의 특징을 분석하기 위하여 가중치에 따른 영상의 평균 채도 변화를 계산하였으며, 이는 도 5에서 보여진다. 도 5에서, 1번 영상은 ω1=0.1, ω2=0.1, ω3=0.8이며, 마지막 36번째 영상은 ω1=0.1, ω2=0.8, ω3=0.1이다. 즉, 가로축의 숫자가 커질수록 ω1의 가중치가 증가한다. ω1 가중치는 영상의 지역적 색 보정 비중을 말하며, 회색계 알고리즘 특성으로 인하여 지역적 가중치가 높아질수록 영상은 회색으로 되어 채도가 점차 낮아진다. 이에 본 발명의 영상 보정 방법은 붉은 원으로 표시한 것과 같이 각각의 ω1이 바뀌는 가장 높은 채도를 가지는 영상들을 후보군으로 정하고 주관적 평가 실험을 통하여 가장 적절한 가중치를 결정할 수 있다.
Figure 112017117602436-pat00006
이어서, 색 보정 수행부(126)는 하기 수학식 7에 보여지는 바와 같이 채널별 통합된 보정 계수(CRsum,i(x,y))를 입력 영상(110)에 반영하여 보정된 영상(보정 영상)을 생성할 수 있다(S210).
Figure 112017117602436-pat00007
정리하면, 본 발명의 영상 보정 방법은 블러드 영상들(112)로부터 획득된 밝기 영상들을 통합하여 생성된 통합된 밝기 영상(Lsum(x,y))과 스케일 k에 따른 블러드 영상(112)의 밝기 성분(Lin,k(x,y))을 적용하여 생성된 대비가 향상된 밝기 영상(L' k(x,y))을 기준으로 블러드 영상(112)별로 보정 계수를 산출하고, 상기 산출된 보정 계수들을 합하여 통합된 보정 계수를 산출하며, 상기 산출된 보정 계수를 입력 영상(110)에 반영하여 보정 영상을 생성할 수 있다. 결과적으로, 입력 영상(110)의 색도 및 대비가 향상될 수 있다.
이하, 이러한 영상 보정 방법을 사용하는 영상 보정 장치의 구성요소들의 동작을 살펴보겠다.
우선, 색 보정부(100)의 구성요소들의 동작을 살펴보겠다.
블러드 영상 획득부(120)는 전역적 색 보정뿐만 아니라 지역적 색 보정을 수행하기 위하여 다중 크기의 평균 필터들(120)을 사용하여, 즉 회색계 알고리즘을 적용하여 입력 영상(110)에 대한 블러드 영상들(112), 즉 흐려진 영상들을 생성할 수 있다.
보정 계수 산출부(122)는 각 블러드 영상(112)에 대한 채널별 보정 계수를 산출한다. 일 실시예에 따르면, 보정 계수 산출부(122)는 톤 보정시 생성된 대비가 향상된 밝기 영상(L' k(x,y))을 기준으로 각 블러드 영상(112)을 위한 보정 계수를 산출할 수 있다.
보정 계수 합산부(124)는 블러드 영상들(112)을 위한 보정 계수들에 가중치를 적용하여 합산하여 채널별 통합된 보정 계수를 산출한다.
색 보정 수행부(126)는 상기 산출된 통합된 보정 계수를 입력 영상에 적용하여 색 보정이 수행된 최종 보정 영상을 생성한다.
다음으로, 톤 보정부(102)의 동작을 살펴보겠다.
밝기 영상 획득부(130)는 색 보정부(100)의 블러드 영상 획득부(120)에 의해 획득된 블러드 영상들(112)로부터 밝기 채널 정보들(밝기 영상들)을 생성한다.
톤 보정 수행부(보정 계수 보조부, 132)는 다중 크기 retinex 알고리즘을 이용하여 밝기 영상들에 가중치를 적용하여 합산하여 통합된 밝기 영상을 생성하며, 상기 생성된 통합된 밝기 영상과 스케일 k에 따른 블러드 영상(112)의 밝기 성분을 이용하여 대비가 향상된 밝기 영상을 생성한다. 이렇게 생성된 대비가 향상된 밝기 영상은 보정 계수를 구하기 위하여 사용될 수 있다.
보정 계수 산출부(122)는 상기 대비가 향상된 밝기 영상을 기준으로 각 블러드 영상(112)을 위한 채널별 보정 계수를 산출할 수 있다.
도 6은 본 발명의 일 실시예에 따른 포토 합성 장치를 개략적으로 도시한 블록도이고, 도 7은 설치 현장에서 조명 환경을 획득하는 과정을 도시한 도면이다. 도 8은 현장에서 촬영된 영상을 통해 추출된 패치를 도시한 도면이고, 도 9는 룩업 테이블 생성 소프트웨어를 도시한 도면이다.
도 6을 참조하면, 본 실시예의 포토 합성 장치는 위에서 설명한 영상 보정 방법을 사용하며, 제어부(600), 촬영부(602), 입력 영상 보정부(604), 포토 객체부(606), 룩업 테이블부(608), 합성부(610) 및 저장부(612)를 포함할 수 있다. 물론, 상기 포토 합성 장치는 외부 기기와의 통신 기능을 수행하는 통신부도 더 포함할 수 있다.
촬영부(602)는 인공 조명이 설치된 조명 환경 등에서 촬영하여 입력 영상을 획득한다.
입력 영상 보정부(604)는 입력 영상에 대하여 색 보정 및 톤 보정을 수행하여 보정 영상을 생성한다. 이러한 입력 영상 보정부(604)는 도 1의 영상 보정 장치에 대응하며, 위에서 상술한 영상 보정 방법을 사용한다.
포토 객체부(606)는 포토 객체를 관리하며, 특히 룩업 테이블부(608)에서 제공된 RGB와 색도 값을 이용함에 생성된 값을 반영하여 포토 객체를 보정한다.
구체적으로는, 상기 포토 객체는 다양한 현장의 조명 환경을 반영하지 못하는 경우, 실제 촬영한 사용자와의 white balance가 맞지 않아서 이질감이 발생할 수 있다. 따라서, 다양한 현장의 조명 환경을 반영할 수 있는 방법이 필요하다.
현장에서 촬영하면, 도 7에 도시된 바와 같이 현장마다 조명의 색상이 다르다. 이에 촬영된 영상에 white balance 차트의 화소값을 적용하여 현장의 조명색을 추출한다. 이러한 조명색 추정을 위해 하기 수학식 8에서 보여지는 바와 같이 계산적 이미지 모델을 기반으로 하는 회색계 가정을 사용한다.
Figure 112017117602436-pat00008
Figure 112017117602436-pat00009
여기서, Rmean, Gmean 및 Bmean은 패치 영역의 RGB 값을 나타낸다.
이어서, G 채널을 기준으로 한 각 R, B의 비율로서 현재 조명 환경의 색도 값을 추정한다.
도 8은 패치를 잘라낸 영상이며, 각 패치에 대한 RGB 및 색도 값은 하기 표 1에 보여진다.
R G B
Figure 112017117602436-pat00010
Figure 112017117602436-pat00011
Figure 112017117602436-pat00012
Patch1 254.35 206.25 97.46 1.233 1.000 0.473
Patch2 202.59 158.55 177.64 1.278 1.000 1.120
계속하여, 영상의 실시간 변환을 위하여 하기 수학식 9에 보여지는 바와 같이 상기 RGB 및 색도 값을 반영한 값을 저장한 3D 룩업 테이블을 생성한다.
Figure 112017117602436-pat00013
Figure 112017117602436-pat00014
Figure 112017117602436-pat00015
룩업 테이블 내의 값을 살펴보면, R과 B에 추정한 색도 비율의 가중치가 적용되었음을 알 수 있다. 룩업 테이블은 모든 RGB 조합에 대한 결과 값을 미리 결정한다.
일 실시예에 따르면, 이러한 룩업 테이블은 도 9에 도시된 바와 같이 별도의 소프트웨어를 통하여 용이하게 생성될 수 있다.
룩업 테이블부(608)은 상기 소프트웨어를 통하여 현장에서 생성된 룩업 테이블을 관리할 수 있다.
합성부(610)는 상기 보정된 포토 객체와 상기 보정된 입력 영상을 합성하여 합성 이미지를 출력한다. 일 실시예에 따르면, 상기 합성 이미지는 영화 티켓 등에 포함되어 출력될 수 있다.
저장부(612)는 상기 포토 합성 장치의 다양한 데이터 및 소프트웨어를 저장할 수 있다.
제어부(600)는 상기 포토 합성 장치의 구성요소들의 동작을 전반적으로 제어한다.
한편, 전술된 실시예의 구성 요소는 프로세스적인 관점에서 용이하게 파악될 수 있다. 즉, 각각의 구성 요소는 각각의 프로세스로 파악될 수 있다. 또한 전술된 실시예의 프로세스는 장치의 구성 요소 관점에서 용이하게 파악될 수 있다.
또한 앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.
100 : 색 보정부 102 : 톤 보정부
110 : 입력 영상 112 : 블러드 영상
114 : 보정 영상 120 : 블러드 영상 획득부
122 : 보정 계수 산출부 124 : 보정 계수 합산부
126 : 색 보정 수행부 130 : 밝기 영상 획득부
132 : 톤 보정 수행부(보정 계수 보조부)

Claims (11)

  1. 입력 영상으로부터 획득된 블러드(blurred) 영상들의 밝기 성분을 이용하여 보정 계수를 산출하기 위해 사용될 밝기 영상을 생성하는 보정 계수 보조부;
    상기 생성된 밝기 영상을 상기 블러드 영상들에 적용하여 적어도 하나의 보정 계수를 산출하는 보정 계수 산출부; 및
    상기 산출된 보정 계수를 상기 입력 영상에 반영하여 보정 영상을 생성하는 보정 수행부를 포함하되,
    상기 보정 계수 보조부는 톤 보정시 상기 획득된 블러드 영상들의 밝기 성분으로 이루어진 밝기 영상들을 이용하여 통합된 밝기 영상을 산출하고, 상기 산출된 통합된 밝기 영상과 상기 블러드 영상들의 밝기 성분을 이용하여 대비가 향상된 밝기 영상을 생성하며,
    상기 보정 계수 산출부는 색 보정시 상기 생성된 대비가 향상된 밝기 영상을 상기 블러드 영상들에 적용하여 상기 블러드 영상들을 위한 채널별 보정 계수들을 산출하는 것을 특징으로 하는 영상 보정 장치.
  2. 제1항에 있어서,
    상기 입력 영상으로부터 블러드 영상들을 획득하는 블러드 영상 획득부; 및
    상기 산출된 보정 계수들에 가중치를 적용하여 합산하여 통합된 보정 계수를 산출하는 보정 계수 합산부를 더 포함하되,
    상기 보정 계수 보조부는 상기 획득된 블러드 영상들의 밝기 성분으로 이루어진 밝기 영상들을 가중치 적용하여 합하여 통합된 밝기 영상을 산출하고, 상기 산출된 통합된 밝기 영상과 각 블러드 영상의 밝기 성분을 이용하여 대비가 향상된 밝기 영상을 생성하며,
    상기 보정 계수 산출부는 상기 생성된 대비가 향상된 밝기 영상을 상기 블러드 영상들에 적용하여 각 블러드 영상들을 위한 채널별 보정 계수들을 산출하고, 상기 산출된 보정 계수들에 가중치를 적용하여 합산하여 각 블러드 영상들을 위한 채널별 통합된 보정 계수를 산출하며,
    상기 보정 수행부는 상기 산출된 통합된 보정 계수를 상기 입력 영상에 반영하여 상기 보정 영상을 생성하는 것을 특징으로 하는 영상 보정 장치.
  3. 제2항에 있어서, 상기 블러드 영상 획득부는 전역적 또는 지역적 색 보정을 위하여 상기 입력 영상에 다른 크기의 평균 필터들을 적용하여 상기 블러드 영상들을 획득하되,
    상기 보정 계수 보조부는 상기 통합된 밝기 영상을 이용하여 상기 입력 영상을 톤 보정하는 것을 특징으로 하는 영상 보정 장치.
  4. 입력 영상에 대하여 색 보정을 수행하는 색 보정부; 및
    상기 입력 영상에 대하여 톤 보정을 수행하는 톤 보정부를 포함하되,
    상기 색 보정부는 상기 톤 보정부에 의해 생성된 상기 입력 영상의 밝기 성분을 이용하여 상기 입력 영상에 대하여 색 보정을 수행하며,
    상기 톤 보정부는 상기 색 보정부에 의해 상기 입력 영상으로부터 획득된 블러드 영상들을 이용하여 대비가 향상된 밝기 영상을 생성하고, 상기 색 보정부는 상기 생성된 대비가 향상된 밝기 영상을 이용하여 상기 입력 영상에 대하여 색 보정을 수행하는 것을 특징으로 하는 영상 보정 장치.
  5. 제4항에 있어서, 상기 색 보정부는 회색계 알고리즘을 이용하여 상기 입력 영상으로부터 블러드 영상들을 획득하며, 상기 톤 보정부는 상기 획득된 블러드 영상들의 밝기 성분들로 이루어진 밝기 영상들을 가중치 적용하여 합하여 통합된 밝기 영상을 생성하고 상기 생성된 통합된 영상과 상기 블러드 영상들의 밝기 성분을 이용하여 대비가 향상된 밝기 영상을 생성하되,
    상기 색 보정부는 상기 대비가 향상된 밝기 영상을 상기 블러드 영상들에 반영하여 보정 계수들을 산출하고, 상기 산출된 보정 계수들에 가중치를 적용하여 합하여 통합된 보정 계수를 산출하며, 상기 산출된 통합된 보정 계수를 상기 입력 영상에 반영하여 보정된 영상을 생성하는 것을 특징으로 하는 영상 보정 장치.
  6. 삭제
  7. 삭제
  8. 입력 영상에 대하여 색 보정 및 톤 보정을 수행하는 입력 영상 보정부; 및
    포토 객체와 상기 보정된 입력 영상을 합성하여 합성 이미지를 출력하는 합성부를 포함하되,
    상기 입력 영상 보정부는 상기 톤 보정시 생성된 대비가 향상된 밝기 영상을 이용하여 상기 입력 영상에 대하여 색 보정을 수행하며,
    상기 입력 영상 보정부는 상기 입력 영상으로부터 획득된 블러드 영상들을 이용하여 상기 대비가 향상된 밝기 영상을 생성하는 것을 특징으로 하는 포토 합성 장치.
  9. 삭제
  10. 입력 영상으로부터 획득된 블러드(blurred) 영상들의 밝기 성분을 이용하여 보정 계수를 산출하기 위해 사용될 밝기 영상을 생성하는 단계;
    상기 생성된 밝기 영상을 상기 블러드 영상들에 적용하여 적어도 하나의 보정 계수를 산출하는 단계; 및
    상기 산출된 보정 계수를 상기 입력 영상에 반영하여 보정 영상을 생성하는 단계를 포함하되,
    톤 보정시 상기 획득된 블러드 영상들의 밝기 성분으로 이루어진 밝기 영상들을 이용하여 통합된 밝기 영상이 산출되고, 상기 산출된 통합된 밝기 영상과 각 블러드 영상의 밝기 성분을 이용하여 대비가 향상된 밝기 영상이 생성되며,
    색 보정시 상기 생성된 대비가 향상된 밝기 영상을 상기 블러드 영상들에 적용하여 상기 블러드 영상들을 위한 채널별 보정 계수들이 산출되는 것을 특징으로 하는 영상 보정 방법.
  11. 제10항에 있어서,
    상기 입력 영상으로부터 블러드 영상들을 획득하는 단계; 및
    상기 산출된 보정 계수들에 가중치를 적용하여 합산하여 통합된 보정 계수를 산출하는 단계를 더 포함하되,
    상기 획득된 블러드 영상들의 밝기 성분으로 이루어진 밝기 영상들을 가중치 적용하여 합하여 통합된 밝기 영상이 산출되고, 상기 산출된 통합된 밝기 영상과 각 블러드 영상의 밝기 성분을 이용하여 대비가 향상된 밝기 영상이 생성되며, 상기 생성된 대비가 향상된 밝기 영상을 상기 블러드 영상들에 적용하여 각 블러드 영상들을 위한 채널별 보정 계수들이 산출되고, 상기 산출된 보정 계수들에 가중치를 적용하여 합산하여 각 블러드 영상들을 위한 채널별 통합된 보정 계수가 산출되며, 상기 산출된 통합된 보정 계수를 상기 입력 영상에 반영함에 의해 상기 보정 영상이 생성되는 것을 특징으로 하는 영상 보정 방법.


KR1020170158842A 2017-11-24 2017-11-24 광원 보정을 수행하는 영상 보정 장치 및 방법 KR102015708B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170158842A KR102015708B1 (ko) 2017-11-24 2017-11-24 광원 보정을 수행하는 영상 보정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170158842A KR102015708B1 (ko) 2017-11-24 2017-11-24 광원 보정을 수행하는 영상 보정 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190060532A KR20190060532A (ko) 2019-06-03
KR102015708B1 true KR102015708B1 (ko) 2019-08-28

Family

ID=66849513

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170158842A KR102015708B1 (ko) 2017-11-24 2017-11-24 광원 보정을 수행하는 영상 보정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102015708B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015075794A (ja) 2013-10-04 2015-04-20 富士ゼロックス株式会社 画像処理装置及びプログラム
KR101663042B1 (ko) 2015-06-10 2016-10-07 주식회사 아이오로라 포토 합성 장치

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100771158B1 (ko) * 2005-10-07 2007-10-29 삼성전자주식회사 칼라 영상의 화질 향상을 위한 방법 및 시스템
KR101242070B1 (ko) * 2011-07-04 2013-03-11 경북대학교 산학협력단 변형된 영상 생성 모델을 이용한 컬러 영상 보정방법
KR101241347B1 (ko) * 2011-08-19 2013-03-11 전남대학교산학협력단 휘도 및 조명마스크의 밝기에 따른 가중치를 이용한 영상의 콘트라스트 보정 장치 및 방법
KR101462440B1 (ko) * 2013-03-07 2014-11-18 경북대학교 산학협력단 색 보정 장치 및 색 보정 방법
CN103236040B (zh) * 2013-04-19 2016-03-30 华为技术有限公司 一种色彩增强方法及装置
KR101794993B1 (ko) 2016-09-26 2017-11-07 현대오트론 주식회사 영상 왜곡 보정 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015075794A (ja) 2013-10-04 2015-04-20 富士ゼロックス株式会社 画像処理装置及びプログラム
KR101663042B1 (ko) 2015-06-10 2016-10-07 주식회사 아이오로라 포토 합성 장치

Also Published As

Publication number Publication date
KR20190060532A (ko) 2019-06-03

Similar Documents

Publication Publication Date Title
US11158032B2 (en) Perceptually preserving scene-referred contrasts and chromaticities
US10171786B2 (en) Lens shading modulation
JP6058183B2 (ja) 高ダイナミックレンジ画像のエンコード、デコードおよび表現のための方法、装置および媒体
RU2335017C2 (ru) Система и способ для генерации изображения с расширенным динамическим диапазоном из множества экспозиций движущейся сцены
KR101051604B1 (ko) 화상 처리 장치 및 방법
JP5806682B2 (ja) 高ダイナミック・レンジ画像の発生およびレンダリング
KR101388130B1 (ko) 화상처리장치 및 화상처리방법
JP5743696B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN110378859A (zh) 一种新的高动态范围图像生成方法
JP7084984B2 (ja) トーンカーブ最適化方法および関連するビデオエンコーダとビデオデコーダ
JP2006345509A (ja) 画像処理方法及び装置
CN111294575B (zh) 图像处理方法、装置、电子设备及存储介质
JP2017103569A (ja) 画像処理装置および画像処理方法
US7508993B2 (en) System and process for automatic exposure correction in an image
JP6600216B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP2007506321A (ja) ピクセルごとに差分的に準規則的にデジタルイメージを修正するための方法およびシステム
KR102644946B1 (ko) 영상 처리 방법 및 장치
JP2005130484A (ja) 階調補正装置、および階調補正プログラム
US7532359B2 (en) System and process for automatic color and exposure correction in an image
JP2006005699A (ja) 画像処理装置、画像処理プログラム、電子カメラ、および画像処理方法
WO2018175337A1 (en) Perceptually preserving scene-referred contrasts and chromaticities
KR102015708B1 (ko) 광원 보정을 수행하는 영상 보정 장치 및 방법
JP5932392B2 (ja) 画像処理装置および画像処理方法
JP6946966B2 (ja) 画像生成装置及び方法
JP5365881B2 (ja) 画像処理装置、画像処理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right