KR101770977B1 - 고해상도 컬러 영상 생성 장치 및 방법 - Google Patents

고해상도 컬러 영상 생성 장치 및 방법 Download PDF

Info

Publication number
KR101770977B1
KR101770977B1 KR1020160064539A KR20160064539A KR101770977B1 KR 101770977 B1 KR101770977 B1 KR 101770977B1 KR 1020160064539 A KR1020160064539 A KR 1020160064539A KR 20160064539 A KR20160064539 A KR 20160064539A KR 101770977 B1 KR101770977 B1 KR 101770977B1
Authority
KR
South Korea
Prior art keywords
information
pixel
brightness
image
texture
Prior art date
Application number
KR1020160064539A
Other languages
English (en)
Inventor
강문기
지승훈
김민섭
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Application granted granted Critical
Publication of KR101770977B1 publication Critical patent/KR101770977B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G06T5/002—
    • G06T5/003—
    • G06T5/005—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)

Abstract

본 발명은 밝기 정보와 W 화소에서 각각 분리된 텍스처 정보와 스무드 영상 정보를 독립적으로 융합하여 RGBW 영상을 생성하는 고해상도 컬러 영상 생성 장치 및 방법을 제안한다. 본 발명에 따른 장치는 미리 정해진 색상들과 관련된 제1 화소 정보들로부터 밝기 성분과 색상 성분을 획득하는 제1 정보 획득부; 밝기 성분으로부터 텍스처 정보와 지역적 밝기 정보를 획득하는 제2 정보 획득부; 미리 정해진 색상들과 다른 색상과 관련된 제2 화소 정보와 지역적 밝기 정보를 융합하여 밝기 융합 정보를 생성하는 정보 융합부; 및 밝기 융합 정보, 텍스처 정보 및 색상 성분을 기초로 제1 화소 정보들과 제2 화소 정보가 융합된 융합 영상을 생성하는 융합 영상 생성부를 포함한다.

Description

고해상도 컬러 영상 생성 장치 및 방법 {Apparatus and method for generating color image with high resolution}
본 발명은 고해상도의 컬러 영상을 생성하는 장치 및 방법에 관한 것이다. 보다 상세하게는, RGB 화소와 W 화소가 융합된 고해상도의 컬러 영상을 생성하는 장치 및 방법에 관한 것이다.
RGB와 W 간 융합 방식 중 일반적으로 공개된 방식은 선형 회귀 기반 RGB+W 화소 정보 융합 방식이다. 이 융합 방식은 선형 회귀 방식에 기반하여 W를 RGB로 맵핑하는 방식을 말한다. 선형 회귀 방식이란, 지역적 화소 집단에서 R, G, B, W 각각의 화소 정보 간 선형성을 가정하여 상관관계가 있다는 이론이다. 1차 함수에 기반하여 상관성을 위한 기울기 및 오프셋(Offset) 두 가지의 변수를 추정하게 되고, 이 변수를 통해 이론상 화소 집단 간 변환이 가능하게 된다. 가장 고밀도인 W 화소는 디모자이크 결과 가장 고해상도 및 고감도 정보를 갖게 되고, RGB로 맵핑을 위한 기본 화소가 된다. 선형 회귀 방식의 정확도를 높이기 위해 지역적 화소 집단의 선정이 가장 중요한 요소가 된다.
지역적 화소 집단의 선정을 위한 마스킹 과정은 특별한 기준 없이 일괄적으로 얻게 되어 영상의 지역적 특성을 반영할 수 없다. 이로 인해 마스킹 내부에 포함되는 화소 집단의 특성이 선형성을 갖기 어려우며, 파라미터 추정에 오류가 발생하게 된다. W 화소로부터 맵핑되는 과정의 밝기 정보가 바뀌거나 영상 내 정물의 경계에서 발생하는 오류인 후광 효과(Halo artifact) 및 색상 오류가 발생하게 된다. 또한 국소 지역의 정물이 무시되어 RGB 간 색차의 감소로 채도 저하 문제가 발생한다.
선형 회귀 기반의 융합 방법은 위의 오류들로 W 해상도를 온전히 반영하기 어렵고, 색상 오류 현상을 억제하는 데에도 아직 한계점이 있다.
한국공개특허 제2014-0122119호 "영상 처리 장치 및 그 방법"
본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로서, 밝기 정보와 W 화소에서 각각 분리된 텍스처 정보와 스무드 영상 정보를 독립적으로 융합하여 RGBW 영상을 생성하는 고해상도 컬러 영상 생성 장치 및 방법을 제안하는 것을 목적으로 한다.
그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명은 상기한 목적을 달성하기 위해 안출된 것으로서, 미리 정해진 색상들과 관련된 제1 화소 정보들로부터 밝기 성분과 색상 성분을 획득하는 제1 정보 획득부; 상기 밝기 성분으로부터 텍스처 정보와 지역적 밝기 정보를 획득하는 제2 정보 획득부; 상기 미리 정해진 색상들과 다른 색상과 관련된 제2 화소 정보와 상기 지역적 밝기 정보를 융합하여 밝기 융합 정보를 생성하는 정보 융합부; 및 상기 밝기 융합 정보, 상기 텍스처 정보 및 상기 색상 성분을 기초로 상기 제1 화소 정보들과 상기 제2 화소 정보가 융합된 융합 영상을 생성하는 융합 영상 생성부를 포함하는 것을 특징으로 하는 고해상도 컬러 영상 생성 장치를 제안한다.
바람직하게는, 상기 제2 정보 획득부는 상기 제2 화소 정보를 기초로 상기 밝기 성분으로부터 상기 텍스처 정보와 상기 지역적 밝기 정보를 획득한다.
바람직하게는, 상기 제2 정보 획득부는 상기 제2 화소 정보를 기초로 상기 밝기 성분으로부터 상기 텍스처 정보와 상기 지역적 밝기 정보를 획득할 때 교차형 양방향 필터(Cross bilateral filter)를 이용한다.
바람직하게는, 상기 제2 정보 획득부는 제1 화소들 중에서 선택된 제A 화소의 위치 정보, 상기 제A 화소로부터 미리 정해진 거리 떨어진 제B 화소의 위치 정보, 상기 제A 화소와 상기 제B 화소 사이의 상관관계 정보, 상기 제2 화소에 대한 정보, 및 상기 제A 화소와 상기 제B 화소 사이의 거리와 관련된 예민도(Sensitivity)를 결정하는 파라미터를 기초로 상기 밝기 성분으로부터 상기 텍스처 정보와 상기 지역적 밝기 정보를 획득한다.
바람직하게는, 상기 제2 정보 획득부는 상기 제2 화소 정보를 기초로 지역적 특이성이 있는 마스크를 생성하며, 상기 마스크의 범위 이내에 상기 제B 화소를 선택한다.
바람직하게는, 상기 제2 정보 획득부는 입력된 컬러 영상에서 얻은 스무드 영상(Smoothed image)으로부터 상기 지역적 밝기 정보를 획득한다.
바람직하게는, 상기 제2 정보 획득부는 상기 제2 화소 정보를 기초로 지역적 특이성이 있는 마스크를 생성하며, 상기 마스크를 기초로 상기 밝기 성분으로부터 상기 텍스처 정보와 상기 지역적 밝기 정보를 획득한다.
바람직하게는, 상기 제2 정보 획득부는 에지 영역에 대한 정보, 평탄 영역에 대한 정보, 그러데이션(Gradation)과 관련된 영역에 대한 정보, 및 텍스처 영역에 대한 정보 중 입력 영상으로부터 얻은 적어도 하나의 정보를 기초로 상기 마스크를 생성한다.
바람직하게는, 상기 제2 정보 획득부는 상기 제2 화소 정보로부터 상기 텍스처 정보와 상기 지역적 밝기 정보를 더 획득한다.
바람직하게는, 상기 제2 정보 획득부는 미리 정해진 대역의 저주파를 통과시키는 양방향 필터(Bilateral filter)를 이용하여 상기 제2 화소 정보로부터 상기 지역적 밝기 정보를 획득하며, 상기 제2 화소 정보와 상기 지역적 밝기 정보 사이의 차이값을 기초로 상기 텍스처 정보를 획득한다.
바람직하게는, 상기 고해상도 컬러 영상 생성 장치는 상기 텍스처 정보를 기초로 상기 색상 성분을 보정하는 색상 성분 보정부를 더 포함하며, 상기 융합 영상 생성부는 상기 융합 영상을 생성할 때 보정된 상기 색상 성분을 이용한다.
바람직하게는, 상기 색상 성분 보정부는 상기 텍스처 정보에서 에너지가 기준값 이상인 영역에 대한 정보를 기초로 상기 색상 성분을 보정한다.
바람직하게는, 상기 색상 성분 보정부는 제1 화소들 중에서 선택된 제A 화소와 상기 제A 화소로부터 미리 정해진 거리 떨어진 제B 화소 사이의 거리와 관련된 예민도를 결정하는 파라미터를 이용하여 상기 색상 성분을 보정한다.
바람직하게는, 상기 색상 성분 보정부는 상기 파라미터를 이용하여 채도가 낮아지도록 상기 색상 성분에 포함된 영역의 에너지를 조절하여 상기 색상 성분을 보정한다.
바람직하게는, 상기 컬러 영상 생성 장치는 RGBW 단일 촬상 소자에 탑재된다.
또한 본 발명은 미리 정해진 색상들과 관련된 제1 화소 정보들로부터 밝기 성분과 색상 성분을 획득하는 단계; 상기 밝기 성분으로부터 텍스처 정보와 지역적 밝기 정보를 획득하는 단계; 상기 미리 정해진 색상들과 다른 색상과 관련된 제2 화소 정보와 상기 지역적 밝기 정보를 융합하여 밝기 융합 정보를 생성하는 단계; 및 상기 밝기 융합 정보, 상기 텍스처 정보 및 상기 색상 성분을 기초로 상기 제1 화소 정보들과 상기 제2 화소 정보가 융합된 융합 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 고해상도 컬러 영상 생성 방법을 제안한다.
바람직하게는, 상기 지역적 밝기 정보를 획득하는 단계는 상기 제2 화소 정보를 기초로 상기 밝기 성분으로부터 상기 텍스처 정보와 상기 지역적 밝기 정보를 획득한다.
바람직하게는, 상기 지역적 밝기 정보를 획득하는 단계는 상기 제2 화소 정보를 기초로 상기 밝기 성분으로부터 상기 텍스처 정보와 상기 지역적 밝기 정보를 획득할 때 교차형 양방향 필터를 이용한다.
바람직하게는, 상기 지역적 밝기 정보를 획득하는 단계는 제1 화소들 중에서 선택된 제A 화소의 위치 정보, 상기 제A 화소로부터 미리 정해진 거리 떨어진 제B 화소의 위치 정보, 상기 제A 화소와 상기 제B 화소 사이의 상관관계 정보, 상기 제2 화소에 대한 정보, 및 상기 제A 화소와 상기 제B 화소 사이의 거리와 관련된 예민도를 결정하는 파라미터를 기초로 상기 밝기 성분으로부터 상기 텍스처 정보와 상기 지역적 밝기 정보를 획득한다.
바람직하게는, 상기 지역적 밝기 정보를 획득하는 단계는 상기 제2 화소 정보를 기초로 지역적 특이성이 있는 마스크를 생성하며, 상기 마스크의 범위 이내에 상기 제B 화소를 선택한다.
바람직하게는, 상기 지역적 밝기 정보를 획득하는 단계는 입력된 컬러 영상에서 얻은 스무드 영상(Smoothed image)으로부터 상기 지역적 밝기 정보를 획득한다.
바람직하게는, 상기 지역적 밝기 정보를 획득하는 단계는 상기 제2 화소 정보를 기초로 지역적 특이성이 있는 마스크를 생성하며, 상기 마스크를 기초로 상기 밝기 성분으로부터 상기 텍스처 정보와 상기 지역적 밝기 정보를 획득한다.
바람직하게는, 상기 지역적 밝기 정보를 획득하는 단계는 에지 영역에 대한 정보, 평탄 영역에 대한 정보, 그러데이션(Gradation)과 관련된 영역에 대한 정보, 및 텍스처 영역에 대한 정보 중 입력 영상으로부터 얻은 적어도 하나의 정보를 기초로 상기 마스크를 생성한다.
바람직하게는, 상기 지역적 밝기 정보를 획득하는 단계는 상기 제2 화소 정보로부터 상기 텍스처 정보와 상기 지역적 밝기 정보를 더 획득한다.
바람직하게는, 상기 지역적 밝기 정보를 획득하는 단계는 미리 정해진 대역의 저주파를 통과시키는 양방향 필터(Bilateral filter)를 이용하여 상기 제2 화소 정보로부터 상기 지역적 밝기 정보를 획득하며, 상기 제2 화소 정보와 상기 지역적 밝기 정보 사이의 차이값을 기초로 상기 텍스처 정보를 획득한다.
바람직하게는, 상기 밝기 융합 정보를 생성하는 단계와 상기 융합 영상을 생성하는 단계 사이에, 상기 텍스처 정보를 기초로 상기 색상 성분을 보정하는 단계를 더 포함하며, 상기 융합 영상을 생성하는 단계는 상기 융합 영상을 생성할 때 보정된 상기 색상 성분을 이용한다.
바람직하게는, 상기 보정하는 단계는 상기 텍스처 정보에서 에너지가 기준값 이상인 영역에 대한 정보를 기초로 상기 색상 성분을 보정한다.
바람직하게는, 상기 보정하는 단계는 제1 화소들 중에서 선택된 제A 화소와 상기 제A 화소로부터 미리 정해진 거리 떨어진 제B 화소 사이의 거리와 관련된 예민도를 결정하는 파라미터를 이용하여 상기 색상 성분을 보정한다.
바람직하게는, 상기 보정하는 단계는 상기 파라미터를 이용하여 채도가 낮아지도록 상기 색상 성분에 포함된 영역의 에너지를 조절하여 상기 색상 성분을 보정한다.
바람직하게는, 상기 컬러 영상 생성 방법은 RGBW 단일 촬상 소자에 의한 영상을 처리할 때 이용된다.
또한 본 발명은 상기한 방법에 따른 고해상도 컬러 영상 생성 방법을 실행시키는 컴퓨터로 판독 가능한 기록매체에 저장된 컴퓨터 프로그램을 제안한다.
본 발명은 상기한 목적 달성을 위한 구성들을 통하여 다음 효과를 얻을 수 있다.
첫째, RGBW 영상을 생성할 때에 W 화소에서의 저잡음 특성을 반영하여 고감도 영상을 생성하는 것이 가능해진다.
둘째, RGBW 영상을 생성할 때에 스무드 영상 정보에 포함된 영상 특유의 대비 및 명도를 유지시킴으로써 고해상도 영상을 생성하는 것이 가능해진다.
셋째, 텍스처 정보에 포함된 고주파 정보를 이용하여 색상 엘리어싱 현상을 억제할 수 있다.
도 1은 본 발명의 일실시예에 따른 RGB 화소와 W 화소 사이의 융합 알고리즘을 설명하기 위한 개념도이다.
도 2는 본 발명의 일실시예에 따라 교차형 양방향 필터를 통한 밝기 정보 융합 과정을 설명하기 위한 개념도이다.
도 3은 본 발명의 일실시예에 따라 적용된 CBF의 결과를 보여주는 예시도이다.
도 4는 본 발명의 일실시예에 따라 텍스처 정보를 이용한 색상 오류 제거 과정을 설명하기 위한 개념도이다.
도 5는 종래의 결과와 본 발명에 따른 결과를 비교한 참고도이다.
도 6은 본 발명의 바람직한 실시예에 따른 고해상도 컬러 영상 생성 장치를 개략적으로 도시한 블록도이다.
도 7은 본 발명의 바람직한 실시예에 따른 고해상도 컬러 영상 생성 방법을 개략적으로 도시한 흐름도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
단일 촬상 소자를 이용한 색상 영상을 얻기 위한 영상 처리 기술은 오래전부터 연구가 되어온 영상 처리의 한 분야이며, 다중 촬상 소자 대비 물리적 한계를 해결하기 위한 많은 기술이 개발되어 왔다.
색상 영상을 얻기 위해 삼원색인 RGB 화소들로 이루어진 단일 촬상 소자로부터 디모자이크 처리를 수행한다. 디모자이크 처리란 다중 촬상 소자로부터 얻는 삼원색의 정보들과 동일한 해상도를 갖도록 하며, 촬상 소자의 해상도의 RGB 이미지를 만들어 내는 과정이다.
단일 및 다중 촬상 소자에서 RGB 삼원색의 화소를 얻기 위해, 각각 가시 대역의 빛 파장을 각 대역에 맞게 삼등분하여 색상 정보로 획득한다. 이렇게 획득한 정보는 크게 두 가지 정보로 나눠지게 되는데, RGB 각각의 화소는 선형 합에 의한 영상 밝기 정보를 구성하게 되고, RGB 화소 간 각각 차이에 의해 색상 정보를 구성하게 된다.
하지만 가시 대역이 삼등분된 RGB 각 화소 정보는 전체 대역의 에너지보다 손실된 상태로 획득된다. 최근 빛 에너지의 손실 없이 영상의 감도를 극대화하기 위해 가시 대역의 빛 에너지를 분할 없이 받아들일 수 있는 W 화소를 적용하는 기술이 연구되고 있다.
본 기술은 RGB 화소와 W 화소를 이용하여 잡음이 적은 고감도 영상을 획득 하기 위한 연구를 통해 가시 대역의 정보를 극대화하는 방식이다. 밝기 정보만 갖고 있는 고감도의 W 화소와 색상 정보를 갖고 있는 RGB 화소 간 융합을 통해 해상도 및 감도의 극대화 기술을 구현하고 있다.
RGB 화소로만 이루어진 단일 촬상 소자 대비 W 화소가 포함된 단일 촬상 소자의 경우 RGB의 밀도가 감소하고 W의 밀도 역시 기존 RGB의 채널 대비 높게 구성될 수는 없다. 다만 영상의 감도를 높이는 것이 목적이기 때문에 가장 고감도의 W 화소의 밀도를 약 50%의 비율이 되게 하며 밝기 정보로 주로 사용된다.
또한 RGB로부터 색상을 생성하게 되고, 영상의 해상도는 밝기에 예민하기 때문에 RGB의 비율을 상대적으로 줄이게 된다. 각 화소의 밀도가 감소됨으로써 밝기 정보의 해상도가 감소하게 된다. 즉 단일 촬상 소자의 해상도로 디모자이크하는 과정에서 밀도가 적은 기존 정보를 이용하여 보다 많은 위치의 화소를 재생성해야 하는 문제점이 있다.
화소를 재생성하는 과정에서 실제 밝기 정보와 재생성된 위치의 밝기 정보 간 오류가 존재하게 되며, 이로 인한 해상도 저하 현상이 야기된다. 이는 밝기 뿐만 아니라 RGB 간 차이 정보로 생성되는 색상 정보에도 문제가 발생한다. 각각 화소에서 재생성되는 정보의 오류가 RGB 간 차이를 발생시키고, 이는 잘못된 색상 오류(Color artifacts)를 야기하게 된다.
물리적 문제점 이외에, 융합 기술의 문제점 역시 존재한다. 융합 기술의 문제점으로 대표적인 것이 일반적으로 사용되는 선형 회귀 기반 RGB+W 화소 정보 융합 방식이다. 선형 회귀 기반 RGB+W 화소 정보 융합 방식의 문제점은 전술한 바와 같다.
본 발명에서는 이러한 문제점들을 극복하기 위해 디모자이크 처리된 W와 RGB 간 융합을 위한 일련의 과정을 제안한다. 즉 본 발명에서는 밝기 정보와 W 화소에서 각각 분리된 텍스처 정보 및 스무드 영상 정보를 독립적으로 융합하는 방식을 제안한다. 또한 본 발명에서는 텍스처 정보에 포함된 영상의 세밀한 고주파 정보를 극대화하고, 고감도 W 화소에서의 저잡음 특성을 반영하도록 하는 융합 과정을 제안한다. 또한 본 발명에서는 스무드 영상 정보에 포함된 영상 특유의 대비 및 명도를 유지하기 위한 융합 과정을 제안한다.
또한 본 발명에서는 색상과 밝기 정보 분리를 통한 융합 과정을 제안한다. 또한 본 발명에서는 선형 회귀 방식의 단점을 해결하기 위해 영상의 밝기 정보에서 텍스처(Texture) 정보와 스무드 영상(Smoothed image) 정보를 나눠 주는 교차형 양방향 필터(Cross bilateral filter) 기반 분리 과정을 제안한다.
또한 본 발명에서는 W 화소 정보의 장점인 고감도, 저노이즈 특성을 반영함과 동시에 해상도 향상 및 색상 오류를 제거하는 알고리즘을 제안한다. 즉 본 발명에서는 텍스처 및 고주파 영역에서 발생하는 색상 엘리어싱 현상을 억제하는 과정을 제안한다.
이하 상기한 목적을 달성하기 위해 RGBW 배열을 갖는 촬상 소자의 디모자이크 처리된 색상 영상으로부터 고감도 고해상도 영상을 획득하기 위한 영상 융합 알고리즘에 대하여 도면을 참조하여 설명한다.
(1) RGB 화소와 W 화소 간 융합 알고리즘의 과정
도 1은 본 발명의 일실시예에 따른 RGB 화소와 W 화소 사이의 융합 알고리즘을 설명하기 위한 개념도이다.
본 발명은 단일 촬상 소자로부터 받아들인 R 화소(120a), G 화소(120b), B 화소(120c) 및 W 화소(110)를 디모자이킹 기법을 통해 촬상 소자의 해상도로 만든 영상으로 해상도 및 감도를 극대화할 수 있는 융합 과정을 제안한다.
본 발명의 목적은 밀도의 차이로 해상도가 가장 좋고 감도가 가장 높은 W 화소(110)를 RGB 화소들(120a, 120b, 120c)과 융합하여 최종적으로 향상된 공간 해상도와 자연스러운 컬러, 그리고 향상된 감도를 갖는 융합 영상(Fused Image; 190)을 만드는 것이다.
먼저 제1 변환부(RGB to YUV; 130)는 디모자이크된 색상 영상인 RGB 화소 정보들(120a, 120b, 120c)을 YUV 색공간으로 변환하여 밝기 성분인 Y 정보와 색상 성분인 U, V 성분으로 분리해 낸다. 이는 밝기 정보로 획득한 고감도의 W 화소(110)와 융합시, 색상의 변화 없이 밝기 정보에서 감도 및 해상도의 변화를 독립적으로 수행하기 위해서이다.
분리된 밝기 정보(Y 정보)는 W 화소(110)와 함께 양방향 필터(Bilateral filter) 기반 분리 기법을 통해 세밀한 정보인 텍스처(Texture) 정보와 스무드 영상(Smoothed image) 정보로 분리된다. 즉 제1 필터(140)는 W 화소(110)를 텍스처 정보와 스무드 영상 정보로 분리하며, 제2 필터(150)는 Y 정보를 텍스처 정보와 스무드 영상 정보로 분리한다. 제1 필터(140)는 예컨대 양방향 필터(Bilateral filter) 또는 텍스처 분해기(Texture decomposer)로 구현될 수 있으며, 제2 필터(150)는 예컨대 교차형 양방향 필터(Cross bilateral filter)로 구현될 수 있다.
저감도 및 저밀도 정보인 RGB로 기인한 밝기 정보는 고감도 W 화소 정보보다 노이즈가 많고, 해상도가 낮다. 텍스처 정보와 스무드 영상 정보로 분리하는 이유는, 저감도 영상의 노이즈와 해상도를 분리하여 W의 해상도 및 감도 특성을 융합으로 반영하기 위해서이다.
텍스처 정보와 다르게 스무드 영상 정보는 영상의 지역적 밝기를 지니고 있으며, 이는 영상 전반의 밝기와 대비를 결정하게 된다. W 화소의 경우 센서의 특성에 따라 받아들이는 가시 대역의 파장 비율이 정해져 있다. 이는 정확히 R, G, B 대역이 고르게 들어오는 것이 아니며, 촬영 환경의 광원에 따라 비율 역시 달라진다. R, G, B 화소에서는 화이트 밸런스 기술을 이용하여 정확한 색상을 구현하게 되지만, 모든 파장이 섞여 들어오는 W 화소는 화이트 밸런스 기술을 적용할 수 없다. 따라서 R, G, B의 지역 밝기 정보는 신뢰도가 높아, 융합 결과의 바람직한 대비 및 밝기는 R, G, B의 화이트 밸런스 결과라 할 수 있다.
위의 특성을 반영하기 위해 융합 결과는 R, G, B로부터 얻은 밝기 정보의 스무드 영상 정보를 사용하게 된다. 즉 이미지 융합부(160)는 밝기 정보와 W 화소에서 각각 분리된 텍스처 정보와 스무드 영상 정보를 독립적으로 융합시킨다. 이에 따라 텍스처 정보와 스무드 영상 정보는 독립적인 융합 과정을 통과하게 된다.
이어서 색상 정보는 단일 촬상면에 R, G, B 화소(120a, 120b, 120c)만 존재할 때보다 W 화소(110)의 추가로 인해 R, G, B의 밀도가 줄어들기 때문에 색상 오류가 발생하게 된다. 이 색상 오류는 각 화소에서 디모자이크 과정에 복원되는 고주파 정보의 주파수 대역의 차이와 위상 차이에 의해 발생한다. 즉 색상 오류는 특정 고주파 대역에서 발생하게 된다.
밝기 정보에서 텍스처 정보는 색상 오류가 발생하는 영역의 정보를 함께 갖고 있다. 따라서 본 발명에서는 엘리어싱 제거부(Color aliasing reduction; 170)를 이용하여 텍스처 정보를 통한 색상 오류 기법을 수행한다.
융합 과정이 끝나고 제2 변환부(YUV to RGB; 180)가 YUV 색공간에서 RGB 색공간으로 역변환하면 최종 융합 영상(190)을 얻을 수 있다.
(2) 교차형 양방향 필터(Cross bilateral filter)를 이용한 텍스처 분해 및 융합(Texture decomposition fusion) 알고리즘
도 2는 본 발명의 일실시예에 따라 교차형 양방향 필터를 통한 밝기 정보 융합 과정을 설명하기 위한 개념도이다. 도 3은 본 발명의 일실시예에 따라 적용된 CBF의 결과를 보여주는 예시도이다.
RGB로부터 분리된 밝기 정보인 Y 정보(210)는 높은 감도를 갖는 W 화소(110)와 제2 필터(150)를 사용하여 모두 텍스처 정보와 스무드 영상 정보로 나눠지게 된다. 상기에서 언급한 바와 같이 제2 필터(150)는 교차형 양방향 필터(Cross bilateral filter)로 구현될 수 있다.
제2 필터(150)는 노이즈가 적은 W 화소(110)로부터 지역적 특성을 반영한 마스크를 생성한다. 지역적 특성이란 영상 내부 구성의 특징적인 부분을 지칭하는데, 예를 들면 정물 간 경계의 강한 에지, 평탄 영역, 그러데이션 영역, 복잡한 무늬가 있는 텍스처 영역, 반복되는 세밀한 무늬가 있는 텍스처 영역 등과 같이 특징이 있는 것을 의미한다.
교차형 양방향 필터(Cross bilateral filter)의 크로스(Cross)는 고감도로 신뢰도가 가장 높은 W 화소(110)로부터 추정된 마스크를 Y, U, V 등과 같이 노이즈가 많은 저감도의 다른 영상 정보에 사용하는 것을 의미한다.
텍스처 정보를 분리하기 위해 제1 필터(140)는 가우시안 분포의 저주파 통과 필터 형태를 지니고 있으며, 통과의 결과인 저주파 대역은 스무드 영상 정보 WS가 되며, 입력 정보와의 차이를 통해 텍스처 정보 WT를 얻게 된다.
한편 교차형 양방향 필터를 제2 필터(150)로 구현하는 경우, 교차형 양방향 필터의 수식은 다음과 같다.
Figure 112016050580694-pat00001
상기에서 i, j는 화소의 위치를 나타내며, k, l는 i, j로부터 떨어진 행과 열의 인덱스이다. Wy,i,j(k,l)는 i, j 위치로부터 k, l만큼 떨어진 화소와의 상관관계로 추정된 가중치이다. IW는 W 화소의 값을 나타낸다. σ는 거리 r에 대한 예민도를 결정하는 파라미터이며, r은 (i, j) 화소와 이 화소로부터 k, l만큼 떨어진 곳에 위치하는 화소 사이의 거리를 의미한다.
위의 수학식을 분석하자면 i, j 위치의 화소 위치로부터 일정 영역의 지역 집단을 위한 마스킹의 범위 내 화소를 k, l로 지정하며 화소들 간의 상관관계를 추정한다. exp 함수 내부에 거리로 추정을 위한 첫번째 텀이 존재하고 그 텀 내부의 시그마는 거리에 대한 예민도를 결정하는 파라미터이다. 오른쪽의 두번째 텀은 W 화소로부터 차이값을 결정하게 되는데, 화소값의 유사도에 따른 반영 비율을 결정하게 된다. 즉 지역 집단 내부에 유사한 화소들로만 사용하겠다는 의미이다.
수학식 1의 전체적인 틀은 가우시안 분포를 따르게 되며, 이는 저주파 통과 필터의 형태이다. 즉 지역 집단에서 유사한 화소의 값을 갖는 위치의 경우 반영 비율이 높아지며, 유사하지 않은 화소의 경우는 제외된다. 이는 일반적인 저주파 통과 필터와 다르게 영상 내부의 정물의 경계면에서 차이가 많이 나는 부분을 지역 집단에서 제외하게 되고, 텍스처 정보만 제거하는 저주파 통과 필터를 제작할 수 있다.
고감도의 W 화소로부터 마스크를 추정하여 밝기 성분에도 동일하게 적용한다면, 노이즈로부터 마스크 추정 오류를 방지할 수 있으며, 정물 간 경계를 확실하게 나눌 수 있다. 또한 텍스처 정보 역시 정확히 분리할 수 있다.
동일한 마스크를 밝기 정보에도 통과시켜 Y 정보에서도 W 화소와 동일한 텍스처 정보를 분리할 수 있다. W의 텍스처 정보에는 정확도가 보다 높은 주파수까지 복원된 고주파 정보가 있으며, 이를 이용하여 영상의 해상도를 극대화할 수 있다.
밝기 영역에서 추정되는 텍스처 정보는 RGB와 W 화소 간 복원되는 고주파 정보의 차이 정도만 분리해야 하며, 이는 시그마 파라미터를 통해 조절할 수 있다.
도 2는 CBF(Cross Bilateral Filter)의 구조 및 융합 과정을 나타낸 것이다. 분리된 스무드 영상 정보는 영상의 밝기 및 대비 특성을 정확히 포함해야 하며, 이는 텍스처 분리 필터(즉 제1 필터(140)와 제2 필터(150))의 성능에 따라 정확도가 달라진다. 본 발명에서 제안하는 CBF는 지역적 대비 특성을 높은 정확도로 반영한다.
도 3은 텍스처 정보와 스무드 영상 정보를 분리한 예시를 나타낸 것이다. 도 3에서 (a)는 원본 이미지(Original image)의 예시이며, (b)는 원본 이미지로부터 분리된 스무드 영상(Smoothed image) 정보의 예시이고, (c)는 원본 이미지로부터 분리된 텍스처 정보의 예시이다.
도 3의 (a), (b) 및 (c)에 도시된 바와 같이 본 발명에서 CBF를 이용할 경우 정물의 테두리 정보가 무너짐 없이 텍스처 정보만 정확히 분리하게 된다. 영상의 밝기 및 대비는 RGB의 밝기 정보, 해상도 및 노이즈 특성을 W 화소로부터 얻었을 때 결과 영상의 정보량이 극대화될 수 있다. 따라서 밝기 및 대비 정보를 포함한 스무드 영상 정보는 RGB의 밝기로부터, 텍스처 정보는 W 화소로부터 얻어 더하게 된다. 이 과정은 도 2에 도시되어 있다.
위의 과정을 통해 융합된 결과는 정보량이 극대화된 밝기 영상(Fused Y; 220)이 된다.
(3) 텍스처 정보 기반 색상 오류 억제 알고리즘
도 4는 본 발명의 일실시예에 따라 텍스처 정보를 이용한 색상 오류 제거 과정을 설명하기 위한 개념도이다.
본 발명에서는 앞서 도 2를 참조하여 설명한 밝기 정보 융합 과정과 독립적으로 색상 정보의 색상 오류 현상 억제 알고리즘을 제안한다.
RGBW 단일 촬상 소자의 경우 RGB 화소만으로 이뤄진 단일 촬상 소자보다 각 화소의 밀도가 낮다. 보다 낮은 밀도의 각 화소들이 디모자이크 처리를 통과할 경우 각 화소들의 복원된 고주파 정보들은 대역의 차이 및 위상 차이가 발생한다. 이를 컬러 엘리어싱(Color aliasing)이라고 한다.
색상을 이루는 R, G, B 화소들로부터 분리한 U, V 정보(230)는 영상 전반의 색상 정보 뿐만 아니라 엘리어싱 정보 역시 포함하고 있다. U, V(230)의 에너지는 색상의 진하기 정도 즉 채도를 이루게 되는데, 본 발명에서는 원치 않는 곳에서 발생한 색상 오류를 판별하여 채도를 낮추는 방법으로 색상 오류를 억제한다.
앞서 설명한 바와 같이 엘리어싱은 고주파 대역에서 발생하는데 밝기 정보에서 분리한 텍스처 정보를 이용하여 고주파 영역을 판별할 수 있다. 텍스처 정보의 에너지가 높으면 고주파 영역으로 판별되고, 이 위치에서는 컬러 엘리어싱(Color aliasing)이 발생할 확률이 아주 높다. 따라서 밝기 정보에서 추정된 텍스처 정보의 에너지에 반비례하게 색상 정보인 U, V(230)의 에너지를 조정한다.
수학식 2는 이상 설명한 색상 오류 억제 과정을 나타낸 것이다.
Figure 112016050580694-pat00002
엘리어싱 제거부(170)는 1차적으로 색상 노이즈를 제거하기 위해 U, V 정보(230)를 W 화소 정보(110)로부터 추정된 마스크에 통과시킨다. 이후 그 결과로 얻은 UNR, VNR 등을 W로부터 추정된 텍스처 정보인 WT를 통한 반비례 함수에 통과시킨다.
α는 WT의 에너지를 사용하기 위한 감도 조절 파라미터이며, 분모의 값이 1 미만이 되지 않도록 디자인된다.
최종 결과로 얻은 Uout, Vout 등은 텍스처가 있는 영역에서 에너지가 줄게 되며, 결과적으로 채도가 줄어 색상 오류를 억제하는 것이 가능해진다.
도 5는 종래의 결과와 본 발명에 따른 결과를 비교한 참고도이다. 도 5에서 (a)는 단일 촬상 소자를 통한 RGB 촬상 소자의 디모자이킹 결과(RGB CI)이며, (b)는 RGBW 촬상 소자의 융합 결과(RGB + W sensor CI + Fusion)이다. 도 5의 (a)와 (b)를 비교해본 바와 같이 본 발명에 따르면, 색상 엘리어싱 현상이 억제된 고감도 및 고해상도의 영상을 생성하는 것이 가능해진다.
이상 설명한 본 발명이 적용되는 기술 분야를 정리하여 보면 다음과 같다.
① 화상 처리 장치로서, RGB 색상 영상과 W 밝기 영상을 융합하는 알고리즘 : 화상 처리 장치로서, RGB 화소들 및 화이트 W 화소들을 포함하는 RGBW 배열을 갖는 촬상 소자의 디모자이크 처리된 영상으로부터 RGB 색상 영상과 W 밝기 영상의 융합으로 하나의 색상 영상으로 재조직하는 알고리즘.
② 디지털 카메라 장치의 영상 처리 모듈에 적용되어 고감도 영상으로 보정하는 알고리즘 : 화상 처리 장치로서, RGB 화소들 및 화이트 W 화소들을 포함하는 RGBW 배열을 갖는 촬상 소자의 디모자이크 처리된 영상을 고감도 영상으로 보정하는 알고리즘.
③ 비디오 시퀀스 및 정지 영상의 해상도 개선을 위한 고해상도 보정 알고리즘 : 화상 처리 장치로서, RGB 화소들 및 화이트 W 화소들을 포함하는 RGBW 배열을 갖는 촬상 소자의 디모자이크 처리된 영상을 고해상도 영상으로 보정하는 알고리즘.
④ 단일 촬상 소자의 디모자이크 처리된 영상의 색상 오류를 보정하는 알고리즘 : 화상 처리 장치로서, RGB 화소들 및 화이트 W 화소들을 포함하는 RGBW 배열을 갖는 촬상 소자의 디모자이크 처리된 영상의 색상 오류를 보정하는 알고리즘.
한편 본 발명의 향후 기대 효과는 다음과 같다.
- RGB + W 화소가 입력되는 촬상 소자 기기의 융합 기법
- W 이외의 비가시 대역 영상 정보가 입력되는 영상 융합 기법
- 밝기 차이가 나는 다중 영상 정보간 영상 융합 기법
- 특수 대역 영상 정보와 가시 대역 정보간 융합으로 물질 분별 능력 향상 가능
- 고감도 고속 카메라를 위한 알고리즘으로 활용
이상 설명한 본 발명에서 클레임으로 요구할 사항은 크게 다음의 10가지이다.
ⓐ 본 발명의 디모자이크 처리된 W와 RGB 간 융합을 위한 일련의 과정(Framework)을 제안한다.
ⓑ 상기 ⓐ에서 언급한 일련의 과정은 YUV 변환으로 밝기와 색상 정보를 분리해서 독립적인 융합 과정을 제안한다.
ⓒ 상기 ⓐ에서 언급한 일련의 과정 중 밝기 정보의 융합을 위해 CBF(Cross Bilateral Filter)를 이용하여 텍스처 정보 및 스무드 영상 정보로 나눠 수행한다.
ⓓ 상기 ⓒ에서 텍스처 정보를 나누는 이유가 RGB 아닌 다른 화소 정보와 융합시 해상도 극대화를 위해 고주파 정보를 분리하며, 정물의 경계면은 포함하지 않도록 분리할 수 있기 때문에 헤일로 아티팩트(Halo artifact)를 억제하는 과정이다.
ⓔ 상기 ⓒ에서 설명된 CBF(Cross Bilateral Filter)는 회색의 단일 채널 영상에서 영상 내부의 정물의 경계는 유지하면서, 정물 위에 패턴, 노이즈, 고주파 정보 등과 같이 높은 주파수 대역의 정보를 분리하는 능력이 있다.
ⓕ 상기 ⓒ에서 텍스처 정보를 나누는 이유가 저감도의 RGB에서 노이즈를 분리해 내고 고감도의 다른 화소의 정보로 대체하기 위함이다.
ⓖ 상기 ⓕ에서 설명된 텍스처 정보의 특징을 위해 고감도 및 고해상도 W 화소에서 텍스처 정보를 가져오면서, 스무드 영상 정보와 독립적으로 융합을 수행한다.
ⓗ 상기 ⓒ에서 스무드 영상 정보를 나누는 이유는 영상의 지역 밝기 및 대비를 유지하기 위해 RGB의 정보를 이용하기 위함이다.
ⓘ 상기 ⓗ에서 설명된 스무드 영상 정보의 특징을 위해, 융합 결과의 스무드 영상 정보는 RGB의 밝기 정보에서 추출된 스무드 영상 정보로 대체한다.
ⓙ 상기 ⓒ에서 분리된 텍스처 정보를 이용하여 융합된 텍스처 정보 기반 색상 오류 현상을 해결하는 방법을 제안하며, 화소간 고주파 복원 정도의 차이에 의한 색상 오류 현상은 고주파가 모인 곳에 발생하며, 이를 판별하기 위해 지역적 텍스처의 에너지에 반비례하게 색상 에너지를 조절한다.
이상 도 1 내지 도 5를 참조하여 본 발명의 일실시 형태에 대하여 설명하였다. 이하에서는 이러한 일실시 형태로부터 추론 가능한 본 발명의 바람직한 형태에 대하여 설명한다. 도 6은 본 발명의 바람직한 실시예에 따른 고해상도 컬러 영상 생성 장치를 개략적으로 도시한 블록도이다.
도 6에 따르면, 고해상도 컬러 영상 생성 장치(300)는 제1 정보 획득부(310), 제2 정보 획득부(320), 정보 융합부(330), 융합 영상 생성부(340), 전원부(350) 및 주제어부(360)를 포함한다.
전원부(350)는 고해상도 컬러 영상 생성 장치(300)를 구성하는 각 구성에 전원을 공급하는 기능을 수행한다. 주제어부(360)는 고해상도 컬러 영상 생성 장치(300)를 구성하는 각 구성의 전체 작동을 제어하는 기능을 수행한다.
제1 정보 획득부(310)는 미리 정해진 색상들과 관련된 제1 화소 정보들(ex. RGB 화소)로부터 밝기 성분과 색상 성분을 획득하는 기능을 수행한다. 이러한 제1 정보 획득부(310)는 제1 화소 정보들을 색공간과 관련된 정보들(ex. YUV 값)로 변환하며, 색공간과 관련된 정보들로부터 밝기 성분(ex. Y 정보)과 색상 성분(ex. UV 성분)을 획득할 수 있다. 제1 정보 획득부(310)는 도 1의 제1 변환부(130)에 대응하는 개념이다.
제2 정보 획득부(320)는 제1 정보 획득부(310)에 의해 획득된 밝기 성분으로부터 텍스처 정보와 지역적 밝기 정보를 획득하는 기능을 수행한다. 제2 정보 획득부(320)는 도 1의 제1 필터(140) 및 제2 필터(150)에 대응하는 개념이다.
제2 정보 획득부(320)는 제2 화소 정보(ex. W 화소)를 기초로 밝기 성분으로부터 텍스처 정보와 지역적 밝기 정보를 획득할 수 있다.
제2 정보 획득부(320)는 제2 화소 정보를 기초로 밝기 성분으로부터 텍스처 정보와 지역적 밝기 정보를 획득할 때 교차형 양방향 필터(Cross bilateral filter)를 이용할 수 있다.
제2 정보 획득부(320)는 제1 화소들(ex. RGB 화소) 중에서 선택된 제A 화소의 위치 정보, 제A 화소로부터 미리 정해진 거리 떨어진 제B 화소의 위치 정보, 제A 화소와 제B 화소 사이의 상관관계 정보, 제2 화소에 대한 정보, 및 제A 화소와 제B 화소 사이의 거리와 관련된 예민도(Sensitivity)를 결정하는 파라미터를 기초로 밝기 성분으로부터 텍스처 정보와 지역적 밝기 정보를 획득할 수 있다.
제2 정보 획득부(320)는 제2 화소 정보를 기초로 지역적 특이성이 있는 마스크를 생성하며, 이 마스크의 범위 이내에 제B 화소를 선택할 수 있다.
제2 정보 획득부(320)는 입력된 컬러 영상에서 얻은 스무드 영상(Smoothed image)으로부터 지역적 밝기 정보를 획득할 수 있다.
제2 정보 획득부(320)는 제2 화소 정보를 기초로 지역적 특이성이 있는 마스크를 생성하며, 이 마스크를 기초로 밝기 성분으로부터 텍스처 정보와 지역적 밝기 정보를 획득할 수 있다.
제2 정보 획득부(320)는 에지 영역에 대한 정보, 평탄 영역에 대한 정보, 그러데이션(Gradation)과 관련된 영역에 대한 정보, 및 텍스처 영역에 대한 정보 중 입력 영상으로부터 얻은 적어도 하나의 정보를 기초로 마스크를 생성할 수 있다.
제2 정보 획득부(320)는 제2 화소 정보로부터 텍스처 정보와 지역적 밝기 정보를 더 획득할 수 있다.
제2 정보 획득부(320)는 미리 정해진 대역의 저주파를 통과시키는 양방향 필터(Bilateral filter)를 이용하여 제2 화소 정보로부터 지역적 밝기 정보를 획득하며, 제2 화소 정보와 지역적 밝기 정보 사이의 차이값을 기초로 텍스처 정보를 획득할 수 있다.
정보 융합부(330)는 미리 정해진 색상들과 다른 색상과 관련된 제2 화소 정보와 제2 정보 획득부(320)에 의해 획득된 지역적 밝기 정보를 융합하여 밝기 융합 정보를 생성하는 기능을 수행한다. 정보 융합부(330)는 도 1의 이미지 융합부(160)에 대응하는 개념이다.
융합 영상 생성부(340)는 정보 융합부(330)에 의해 생성된 밝기 융합 정보, 제2 정보 획득부(320)에 의해 획득된 텍스처 정보, 및 제1 정보 획득부(310)에 의해 획득된 색상 성분을 기초로 제1 화소 정보들과 제2 화소 정보가 융합된 융합 영상을 생성하는 기능을 수행한다. 융합 영상 생성부(340)는 도 1의 제2 변환부(180)에 대응하는 개념이다.
고해상도 컬러 영상 생성 장치(300)는 색상 성분 보정부(370)를 더 포함할 수 있다.
색상 성분 보정부(370)는 텍스처 정보를 기초로 색상 성분을 보정하는 기능을 수행한다. 이때 융합 영상 생성부(340)는 융합 영상을 생성할 때 보정된 색상 성분을 이용할 수 있다. 색상 성분 보정부(370)는 도 1의 엘리어싱 제거부(170)에 대응하는 개념이다.
색상 성분 보정부(370)는 텍스처 정보에서 에너지가 기준값 이상인 영역에 대한 정보를 기초로 색상 성분을 보정할 수 있다.
색상 성분 보정부(370)는 제1 화소들 중에서 선택된 제A 화소와 이 제A 화소로부터 미리 정해진 거리 떨어진 제B 화소 사이의 거리와 관련된 예민도를 결정하는 파라미터를 이용하여 색상 성분을 보정할 수 있다.
색상 성분 보정부(370)는 상기에서 언급한 파라미터를 이용하여 채도가 낮아지도록 색상 성분에 포함된 영역의 에너지를 조절하여 색상 성분을 보정할 수 있다.
이상 설명한 고해상도 컬러 영상 생성 장치(300)는 RGBW 단일 촬상 소자에 탑재될 수 있다.
다음으로 고해상도 컬러 영상 생성 장치(300)의 작동 방법에 대하여 설명한다. 도 7은 본 발명의 바람직한 실시예에 따른 고해상도 컬러 영상 생성 방법을 개략적으로 도시한 흐름도이다.
먼저 제1 정보 획득부(310)가 미리 정해진 색상들과 관련된 제1 화소 정보들로부터 밝기 성분과 색상 성분을 획득한다(S410).
이후 제2 정보 획득부(320)가 제1 정보 획득부(310)에 의해 획득된 밝기 성분으로부터 텍스처 정보와 지역적 밝기 정보를 획득한다(S420).
이후 정보 융합부(330)가 미리 정해진 색상들과 다른 색상과 관련된 제2 화소 정보와 제2 정보 획득부(320)에 의해 획득된 지역적 밝기 정보를 융합하여 밝기 융합 정보를 생성한다(S430).
이후 융합 영상 생성부(340)가 정보 융합부(330)에 의해 생성된 밝기 융합 정보, 제2 정보 획득부(320)에 의해 획득된 텍스처 정보, 및 제1 정보 획득부(310)에 의해 획득된 색상 성분을 기초로 제1 화소 정보들과 제2 화소 정보가 융합된 융합 영상을 생성한다(S440).
한편 S430 단계와 S440 단계 사이에, 색상 성분 보정부(370)는 텍스처 정보를 기초로 색상 성분을 보정할 수 있다. 색상 성분 보정부(370)가 수행하는 이 단계는 본 실시예에서 S420 단계 이후 S440 단계 이전에 수행된다면 언제 수행되어도 무방하다.
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (20)

  1. 미리 정해진 색상들과 관련된 제1 화소 정보들로부터 밝기 성분과 색상 성분을 획득하는 제1 정보 획득부;
    상기 밝기 성분으로부터 텍스처 정보와 지역적 밝기 정보를 획득하되, 상기 제1 화소 정보들과 관련된 제1 화소들 중에서 선택된 제A 화소의 위치 정보, 상기 제A 화소로부터 미리 정해진 거리 떨어진 제B 화소의 위치 정보, 상기 제A 화소와 상기 제B 화소 사이의 상관관계 정보, 상기 미리 정해진 색상들과 다른 색상과 관련된 제2 화소에 대한 정보, 및 상기 제A 화소와 상기 제B 화소 사이의 거리와 관련된 예민도(Sensitivity)를 결정하는 파라미터를 기초로 상기 밝기 성분으로부터 상기 텍스처 정보와 상기 지역적 밝기 정보를 획득하는 제2 정보 획득부;
    상기 제2 화소와 관련된 제2 화소 정보와 상기 지역적 밝기 정보를 융합하여 밝기 융합 정보를 생성하는 정보 융합부; 및
    상기 밝기 융합 정보, 상기 텍스처 정보 및 상기 색상 성분을 기초로 상기 제1 화소 정보들과 상기 제2 화소 정보가 융합된 융합 영상을 생성하는 융합 영상 생성부
    를 포함하는 것을 특징으로 하는 고해상도 컬러 영상 생성 장치.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 제2 정보 획득부는 상기 제2 화소 정보를 기초로 상기 밝기 성분으로부터 상기 텍스처 정보와 상기 지역적 밝기 정보를 획득할 때 교차형 양방향 필터(Cross bilateral filter)를 이용하는 것을 특징으로 하는 고해상도 컬러 영상 생성 장치.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 제2 정보 획득부는 상기 제2 화소 정보를 기초로 지역적 특이성이 있는 마스크를 생성하며, 상기 마스크의 범위 이내에 상기 제B 화소를 선택하는 것을 특징으로 하는 고해상도 컬러 영상 생성 장치.
  6. 삭제
  7. 제 1 항에 있어서,
    상기 제2 정보 획득부는 상기 제2 화소 정보를 기초로 지역적 특이성이 있는 마스크를 생성하며, 상기 마스크를 기초로 상기 밝기 성분으로부터 상기 텍스처 정보와 상기 지역적 밝기 정보를 획득하는 것을 특징으로 하는 고해상도 컬러 영상 생성 장치.
  8. 제 7 항에 있어서,
    상기 제2 정보 획득부는 에지 영역에 대한 정보, 평탄 영역에 대한 정보, 그러데이션(Gradation)과 관련된 영역에 대한 정보, 및 텍스처 영역에 대한 정보 중 입력 영상으로부터 얻은 적어도 하나의 정보를 기초로 상기 마스크를 생성하는 것을 특징으로 하는 고해상도 컬러 영상 생성 장치.
  9. 제 1 항에 있어서,
    상기 제2 정보 획득부는 상기 제2 화소 정보로부터 상기 텍스처 정보와 상기 지역적 밝기 정보를 더 획득하는 것을 특징으로 하는 고해상도 컬러 영상 생성 장치.
  10. 제 9 항에 있어서,
    상기 제2 정보 획득부는 미리 정해진 대역의 저주파를 통과시키는 양방향 필터(Bilateral filter)를 이용하여 상기 제2 화소 정보로부터 상기 지역적 밝기 정보를 획득하며, 상기 제2 화소 정보와 상기 지역적 밝기 정보 사이의 차이값을 기초로 상기 텍스처 정보를 획득하는 것을 특징으로 하는 고해상도 컬러 영상 생성 장치.
  11. 제 1 항에 있어서,
    상기 텍스처 정보를 기초로 상기 색상 성분을 보정하는 색상 성분 보정부
    를 더 포함하며,
    상기 융합 영상 생성부는 상기 융합 영상을 생성할 때 보정된 상기 색상 성분을 이용하는 것을 특징으로 하는 고해상도 컬러 영상 생성 장치.
  12. 제 11 항에 있어서,
    상기 색상 성분 보정부는 상기 텍스처 정보에서 에너지가 기준값 이상인 영역에 대한 정보를 기초로 상기 색상 성분을 보정하는 것을 특징으로 하는 고해상도 컬러 영상 생성 장치.
  13. 제 11 항에 있어서,
    상기 색상 성분 보정부는 제1 화소들 중에서 선택된 제A 화소와 상기 제A 화소로부터 미리 정해진 거리 떨어진 제B 화소 사이의 거리와 관련된 예민도를 결정하는 파라미터를 이용하여 상기 색상 성분을 보정하는 것을 특징으로 하는 고해상도 컬러 영상 생성 장치.
  14. 제 13 항에 있어서,
    상기 색상 성분 보정부는 상기 파라미터를 이용하여 채도가 낮아지도록 상기 색상 성분에 포함된 영역의 에너지를 조절하여 상기 색상 성분을 보정하는 것을 특징으로 하는 고해상도 컬러 영상 생성 장치.
  15. 미리 정해진 색상들과 관련된 제1 화소 정보들로부터 밝기 성분과 색상 성분을 획득하는 단계;
    상기 밝기 성분으로부터 텍스처 정보와 지역적 밝기 정보를 획득하는 단계;
    상기 미리 정해진 색상들과 다른 색상과 관련된 제2 화소 정보와 상기 지역적 밝기 정보를 융합하여 밝기 융합 정보를 생성하는 단계; 및
    상기 밝기 융합 정보, 상기 텍스처 정보 및 상기 색상 성분을 기초로 상기 제1 화소 정보들과 상기 제2 화소 정보가 융합된 융합 영상을 생성하는 단계
    를 포함하며,
    상기 지역적 밝기 정보를 획득하는 단계는 상기 제1 화소 정보들과 관련된 제1 화소들 중에서 선택된 제A 화소의 위치 정보, 상기 제A 화소로부터 미리 정해진 거리 떨어진 제B 화소의 위치 정보, 상기 제A 화소와 상기 제B 화소 사이의 상관관계 정보, 상기 제2 화소 정보와 관련된 제2 화소에 대한 정보, 및 상기 제A 화소와 상기 제B 화소 사이의 거리와 관련된 예민도(Sensitivity)를 결정하는 파라미터를 기초로 상기 밝기 성분으로부터 상기 텍스처 정보와 상기 지역적 밝기 정보를 획득하는 것을 특징으로 하는 고해상도 컬러 영상 생성 방법.
  16. 제 15 항에 있어서,
    상기 지역적 밝기 정보를 획득하는 단계는 상기 제2 화소 정보를 기초로 상기 밝기 성분으로부터 상기 텍스처 정보와 상기 지역적 밝기 정보를 획득하는 것을 특징으로 하는 고해상도 컬러 영상 생성 방법.
  17. 삭제
  18. 제 15 항에 있어서,
    상기 지역적 밝기 정보를 획득하는 단계는 상기 제2 화소 정보를 기초로 지역적 특이성이 있는 마스크를 생성하며, 상기 마스크를 기초로 상기 밝기 성분으로부터 상기 텍스처 정보와 상기 지역적 밝기 정보를 획득하는 것을 특징으로 하는 고해상도 컬러 영상 생성 방법.
  19. 제 15 항에 있어서,
    상기 텍스처 정보를 기초로 상기 색상 성분을 보정하는 단계
    를 더 포함하며,
    상기 융합 영상을 생성하는 단계는 상기 융합 영상을 생성할 때 보정된 상기 색상 성분을 이용하는 것을 특징으로 하는 고해상도 컬러 영상 생성 방법.
  20. 제 15 항, 제 16 항, 제 18 항 및 제 19 항 중 어느 한 항에 따른 고해상도 컬러 영상 생성 방법을 실행시키는 컴퓨터로 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
KR1020160064539A 2016-03-25 2016-05-26 고해상도 컬러 영상 생성 장치 및 방법 KR101770977B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20160035989 2016-03-25
KR1020160035989 2016-03-25

Publications (1)

Publication Number Publication Date
KR101770977B1 true KR101770977B1 (ko) 2017-08-24

Family

ID=59758244

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160064539A KR101770977B1 (ko) 2016-03-25 2016-05-26 고해상도 컬러 영상 생성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101770977B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830789A (zh) * 2018-05-03 2018-11-16 哈尔滨理工大学 基于稀疏表示的汽车主动安全图像处理方法
WO2020196934A1 (ko) * 2019-03-22 2020-10-01 엘지전자 주식회사 이미지 센서 및 그 제어 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006180269A (ja) 2004-12-22 2006-07-06 Sony Corp 画像処理装置、画像処理方法、撮像装置、プログラム、及び記録媒体
JP2008154074A (ja) * 2006-12-19 2008-07-03 Canon Inc 色処理装置および方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006180269A (ja) 2004-12-22 2006-07-06 Sony Corp 画像処理装置、画像処理方法、撮像装置、プログラム、及び記録媒体
JP2008154074A (ja) * 2006-12-19 2008-07-03 Canon Inc 色処理装置および方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830789A (zh) * 2018-05-03 2018-11-16 哈尔滨理工大学 基于稀疏表示的汽车主动安全图像处理方法
WO2020196934A1 (ko) * 2019-03-22 2020-10-01 엘지전자 주식회사 이미지 센서 및 그 제어 방법

Similar Documents

Publication Publication Date Title
US10063743B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
US10298863B2 (en) Automatic compensation of lens flare
US8467088B2 (en) Image signal processing apparatus, imaging apparatus, image signal processing method and computer program
US8837853B2 (en) Image processing apparatus, image processing method, information recording medium, and program providing image blur correction
US9025871B2 (en) Image processing apparatus and method of providing high sensitive color images
US8184181B2 (en) Image capturing system and computer readable recording medium for recording image processing program
US8125543B2 (en) Solid-state imaging device and imaging apparatus with color correction based on light sensitivity detection
JP4803178B2 (ja) 画像処理装置、コンピュータプログラム製品および画像処理方法
US20140253808A1 (en) Image processing device, and image processing method, and program
WO2014065053A1 (ja) 撮像装置及び画像生成方法
ITVI20110243A1 (it) Riduzione di rumore croma di una immagine
JP2012239103A (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN104869380A (zh) 图像处理设备和图像处理方法
JP6653460B2 (ja) 撮像装置、撮像システム、画像生成装置およびカラーフィルタ
US20130155275A1 (en) Image capturing apparatus, image capturing method, and computer-readable recording medium storing image capturing program
US7609300B2 (en) Method and system of eliminating color noises caused by an interpolation
ITVI20110009A1 (it) Texture detection in image processing
KR101770977B1 (ko) 고해상도 컬러 영상 생성 장치 및 방법
US8184183B2 (en) Image processing apparatus, image processing method and program with direction-dependent smoothing based on determined edge directions
US9401006B2 (en) Image processing apparatus, image processing method, and storage medium
WO2015065890A1 (en) Two-dimensional color transformations for wide gamut workflows in digital cameras
JP2018107731A (ja) 画像生成装置及び撮像装置
Paul et al. Maximum accurate medical image demosaicing using WRGB based Newton Gregory interpolation method
CN104427321A (zh) 图像处理装置及其控制方法
KR101327790B1 (ko) 영상 보간 방법 및 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant