KR20100056167A - 고화질 컬러 영상을 획득하기 위한 영상 처리 장치 및 방법 - Google Patents

고화질 컬러 영상을 획득하기 위한 영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR20100056167A
KR20100056167A KR20080115212A KR20080115212A KR20100056167A KR 20100056167 A KR20100056167 A KR 20100056167A KR 20080115212 A KR20080115212 A KR 20080115212A KR 20080115212 A KR20080115212 A KR 20080115212A KR 20100056167 A KR20100056167 A KR 20100056167A
Authority
KR
South Korea
Prior art keywords
image
channel
blur kernel
signal
residual
Prior art date
Application number
KR20080115212A
Other languages
English (en)
Other versions
KR101574733B1 (ko
Inventor
석 이
위호천
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020080115212A priority Critical patent/KR101574733B1/ko
Priority to US12/574,181 priority patent/US8184182B2/en
Priority to EP09174897.0A priority patent/EP2189939B1/en
Priority to CN2009102108471A priority patent/CN101742123B/zh
Publication of KR20100056167A publication Critical patent/KR20100056167A/ko
Application granted granted Critical
Publication of KR101574733B1 publication Critical patent/KR101574733B1/ko

Links

Images

Classifications

    • G06T5/73—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Abstract

저조도 환경에서 서로 다른 조건으로 촬영한 두 영상을 이용하여 고화질 컬러 영상을 생성하기 위한 영상 처리 장치 및 방법이 개시된다. 고화질 영상을 생성하기 위하여, 복수 채널의 컬러 정보를 포함하는 영상 정보를 포함하는 제1 영상 및 제1 영상에 비하여 짧은 시간 노출되며 제1 영상에 비하여 높은 감도로 획득된 단일 채널 영상 정보를 포함하는 제2 영상을 이용한다. 또한, 영상의 에지 정보를 유지하도록 제1 영상에 대한 채널 단일화를 수행하여 블러 커널 추정에 이용함으로써 블러 커널 추정의 정확성을 높인다.
블러 커널, 고화질 영상, 노출, 감도, 컨볼루션

Description

고화질 컬러 영상을 획득하기 위한 영상 처리 장치 및 방법{Image processing apparatus for obtaining high-definition color image and method therof}
본 발명은 영상을 처리하는 장치 및 방법에 관한 것으로, 특히 저조도 환경에서 촬영된 영상을 이용하여 고화질 컬러 영상을 생성하기 위한 영상 처리 장치 및 방법에 관한 것이다.
디지털 카메라의 사용이 증가함에 따라 조도가 미약한 실내 또는 야간과 같은 저조도 환경에서 영상을 촬영하는 경우가 증가하고 있다. 또한, 저조도 환경에서 명확한 영상을 획득할 수 있는 기능에 대한 카메라 사용자들의 요구도 증가하고 있다. 따라서, 카메라 제조 업체들은 경쟁적으로 우수한 저조도 촬영 성능을 가지는 디지털 카메라를 연구 개발하고 있으나 촬영자의 손떨림이나 촬영된 영상의 노이즈를 제거하여 명확한 영상을 얻는데 한계가 있다.
저조도 환경에서 획득된 장노출 영상 및 단노출 영상을 이용하여 고조도 환 경에서 촬영된 영상과 동등한 수준의 밝기 및 화질을 가지는 영상을 복원하기 위한 영상 처리 장치 및 방법을 제공한다.
일 양상에 따른 영상 처리 장치는 복수 채널의 컬러 영상 정보를 포함하는 제1 영상 및 제1 영상에 비하여 짧은 노출 시간으로 획득된 단일 채널 영상 정보를 포함하는 제2 영상을 이용하여 제1 영상의 블러 커널을 추정하는 블러 커널 추정부; 및 블러 커널을 이용하여 제2 영상의 블러된 영상을 생성하고, 제1 영상의 각 채널별 영상과 블러된 제2 영상 사이의 잔차 영상, 제2 영상 및 블러 커널을 이용하여 영상을 복원하는 영상 복원부를 포함한다.
제1 영상은 입사되는 광신호 중 가시광 영역의 컬러 대역의 광신호로부터 감지되는 영상이고, 제2 영상은 백색 신호, 적외선이 포함된 백색 신호, 적외선 신호, 입사되는 광신호 중 보색 파장 대역의 광신호 중 적어도 하나의 광신호 또는 적어도 하나의 광신호 조합으로부터 감지되는 영상일 수 있다.
블러 커널 추정부는, 복수 채널의 영상 신호가 입력되면, 복수 채널의 영상 신호를 그레이 스케일 영상으로 변환하여 생성된 그레이 스케일 변환된 영상 및 복수의 채널 각각의 영상의 에지 영상을 생성하고, 그레이 스케일 변환된 영상 및 복수 채널 각각의 에지 영상을 이용하여 영상을 합성하여 단일 채널 영상을 생성하는 채널 단일화 처리부를 포함한다. 제1 영상을 채널 단일화 처리부를 통하여 채널 단일화하여 블러 커널 추정에 이용한다.
제1 영상에 비하여 짧은 시간 노출으로 획득된 복수 채널 영상에 대하여 제1 영상 신호와 동일한 채널 단일화를 수행하여 제2 영상 신호를 생성할 수 있다.
영상 복원부는 제2 영상으로부터 추출된 에지 정보에 기초하여 디컨볼루션을 수행할 수 있다. 영상 복원부는 제1 영상의 각 채널별 영상로부터 블러된 제2 영상을 차감한 채널별 잔차 영상에 대하여 블러 커널을 디컨볼루션함으로써 각 채널별 잔차 영상에 대한 블러가 제거된 영상을 생성하고, 채널별 잔차 영상에 대한 블러가 제거된 영상에 제2 영상을 각각 합산하여 채널별 복원 영상을 생성할 수 있다.
다른 양상에 따른 영상 처리 방법은 복수 채널의 컬러 영상 정보를 포함하는 제1 영상 및 제1 영상에 비하여 짧은 시간 노출된 단일 채널 영상 정보를 포함하는 제2 영상을 획득하는 단계; 제1 영상 및 제2 영상을 이용하여 제1 영상의 블러 커널을 추정하는 단계; 블러 커널을 이용하여 블러된 제2 영상을 생성하는 단계; 제1 영상의 각 채널별 영상과 블러된 제2 영상 사이의 채널별 잔차 영상을 각각 생성하는 단계; 및 제2 영상, 채널별 잔차 영상 및 블러 커널을 이용하여 영상을 복원하는 단계를 포함한다.
또다른 양상에 따른 영상 처리 방법을 구현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 있어서, 방법은, 복수 채널의 컬러 영상 정보를 포함하는 제1 영상 및 제1 영상에 비하여 짧은 시간 노출된 단일 채널 영상 정보를 포함하는 제2 영상을 획득하는 단계; 제1 영상 및 제2 영상을 이용하여 제1 영상의 블러 커널을 추정하는 단계; 블러 커널을 이용하여 블러된 제2 영상을 생성하는 단계; 제1 영상에서 각 채널별 영상과 블러된 제2 영상 사이의 채널별 잔차 영상을 각각 생성하는 단계; 및 제2 영상, 채널별 잔차 영상 및 블러 커널을 이용하여 영상을 복원하는 단계를 포함한다.
일 실시예에 따르면, 저조도 환경에서 촬영한 장노출 영상의 컬러 영상과 단노출 영상의 디테일 정보를 모두 가지며, 고조도에서 촬영된 영상과 동등한 수준의 밝기와 화질을 복원할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시예를 상세하게 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 일 실시예에 따른 고화질 컬러 영상을 획득하기 위한 영상 처리 장치를 나타내는 블록도이다.
일 실시예에 따른 영상 처리 장치(100)는 블러 커널 추정부(110) 및 영상 복원부(120)를 포함한다. 영상 처리 장치(100)는 저조도 환경에서 획득된 장노출 영상인 제1 영상 및 단노출 영상인 제2 영상을 이용하여 고조도 환경에서 촬영된 영상과 동등한 수준의 밝기 및 화질을 가지는 영상을 복원한다.
블러 커널 추정부(110)는 제1 영상 및 제2 영상을 이용하여 블러 커널을 추 정한다. 제1 영상은 컬러 정보를 포함하는 복수 채널의 영상 정보를 포함한다. 제2 영상은 제1 영상에 비하여 짧은 시간 노출된 단일 채널 영상 정보를 포함한다. 제2 영상은 제1 영상에 비하여 높은 감도로 획득된 영상일 수 있다.
일 실시예에 따르면, 제1 영상은 입사되는 광신호 중 가시광 영역의 컬러 대역의 광신호로부터 감지되는 영상일 수 있다. 제2 영상은 백색 신호, 적외선이 포함된 백색 신호, 적외선 신호, 입사되는 광신호 중 보색 파장 대역의 광신호 중 적어도 하나의 광신호 또는 적어도 하나의 광신호 조합으로부터 감지되는 영상일 수 있다. 제2 영상은 제1 영상과 동일한 장면의 영상이고, 제1 영상에 비하여 짧은 노출 시간으로 캡처되고, 양호한 콘트라스트 정보 및 풍부한 텍스처 정보를 포함하는 한 다양한 대역의 파장의 광신호로부터 획득될 수 있다.
영상 처리 장치(100)에는 제1 영상 및 제2 영상을 획득하기 위한 영상 획득부(도시되지 않음)이 더 포함될 수 있다. 영상 획득부는 제1 영상을 획득하는 유닛 및 제2 영상을 획득하는 유닛이 별도로 또는 일체로 구성될 수 있으며, 동일한 장면에 대한 컬러 정보를 포함하는 제1 영상과 제1 영상에 비하여 짧은 노출 시간으로 캡처된 제2 영상을 획득할 수 있는 한 다양한 구조로 구현될 수 있다.
제1 영상 및 제2 영상을 획득하기 위하여 각기 다른 수광 특성의 카메라를 이용할 수 있다. 예를 들어, 제1 영상을 획득하기 위한 컬러 파장 대역 신호를 감지하는 가시광 감지 카메라 및 제2 영상을 획득하기 위한 가시광 전대역 및 적외선 대역의 신호를 선택적으로 또는 함께 감지할 수 있는 광대역 감지 카메라를 이용할 수 있다.
다시 도 1을 참조하면, 블러 커널 추정부(110)는 제1 영상에 대해 채널 단일화를 처리할 때 제1 영상의 에지 정보가 유지되도록 하는 채널 단일화 처리부(112) 및 채널 단일화된 제1 영상과 제2 영상을 이용하여 블러 커널을 추출하는 블러 커널 추출부(114)를 포함할 수 있다.
채널 단일화 처리부(112)는 복수 채널의 영상 신호가 입력되면, 복수 채널의 영상 신호를 그레이 스케일 영상으로 변환하여 그레이 스케일 변환된 영상을 생성하고, 복수의 채널 각각의 영상의 에지 영상을 생성한다. 그런 다음, 채널 단일화 처리부(112)는 그레이 스케일 변환된 영상 및 복수 채널 각각의 에지 영상을 이용하여 영상을 합성하여 단일 채널 영상을 생성할 수 있다.
도 1에는 채널 단일화 처리부(112)를 포함하는 블러 커널 추정부(110)에 제2 영상이 입력되는 것으로 도시되어 있으나, 제1 영상에 비하여 짧은 시간 노출된 복수 채널 영상 정보를 채널 단일화 처리부(112)에 입력되는 경우, 제1 영상 신호와 동일한 채널 단일화를 수행하여 제2 영상을 생성할 수 있다. 생성된 제2 영상을 블러 커널 추출부(114)에 입력하여, 블러 커널 추출에 이용할 수 있다.
블러 커널 추출부(114)는 채널 단일화 처리된 제1 영상과 제2 영상을 이용하여 블러 커널을 추출한다.
일 실시예에 따른 제1 영상은 다음과 같은 수학식 1에 의해 나타낼 수 있으며, 제2 영상은 다음의 수학식 2에 의해 나타낼 수 있다.
[수학식 1]
IL= I
Figure 112008079800602-PAT00001
k
여기에서, IL은 채널 단일화된 제1 영상을 나타내고, I는 고화질 영상을 나타내고, k는 블러 커널(blur kernel) 즉, 손떨림에 의한 PSF(Point Spread Function)를 나타내고,
Figure 112008079800602-PAT00002
는 컨볼루션 오퍼레이터를 나타낸다.
[수학식 2]
Is = I + n
Is는 제2 영상을 나타내고, n은 노이즈를 나타낸다. 따라서, 채널 단일화된 제1 영상 및 노이즈를 제거한 제2 영상을 수학식 1에 적용하고 여러 가지 방법을 이용하여 블러 커널(k)를 계산할 수 있다. 일예로 푸리에 트랜스폼을 이용하여 계산할 수 있다.
다음으로, 영상 복원부(120)의 동작에 대하여 설명한다.
통상적으로, 고화질 영상(I)을 복원하기 위하여 블러 커널(k)와, 입력 영상 (IL)을 이용하여 리차드슨-루시 알고리즘(Richardson-Lucy Algorithm) 등을 이용하여 디컨볼루션을 수행한다. 그러나, 일 실시예에 따른 영상 복원부(120)는 제1 영상의 각 채널별 영상로부터 제2 영상에 대하여 추정된 블러 커널을 이용하여 생성된 블러된 제2 영상을 차감함으로써 채널별 잔차 영상을 생성한다. 영상 복원부(120)는 채널별 잔차 영상 각각에 대하여, 추정된 블러 커널로 디컨볼루션을 수행하여 블러가 제거된(deblurred) 잔차 영상에 대한 복원 영상을 생성한다.
이와 같이, 잔차 영상에 대하여 디컨볼루션을 수행하면, 잔차 영상이 입력 영상(IL)에 비하여 신호 크기가 작으므로, 디컨볼루션에 의해 발생되는 링잉 효과를 줄일 수 있다.
정리하면, 영상 복원부(120)는 추정된 블러 커널을 이용하여 제2 영상의 블러된 영상을 생성하고, 제1 영상에서 각 채널별 영상과 블러된 제2 영상 사이의 잔차 영상 및 블러 커널을 이용하여 영상을 복원한다. 영상 복원부(120)는 제1 영상에서 각 채널별 영상과 블러된 제2 영상 사이의 잔차 영상에 대하여 추정된 블러 커널을 이용하여 리차드슨-루시 알고리즘 등을 이용하여 디컨볼루션을 수행하여 잔차 영상에 대한 복원 영상을 복원할 수 있다. 그런 다음, 블러가 제거된 잔차 영상에 제2 영상을 합산하면 고화질 영상(I)을 복원할 수 있다.
한편, 영상 복원부(120)는 제2 영상의 블러된 영상으로부터 추출된 에지 정보에 기초하여 디컨볼루션을 수행할 수 있다. 링잉은 루시-리차드슨 방법과 같은 반복적 방법에서 반복 횟수가 증가함에 따라 증가되는 경향이 있다. 또한, 링잉의 크기는 영상의 에지 영역에서 증가한다. 일 실시예에 따르면, 영상 복원부(120)는 에지 영역에서는 디컨볼루션의 영향이 적게 발생하도록 하고 평탄한 영역에서는 통상의 디컨볼루션이 수행되도록, 영상의 영역별로 가중치를 두어 디컨볼루션을 수행할 수 있다.
일 실시예에 따르면, 저조도 환경에서 촬영한 장노출 영상의 컬러 영상과 단노출 영상의 디테일 정보를 모두 가지며, 고조도에서 촬영된 영상과 동등한 수준의 밝기와 화질을 복원할 수 있다.
도 2는 일 실시예에 따른 고화질 컬러 영상을 획득하기 위한 영상 처리 방법을 나타내는 순서도이다.
복수 채널의 컬러 영상 정보를 포함하는 제1 영상을 획득한다(S 210). 제1 영상에 비하여 짧은 시간 노출된 단일 채널 영상 정보를 포함하는 제2 영상을 획득한다(S 220). 제1 영상과 제2 영상은 어떤 순서로 획득되어도 무방하며, 동시에 획득될 수도 있다.
제1 영상 및 제2 영상을 이용하여 제1 영상의 블러 커널을 추정한다(S 230). 제2 영상에 블러 커널을 적용하여 블러된 제2 영상을 생성한다(S 240).
제1 영상의 채널별 영상으로부터 블러된 제2 영상을 차감한 채널별 잔차 영상을 생성한다(S 250). 제2 영상, 각 채널별 잔차 영상 및 블러 커널을 이용하여 영상을 복원한다(S 260).
도 3은 일 실시예에 따른 블러 커널 추정 과정을 상세하게 나타내는 순서도이다.
복수 채널의 컬러 영상 정보를 포함하는 제1 영상을 수신한다(S 310). 제1 영상에 비하여 짧은 시간 노출된 단일 채널 영상 정보를 포함하는 제2 영상을 수신한다(S 320). 제1 영상에 대해서 채널 단일화를 수행한다(S 330). 채널 단일화하는 과정에 대해서는 도 4를 참조하여 상세하게 설명한다.
단노출 촬영됨으로써 노이즈가 많은 제2 영상에 대해서는 노이즈를 제거한다(S 340).
채널 단일화가 수행된 제1 영상 및 노이즈가 제거된 제2 영상을 이용하여 블 러 커널을 추정한다(S 350). 추정된 블러 커널을 노이즈가 제거된 제2 영상에 적용하여 블러된 제2 영상을 얻을 수 있다. 블러된 제2 영상은 일 실시예에 따른 영상 복원 과정에서 잔차 영상을 생성하는데 이용된다.
도 4는 일 실시예에 따른 채널 단일화 과정을 상세하게 나타내는 순서도이다.
복수 채널의 컬러 정보를 포함하는 제1 영상을 수신한다(S 410). 제1 영상에 대하여 단일 채널의 그레이 스케일 영상으로 변환한다(S 420).
한편, 제1 영상의 채널별 에지 영상을 생성한다(S 430). 제1 영상이 RGB 영상인 경우 R 채널, G 채널 및 B 채널의 에지 영상을 획득한다. 에지 영상은 알려진 다양한 방법으로 이용하여 추출되어 생성될 수 있다. 일 예로, 에지 영상은 알려진 유사 연산자(homogeneity operator), 차 연산자(difference operator), 컴퍼스 기울기 연산자(compass gradient operator) 등과 같은 에지 연산자를 이용하여 추출될 수 있다. 채널별 에지 영상에 대하여 가우션 블러링을 적용하는 방법 등에 의하여 스무딩을 수행하여 잡음을 제거한다(S 440).
그레이 스케일 변환된 영상과 스무딩이 수행된 채널별 에지 영상을 합성한다(S 450). 제1 영상이 RGB 영상인 경우, 그레이 스케일 변환된 영상, 스무딩이 수행된 R 채널 영상, G 채널 영상 및 B 채널 영상의 에지 영상을 합성한다. 예를 들어, 위의 4가지 영상을 더한 다음 평균하는 방식으로 영상을 합성할 수 있다. 합성된 영상은 장치의 해상도 등에 의한 데이터 형식에 따라 정규화된다.
이와 같이 영상의 디테일 정보, 예를 들어 영역별 밝기 정보를 포함하는 그 레이 스케일 변환된 영상과 각 채널별 에지 영상을 이용하면, 영상의 디테일 정보와 각 채널별 에지 정보를 유지하는 단일 채널의 영상을 생성할 수 있다. 따라서, 이와 같은 단일 채널의 영상을 블러 커널 추정에 이용하여 더욱 정확한 블러 커널을 추정할 수 있다.
도 5는 일 실시예에 따른 영상 복원 과정을 상세하게 나타내는 순서도이다.
복수 채널의 컬러 영상 정보를 포함하는 제1 영상을 수신한다(S 510). 제1 영상에 비하여 짧은 시간 노출된 단일 채널 영상 정보를 포함하는 제2 영상을 수신한다(S 520).
제2 영상과 추정된 블러 커널을 이용하여 블러된 제2 영상을 생성한다(S 530). 제1 영상의 각 채널별 영상으로부터 블러된 제2 영상을 차감한 채널별 잔차 영상을 각각 생성한다(S 550).
생성된 채널별 잔차 영상들 각각에 추정된 블러 커널을 이용하여 디컨볼루션 방법을 이용하여 블러 커널이 제거된(deblurred) 채널별 영상을 생성한다(S 560). 제2 영상에서 에지 영상을 획득하여(S 540), 디컨볼루션 과정(S 560)에서 제2 영상의 에지 영상에 기초하여 영역별 가중치를 설정하고, 설정된 가중치에 따라 디컨볼루션을 수행할 수 있다. 이를 통하여 복원 결과에서 나타나는 링잉 아티팩트를 저감시킬 수 있다.
채널별 잔차 영상에 대한 디블러된 영상과 획득된 제2 영상을 더해주어 최종 복원 영상을 채널별로 생성함으로써 영상을 복원한다(S 570).
본 발명의 일 실시예에 따른 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴 퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 상기의 프로그램을 구현하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 디스크 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.
이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.
도 1은 일 실시예에 따른 고화질 컬러 영상을 획득하기 위한 영상 처리 장치를 나타내는 블록도이고,
도 2는 일 실시예에 따른 고화질 컬러 영상을 획득하기 위한 영상 처리 방법을 나타내는 순서도이고,
도 3은 일 실시예에 따른 블러 커널 추정 과정을 상세하게 나타내는 순서도이고,
도 4는 일 실시예에 따른 채널 단일화 과정을 상세하게 나타내는 순서도이고,
도 5는 일 실시예에 따른 영상 복원 과정을 상세하게 나타내는 순서도이다.

Claims (13)

  1. 복수 채널의 컬러 영상 정보를 포함하는 제1 영상 및 제1 영상에 비하여 짧은 노출 시간으로 획득된 단일 채널 영상 정보를 포함하는 제2 영상을 이용하여 상기 제1 영상의 블러 커널을 추정하는 블러 커널 추정부; 및
    상기 블러 커널을 이용하여 상기 제2 영상의 블러된 영상을 생성하고, 제1 영상의 각 채널별 영상과 상기 블러된 제2 영상 사이의 잔차 영상, 상기 제2 영상 및 상기 블러 커널을 이용하여 영상을 복원하는 영상 복원부를 포함하는 영상 처리 장치.
  2. 제1항에 있어서,
    상기 제1 영상은 입사되는 광신호 중 가시광 영역의 컬러 대역의 광신호로부터 감지되는 영상이고,
    제2 영상은 백색 신호, 적외선이 포함된 백색 신호, 적외선 신호, 입사되는 광신호 중 보색 파장 대역의 광신호 중 적어도 하나의 광신호 또는 적어도 하나의 광신호 조합으로부터 감지되는 영상인 영상 처리 장치.
  3. 제1항에 있어서,
    상기 블러 커널 추정부는,
    복수 채널의 영상 신호가 입력되면, 상기 복수 채널의 영상 신호를 그레이 스케일 영상으로 변환하여 생성된 그레이 스케일 변환된 영상 및 상기 복수의 채널 각각의 영상의 에지 영상을 생성하고, 상기 그레이 스케일 변환된 영상 및 상기 복수 채널 각각의 에지 영상을 이용하여 영상을 합성하여 단일 채널 영상을 생성하는 채널 단일화 처리부를 포함하고,
    상기 제1 영상을 상기 채널 단일화 처리부를 통하여 채널 단일화하여 블러 커널 추정에 이용하는 영상 처리 장치.
  4. 제3항에 있어서,
    상기 채널 단일화 처리부는 제1 영상에 비하여 짧은 노출 시간으로 획득된 복수 채널 영상에 대하여 상기 제1 영상 신호와 동일한 채널 단일화를 수행하여 제2 영상 신호를 생성하는 영상 처리 장치.
  5. 제1항에 있어서,
    상기 영상 복원부는 상기 제2 영상으로부터 추출된 에지 정보에 기초하여 디컨볼루션을 수행하는 영상 처리 장치.
  6. 제1항에 있어서,
    상기 영상 복원부는 제1 영상의 각 채널별 영상으로부터 상기 블러된 제2 영상을 차감한 채널별 잔차 영상에 대하여 상기 블러 커널을 디컨볼루션하여 상기 채널별 잔차 영상에 대한 복원 영상을 생성하고, 상기 채널별 잔차 영상에 상기 제2 영상을 각각 합산하여 채널별 복원 영상을 생성하는 영상 처리 장치.
  7. 복수 채널의 컬러 영상 정보를 포함하는 제1 영상 및 제1 영상에 비하여 짧은 시간 노출된 단일 채널 영상 정보를 포함하는 제2 영상을 획득하는 단계;
    상기 제1 영상 및 상기 제2 영상을 이용하여 상기 제1 영상의 블러 커널을 추정하는 단계;
    상기 블러 커널을 이용하여 블러된 제2 영상을 생성하는 단계;
    제1 영상의 각 채널별 영상과 상기 블러된 제2 영상 사이의 채널별 잔차 영상을 각각 생성하는 단계; 및
    상기 제2 영상, 상기 채널별 잔차 영상 및 상기 블러 커널을 이용하여 영상을 복원하는 단계를 포함하는 영상 처리 방법.
  8. 제7항에 있어서,
    상기 제1 영상은 입사되는 광신호 중 가시광 영역의 컬러 대역의 광신호로부터 감지되는 영상이고, 제2 영상은 백색 신호, 적외선이 포함된 백색 신호, 적외선 신호, 입사되는 광신호 중 보색 파장 대역의 광신호 중 적어도 하나의 광신호 또는 적어도 하나의 광신호 조합으로부터 감지되는 영상인 영상 처리 장치.
  9. 제7항에 있어서,
    상기 블러 커널을 추정하는 단계는,
    상기 제1 영상에 대하여 채널 단일화 처리를 수행하는 단계를 포함하고,
    상기 채널 단일화 처리를 수행하는 단계는,
    제1 영상을 그레이 스케일 영상으로 변환하여 그레이 스케일 변환된 영상을 생성하고, 상기 제1 영상의 복수의 채널 각각의 영상의 에지 영상을 생성하는 단계; 및
    상기 그레이 스케일 변환된 영상 및 상기 복수 채널 각각의 에지 영상을 이용하여 영상을 합성하여 단일 채널 영상을 생성하는 단계를 포함하는 영상 처리 방법.
  10. 제9항에 있어서,
    제2 영상 신호를 획득하는 단계 이전에, 제1 영상에 비하여 짧은 노출 시간으로 획득된 복수 채널 영상 정보를 상기 제1 영상 신호와 동일한 채널 단일화 처리를 수행하여 제2 영상 신호를 생성하는 단계를 더 포함하는 영상 처리 방법.
  11. 제7항에 있어서,
    상기 영상을 복원하는 단계는 상기 제2 영상으로부터 추출된 에지 정보에 기초하여 디컨볼루션을 수행하는 영상 처리 방법.
  12. 제7항에 있어서,
    상기 영상을 복원하는 단계는,
    제1 영상의 각 채널별 영상로부터 상기 블러된 제2 영상을 차감한 채널별 잔차 영상에 대하여 상기 블러 커널을 디컨볼루션하여 상기 채널별 잔차 영상에 대한 블러가 제거된 영상을 생성하는 단계; 및
    상기 채널별 잔차 영상에 대한 블러가 제거된 영상에 상기 제2 영상을 각각 합산하여 채널별 복원 영상을 생성하는 영상 처리 방법.
  13. 영상 처리 방법을 구현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 있어서, 상기 방법은,
    복수 채널의 컬러 영상 정보를 포함하는 제1 영상 및 제1 영상에 비하여 짧은 시간 노출된 단일 채널 영상 정보를 포함하는 제2 영상을 획득하는 단계;
    상기 제1 영상 및 상기 제2 영상을 이용하여 상기 제1 영상의 블러 커널을 추정하는 단계;
    상기 블러 커널을 이용하여 블러된 제2 영상을 생성하는 단계;
    제1 영상에서 각 채널별 영상과 상기 블러된 제2 영상 사이의 채널별 잔차 영상을 각각 생성하는 단계; 및
    상기 제2 영상, 상기 채널별 잔차 영상 및 상기 블러 커널을 이용하여 영상을 복원하는 단계를 포함하는 기록매체.
KR1020080115212A 2008-11-19 2008-11-19 고화질 컬러 영상을 획득하기 위한 영상 처리 장치 및 방법 KR101574733B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020080115212A KR101574733B1 (ko) 2008-11-19 2008-11-19 고화질 컬러 영상을 획득하기 위한 영상 처리 장치 및 방법
US12/574,181 US8184182B2 (en) 2008-11-19 2009-10-06 Image processing apparatus and method
EP09174897.0A EP2189939B1 (en) 2008-11-19 2009-11-03 Image restoration from multiple images
CN2009102108471A CN101742123B (zh) 2008-11-19 2009-11-11 图像处理设备和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080115212A KR101574733B1 (ko) 2008-11-19 2008-11-19 고화질 컬러 영상을 획득하기 위한 영상 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20100056167A true KR20100056167A (ko) 2010-05-27
KR101574733B1 KR101574733B1 (ko) 2015-12-04

Family

ID=41667247

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080115212A KR101574733B1 (ko) 2008-11-19 2008-11-19 고화질 컬러 영상을 획득하기 위한 영상 처리 장치 및 방법

Country Status (4)

Country Link
US (1) US8184182B2 (ko)
EP (1) EP2189939B1 (ko)
KR (1) KR101574733B1 (ko)
CN (1) CN101742123B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150100068A (ko) * 2014-02-24 2015-09-02 삼성전자주식회사 배제 픽셀 데이터를 보상하여 영상을 생성하는 방법 및 그것을 이용하는 영상 생성 장치
CN111598884A (zh) * 2020-05-21 2020-08-28 北京世纪好未来教育科技有限公司 图像数据处理方法、设备及计算机存储介质

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8698924B2 (en) * 2007-03-05 2014-04-15 DigitalOptics Corporation Europe Limited Tone mapping for low-light video frame enhancement
US9307212B2 (en) * 2007-03-05 2016-04-05 Fotonation Limited Tone mapping for low-light video frame enhancement
EP2574038B1 (en) * 2010-05-21 2018-10-24 Panasonic Intellectual Property Corporation of America Image capturing apparatus, image processing apparatus, image processing method, and image processing program
US8503801B2 (en) 2010-09-21 2013-08-06 Adobe Systems Incorporated System and method for classifying the blur state of digital image pixels
US8669524B2 (en) 2010-10-25 2014-03-11 The Reseach Foundation of State University of New York Scanning incremental focus microscopy
US9202127B2 (en) * 2011-07-08 2015-12-01 Qualcomm Incorporated Parallel processing method and apparatus for determining text information from an image
US8885941B2 (en) 2011-09-16 2014-11-11 Adobe Systems Incorporated System and method for estimating spatially varying defocus blur in a digital image
US8903088B2 (en) 2011-12-02 2014-12-02 Adobe Systems Incorporated Binding of protected video content to video player with encryption key
US8879731B2 (en) 2011-12-02 2014-11-04 Adobe Systems Incorporated Binding of protected video content to video player with block cipher hash
KR101906422B1 (ko) * 2012-05-10 2018-10-10 엘지디스플레이 주식회사 화질처리방법과 이를 이용한 표시장치
TWI462054B (zh) * 2012-05-15 2014-11-21 Nat Univ Chung Cheng Estimation Method of Image Vagueness and Evaluation Method of Image Quality
US9064318B2 (en) 2012-10-25 2015-06-23 Adobe Systems Incorporated Image matting and alpha value techniques
US9201580B2 (en) 2012-11-13 2015-12-01 Adobe Systems Incorporated Sound alignment user interface
US10638221B2 (en) 2012-11-13 2020-04-28 Adobe Inc. Time interval sound alignment
US9355649B2 (en) 2012-11-13 2016-05-31 Adobe Systems Incorporated Sound alignment using timing information
US9076205B2 (en) * 2012-11-19 2015-07-07 Adobe Systems Incorporated Edge direction and curve based image de-blurring
US8897588B2 (en) 2012-11-20 2014-11-25 Adobe Systems Incorporated Data-driven edge-based image de-blurring
US10249321B2 (en) 2012-11-20 2019-04-02 Adobe Inc. Sound rate modification
US9451304B2 (en) 2012-11-29 2016-09-20 Adobe Systems Incorporated Sound feature priority alignment
US10455219B2 (en) 2012-11-30 2019-10-22 Adobe Inc. Stereo correspondence and depth sensors
US9135710B2 (en) 2012-11-30 2015-09-15 Adobe Systems Incorporated Depth map stereo correspondence techniques
US9208547B2 (en) 2012-12-19 2015-12-08 Adobe Systems Incorporated Stereo correspondence smoothness tool
US10249052B2 (en) 2012-12-19 2019-04-02 Adobe Systems Incorporated Stereo correspondence model fitting
US9214026B2 (en) 2012-12-20 2015-12-15 Adobe Systems Incorporated Belief propagation and affinity measures
US9349165B2 (en) * 2013-10-23 2016-05-24 Adobe Systems Incorporated Automatically suggesting regions for blur kernel estimation
CN104851079B (zh) * 2015-05-06 2016-07-06 中国人民解放军国防科学技术大学 基于噪声/模糊图像对的低照度车牌图像恢复方法
KR102368625B1 (ko) * 2015-07-23 2022-03-02 삼성전자주식회사 디지털 촬영 장치 및 그 방법
CN105141857B (zh) * 2015-09-21 2018-12-11 广东欧珀移动通信有限公司 图像处理方法和装置
US10062151B2 (en) 2016-01-21 2018-08-28 Samsung Electronics Co., Ltd. Image deblurring method and apparatus
WO2018150695A1 (ja) * 2017-02-17 2018-08-23 富士フイルム株式会社 画像処理装置、画像処理方法、およびカメラシステム
CN106851115B (zh) * 2017-03-31 2020-05-26 联想(北京)有限公司 一种图像处理方法和装置
US11935285B1 (en) * 2017-06-02 2024-03-19 Apple Inc. Real-time synthetic out of focus highlight rendering
JP6939283B2 (ja) * 2017-09-05 2021-09-22 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP7027737B2 (ja) 2017-09-05 2022-03-02 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム
GB2569547B (en) 2017-12-19 2021-05-12 Samsung Electronics Co Ltd Reconstruction of original images from modified images
WO2019124708A1 (en) * 2017-12-19 2019-06-27 Samsung Electronics Co., Ltd. Method and apparatus for reconstruction of original images from modified images
US10992845B1 (en) 2018-09-11 2021-04-27 Apple Inc. Highlight recovery techniques for shallow depth of field rendering
CN110062164B (zh) * 2019-04-22 2021-10-26 深圳市商汤科技有限公司 视频图像处理方法及装置
US20220012853A1 (en) * 2020-07-09 2022-01-13 Technoimaging, Llc Joint minimum entropy method for simultaneous processing and fusion of multi-physics data and images
KR20220078283A (ko) 2020-12-03 2022-06-10 삼성전자주식회사 뉴럴 네트워크 프로세서를 구비하는 이미지 처리 장치 및 이의 동작 방법
CN112907818B (zh) * 2021-01-20 2022-06-24 广东便捷神科技股份有限公司 一种广告营销类语音信息的处理方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4410989B2 (ja) 2002-12-12 2010-02-10 キヤノン株式会社 画像処理装置及び画像復号処理装置
US8264576B2 (en) * 2007-03-05 2012-09-11 DigitalOptics Corporation Europe Limited RGBW sensor array
US8570389B2 (en) * 2004-07-22 2013-10-29 Broadcom Corporation Enhancing digital photography
US7551772B2 (en) 2004-11-30 2009-06-23 Hewlett-Packard Development Company, L.P. Blur estimation in a digital image
US7773115B2 (en) * 2004-12-15 2010-08-10 Texas Instruments Incorporated Method and system for deblurring digital camera images using reference image and motion estimation
US8654201B2 (en) 2005-02-23 2014-02-18 Hewlett-Packard Development Company, L.P. Method for deblurring an image
KR100747719B1 (ko) 2005-06-24 2007-08-08 엠텍비젼 주식회사 조도에 따른 가변적 보간 방법, 장치 및 이를 구현하기위한 프로그램이 기록된 기록매체
WO2007119680A1 (ja) * 2006-04-11 2007-10-25 Panasonic Corporation 撮像装置
JP4187004B2 (ja) 2006-04-17 2008-11-26 ソニー株式会社 撮像装置および撮像装置の露光制御方法
KR101091913B1 (ko) 2006-06-27 2011-12-08 삼성테크윈 주식회사 촬영장치의 역광보정방법
CN100550996C (zh) * 2006-07-31 2009-10-14 株式会社理光 图像处理装置，成像装置以及图像处理方法
US7769241B2 (en) * 2007-01-09 2010-08-03 Eastman Kodak Company Method of sharpening using panchromatic pixels
CN101222584A (zh) * 2007-01-12 2008-07-16 三洋电机株式会社 晃动检测装置、晃动修正装置及方法
US8184926B2 (en) * 2007-02-28 2012-05-22 Microsoft Corporation Image deblurring with blurred/noisy image pairs
JP5213670B2 (ja) * 2008-01-16 2013-06-19 三洋電機株式会社 撮像装置及びぶれ補正方法
KR101391432B1 (ko) * 2008-01-22 2014-05-07 삼성전기주식회사 영상 획득 장치 및 그 방법과 영상 처리 장치 및 그 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150100068A (ko) * 2014-02-24 2015-09-02 삼성전자주식회사 배제 픽셀 데이터를 보상하여 영상을 생성하는 방법 및 그것을 이용하는 영상 생성 장치
CN111598884A (zh) * 2020-05-21 2020-08-28 北京世纪好未来教育科技有限公司 图像数据处理方法、设备及计算机存储介质

Also Published As

Publication number Publication date
US8184182B2 (en) 2012-05-22
EP2189939A3 (en) 2015-06-10
CN101742123A (zh) 2010-06-16
EP2189939B1 (en) 2016-05-11
US20100123807A1 (en) 2010-05-20
CN101742123B (zh) 2013-11-27
EP2189939A2 (en) 2010-05-26
KR101574733B1 (ko) 2015-12-04

Similar Documents

Publication Publication Date Title
KR101574733B1 (ko) 고화질 컬러 영상을 획득하기 위한 영상 처리 장치 및 방법
Faraji et al. CCD noise removal in digital images
JP5543605B2 (ja) 空間画像事前確率を用いたぼけ画像修正
US8203615B2 (en) Image deblurring using panchromatic pixels
US8941761B2 (en) Information processing apparatus and information processing method for blur correction
US8379120B2 (en) Image deblurring using a combined differential image
US20120288217A1 (en) High dynamic range (hdr) image synthesis with user input
KR101844332B1 (ko) 블러 영상 및 노이즈 영상으로 구성된 멀티 프레임을 이용하여 비균일 모션 블러를 제거하는 방법 및 장치
JP2004214756A (ja) 画像ノイズの低減
KR102106537B1 (ko) 하이 다이나믹 레인지 영상 생성 방법 및, 그에 따른 장치, 그에 따른 시스템
KR20150145725A (ko) Ldr 비디오 시퀀스의 동적 범위 확장을 위한 방법 및 장치
JP5765893B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
Rabie Adaptive hybrid mean and median filtering of high-ISO long-exposure sensor noise for digital photography
KR101287521B1 (ko) 단일 프레임 기반의 높은 동적 대역 영상 생성장치 및 방법
JP2008028626A (ja) 画像処理装置、画像処理方法及びプログラム
KR20190072027A (ko) 저조도 영상 개선 방법
JP2005176350A (ja) ノイズの入った圧縮画像の印刷処理
JP5115297B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
CN113469908B (zh) 图像降噪方法、装置、终端、存储介质
Lim et al. Denoising scheme for realistic digital photos from unknown sources
Seybold et al. Denoising camera data: Shape-adaptive noise reduction for color filter array image data
Maurer et al. Denoising scheme for realistic digital photos from unknown sources
JP2017130168A (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2011188162A (ja) 撮影装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right