KR101391432B1 - 영상 획득 장치 및 그 방법과 영상 처리 장치 및 그 방법 - Google Patents

영상 획득 장치 및 그 방법과 영상 처리 장치 및 그 방법 Download PDF

Info

Publication number
KR101391432B1
KR101391432B1 KR1020080006478A KR20080006478A KR101391432B1 KR 101391432 B1 KR101391432 B1 KR 101391432B1 KR 1020080006478 A KR1020080006478 A KR 1020080006478A KR 20080006478 A KR20080006478 A KR 20080006478A KR 101391432 B1 KR101391432 B1 KR 101391432B1
Authority
KR
South Korea
Prior art keywords
exposure
pixel
color
image signal
image
Prior art date
Application number
KR1020080006478A
Other languages
English (en)
Other versions
KR20090080616A (ko
Inventor
강동구
위호천
오현화
이성덕
Original Assignee
삼성전기주식회사
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전기주식회사, 삼성전자주식회사 filed Critical 삼성전기주식회사
Priority to KR1020080006478A priority Critical patent/KR101391432B1/ko
Priority to US12/213,199 priority patent/US8169491B2/en
Priority to EP08170104A priority patent/EP2083563B1/en
Priority to CN2008101869254A priority patent/CN101494794B/zh
Publication of KR20090080616A publication Critical patent/KR20090080616A/ko
Application granted granted Critical
Publication of KR101391432B1 publication Critical patent/KR101391432B1/ko

Links

Images

Classifications

    • G06T5/70—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Abstract

본 발명은 저조도 환경에서 촬영된 영상을 효율적으로 처리하여 고화질 영상을 획득하기 위한 장치 및 방법을 제안한다.
즉, 본 발명은 컬러 영상을 얻기 위한 컬러 픽셀 및 손떨림 함수 추정에 이용되는 참조 영상을 얻기 위한 참조 픽셀을 포함하는 컬러 필터를 이용하여 픽셀 어레이 값을 감지하는 감지부; 상기 컬러 픽셀 및 상기 참조 픽셀에 대한 노출 시간을 제어하는 노출 제어부; 및 상기 감지된 픽셀 어레이 값으로부터 상호 정렬된 장노출 컬러 영상 신호와 단노출 참조 영상 신호를 생성하는 영상 생성부를 포함하는 영상 획득 장치를 이용하여, 정확한 손떨림 함수를 추정함으로써 고화질의 컬러 영상을 복원할 수 있다.
디지털 카메라, 컬러 필터, 손떨림 함수, 영상 복원, 저조도 환경

Description

영상 획득 장치 및 그 방법과 영상 처리 장치 및 그 방법{Apparatus and method for obtaining images and apparatus and method for processing images}
본 발명은 영상을 획득하고 처리하는 장치 및 방법에 관한 것으로, 특히 저조도 환경에서 촬영된 영상을 효율적으로 처리하여 고화질 컬러 영상을 획득하기 위한 장치 및 방법에 관한 것이다.
디지털 카메라의 사용이 증가함에 따라 조도가 미약한 실내 또는 야간과 같은 저조도 환경에서 영상을 촬영하는 경우가 증가하고 있다. 또한, 저조도 환경에서 명확한 영상을 획득할 수 있는 기능에 대한 카메라 사용자들의 요구도 증가하고 있다. 따라서, 카메라 제조 업체들은 경쟁적으로 우수한 저조도 촬영 성능을 가지는 디지털 카메라를 연구 개발하고 있으나 촬영자의 손떨림이나 촬영된 영상의 노이즈를 제거하여 명확한 영상을 얻는데 한계가 있다.
따라서, 본 발명은 저조도 환경에서 기존 카메라 구조의 변경 없이 고화질의 명확한 컬러 영상을 복원하기 위하여 상호 정렬된 장노출 컬러 영상 및 단노출 참조 영상을 획득할 수 있는 영상 획득 장치 및 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은, 상호 정렬된 장노출 컬러 영상 및 단노출 참조 영상을 이용하여 선명한 컬러 영상을 얻기 위한 영상 처리 장치 및 방법을 제공하는 것을 목적으로 한다.
보다 구체적으로는 본 발명의 일 양상에 따르면, 전술한 목적은, 컬러 영상을 얻기 위한 컬러 픽셀 및 손떨림 함수 추정에 이용되는 참조 영상을 얻기 위한 참조 픽셀을 포함하는 컬러 필터를 이용하여 픽셀 어레이 값을 감지하는 감지부; 상기 컬러 픽셀 및 상기 참조 픽셀에 대한 노출 시간을 제어하는 노출 제어부; 및 상기 감지된 픽셀 어레이 값으로부터 상호 정렬된 장노출 컬러 영상 신호와 단노출 참조 영상 신호를 생성하는 영상 생성부를 포함하는 것을 특징으로 하는 영상 획득 장치에 의해 달성된다.
한편, 본 발명의 다른 양상에 따르면, 전술한 목적은, 컬러 영상을 얻기 위한 컬러 픽셀 및 손떨림 함수 추정에 이용되는 참조 영상을 얻기 위한 참조 픽셀을 포함하는 컬러 필터에서 상기 컬러 픽셀 및 상기 참조 픽셀에 대한 노출 시간을 제어하여 픽셀 어레이 값을 획득하는 단계; 및 상기 획득된 픽셀 어레이 값을 이용하여 상호 정렬된 장노출 컬러 영상 신호와 단노출 참조 영상 신호를 생성하는 단계 를 포함하는 것을 특징으로 하는 영상 획득 방법에 의해 달성된다.
또한, 본 발명의 또 다른 양상에 따르면, 전술한 목적은, 컬러 영상을 획득하기 위한 컬러 픽셀 및 손떨림 함수 추정에 이용되는 참조 영상을 획득하기 위한 참조 픽셀을 포함하는 컬러 필터에 대한 노출 시간을 제어하여 상호 정렬된 장노출 컬러 영상 신호와 단노출 참조 영상 신호를 획득하는 영상 획득부; 상기 장노출 컬러 영상 신호와 상기 단노출 참조 영상 신호를 이용하여 손떨림 함수를 추정하는 함수 추정부; 및 상기 추정된 손떨림 함수를 이용하여 상기 장노출 컬러 영상 신호에 대하여 디컨볼루션을 수행하여 복원 영상 신호를 생성하는 영상 복원부를 포함하는 것을 특징으로 하는 영상 처리 장치에 의해 달성된다.
또한, 본 발명의 또 다른 양상에 따르면, 전술한 목적은, 컬러 영상을 획득하기 위한 컬러 픽셀 및 손떨림 함수 추정에 이용되는 참조 영상을 획득하기 위한 참조 픽셀을 포함하는 컬러 필터에 대한 노출 시간을 제어하여 상호 정렬된 장노출 컬러 영상 신호와 단노출 참조 영상 신호를 획득하는 단계; 상기 장노출 컬러 영상 신호와 상기 단노출 참조 영상 신호를 이용하여 손떨림 함수를 추정하는 단계; 및 상기 추정된 손떨림 함수를 이용하여 상기 장노출 컬러 영상 신호에 대하여 디컨볼루션을 수행하여 복원 영상 신호를 생성하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법에 의해 달성된다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시예를 상세하게 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 영상 획득 장치를 나타내는 블록도이다.
본 발명의 일 실시예에 따른 영상 획득 장치(100)는 감지부(110), 노출 제어부(120) 및 영상 생성부(130)를 포함한다.
디지털 카메라와 같은 영상을 촬영하는 장치로 입력된 영상은 다음과 같은 수학식 1에 의해 나타낼 수 있다.
[수학식 1]
Figure 112008005140406-pat00001
여기에서, B는 입력된 영상을 나타내고, I는 고화질 영상을 나타내고, K는 블러 커널(blur kernel) 즉, 손떨림에 의한 PSF(Point Spread Function)를 나타내고,
Figure 112008005140406-pat00002
는 컨볼루션 오퍼레이터를 나타낸다. 따라서, 고화질 영상을 얻기 위해서는 블러 커널을 정확하게 예측하는 것이 필요하다.
영상 획득 장치(100)는 손떨림에 의한 PSF를 정확하게 예측하는데 필요한 동일한 장면을 촬영한 완벽하게 정렬된 장노출 영상과 단노출 영상을 획득하는 것을 목적으로 한다. PSF를 추정하는데 이용되는 획득된 영상신호들이 정확하게 정렬되어 있지 않으면 정렬 에러로 인하여 PSF의 예측 정확도가 현저하게 떨어지게 되는 점이 알려져 있다.
감지부(110)는 컬러 필터를 구성하는 픽셀들을 통해 투과된 컬러 정보인 픽셀 어레이 값을 얻어 영상을 감지한다. 감지부(110)는 CCD 또는 CMOS와 같은 이미지 센서를 포함하여 구성되어 영상이 감지될 수 있다. 컬러 필터는 통상의 디지털 카메라의 구성과 같이 이미지 센서의 광소자 앞에 배열되어 이용될 수 있다.
본 발명의 일 실시예에 따르면 컬러 필터는 일반적으로 이용되는 컬러 필터가 이용될 수 있다. 예를 들어, 컬러 필터에 포함되는 컬러 픽셀은 적색(R) 픽셀, 녹색(G) 픽셀 및 청색(B) 픽셀을 포함한다. 종래에는 단순하게 컬러 필터를 통해 얻은 픽셀 어레이 값을 이용하여 컬러 영상을 획득하였다.
그러나, 본 발명에서는 컬러 필터에 포함되는 픽셀들에 대한 노출 시간을 제어하여 서로 완벽하게 정렬된 컬러 영상과 참조 영상을 획득한다. 참조 영상은 손떨림에 의한 PSF(이하, 손떨림 함수라 함)를 추정하는데 참조하기 위한 영상이다.
참조 영상은 단노출에 의해 생성되므로, 참조 영상을 생성하기 위해 이용되는 참조 픽셀은 높은 감도로 빛을 투과할 수 있는 픽셀일 수 있다. 예를 들어, 참조 픽셀은 흑백(W) 픽셀 또는 녹색(G) 픽셀일 수 있다. 그러나 이와 같은 컬러 필터의 종류나 방식 및 컬러 필터를 구성하는 픽셀의 컬러 등은 손떨림 함수를 효율적으로 추정할 수 있는 한 다양하게 변형될 수 있다.
따라서, R, G, B 및 W 픽셀들로 구성된 컬러 필터의 어레이를 통하여, 감지부(110)를 통하여 3채널 장노출 컬러 픽셀 어레이 값 및 1채널 단노출 흑백 어레이 값을 얻을 수 있다.
노출 제어부(120)는 감지부(110)의 컬러 픽셀 및 참조 픽셀에 대한 노출 시간을 제어한다. 노출 제어부(120)는 컬러 픽셀과 참조 픽셀에 대한 노출 시작 시간을 동기시키고, 컬러 픽셀에 대한 노출 시간이 참조 픽셀에 대한 노출 시간보다 길도록 제어한다. 이 때, 참조 영상은 매우 짧은 시간에 획득되므로 노출 제어부(120)는 감도를 높여 참조 영상을 감지하도록 감지부(110)를 제어할 수 있다.
또한, 노출 제어부(120)는 컬러 픽셀에 대한 노출이 유지되는 동안 참조 픽셀에 대한 단노출이 반복되어 일어나도록 감지부(110)를 제어할 수 있다. 참조 픽셀에 대한 단노출을 반복시켜 얻은 참조 영상들의 변이 정보를 조사하면 손떨림 궤적을 예측할 수 있으며, 예측된 손떨림 궤적에 대한 정보를 손떨림 함수의 초기 정보로써 이용할 수 있다.
영상 생성부(130)는 감지된 픽셀 어레이 값으로부터 정확하게 상호 정렬된 장노출 컬러 영상 신호와 단노출 참조 영상 신호를 생성한다. 본 발명의 일 실시예에 따르면, 영상 생성부(130)는 컬러 픽셀 및 참조 픽셀을 통해 감지된 픽셀 어레이 값에 대한 보간(interpolation)을 수행하여 컬러 픽셀의 컬러별 장노출 영상 신호 및 단노출 참조 영상 신호를 생성할 수 있다.
이와 같이, 본 발명의 일 실시예에 따르면, 캡처 시작 시간이 동일하고 완벽하게 정렬되어 있는 장노출 컬러 영상과 단노출 참조 영상을 얻을 수 있으므로, 정렬 에러가 원천적으로 배제되어, 추후에 영상을 정렬하기 위한 별도의 처리를 수행할 필요가 없는 장점이 있다.
도 2a 내지 도 2b는 본 발명의 일 실시예에 따른 영상 획득 방법에 이용되는 컬러 필터 어레이의 구조를 나타내는 도면이다.
도 2a는 R, G, B 및 W 픽셀을 포함한 컬러 필터 어레이를 나타낸다. 도 2a에서 R, G 및 B는 본 발명에서 컬러 픽셀로 이용되고, W는 참조 픽셀로 이용된다.
도 2b는 R, G 및 B 픽셀을 포함한 컬러 필터 어레이를 나타낸다. 도 2b에서 R, G1 및 B는 컬러 픽셀로 이용되고, G2는 참조 픽셀로 이용된다. 도 2b에서 G1 및 G2는 둘 다 G 픽셀이지만, G1 픽셀은 컬러 픽셀로 이용되고, G2 픽셀은 참조 픽셀로 이용되므로 구분하여 표시한 것이다.
도 3a 내지 도 3b는 본 발명의 일 실시예에 따른 컬러 필터의 노출 시간 제어 방법을 나타내는 도면이다.
도 3a 내지 도 3b에서 수평축은 시간을 나타낸다. 도 3a에 도시된 바와 같이, 노출 제어부(120)는 컬러 픽셀(R, G 및 B 픽셀)과 참조 픽셀(W 또는 G2 픽셀)에 대한 노출 시작 시간을 동기시키고, 컬러 픽셀(R, G 및 B 픽셀)에 대한 노출 시간이 참조 픽셀(W 또는 G2)에 대한 노출 시간보다 길도록 제어한다.
또한, 도 3b에 도시된 바와 같이 노출 제어부(120)는 손떨림 함수의 초기 정보를 획득하기 위하여 컬러 픽셀에 대한 노출이 유지되는 동안 참조 픽셀에 대한 단노출이 반복되어 일어나도록 감지부(110)를 제어할 수 있다.
도 4는 흑백 픽셀이 참조 픽셀로 이용된 컬러 필터의 픽셀 어레이 값으로부터 동일 해상도의 장노출 컬러 영상과 단노출 흑백 영상을 생성하는 방법을 나타내는 도면이다.
도 4에 도시된 바와 같이 베이어 방식의 컬러 필터의 경우, 컬러 픽셀 어레 이(410)로부터 얻은 픽셀 어레이 값을 보간하여 3채널의 장노출 RGB 컬러 영상(420)을 생성하고, 단채널의 단노출 흑백 영상(430)을 생성할 수 있다.
도 5는 본 발명의 일 실시예에 따른 영상 처리 장치를 나타내는 블록도이다.
본 발명의 일 실시예에 따른 영상 처리 장치(500)는 영상 획득부(510), 함수 추정부(520) 및 영상 복원부(530)를 포함한다.
영상 획득부(510)는 도 1에 도시된 영상 획득 장치(100)의 구성에 대응한다. 영상 획득부(510)는 컬러 필터에 포함된 컬러 영상을 획득하기 위한 컬러 픽셀 및 손떨림 함수 추정에 이용되는 참조 영상을 획득하기 위한 참조 픽셀에 대한 노출 시간을 제어하여 정확하게 상호 정렬된 장노출 컬러 영상 신호와 단노출 참조 영상 신호를 획득한다.
영상 획득부(510)는 컬러 픽셀 및 참조 픽셀에 대한 노출 시작 시간을 동기시키고, 컬러 픽셀에 대한 노출 시간이 참조 픽셀에 대한 노출 시간보다 길도록 제어하여 장노출 컬러 영상 신호와 단노출 참조 영상 신호를 획득할 수 있다.
함수 추정부(520)는 장노출 컬러 영상 신호와 단노출 참조 영상 신호를 이용하여 손떨림 함수를 추정한다.
본 발명의 일 실시예에 따르면, 손떨림 함수는
Figure 112008005140406-pat00003
및
Figure 112008005140406-pat00004
를 만족하는 다음의 수학식 2와 같은 목적 함수를 최소화하는 것에 의해 계산될 수 있다.
[수학식 2]
Figure 112008005140406-pat00005
여기에서,
Figure 112008005140406-pat00006
는 해를 안정화하기 위한 티코노브 정규 항(Tikhonov regulation term)이고 파라미터 λ는 3으로 고정될 수 있다. 그러나, 티코노브 정규항은 일예일 뿐이며 손떨림 함수의 특성을 표현할 수 있는 어떠한 다른 형식을 정규항으로도 대체하거나 변경될 수 있다. 또한, 파라미터도 일정한 값일 수 있으나 최적화 과정시에 매 반복시마다 변화하는 값이 될 수 있다.
본 발명의 일 실시예에 따르면, B에는 장노출 컬러 영상 신호를 나타내는 값을 대입하고, I에는 단노출 참조 영상 신호를 나타내는 값을 대입하여 손떨림 함수를 추정할 수 있다.
한편, 본 발명의 일 실시예에 따르면, 컬러 픽셀에 대한 노출이 유지되는 동안 참조 픽셀에 대한 단노출을 반복하여 일어나도록 하여 얻어진 참조 영상들의 정보를 이용하여 손떨림 함수의 초기 정보로 이용함으로써 손떨림 함수가 더욱 정확하고 빠르게 추정될 수 있다.
이를 위하여, 영상 획득부(510)는 컬러 픽셀에 대한 노출이 유지되는 동안 참조 픽셀에 대한 단노출이 반복되어 일어나도록 하여 복수 개의 단노출 참조 영상 신호를 수집한다. 그러면, 소정의 시간 간격으로 촬영된 참조 영상 신호들이 획득되므로, 함수 추정부(520)는 수집된 참조 영상 신호들을 이용하여 움직임 예측 방법에 의해 손떨림 궤적을 추적한다. 추적된 손떨림 궤적을 손떨림 함수의 초기 정 보로 이용하여 손떨림 함수를 정확하고 빠르게 추정할 수 있다.
영상 복원부(530)는 추정된 손떨림 함수를 이용하여 영상 획득부(510)에서 얻은 장노출 컬러 영상 신호에 대하여 디컨볼루션을 수행하여 복원 영상 신호를 생성한다.
또한, 본 발명의 일 실시예에 따르면, 손떨림 함수를 추정하기 위해 이용되는 장노출 컬러 영상 신호 및 단노출 참조 영상 신호에 대하여 다음과 같은 처리를 수행할 수 있다.
우선, 함수 추정부(520)는 장노출 컬러 영상 신호 및 단노출 참조 영상 신호에 대한 노이즈를 감소시킨다. 그리고, 손떨림 함수를 추정하기 위하여 이용되는 2개의 영상 신호의 채널 개수를 일치시키기 위하여, 함수 추정부(520)는 노이즈가 감소된 장노출 컬러 영상 신호를 장노출 단채널 영상 신호로 변환한다.
영상 신호의 채널의 개수를 일치시키기 위하여 여러 가지 방법이 이용될 수 있다. 예를 들어, 장노출 컬러 영상 중 3개의 채널 예를 들어 R, G, 및 B 영상 중 하나의 영상이 이용될 수 있으며, RGB 영상을 평균한 영상을 생성하여 하나의 채널의 영상을 생성할 수 있다. 또는, RGB 영상을 그레이 변환하여 하나의 채널의 영상으로 생성할 수 있다.
그런 다음, 함수 추정부(520)는 변환된 장노출 단채널 영상 신호와 노이즈가 감소된 단노출 참조 영상 신호를 이용하여 손떨림 함수를 추정한다.
도 6은 본 발명의 일 실시예에 따른 픽셀 어레이 값으로부터 복원 영상을 획득하는 방법을 나타내는 도면이다.
도 6에서는 도 4에 도시된 바와 같은 RGBW 픽셀 어레이를 이용하여 생성된 영상을 처리하는 과정을 나타낸다. 본 발명의 일 실시예에 따라 RGBW 픽셀 어레이를 이용하여 얻어진 흑백(W) 픽셀 어레이 및 RGB 픽셀 어레이는 완벽하게 공통으로 정렬되어 있다.
흑백 픽셀 어레이로부터 얻은 픽셀 어레이 값을 보간하여 단노출 흑백 영상(img_white_SET) 즉, 참조 영상이 얻어진다(S 610). 그리고, RGB 픽셀 어레이로부터 얻은 픽셀 어레이 값을 보간하여 장노출 컬러 영상(img_rgb_LET)이 얻어진다(S 620).
단노출 흑백 영상(img_white_SET)에 대한 노이즈를 감소시켜 노이즈가 저감된 단노출 흑백 영상(img_white_SET_NR)이 이 얻어진다(S 630). 또한, 장노출 컬러 영상(img_rgb_LET)에 대해서도 노이즈를 감소시켜서 노이즈가 저감된 장노출 컬러 영상(img_rgb_LET_NR)이 얻어진다(S 640). 이때, 단노출 흑백 영상은 노출 시간이 짧아 노이즈가 장노출 컬러 영상에 비하여 상대적으로 많이 포함되어 있는 점을 고려하여 노이즈 저감 필터를 적용한다.
장노출 컬러 영상(img_rgb_LET_NR)은 3개의 채널을 가지고 있고, 단노출 흑백 영상(img_white_SET_NR)은 1개의 채널을 가지므로, 손떨림에 의한 PSF 즉, 손떨림 함수를 추정하기 위해서는 채널을 일치시킬 필요가 있다. 본 발명의 일 실시예에 따르면, 장노출 컬러 영상(img_rgb_LET_NR)에 대하여 그레이 변환을 수행하여 그레이 스케일의 영상(img_gray_LET)을 생성한다(S 650).
그런 다음, 노이즈가 저감된 단노출 흑백 영상(img_white_LET_NR)과 그레이 스케일 영상(img_gray_LET)를 이용하여 손떨림에 의한 PSF를 추정한다(S 660). 추정된 PSF와 단계 S 640에서 이미 얻은 장노출 컬러 영상(img_rgb_LET_NR)을 이용하여 복원된 컬러 영상(또는 복원된 RGB 영상)을 생성한다(S 670).
도 7은 본 발명의 일 실시예에 따른 영상 획득 방법을 나타내는 순서도이다.
컬러 영상을 얻기 위한 컬러 픽셀 및 손떨림 함수 추정에 이용되는 참조 영상을 얻기 위한 참조 픽셀을 포함하는 컬러 필터에서 컬러 픽셀 및 참조 픽셀에 대한 노출 시간을 제어하여 픽셀 어레이 값이 획득된다(S 710). 단계 S 710에서 노출 시간을 제어할 때에는, 컬러 픽셀과 참조 픽셀에 대한 노출 시작 시간을 동기시키고, 컬러 픽셀에 대한 노출 시간이 참조 픽셀에 대한 노출 시간보다 길도록 제어한다.
획득된 픽셀 어레이 값을 이용하여 정확하게 상호 정렬된 장노출 컬러 영상 신호와 단노출 참조 영상 신호가 획득된다(S 720). 본 발명의 일 실시예에 따르면, 영상 신호를 획득하는 단계(S 720)에서 컬러 픽셀 및 참조 픽셀을 통해 감지된 픽셀 어레이 값에 대한 보간을 수행하여 컬러 픽셀의 컬러별 장노출 영상 신호 및 단노출 영상 신호를 생성할 수 있다.
도 8은 본 발명의 일 실시예에 따른 영상 처리 방법을 나타내는 순서도이다.
컬러 필터에 포함된 컬러 영상을 획득하기 위한 컬러 픽셀 및 손떨림 함수 추정에 이용되는 참조 영상을 획득하기 위한 참조 픽셀에 대한 노출 시간을 제어하여, 정확하게 상호 정렬된 장노출 컬러 영상 신호와 단노출 참조 영상 신호가 획득된다(S 810). 영상 신호를 획득하는 단계에서(S 810), 컬러 픽셀 및 참조 픽셀에 대한 노출 시작 시간을 동기시키고, 컬러 픽셀에 대한 노출 시간이 참조 픽셀에 대한 노출 시간보다 길도록 제어하여 장노출 컬러 영상 신호와 단노출 참조 영상 신호를 획득한다.
장노출 컬러 영상 신호와 단노출 참조 영상 신호를 이용하여 손떨림 함수가 추정된다(S 820).
추정된 손떨림 함수를 이용하여 장노출 컬러 영상 신호에 대하여 디컨볼루션을 수행하여 복원 영상 신호가 생성된다(S 830).
본 발명의 일 실시예에 영상 신호를 획득하는 단계(S 810)에서, 컬러 픽셀에 대한 노출이 유지되는 동안 참조 픽셀에 대한 단노출이 반복되어 일어나도록 하여 복수 개의 단노출 참조 영상 신호를 수집한다. 그러면, 함수를 추정하는 단계(S 820)에서, 획득된 참조 영상 신호를 이용하여 손떨림 궤적을 추적하여 손떨림 함수의 초기 정보로 이용할 수 있다. 이와 같이 함으로써 좀 더 정확하고 빠르게 손떨림 함수를 추적할 수 있다.
손떨림 함수를 추정하는 단계(S 820)는 다음과 같은 과정을 통해 수행될 수 있다. 장노출 컬러 영상 신호 및 단노출 참조 영상 신호에 대한 노이즈를 감소시킨다. 손떨림 함수를 추정하는데 이용되는 2개의 영상 신호의 채널을 일치시키기 위하여, 노이즈가 감소된 장노출 컬러 영상 신호를 장노출 단채널 영상 신호로 변환한다. 그런 다음, 변환된 장노출 단채널 영상 신호와 노이즈가 감소된 단노출 참조 영상 신호를 이용하여 손떨림 함수를 추정한다.
도 9는 본 발명의 일 실시예에 따른 영상 획득 및 처리 방법에 따라 획득된 영상을 나타내기 위한 도면이다.
도 9에서 영상(910)은 고감도 단노출 흑백 영상을 나타내고, 영상(920)은 저감도 장노출 컬러 영상(도면에는 흑백 영상으로 표시됨)을 나타낸다. 정렬 에러가 있는 경우에는 정확한 PSF를 추정할 수 없게 되어 심각한 아티팩트(artifact)가 유발되어 영상(940)과 같이 화질이 낮은 영상이 복원된다.
그러나 본 발명의 일 실시예에 따라, 완벽하게 상호 정렬된 고감도 단노출 흑백 영상과 저감도 장노출 컬러 영상을 이용하면, 정렬 에러로 인하여 부정확하게 손떨림 함수를 추정하게 되는 문제점이 해결된다. 영상(930)은 본 발명의 일 실시예에 따른 영상 처리 방법에 따라 복원된 컬러 영상이다.
본 발명의 일 실시예에 따른 영상 처리 방법에 따라 복원된 컬러 영상(930)과 부정확한 손떨림 함수를 이용하여 복원된 컬러 영상(940)을 비교하면, 본 발명의 일 실시예에 따른 영상 처리 방식에 따라 복원된 영상(930)이 영상(940)에 비하여 고화질 영상으로 복원되었음이 명확하다.
전술한 발명의 일 실시예에 따르면, 컬러 필터의 컬러 픽셀 및 참조 픽셀의 노출 시간을 제어하여 영상의 캡처 시작 시간이 동일하고 완벽하게 정렬된 장노출 컬러 영상 신호 및 단노출 참조 영상 신호를 획득할 수 있다. 이와 같이 획득된 장노출 컬러 영상 신호 및 단노출 참조 영상 신호는 정렬 에러가 원천적으로 제거되어 있으므로 손떨림 함수를 정확하게 추정할 수 있게 된다.
또한, 이와 같은 방법에 의해 얻은 손떨림 함수를 이용하면 선명한 컬러 영상을 복원할 수 있다. 본 발명에 따른 영상 처리 장치 및 방법에 따르면, 야경 촬 영, 야간 감시 촬영, 실내 공연 촬영 등에 유용하게 이용될 수 있다.
이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 영상 획득 장치를 나타내는 블록도이고,
도 2a 내지 도 2b는 본 발명의 일 실시예에 따른 영상 획득 방법에 이용되는 컬러 필터 어레이의 구조를 나타내는 도면이고,
도 3a 내지 도 3b는 본 발명의 일 실시예에 따른 컬러 필터의 노출 시간 제어 방법을 나타내는 도면이고,
도 4는 흑백 픽셀이 참조 픽셀로 이용된 컬러 필터의 픽셀 어레이 값으로부터 동일 해상도의 장노출 컬러 영상과 단노출 흑백 영상을 생성하는 방법을 나타내는 도면이고,
도 5는 본 발명의 일 실시예에 따른 영상 처리 장치를 나타내는 블록도이고,
도 6은 본 발명의 일 실시예에 따른 픽셀 어레이 값으로부터 복원 영상을 획득하는 방법을 나타내는 도면이고,
도 7은 본 발명의 일 실시예에 따른 영상 획득 방법을 나타내는 순서도이고,
도 8은 본 발명의 일 실시예에 따른 영상 처리 방법을 나타내는 순서도이고,
도 9는 본 발명의 일 실시예에 따른 영상 획득 및 처리 방법에 따라 획득된 복원 영상을 나타내는 도면이다.

Claims (16)

  1. 컬러 영상을 얻기 위한 멀티컬러 컬러 픽셀 및 손떨림 함수 추정에 이용되는 단색의 참조 영상을 얻기 위한 단색의 참조 픽셀을 포함하는 컬러 필터를 이용하여, 상기 멀티컬러 컬러 픽셀의 픽셀 값 및 상기 단색의 참조 픽셀의 픽셀 값을 감지하는 감지부;
    상기 멀티컬러 컬러 픽셀 및 상기 단색의 참조 픽셀에 대한 노출 시간을 제어하는 노출 제어부; 및
    상호 정렬된 장노출 컬러 영상 신호 및 단노출 참조 영상 신호를 생성하되, 상기 감지된 멀티컬러 컬러 픽셀의 픽셀 값으로부터 상기 장노출 컬러 영상 신호를 생성하고, 상기 감지된 단색의 참조 픽셀의 픽셀 값으로부터 상기 단노출 참조 영상 신호를 생성하는 영상 생성부를 포함하는 것을 특징으로 하는 영상 획득 장치.
  2. 제1항에 있어서,
    상기 노출 제어부는 상기 멀티컬러 컬러 픽셀과 상기 단색의 참조 픽셀에 대한 노출 시작 시간을 동기시키고, 상기 멀티컬러 컬러 픽셀에 대한 노출 시간이 상기 단색의 참조 픽셀에 대한 노출 시간보다 길도록 제어하는 것을 특징으로 하는 영상 획득 장치.
  3. 제2항에 있어서,
    상기 노출 제어부는 상기 손떨림 함수의 초기 정보를 획득하기 위하여 상기 멀티컬러 컬러 픽셀에 대한 노출이 유지되는 동안 상기 단색의 참조 픽셀에 대한 단노출이 반복되어 일어나도록 상기 감지부를 제어하는 것을 특징으로 하는 영상 획득 장치.
  4. 제1항에 있어서,
    상기 영상 생성부는 상기 멀티컬러 컬러 픽셀 및 상기 단색의 참조 픽셀을 통해 감지된 픽셀 값에 대한 보간을 수행하여 상기 멀티컬러 컬러 픽셀의 컬러별 장노출 영상 신호 및 단노출 참조 영상 신호를 생성하는 것을 특징으로 하는 영상 획득 장치.
  5. 컬러 영상을 얻기 위한 멀티컬러 컬러 픽셀 및 손떨림 함수 추정에 이용되는 단색의 참조 영상을 얻기 위한 단색의 참조 픽셀을 포함하는 컬러 필터에서 상기 멀티컬러 컬러 픽셀 및 상기 단색의 참조 픽셀에 대한 노출 시간을 제어하여 상기 멀티컬러 컬러 픽셀의 픽셀 값 및 상기 단색의 참조 픽셀의 픽셀 값을 획득하는 단계; 및
    상호 정렬된 장노출 컬러 영상 신호 및 단노출 참조 영상 신호를 생성하되, 상기 획득된 멀티컬러 컬러 픽셀의 픽셀 값을 이용하여 장노출 컬러 영상 신호를 생성하고 상기 획득된 단색의 참조 픽셀의 픽셀 값을 이용하여 단노출 참조 영상 신호를 생성하는 단계를 포함하는 것을 특징으로 하는 영상 획득 방법.
  6. 제5항에 있어서,
    상기 노출 시간을 제어하는 단계에서,
    상기 멀티컬러 컬러 픽셀과 상기 단색의 참조 픽셀에 대한 노출 시작 시간을 동기시키고, 상기 멀티컬러 컬러 픽셀에 대한 노출 시간이 상기 단색의 참조 픽셀에 대한 노출 시간보다 길도록 제어하는 것을 특징으로 하는 영상 획득 방법.
  7. 제6항에 있어서,
    상기 노출 시간을 제어하는 단계에서,
    상기 손떨림 함수의 초기 정보를 획득하기 위하여 상기 멀티컬러 컬러 픽셀에 대한 노출이 유지되는 동안 상기 단색의 참조 픽셀에 대한 단노출이 반복되어 일어나도록 상기 단색의 참조 픽셀에 대한 노출 시간을 제어하는 것을 특징으로 하는 영상 획득 방법.
  8. 제5항에 있어서,
    상기 영상 신호를 생성하는 단계에서
    상기 멀티컬러 컬러 픽셀 및 상기 단색의 참조 픽셀을 통해 감지된 픽셀 값에 대한 보간을 수행하여 상기 멀티컬러 컬러 픽셀의 컬러별 장노출 영상 신호 및 단노출 영상 신호를 생성하는 것을 특징으로 하는 영상 획득 방법.
  9. 컬러 영상을 획득하기 위한 멀티컬러 컬러 픽셀 및 손떨림 함수 추정에 이용되는 단색의 참조 영상을 획득하기 위한 단색의 참조 픽셀를 포함하는 컬러 필터를 이용하여 단색의 참조 픽셀의 픽셀 값 및 멀티컬러 컬러 픽셀의 픽셀값을 감지하는 센서의 노출 시간을 제어하여 상호 정렬된 장노출 컬러 영상 신호와 단노출 참조 영상 신호를 획득하는 영상 획득부;
    상기 장노출 컬러 영상 신호와 상기 단노출 참조 영상 신호를 이용하여 손떨림 함수를 추정하는 함수 추정부; 및
    상기 추정된 손떨림 함수를 이용하여 상기 장노출 컬러 영상 신호에 대하여 디컨볼루션을 수행하여 복원 영상 신호를 생성하는 영상 복원부를 포함하는 것을 특징으로 하는 영상 처리 장치.
  10. 제9항에 있어서,
    상기 영상 획득부는 상기 멀티컬러 컬러 픽셀 및 상기 단색의 참조 픽셀에 대한 노출 시작 시간을 동기시키고, 상기 멀티컬러 컬러 픽셀에 대한 노출 시간이 상기 단색의 참조 픽셀에 대한 노출 시간보다 길도록 제어하여 상기 장노출 컬러 영상 신호와 단노출 참조 영상 신호를 획득하는 것을 특징으로 하는 영상 처리 장치.
  11. 제10항에 있어서,
    상기 영상 획득부는 상기 멀티컬러 컬러 픽셀에 대한 노출이 유지되는 동안 상기 단색의 참조 픽셀에 대한 단노출이 반복되어 일어나도록 하여 복수 개의 단노출 참조 영상 신호를 수집하고,
    상기 함수 추정부는 상기 수집된 참조 영상 신호를 이용하여 손떨림 궤적을 추적하여 얻은 정보를 상기 손떨림 함수의 초기 정보로 이용하는 것을 특징으로 하는 영상 처리 장치.
  12. 제9항에 있어서,
    상기 함수 추정부는 상기 장노출 컬러 영상 신호 및 상기 단노출 참조 영상 신호에 대한 노이즈를 감소시키고, 상기 노이즈가 감소된 장노출 컬러 영상 신호를 장노출 단채널 영상 신호로 변환하고, 상기 변환된 장노출 단채널 영상 신호와 상기 노이즈가 감소된 단노출 참조 영상 신호를 이용하여 손떨림 함수를 추정하는 것 을 특징으로 하는 영상 처리 장치.
  13. 컬러 영상을 획득하기 위한 멀티컬러 컬러 픽셀 및 손떨림 함수 추정에 이용되는 단색의 참조 영상을 획득하기 위한 단색의 참조 픽셀를 포함하는 컬러 필터를 이용하여 단색의 참조 픽셀의 픽셀 값 및 멀티컬러 컬러 픽셀의 픽셀 값을 감지하는 센서의 노출 시간을 제어하여 상호 정렬된 장노출 컬러 영상 신호와 단노출 참조 영상 신호를 획득하는 단계;
    상기 장노출 컬러 영상 신호와 상기 단노출 참조 영상 신호를 이용하여 손떨림 함수를 추정하는 단계; 및
    상기 추정된 손떨림 함수를 이용하여 상기 장노출 컬러 영상 신호에 대하여 디컨볼루션을 수행하여 복원 영상 신호를 생성하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  14. 제13항에 있어서,
    상기 영상 신호를 획득하는 단계에서,
    상기 멀티컬러 컬러 픽셀 및 상기 단색의 참조 픽셀에 대한 노출 시작 시간을 동기시키고, 상기 멀티컬러 컬러 픽셀에 대한 노출 시간이 상기 단색의 참조 픽셀에 대한 노출 시간보다 길도록 제어하여 상기 장노출 컬러 영상 신호와 단노출 참조 영상 신호를 획득하는 것을 특징으로 하는 영상 처리 방법.
  15. 제14항에 있어서,
    상기 영상 신호를 획득하는 단계에서,
    상기 멀티컬러 컬러 픽셀에 대한 노출이 유지되는 동안 상기 단색의 참조 픽셀에 대한 단노출이 반복되어 일어나도록 하여 복수 개의 단노출 참조 영상 신호를 수집하고,
    상기 함수를 추정하는 단계에서,
    상기 수집된 참조 영상 신호를 이용하여 손떨림 궤적을 추적하여 얻은 정보를 상기 손떨림 함수의 초기 정보로 이용하는 것을 특징으로 하는 영상 처리 방법.
  16. 제13항에 있어서,
    상기 함수를 추정하는 단계는,
    상기 장노출 컬러 영상 신호 및 상기 단노출 참조 영상 신호에 대한 노이즈를 감소시키는 단계;
    상기 노이즈가 감소된 장노출 컬러 영상 신호를 장노출 단채널 영상 신호로 변환하는 단계; 및
    상기 변환된 장노출 단채널 영상 신호와 상기 노이즈가 감소된 단노출 참조 영상 신호를 이용하여 손떨림 함수를 추정하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
KR1020080006478A 2008-01-22 2008-01-22 영상 획득 장치 및 그 방법과 영상 처리 장치 및 그 방법 KR101391432B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020080006478A KR101391432B1 (ko) 2008-01-22 2008-01-22 영상 획득 장치 및 그 방법과 영상 처리 장치 및 그 방법
US12/213,199 US8169491B2 (en) 2008-01-22 2008-06-16 Apparatus and method of obtaining image and apparatus and method of processing image
EP08170104A EP2083563B1 (en) 2008-01-22 2008-11-27 Apparatus and method of obtaining image and apparatus and method of processing image
CN2008101869254A CN101494794B (zh) 2008-01-22 2008-12-10 获得图像的设备和方法以及处理图像的设备和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080006478A KR101391432B1 (ko) 2008-01-22 2008-01-22 영상 획득 장치 및 그 방법과 영상 처리 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20090080616A KR20090080616A (ko) 2009-07-27
KR101391432B1 true KR101391432B1 (ko) 2014-05-07

Family

ID=40622130

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080006478A KR101391432B1 (ko) 2008-01-22 2008-01-22 영상 획득 장치 및 그 방법과 영상 처리 장치 및 그 방법

Country Status (4)

Country Link
US (1) US8169491B2 (ko)
EP (1) EP2083563B1 (ko)
KR (1) KR101391432B1 (ko)
CN (1) CN101494794B (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7639889B2 (en) 2004-11-10 2009-12-29 Fotonation Ireland Ltd. Method of notifying users regarding motion artifacts based on image analysis
US8199222B2 (en) 2007-03-05 2012-06-12 DigitalOptics Corporation Europe Limited Low-light video frame enhancement
US8417055B2 (en) 2007-03-05 2013-04-09 DigitalOptics Corporation Europe Limited Image processing method and apparatus
US7636486B2 (en) * 2004-11-10 2009-12-22 Fotonation Ireland Ltd. Method of determining PSF using multiple instances of a nominally similar scene
US8989516B2 (en) 2007-09-18 2015-03-24 Fotonation Limited Image processing method and apparatus
US8698924B2 (en) * 2007-03-05 2014-04-15 DigitalOptics Corporation Europe Limited Tone mapping for low-light video frame enhancement
US8264576B2 (en) * 2007-03-05 2012-09-11 DigitalOptics Corporation Europe Limited RGBW sensor array
US7639888B2 (en) 2004-11-10 2009-12-29 Fotonation Ireland Ltd. Method and apparatus for initiating subsequent exposures based on determination of motion blurring artifacts
JP4855704B2 (ja) * 2005-03-31 2012-01-18 株式会社東芝 固体撮像装置
IES20070229A2 (en) 2006-06-05 2007-10-03 Fotonation Vision Ltd Image acquisition method and apparatus
US9307212B2 (en) 2007-03-05 2016-04-05 Fotonation Limited Tone mapping for low-light video frame enhancement
US7773118B2 (en) 2007-03-25 2010-08-10 Fotonation Vision Limited Handheld article with movement discrimination
KR101574733B1 (ko) * 2008-11-19 2015-12-04 삼성전자 주식회사 고화질 컬러 영상을 획득하기 위한 영상 처리 장치 및 방법
GB2488769A (en) * 2011-03-07 2012-09-12 Sony Corp Image Sensor Including an Array of Primary Colour Sensitive Photosensors Being Read in Line Subsets
JP5910043B2 (ja) * 2011-12-02 2016-04-27 富士通株式会社 撮像装置、画像処理プログラム、画像処理方法、および画像処理装置
KR101929494B1 (ko) * 2012-07-10 2018-12-14 삼성전자주식회사 영상 처리 방법 및 장치
KR101886246B1 (ko) * 2012-07-12 2018-08-07 삼성전자주식회사 이미지 데이터에 포함된 모션 블러 영역을 찾고 그 모션 블러 영역을 처리하는 이미지 프로세싱 장치 및 그 장치를 이용한 이미지 프로세싱 방법
TWI644568B (zh) * 2013-07-23 2018-12-11 新力股份有限公司 攝像元件、攝像方法及攝像程式
US10250782B2 (en) * 2015-10-08 2019-04-02 Samsung Electro-Mechanics Co., Ltd. Camera module, electronic device, and method of operating the same using pre-estimated lens-customized point spread function (PSF)
CN109073454B (zh) 2016-04-20 2021-12-21 徕卡生物系统成像股份有限公司 数字病理学色彩校准和验证
EP4246995A3 (en) * 2018-03-27 2023-10-04 Huawei Technologies Co., Ltd. Photographic method, photographic apparatus, and mobile terminal
WO2019236626A2 (en) * 2018-06-07 2019-12-12 Dolby Laboratories Licensing Corporation Hdr image generation from single-shot hdr color image sensors
KR20220131054A (ko) * 2021-03-19 2022-09-27 에스케이하이닉스 주식회사 이미지 처리 장치 및 그 동작 방법
CN113674685B (zh) * 2021-08-25 2023-02-24 维沃移动通信有限公司 像素阵列的控制方法、装置、电子设备和可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6825884B1 (en) 1998-12-03 2004-11-30 Olympus Corporation Imaging processing apparatus for generating a wide dynamic range image
US6876384B1 (en) 2000-04-19 2005-04-05 Biomorphic Vlsi, Inc. Pixel selective white balancing
US20060017837A1 (en) * 2004-07-22 2006-01-26 Sightic Vista Ltd. Enhancing digital photography
US20070014554A1 (en) * 2004-12-24 2007-01-18 Casio Computer Co., Ltd. Image processor and image processing program

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5420635A (en) * 1991-08-30 1995-05-30 Fuji Photo Film Co., Ltd. Video camera, imaging method using video camera, method of operating video camera, image processing apparatus and method, and solid-state electronic imaging device
US6204881B1 (en) * 1993-10-10 2001-03-20 Canon Kabushiki Kaisha Image data processing apparatus which can combine a plurality of images at different exposures into an image with a wider dynamic range
US5828793A (en) * 1996-05-06 1998-10-27 Massachusetts Institute Of Technology Method and apparatus for producing digital images having extended dynamic ranges
US6778210B1 (en) 1999-07-15 2004-08-17 Olympus Optical Co., Ltd. Image pickup apparatus with blur compensation
US7409104B2 (en) * 2002-07-18 2008-08-05 .Sightic Vista Ltd Enhanced wide dynamic range in imaging
KR100810310B1 (ko) * 2003-08-29 2008-03-07 삼성전자주식회사 조도차가 다른 영상의 재구성 장치 및 방법
JP4522207B2 (ja) * 2004-09-17 2010-08-11 キヤノン株式会社 カメラシステム、カメラ本体及び交換レンズ
JP2006157568A (ja) * 2004-11-30 2006-06-15 Konica Minolta Holdings Inc 撮像装置およびプログラム
EP1679907A1 (en) * 2005-01-05 2006-07-12 Dialog Semiconductor GmbH Hexagonal color pixel structure with white pixels
JP4193812B2 (ja) * 2005-05-13 2008-12-10 カシオ計算機株式会社 撮像装置、撮像方法及びそのプログラム
JP5079271B2 (ja) 2006-06-28 2012-11-21 京セラ株式会社 手ぶれ量検出装置、手ぶれ補正装置、撮像装置及び手ぶれ量検出方法
US7821553B2 (en) * 2005-12-30 2010-10-26 International Business Machines Corporation Pixel array, imaging sensor including the pixel array and digital camera including the imaging sensor
JP5011814B2 (ja) * 2006-05-15 2012-08-29 ソニー株式会社 撮像装置、および画像処理方法、並びにコンピュータ・プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6825884B1 (en) 1998-12-03 2004-11-30 Olympus Corporation Imaging processing apparatus for generating a wide dynamic range image
US6876384B1 (en) 2000-04-19 2005-04-05 Biomorphic Vlsi, Inc. Pixel selective white balancing
US20060017837A1 (en) * 2004-07-22 2006-01-26 Sightic Vista Ltd. Enhancing digital photography
US20070014554A1 (en) * 2004-12-24 2007-01-18 Casio Computer Co., Ltd. Image processor and image processing program

Also Published As

Publication number Publication date
KR20090080616A (ko) 2009-07-27
CN101494794B (zh) 2013-04-24
CN101494794A (zh) 2009-07-29
EP2083563B1 (en) 2012-01-11
US8169491B2 (en) 2012-05-01
US20090185041A1 (en) 2009-07-23
EP2083563A1 (en) 2009-07-29

Similar Documents

Publication Publication Date Title
KR101391432B1 (ko) 영상 획득 장치 및 그 방법과 영상 처리 장치 및 그 방법
US9544505B2 (en) Image processing apparatus for synthesizing images based on a plurality of exposure time periods and image processing method thereof
JP5124642B2 (ja) 露出中の撮像装置の動きを補正する方法
KR101604068B1 (ko) 고대비 영상 생성 장치 및 방법
KR101574733B1 (ko) 고화질 컬러 영상을 획득하기 위한 영상 처리 장치 및 방법
JP4317586B2 (ja) 撮像処理装置および撮像装置、画像処理方法およびコンピュータプログラム
EP2088788B1 (en) Image picking-up processing device, image picking-up device, image processing method and computer program
JP2012235332A (ja) 撮像装置、および撮像装置制御方法、並びにプログラム
JP5096645B1 (ja) 画像生成装置、画像生成システム、方法、およびプログラム
JP2008085753A (ja) 画像データのノイズ処理方法及びノイズ処理装置並びに撮像装置
US10531002B2 (en) Image processing device and image processing method
JP5199736B2 (ja) 画像撮像装置
JP6800806B2 (ja) 画像処理装置、画像処理方法およびプログラム
US8098288B2 (en) Imaging apparatus and method of controlling imaging
KR101306780B1 (ko) Ｈｄｒ 영상 시스템에서 영상 간의 노출 정도를 보정하기 위한 장치 및 그 방법
JP2019016893A (ja) 画像処理装置およびその制御方法及びプログラム
JP2012085205A (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
JP2016201733A (ja) 撮像装置、撮像方法、並びにプログラム
JP2020072392A (ja) 撮像装置、撮像装置の制御方法およびプログラム
JP2012124800A (ja) 撮像装置
JP7263018B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6786346B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP6700028B2 (ja) ベクトル算出装置およびベクトル算出方法
JP2020077946A (ja) 画像のノイズを低減する画像処理装置および画像処理方法ならびにプログラム
JP4356604B2 (ja) 映像信号処理装置、映像信号の処理方法、映像信号の処理プログラム及び映像信号の処理プログラムを記録した記録媒体

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180321

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190319

Year of fee payment: 6