KR20200085523A - 영상 처리 방법 및 이를 수행하는 영상 처리 장치 - Google Patents

영상 처리 방법 및 이를 수행하는 영상 처리 장치 Download PDF

Info

Publication number
KR20200085523A
KR20200085523A KR1020190001728A KR20190001728A KR20200085523A KR 20200085523 A KR20200085523 A KR 20200085523A KR 1020190001728 A KR1020190001728 A KR 1020190001728A KR 20190001728 A KR20190001728 A KR 20190001728A KR 20200085523 A KR20200085523 A KR 20200085523A
Authority
KR
South Korea
Prior art keywords
image
frame
hdr
images
frame image
Prior art date
Application number
KR1020190001728A
Other languages
English (en)
Other versions
KR102628911B1 (ko
Inventor
강진우
송성욱
정혜윤
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020190001728A priority Critical patent/KR102628911B1/ko
Priority to US16/527,563 priority patent/US11182887B2/en
Priority to CN201911073478.6A priority patent/CN111416945A/zh
Publication of KR20200085523A publication Critical patent/KR20200085523A/ko
Application granted granted Critical
Publication of KR102628911B1 publication Critical patent/KR102628911B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/007—Dynamic range modification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

복수의 프레임 영상들을 포함하는 비디오 영상에 대한 영상 처리 방법에서, 제1 노출 시간을 가지는 제1 프레임 영상 및 제1 노출 시간과 다른 제2 노출 시간을 가지고 제1 프레임 영상 이후의 제2 프레임 영상을 합성하여 제1 HDR(high dynamic range) 영상을 발생한다. 제2 프레임 영상 및 제1 노출 시간을 가지고 제2 프레임 영상 이후의 제3 프레임 영상을 합성하여 제2 HDR 영상을 발생한다.

Description

영상 처리 방법 및 이를 수행하는 영상 처리 장치{METHOD OF PROCESSING IMAGE AND IMAGE PROCESSING DEVICE PERFORMING THE SAME}
본 발명은 영상 획득 및 처리에 관한 것으로서, 더욱 상세하게는 고품질의 비디오 영상을 획득할 수 있는 영상 처리 방법 및 상기 영상 처리 방법을 수행하는 영상 처리 장치에 관한 것이다.
카메라와 같은 영상 촬상 장치가 다양한 종류의 전자 시스템 및 모바일 시스템에 적용되고 있다. 카메라를 이용한 촬영 시 피사체 뒤의 배경이 너무 밝다면 피사체의 밝기가 상대적으로 어두워 보일 수 있으며, 이러한 현상을 역광이라 한다. 보다 좋은 화질의 영상을 획득하기 위해서는 역광 보정이 필요하다. HDR(high dynamic range) 기술은 밝은 부분이 잘 보이도록 노출을 조절한 영상과 어두운 부분이 잘 보이도록 노출이 조절된 서로 다른 영상들을 융합하여 밝은 부분과 어두운 부분이 모두 선명하게 잘 보이는 영상을 생성하는 기술을 나타낸다.
본 발명의 일 목적은 비디오 영상에서 프레임 레이트(frame rate)의 손실 없이 HDR 영상을 효과적으로 발생할 수 있는 영상 처리 방법을 제공하는 것이다.
본 발명의 다른 목적은 비디오 영상에서 프레임 레이트의 손실 없이 HDR 영상을 효과적으로 발생할 수 있는 영상 처리 장치를 제공하는 것이다.
상기 일 목적을 달성하기 위해, 본 발명의 실시예들에 따른 복수의 프레임 영상들을 포함하는 비디오 영상에 대한 영상 처리 방법에서, 제1 노출 시간을 가지는 제1 프레임 영상 및 상기 제1 노출 시간과 다른 제2 노출 시간을 가지고 상기 제1 프레임 영상 이후의 제2 프레임 영상을 합성하여 제1 HDR(high dynamic range) 영상을 발생한다. 상기 제2 프레임 영상 및 상기 제1 노출 시간을 가지고 상기 제2 프레임 영상 이후의 제3 프레임 영상을 합성하여 제2 HDR 영상을 발생한다.
상기 일 목적을 달성하기 위해, 본 발명의 실시예들에 따른 복수의 프레임 영상들을 포함하는 비디오 영상에 대한 영상 처리 방법에서, 제1 노출 시간을 가지는 제1 프레임 영상 및 상기 제1 노출 시간과 다른 제2 노출 시간을 가지고 상기 제1 프레임 영상 이후의 제2 프레임 영상을 합성하여 제1 HDR(high dynamic range) 영상을 발생한다. 상기 제1 HDR 영상 및 상기 제1 노출 시간을 가지고 상기 제2 프레임 영상 이후의 제3 프레임 영상을 합성하여 제2 HDR 영상을 발생한다.
상기 다른 목적을 달성하기 위해, 본 발명의 실시예들에 따른 복수의 프레임 영상들을 포함하는 비디오 영상에 대한 영상 처리 장치는 제1 프레임 버퍼, 제2 프레임 버퍼 및 HDR(high dynamic range) 처리부를 포함한다. 상기 제1 프레임 버퍼는 제1 노출 시간을 가지는 제1 프레임 영상을 수신한다. 상기 제2 프레임 버퍼는 상기 제1 노출 시간과 다른 제2 노출 시간을 가지고 상기 제1 프레임 영상 이후의 제2 프레임 영상을 수신한다. 상기 HDR 처리부는 상기 제1 및 제2 프레임 영상들을 합성하여 제1 HDR 영상을 발생한다. 상기 제1 프레임 버퍼는 상기 제1 노출 시간을 가지고 상기 제2 프레임 영상 이후의 제3 프레임 영상을 더 수신한다. 상기 HDR 처리부는 제2 및 제3 프레임 영상들을 합성하여 제2 HDR 영상을 더 발생한다.
상기 다른 목적을 달성하기 위해, 본 발명의 실시예들에 따른 복수의 프레임 영상들을 포함하는 비디오 영상에 대한 영상 처리 장치는 제1 프레임 버퍼, HDR(high dynamic range) 처리부 및 제2 프레임 버퍼를 포함한다. 상기 제1 프레임 버퍼는 제1 노출 시간을 가지는 제1 프레임 영상, 상기 제1 노출 시간과 다른 제2 노출 시간을 가지고 상기 제1 프레임 영상 이후의 제2 프레임 영상, 및 상기 제1 노출 시간을 가지고 상기 제2 프레임 영상 이후의 제3 프레임 영상을 수신한다. 상기 HDR 처리부는 상기 제1 및 제2 프레임 영상들을 합성하여 제1 HDR(high dynamic range) 영상을 발생하고, 상기 제1 HDR 영상 및 상기 제3 프레임 영상을 합성하여 제2 HDR 영상을 발생한다. 상기 제2 프레임 버퍼는 상기 제1 및 제2 HDR 영상들을 수신한다.
상기와 같은 본 발명의 실시예들에 따른 영상 처리 방법 및 장치에서는, HDR 영상을 발생하는데 있어서 슬라이딩 윈도우 방식 및 IIR 방식 중 하나를 활용할 수 있다. 이에 따라, 프레임 레이트의 손실 없이 원본 비디오 영상의 프레임 레이트를 보존하면서 HDR 비디오 영상을 합성하는 것이 가능할 수 있다.
도 1은 본 발명의 실시예들에 따른 영상 처리 방법을 나타내는 순서도이다.
도 2는 도 1의 HDR 영상을 발생하는 단계의 일 예를 나타내는 순서도이다.
도 3은 도 2의 HDR 영상 발생 동작을 설명하기 위한 도면이다.
도 4는 도 2의 제1 HDR 영상을 발생하는 단계의 일 예를 나타내는 순서도이다.
도 5a 및 5b는 도 4의 제1 HDR 영상 발생 동작을 설명하기 위한 도면들이다.
도 6은 도 2의 제1 HDR 영상을 발생하는 단계의 다른 예를 나타내는 순서도이다.
도 7a 및 7b는 도 6의 제1 HDR 영상 발생 동작을 설명하기 위한 도면들이다.
도 8은 본 발명의 실시예들에 따른 영상 처리 장치를 나타내는 블록도이다.
도 9는 본 발명의 실시예들에 따른 영상 처리 장치에 포함되는 HDR 프로세서의 일 예를 나타내는 블록도이다.
도 10은 도 1의 HDR 영상을 발생하는 단계의 다른 예를 나타내는 순서도이다.
도 11은 도 10의 HDR 영상 발생 동작을 설명하기 위한 도면이다.
도 12는 본 발명의 실시예들에 따른 영상 처리 장치에 포함되는 HDR 프로세서의 다른 예를 나타내는 블록도이다.
도 13은 본 발명의 실시예들에 따른 영상 처리 방법을 나타내는 순서도이다.
도 14는 도 13의 HDR 영상을 발생하는 단계의 일 예를 나타내는 순서도이다.
도 15는 도 14의 HDR 영상 발생 동작을 설명하기 위한 도면이다.
도 16은 본 발명의 실시예들에 따른 영상 처리 장치에 포함되는 HDR 프로세서의 또 다른 예를 나타내는 블록도이다.
도 17은 도 13의 HDR 영상을 발생하는 단계의 다른 예를 나타내는 순서도이다.
도 18은 도 16의 HDR 영상 발생 동작을 설명하기 위한 도면이다.
도 19는 본 발명의 실시예들에 따른 영상 처리 장치를 나타내는 블록도이다.
도 20은 본 발명의 실시예들에 따른 전자 시스템을 나타내는 블록도이다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 실시예들에 따른 영상 처리 방법을 나타내는 순서도이다.
도 1을 참조하면, 본 발명의 실시예들에 따른 영상 처리 방법은 복수의 프레임 영상들을 포함하는 비디오 영상에 대해 수행되며, 특히 프레임 레이트(frame rate)의 손실 없이 상기 복수의 프레임 영상들을 기초로 복수의 HDR(high dynamic range) 영상들을 발생하여 HDR 비디오 영상을 획득하는데 적용된다.
본 발명의 실시예들에 따른 영상 처리 방법에서, 상기 복수의 프레임 영상들 중 가장 앞에 배치되는 시작 프레임 영상을 합성 없이 시작 HDR 영상으로 출력하고(단계 S100), 상기 복수의 프레임 영상들 중 서로 다른 노출 시간(exposure time)들을 가지고 연속하는 N(N은 2 이상의 자연수)개의 프레임 영상들을 슬라이딩 윈도우(sliding window) 방식으로 합성하여 HDR 영상을 발생한다(단계 S200).
슬라이딩 윈도우 방식은, 데이터 전달 시에 일단 특정 크기의 "윈도우"에 포함되는 모든 패킷을 전송하고, 그 패킷들의 전달이 확인되는 대로 상기 윈도우를 옆으로 옮김(slide)으로서 그 다음 패킷들을 전송하는 방식을 나타낸다. 이와 유사하게, 본 발명의 실시예들에 따른 비디오 영상 처리 시에도 특정 크기(예를 들어, N)의 "윈도우"에 포함되는 연속하는 프레임 영상들을 이용하여 하나의 HDR 영상을 발생하고, 상기 윈도우를 한 프레임만큼 옆으로 옮겨서 그 다음 연속하는 프레임 영상들을 이용하여 다른 하나의 HDR 영상을 발생하는 방식으로 적용될 수 있다. 상기 슬라이딩 윈도우 방식을 이용한 영상 처리 및 이를 수행하기 위한 영상 처리 장치의 구성에 대해서는 도 2 내지 12를 참조하여 후술하도록 한다.
일 실시예에서, 상기 윈도우의 크기 및 한 번에 합성되는 프레임 영상들의 개수를 나타내는 N은 상기 복수의 프레임 영상들의 상기 서로 다른 노출 시간들의 개수와 실질적으로 동일할 수 있다.
한편, 연속하는 K(K는 N 이상의 자연수)개의 프레임 영상들을 상술한 슬라이딩 윈도우 방식으로 합성하는 경우에, K개의 HDR 영상들이 아닌 (K-N+1)개의 HDR 영상들이 발생될 수 있다. 따라서, 입력되는 프레임 영상들의 개수와 출력되는 HDR 영상들의 개수가 동일하도록(즉, 프레임 레이트를 유지하도록), 단계 S100에서 설명한 것처럼 맨 앞의 상기 시작 HDR 영상은 합성 없이 상기 시작 프레임 영상을 그대로 출력할 수 있다.
도 2는 도 1의 HDR 영상을 발생하는 단계의 일 예를 나타내는 순서도이다. 도 3은 도 2의 HDR 영상 발생 동작을 설명하기 위한 도면이다.
도 2 및 3은 상기 윈도우의 크기 및 상기 서로 다른 노출 시간들의 개수가 2인 경우, 즉 N=2인 경우를 예시하고 있다. 도 3에서, 입력 영상인 비디오 영상에 포함되는 복수의 프레임 영상들(FIMG11, FIMG12, FIMG13, FIMG14, FIMG15, FIMG16, ...)은 이미지 센서, 메모리 장치 등으로부터 제공되며, 제1 노출 시간(L, long)을 가지는 프레임 영상들(FIMG11, FIMG13, FIMG15) 및 제2 노출 시간(S, short)을 가지는 프레임 영상들(FIMG12, FIMG14, FIMG16)이 교번적으로 반복되도록 배치될 수 있다.
도 1, 2 및 3을 참조하면, 단계 S100을 참조하여 상술한 것처럼, 먼저 복수의 프레임 영상들(FIMG11, FIMG12, FIMG13, FIMG14, FIMG15, FIMG16) 중 가장 앞에 배치되는 시작 프레임 영상(FIMG11)을 합성 없이 출력 영상인 HDR 비디오 영상에 포함되는 복수의 HDR 영상들(HIMG11, HIMG12, HIMG13, HIMG14, HIMG15, HIMG16, ...) 중 시작 HDR 영상(HIMG11)으로 출력할 수 있다.
이후에 단계 S200을 참조하여 상술한 것처럼, 복수의 HDR 영상들(HIMG11, HIMG12, HIMG13, HIMG14, HIMG15, HIMG16) 중 시작 HDR 영상(HIMG11)을 제외한 나머지 HDR 영상들(HIMG12, HIMG13, HIMG14, HIMG15, HIMG16)을 발생하는데 있어서, 크기가 2인 윈도우를 이용하여 서로 다른 노출 시간들(L, S)을 가지고 연속하는 2개의 프레임 영상들을 슬라이딩 윈도우 방식으로 합성할 수 있다.
구체적으로, 제1 노출 시간(L)을 가지는 제1 프레임 영상(FIMG11) 및 제2 노출 시간(S)을 가지는 제2 프레임 영상(FIMG12)을 합성하여 제1 HDR 영상(HIMG12)을 발생할 수 있다(단계 S210).
제2 프레임 영상(FIMG12)은 제1 프레임 영상(FIMG11) 이후의 프레임 영상일 수 있다. 예를 들어, 제2 프레임 영상(FIMG12)은 제1 프레임 영상(FIMG11)과 연속할 수 있다. 제2 노출 시간(S)은 제1 노출 시간(L)과 다를 수 있다. 예를 들어, 제1 노출 시간(L)은 상대적으로 길고 제2 노출 시간(S)은 상대적으로 짧을 수 있으며, 이 경우 제1 노출 시간(L)을 가지는 제1 프레임 영상(FIMG11)은 상대적으로 고조도 영상이고 제2 노출 시간(S)을 가지는 제2 프레임 영상(FIMG12)은 상대적으로 저조도 영상일 수 있다.
한편 상술한 것처럼, 상기 입력 영상은 비디오 영상이므로, 제1 프레임 영상(FIMG11) 및 제2 프레임 영상(FIMG12)은 완벽하게 동일한 장면(scene)을 나타내지 않을 수 있으며, 제1 프레임 영상(FIMG11)과 제2 프레임 영상(FIMG12) 사이에는 장면 이동 및/또는 객체(object) 이동이 일어날 수 있다. 따라서, 상기 장면 이동 및/또는 객체 이동을 고려하여 제1 프레임 영상(FIMG11) 및 제2 프레임 영상(FIMG12)을 합성할 필요가 있다. 제1 프레임 영상(FIMG11) 및 제2 프레임 영상(FIMG12)을 합성하는 구체적인 동작은 도 4 및 6 등을 참조하여 후술하도록 한다.
제2 프레임 영상(FIMG12) 및 제1 노출 시간(L)을 가지고 제2 프레임 영상(FIMG12) 이후의 제3 프레임 영상(FIMG13)을 합성하여 제1 HDR 영상(HIMG12) 이후의 제2 HDR 영상(HIMG13)을 발생할 수 있다(단계 S220). 다시 말하면, 단계 S210을 수행한 이후에 상기 윈도우를 한 프레임만큼 옆으로 옮겨서 단계 S220을 수행할 수 있다.
이와 유사하게, 제3 프레임 영상(FIMG13) 및 제2 노출 시간(S)을 가지고 제3 프레임 영상(FIMG13) 이후의 제4 프레임 영상(FIMG14)을 합성하여 제2 HDR 영상(HIMG13) 이후의 제3 HDR 영상(HIMG14)을 발생할 수 있다(단계 S230). 또한, 도 3에 도시된 것처럼 제4 프레임 영상(FIMG14) 및 제1 노출 시간(L)을 가지고 제4 프레임 영상(FIMG14) 이후의 제5 프레임 영상(FIMG15)을 합성하여 제3 HDR 영상(HIMG14) 이후의 제4 HDR 영상(HIMG15)을 발생할 수 있고, 제5 프레임 영상(FIMG15) 및 제2 노출 시간(S)을 가지고 제5 프레임 영상(FIMG15) 이후의 제6 프레임 영상(FIMG16)을 합성하여 제4 HDR 영상(HIMG15) 이후의 제5 HDR 영상(HIMG16)을 발생할 수 있다.
상술한 것처럼 슬라이딩 윈도우 방식을 기초로 프레임 영상들을 합성하여 HDR 영상들을 발생하는 경우에, 상기 입력 영상을 나타내는 영상 처리 이전의 복수의 프레임 영상들(FIMG11, FIMG12, FIMG13, FIMG14, FIMG15, FIMG16)의 개수와 상기 출력 영상을 나타내는 영상 처리 이후의 복수의 HDR 영상들(HIMG11, HIMG12, HIMG13, HIMG14, HIMG15, HIMG16)의 개수는 실질적으로 동일할 수 있으며, 따라서 프레임 레이트의 손실 없이 HDR 영상을 효과적으로 발생할 수 있다.
도 4는 도 2의 제1 HDR 영상을 발생하는 단계의 일 예를 나타내는 순서도이다. 도 5a 및 5b는 도 4의 제1 HDR 영상 발생 동작을 설명하기 위한 도면들이다.
도 2, 3, 4, 5a 및 5b를 참조하면, 상기 제1 HDR 영상을 발생하는데 있어서(단계 S210), 상기 제1 프레임 영상과 상기 제2 프레임 영상 사이의 전체적인 움직임을 추출할 수 있다(단계 S211).
구체적으로, 도 3의 제1 프레임 영상(FIMG11) 및 제2 프레임 영상(FIMG12)의 일 예인 제1 프레임 영상(F1A) 및 제2 프레임 영상(F2A)이 도 5a에 도시되어 있다. 도 5a에서, 노출 시간의 차이를 나타내기 위해 제1 프레임 영상(F1A)을 빗금으로 표시하였다. 예를 들어, 빗금으로 표시된 제1 프레임 영상(F1A)은 제1 노출 시간(L)을 가지며, 빗금으로 표시되지 않은 제2 프레임 영상(F2A)은 제1 노출 시간(L)과 다른 제2 노출 시간(S)을 가질 수 있다.
도 5a에서, 제1 프레임 영상(F1A)과 비교하였을 때, 제2 프레임 영상(F2A)은 해, 산, 나무들을 포함하는 장면이 전체적으로 오른쪽 방향으로 이동되어 있을 수 있다. 도 5a의 제2 프레임 영상(F2A)에서 점선으로 도시된 부분은 제1 프레임 영상(F1A) 내에서의 해, 산, 나무들의 위치를 나타낼 수 있다. 제1 프레임 영상(F1A) 및 제2 프레임 영상(F2A)을 비교/분석하여 제1 프레임 영상(F1A)과 제2 프레임 영상(F2A) 사이의 전체적인 움직임(GM)을 추출할 수 있다. 예를 들어, 전체적인 움직임(GM)은 글로벌 움직임 벡터의 형태로 획득될 수 있다.
추출된 상기 전체적인 움직임에 기초하여 상기 제1 프레임 영상을 쉬프트할 수 있다(단계 S213).
구체적으로, 도 5a의 제1 프레임 영상(F1A)을 오른쪽 방향으로 쉬프트하여 도 5b의 쉬프트된 제1 프레임 영상(F1A')을 획득할 수 있다. 상기와 같은 쉬프트 동작에 의해, 쉬프트된 제1 프레임 영상(F1A')은 쉬프트 영역(SA) 및 가상 영역(VA)을 포함할 수 있다. 쉬프트 영역(SA)은 제1 프레임 영상(F1A)의 일부와 실질적으로 동일할 수 있다. 가상 영역(VA)은 제1 프레임 영상(F1A)에는 실제 포함되지 않은 부분일 수 있다. 예를 들어, 가상 영역(VA)은 제1 프레임 영상(F1A)을 기초로 영상 보간(interpolation) 등을 수행하여 획득될 수 있다. 다른 예에서, 가상 영역(VA)의 크기가 상대적으로 작은 경우에, 가상 영역(VA)은 제1 프레임 영상(F1A)의 일부를 그대로 복사하여 획득되거나 별도 처리 없이 비어 있을 수도 있다.
쉬프트된 상기 제1 프레임 영상과 상기 제2 프레임 영상을 합성할 수 있다(단계 S215).
구체적으로, 도 5b의 쉬프트된 제1 프레임 영상(F1A')과 도 5a의 제2 프레임 영상(F2A)을 합성하여 상기 제1 HDR 영상을 획득할 수 있으며, 이에 따라 상기 제1 HDR 영상의 왜곡이 방지될 수 있다.
한편, 도 4, 5a 및 5b에서는 상기 제2 프레임 영상을 기준으로 하여 상기 제1 프레임 영상을 쉬프트하고 쉬프트된 상기 제1 프레임 영상과 상기 제2 프레임 영상을 합성하는 경우, 즉 나중에 입력되는 상기 제2 프레임 영상을 참조 영상으로 하여 합성하는 경우를 예시하였으나, 본 발명은 이에 한정되지 않을 수 있다. 예를 들어, 먼저 입력되는 상기 제1 프레임 영상을 기준으로 하여 상기 제2 프레임 영상을 쉬프트하고 영상 합성을 수행할 수도 있다. 상기와 같이 전단의 상기 제1 프레임 영상을 참조 영상으로 하여 합성하는 경우에는, 추출된 상기 전체적인 움직임과 함께 후단의 상기 제2 프레임 영상의 입력과 관련된 프레임 지연 시간(delay)을 추가적으로 고려할 수 있다.
도 6은 도 2의 제1 HDR 영상을 발생하는 단계의 다른 예를 나타내는 순서도이다. 도 7a 및 7b는 도 6의 제1 HDR 영상 발생 동작을 설명하기 위한 도면들이다.
도 2, 3, 6, 7a 및 7b를 참조하면, 상기 제1 HDR 영상을 발생하는데 있어서(단계 S210), 상기 제1 프레임 영상과 상기 제2 프레임 영상에 포함되는 복수의 객체들 중 제1 객체의 개별적인 움직임을 추출할 수 있다(단계 S212).
구체적으로, 도 3의 제1 프레임 영상(FIMG11) 및 제2 프레임 영상(FIMG12)의 다른 예인 제1 프레임 영상(F1B) 및 제2 프레임 영상(F2B)이 도 7a에 도시되어 있다. 도 5a를 참조하여 상술한 것과 유사하게, 노출 시간의 차이를 나타내기 위해 도 7a의 제1 프레임 영상(F1B)을 빗금으로 표시하였다.
도 7a에서, 제1 프레임 영상(F1B)과 비교하였을 때, 제2 프레임 영상(F2B)은 제1 객체(OBJ1)가 오른쪽 방향으로 이동되어 있을 수 있다. 도 7a의 제2 프레임 영상(F2B)에서 점선으로 도시된 부분은 제1 프레임 영상(F1B) 내에서의 제1 객체(OBJ1)의 위치를 나타낼 수 있다. 이 때, 제1 객체(OBJ1)를 제외한 영상의 나머지 부분(예를 들어, 배경)은 이동되지 않거나 이동되더라도 제1 프레임 영상(F1B)과 제2 프레임 영상(F2B) 사이에서 차이 없이 실질적으로 동일하게 표시될 수 있다. 제1 프레임 영상(F1B) 및 제2 프레임 영상(F2B)을 비교/분석하여 제1 프레임 영상(F1B)과 제2 프레임 영상(F2B) 사이의 제1 객체(OBJ1)의 개별적인 움직임(LM)을 추출할 수 있다. 예를 들어, 개별적인 움직임(LM)은 로컬 움직임 벡터의 형태로 획득될 수 있다.
추출된 상기 개별적인 움직임에 기초하여 상기 제1 프레임 영상 내에서 상기 제1 객체를 쉬프트할 수 있다(단계 S214).
구체적으로, 도 7a의 제1 프레임 영상(F1B)에 포함되는 제1 객체(OBJ1)를 오른쪽 방향으로 쉬프트하여 도 7b의 쉬프트된 제1 객체(OBJ1')를 포함하는 쉬프트된 제1 프레임 영상(F1B')을 획득할 수 있다. 상세하게 도시하지는 않았으나, 도 5b를 참조하여 상술한 것과 유사하게 제1 객체(OBJ1')가 쉬프트된 제1 프레임 영상(F1B')은 제1 객체(OBJ1')의 쉬프트에 의해 가상 영역을 포함할 수 있으며, 상기 가상 영역은 영상 보간 등을 수행하여 획득되거나 제1 프레임 영상(F1B)의 일부를 그대로 복사하여 획득되거나 비어 있을 수 있다.
상기 제1 객체가 쉬프트된 상기 제1 프레임 영상과 상기 제2 프레임 영상을 합성할 수 있다(단계 S216).
구체적으로, 도 7b의 제1 객체(OBJ1')가 쉬프트된 제1 프레임 영상(F1B')과 도 7a의 제2 프레임 영상(F2B)을 합성하여 상기 제1 HDR 영상을 획득할 수 있으며, 이에 따라 상기 제1 HDR 영상의 왜곡이 방지될 수 있다.
한편, 도 6, 7a 및 7b에서는 상기 제1 및 제2 프레임 영상들이 하나의 객체만을 포함하는 경우를 예시하였으나, 본 발명은 이에 한정되지 않을 수 있다. 예를 들어, 상기 제1 및 제2 프레임 영상들은 두 개 이상의 객체들을 포함할 수 있으며, 이 경우 객체들 각각에 대한 개별적인 움직임을 추출하고 이를 기초로 객체들 각각을 쉬프트한 이후에 영상 합성을 수행할 수 있다.
또한, 도 6, 7a 및 7b에서는 상기 제2 프레임 영상을 기준으로 하여 상기 제1 프레임 영상 내의 상기 제1 객체를 쉬프트하고 상기 제1 객체가 쉬프트된 상기 제1 프레임 영상과 상기 제2 프레임 영상을 합성하는 경우, 즉 나중에 입력되는 상기 제2 프레임 영상을 참조 영상으로 하여 합성하는 경우를 예시하였으나, 본 발명은 이에 한정되지 않을 수 있다. 예를 들어, 먼저 입력되는 상기 제1 프레임 영상을 기준으로 하여 상기 제2 프레임 영상 내의 상기 제1 객체를 쉬프트하고 영상 합성을 수행할 수도 있다.
이상, 도 4, 5a 및 5b를 참조하여 두 개의 프레임 영상들 사이의 전체적인 움직임을 추출하고 이에 기초하여 영상 합성을 수행하는 제1 합성 방식, 및 도 6, 7a 및 7b를 참조하여 두 개의 프레임 영상들 사이의 객체의 개별적인 움직임을 추출하고 이에 기초하여 영상 합성을 수행하는 제2 합성 방식을 설명하였으나, 실시예에 따라서 두 개의 프레임 영상들을 합성하는데 상기 제1 합성 방식과 상기 제2 합성 방식 모두를 한 번에 이용할 수도 있다. 또한, 그 밖에 프레임 영상들을 합성하는 다양한 알고리즘들 중에서 적어도 하나를 추가적으로 이용할 수도 있다.
한편, 도시하지는 않았으나, 상기 제1 HDR 영상을 제외한 나머지 HDR 영상들 각각을 발생하는 동작은 상기 제1 HDR 영상을 발생하는 동작과 실질적으로 동일한 방식으로 수행될 수 있다. 예를 들어, 도 4, 5a 및 5b를 참조하여 상술한 상기 제1 합성 방식으로 수행되거나, 도 6, 7a 및 7b를 참조하여 상술한 상기 제2 합성 방식으로 수행되거나, 상기 제1 및 제2 합성 방식 모두를 한 번에 이용하여 수행될 수 있다.
도 8은 본 발명의 실시예들에 따른 영상 처리 장치를 나타내는 블록도이다.
도 8을 참조하면, 영상 처리 장치(100)는 HDR 프로세서(300)를 포함한다. 영상 처리 장치(100)는 3A 프로세서(200) 및 영상 신호 프로세서(400)를 더 포함할 수 있다.
HDR 프로세서(300)는 3A 프로세서(200) 및 영상 신호 프로세서(400) 사이에 위치하고, 멀티 프레임 프로세싱(multi-frame processing)을 수행한다. HDR 프로세서(300)는 노출 시간 정보(EINF)를 수신하며, 본 발명의 실시예들에 따른 영상 처리 방법을 수행한다. 구체적으로, 도 1 내지 7을 참조하여 상술한 것처럼 그리고 도 10 및 11을 참조하여 후술하는 것처럼, HDR 프로세서(300)는 서로 다른 노출 시간들을 가지는 복수의 프레임 영상들(FIMG)을 슬라이딩 윈도우 방식으로 합성하여 복수의 HDR 영상들(HIMG)을 발생할 수 있다. 또한, 도 13 내지 15, 17 및 18을 참조하여 후술하는 것처럼, HDR 프로세서(300)는 서로 다른 노출 시간들을 가지는 복수의 프레임 영상들(FIMG)을 IIR(infinite impulse response) 방식으로 합성하여 복수의 HDR 영상들(HIMG)을 발생할 수 있다.
HDR 프로세서(300)는 적어도 두 개의 프레임 버퍼들을 포함하여 구현될 수 있다. HDR 프로세서(300)의 구체적인 구조에 대해서는 도 9, 12 및 16을 참조하여 후술하도록 한다.
3A 프로세서(200)는 노출 시간 정보(EINF)를 수신하며, 복수의 입력 영상들(IIMG)에 대한 3A를 수행하여 복수의 프레임 영상들(FIMG)을 발생할 수 있다. 자동 초점 조절(auto focus; AF), 자동 화이트 밸런스 조절(auto white balance; AWB) 및 자동 노출 조절(auto exposure; AE)을 3A라 부를 수 있다. 복수의 프레임 영상들(FIMG)과 유사하게, 복수의 입력 영상들(IIMG)은 서로 다른 노출 시간들을 가질 수 있으며, 이미지 센서와 같은 외부의 영상 촬상 장치(예를 들어, 도 20의 1050) 및/또는 외부의 메모리 장치(예를 들어, 도 20의 1030)로부터 제공될 수 있다.
3A 프로세서(200)와 HDR 프로세서(300)는 노출 시간 정보(EINF)를 공유하며 이에 맞추어서 HDR 이득 보정(gain compensation)을 수행할 수 있다.
영상 신호 프로세서(400)는 복수의 HDR 영상들(HIMG)에 대한 이미지 보간(Image Interpolation), 색 보정(Color Correction), 감마 보정(Gamma Correction), 색 변환(Color Conversion) 등과 같은 추가 영상 처리를 수행하여 복수의 출력 영상들(OIMG)을 발생할 수 있다. 복수의 HDR 영상들(HIMG)과 유사하게, 복수의 출력 영상들(OIMG) 각각은 HDR 영상일 수 있으며, 표시 장치와 같은 외부의 사용자 인터페이스(예를 들어, 도 20의 1040)에 제공될 수 있다.
실시예에 따라서, 3A 프로세서(200), HDR 프로세서(300) 및 영상 신호 프로세서(400)의 일부 또는 전부는 하드웨어의 형태로 구현되거나, 소프트웨어(즉, 프로그램)의 형태로 구현되어 저장 장치에 저장될 수 있다.
도 9는 본 발명의 실시예들에 따른 영상 처리 장치에 포함되는 HDR 프로세서의 일 예를 나타내는 블록도이다.
도 9를 참조하면, HDR 프로세서(300a)는 제1 프레임 버퍼(310a), 제2 프레임 버퍼(320a) 및 HDR 처리부(350a)를 포함한다.
제1 프레임 버퍼(310a) 및 제2 프레임 버퍼(320a)는 복수의 프레임 영상들(FIMG)을 수신 및 저장한다. 다시 말하면, 제1 및 제2 프레임 버퍼들(310a, 320a)은 입력 버퍼로서 동작할 수 있다.
서로 다른 2개의 노출 시간들(L, S)을 가지는 복수의 프레임 영상들(FIMG)을 수신하여 동일한 노출 시간을 가지는 프레임 영상들을 동일한 프레임 버퍼에 저장하도록, 도 9의 HDR 프로세서(300a)는 2개의 프레임 버퍼들(310a, 320a)을 포함할 수 있다. 예를 들어, 제1 프레임 버퍼(310a)는 복수의 프레임 영상들(FIMG) 중 제1 노출 시간(L)을 가지는 프레임 영상들(FIMG_L)을 순차적으로 수신하여 저장할 수 있다. 제2 프레임 버퍼(320a)는 복수의 프레임 영상들(FIMG) 중 제2 노출 시간(S)을 가지는 프레임 영상들(FIMG_S)을 순차적으로 수신하여 저장할 수 있다.
HDR 처리부(350a)는 노출 시간 정보(EINF)를 수신하며, 서로 다른 노출 시간들(예를 들어, L, S)을 가지는 프레임 영상들(FIMG_L, FIMG_S)을 슬라이딩 윈도우 방식을 기초로 합성하여 복수의 HDR 영상들(HIMG)을 발생할 수 있다. 다시 말하면, HDR 처리부(350a)는 도 1의 단계 S200과 도 2의 단계 S210, S220 및 S230을 수행할 수 있다.
도 3의 예와 관련하여 도 9의 HDR 프로세서(300a)의 동작을 구체적으로 설명하면, 도 3의 프레임 영상들(FIMG11, FIMG13, FIMG15)이 도 9의 프레임 영상들(FIMG_L)에 대응하고, 도 3의 프레임 영상들(FIMG12, FIMG14, FIMG16)이 도 9의 프레임 영상들(FIMG_S)에 대응할 수 있다. 먼저 제1 프레임 버퍼(310a)는 프레임 영상(FIMG11)을 수신하며, HDR 처리부(350a)는 프레임 영상(FIMG11)을 합성 없이 시작 HDR 영상(HIMG11)으로 출력할 수 있다. 제2 프레임 버퍼(320a)는 프레임 영상(FIMG12)을 수신하며, HDR 처리부(350a)는 프레임 영상들(FIMG11, FIMG12)을 합성하여 HDR 영상(HIMG12)을 발생할 수 있다. 제1 프레임 버퍼(310a)는 프레임 영상(FIMG13)을 수신하고, 이 때 프레임 영상(FIMG11)은 삭제되며, HDR 처리부(350a)는 프레임 영상들(FIMG12, FIMG13)을 합성하여 HDR 영상(HIMG13)을 발생할 수 있다. 제2 프레임 버퍼(320a)는 프레임 영상(FIMG14)을 수신하고, 이 때 프레임 영상(FIMG12)은 삭제되며, HDR 처리부(350a)는 프레임 영상들(FIMG13, FIMG14)을 합성하여 HDR 영상(HIMG14)을 발생할 수 있다. 이와 유사하게, 프레임 영상들(FIMG15, FIMG16)이 순차적으로 수신되며, HDR 영상들(HIMG15, HIMG16)이 순차적으로 발생될 수 있다.
HDR 처리부(350a)는 움직임 추출부(352a), 영상 쉬프터(354a) 및 영상 합성부(356a)를 포함할 수 있다. 움직임 추출부(352a)는 연속하는 두 개의 프레임 영상들 사이의 전체적인 움직임 및 개별적인 움직임 중 적어도 하나를 추출할 수 있다. 영상 쉬프터(354a)는 추출된 상기 움직임에 기초하여 연속하는 두 개의 프레임 영상들 중 하나를 쉬프트할 수 있다. 영상 합성부(356a)는 상기 쉬프트된 영상과 쉬프트되지 않은 영상을 합성하여 HDR 영상을 발생할 수 있다. 다시 말하면, 움직임 추출부(352a)는 도 4의 단계 S211 및 도 6의 단계 S212 중 적어도 하나를 수행하고, 영상 쉬프터(354a)는 도 4의 단계 S213 및 도 6의 단계 S214 중 적어도 하나를 수행하며, 영상 합성부(356a)는 도 4의 단계 S215 및 도 6의 단계 S216 중 적어도 하나를 수행할 수 있다.
실시예에 따라서, 움직임 추출부(352a), 영상 쉬프터(354a) 및 영상 합성부(356a)의 일부 또는 전부는 하드웨어의 형태로 구현되거나, 소프트웨어(즉, 프로그램)의 형태로 구현되어 저장 장치에 저장될 수 있다.
도 10은 도 1의 HDR 영상을 발생하는 단계의 다른 예를 나타내는 순서도이다. 도 11은 도 10의 HDR 영상 발생 동작을 설명하기 위한 도면이다. 이하 도 2 및 3과 중복되는 설명은 생략한다.
도 10 및 11은 상기 윈도우의 크기 및 상기 서로 다른 노출 시간들의 개수가 3인 경우, 즉 N=3인 경우를 예시하고 있다. 도 11에서, 복수의 프레임 영상들(FIMG21, FIMG22, FIMG23, FIMG24, FIMG25, FIMG26, FIMG27, FIMG28, FIMG29, ...)은 이미지 센서, 메모리 장치 등으로부터 제공되며, 제1 노출 시간(L)을 가지는 프레임 영상들(FIMG21, FIMG24, FIMG27), 제2 노출 시간(M, middle)을 가지는 프레임 영상들(FIMG22, FIMG25, FIMG28) 및 제3 노출 시간(S)을 가지는 프레임 영상들(FIMG23, FIMG26, FIMG29)이 순차적으로 반복되도록 배치될 수 있다.
도 1, 10 및 11을 참조하면, 단계 S100을 참조하여 상술한 것처럼, 먼저 가장 앞에 배치되는 시작 프레임 영상(FIMG21)을 합성 없이 복수의 HDR 영상들(HIMG21, HIMG22, HIMG23, HIMG24, HIMG25, HIMG26, HIMG27, HIMG28, HIMG29, ...) 중 시작 HDR 영상(HIMG21)으로 출력할 수 있다.
또한, 시작 프레임 영상(FIMG21) 및 시작 프레임 영상(FIMG21)과 연속하는 제2 시작 프레임 영상(FIMG22)을 합성하여 제2 시작 HDR 영상(HIMG22)을 발생할 수 있다. 동작 초기에 입력된 프레임 영상들의 개수가 상기 윈도우의 크기보다 작은 경우에는, 입력된 프레임 영상들 전부를 합성하여 HDR 영상을 발생할 수 있다. 이 때, 영상 합성 방식은 도 4 내지 7을 참조하여 상술한 방식과 동일하게 수행될 수 있다.
이후에 단계 S200을 참조하여 상술한 것처럼, 복수의 HDR 영상들(HIMG21, HIMG22, HIMG23, HIMG24, HIMG25, HIMG26, HIMG27, HIMG28, HIMG29) 중 시작 HDR 영상들(HIMG21, HIMG22)을 제외한 나머지 HDR 영상들(HIMG23, HIMG24, HIMG25, HIMG26, HIMG27, HIMG28, HIMG29)을 발생하는데 있어서, 크기가 3인 윈도우를 이용하여 서로 다른 노출 시간들(L, M, S)을 가지고 연속하는 3개의 프레임 영상들을 슬라이딩 윈도우 방식으로 합성할 수 있다.
구체적으로, 제1 노출 시간(L)을 가지는 제1 프레임 영상(FIMG21), 제2 노출 시간(M)을 가지는 제2 프레임 영상(FIMG22) 및 제3 노출 시간(S)을 가지는 제3 프레임 영상(FIMG23)을 합성하여 제1 HDR 영상(HIMG23)을 발생할 수 있다(단계 S240).
제2 프레임 영상(FIMG22)은 제1 프레임 영상(FIMG21) 이후의 프레임 영상이고, 제3 프레임 영상(FIMG23)은 제2 프레임 영상(FIMG22) 이후의 프레임 영상일 수 있다. 예를 들어, 제1, 제2 및 제3 프레임 영상들(FIMG21, FIMG22, FIMG23)은 서로 연속할 수 있다. 제1, 제2 및 제3 노출 시간들(L, M, S)은 서로 다를 수 있다. 예를 들어, 제2 노출 시간(M)은 제1 노출 시간(L)보다 짧고 제3 노출 시간(S)보다 길 수 있다.
한편, 3개의 프레임 영상들을 합성하는 방식은 도 4 내지 7을 참조하여 상술한 방식과 유사하게 수행될 수 있다. 이 때, 3개의 프레임 영상들 중 가장 마지막의 프레임 영상(FIMG23)을 참조 영상으로 하고 나머지 두 개의 프레임 영상들(FIMG21, FIMG22)을 쉬프트하여 합성 동작을 수행할 수도 있고, 중간의 프레임 영상(FIMG22)을 참조 영상으로 하고 나머지 두 개의 프레임 영상들(FIMG21, FIMG23)을 쉬프트하여 합성 동작을 수행할 수도 있으며, 맨 앞의 프레임 영상(FIMG21)을 참조 영상으로 하고 나머지 두 개의 프레임 영상들(FIMG22, FIMG23)을 쉬프트하여 합성 동작을 수행할 수도 있다.
제2 프레임 영상(FIMG22), 제3 프레임 영상(FIMG23) 및 제1 노출 시간(L)을 가지고 제3 프레임 영상(FIMG23) 이후의 제4 프레임 영상(FIMG24)을 합성하여 제1 HDR 영상(HIMG23) 이후의 제2 HDR 영상(HIMG24)을 발생할 수 있다(단계 S250). 다시 말하면, 단계 S240을 수행한 이후에 상기 윈도우를 한 프레임만큼 옆으로 옮겨서 단계 S250을 수행할 수 있다.
이와 유사하게, 제3 프레임 영상(FIMG23), 제4 프레임 영상(FIMG24) 및 제2 노출 시간(M)을 가지고 제4 프레임 영상(FIMG24) 이후의 제5 프레임 영상(FIMG25)을 합성하여 제2 HDR 영상(HIMG24) 이후의 제3 HDR 영상(HIMG25)을 발생할 수 있고(단계 S260), 제4 프레임 영상(FIMG24), 제5 프레임 영상(FIMG25) 및 제3 노출 시간(S)을 가지고 제5 프레임 영상(FIMG25) 이후의 제6 프레임 영상(FIMG26)을 합성하여 제3 HDR 영상(HIMG25) 이후의 제4 HDR 영상(HIMG26)을 발생할 수 있다(단계 S270).
또한, 도 11에 도시된 것처럼 제5 프레임 영상(FIMG25), 제6 프레임 영상(FIMG26) 및 제1 노출 시간(L)을 가지고 제6 프레임 영상(FIMG26) 이후의 제7 프레임 영상(FIMG27)을 합성하여 제4 HDR 영상(HIMG26) 이후의 제5 HDR 영상(HIMG27)을 발생할 수 있고, 제6 프레임 영상(FIMG26), 제7 프레임 영상(FIMG27) 및 제2 노출 시간(M)을 가지고 제7 프레임 영상(FIMG27) 이후의 제8 프레임 영상(FIMG28)을 합성하여 제5 HDR 영상(HIMG27) 이후의 제6 HDR 영상(HIMG28)을 발생할 수 있으며, 제7 프레임 영상(FIMG27), 제8 프레임 영상(FIMG28) 및 제3 노출 시간(S)을 가지고 제8 프레임 영상(FIMG28) 이후의 제9 프레임 영상(FIMG29)을 합성하여 제6 HDR 영상(HIMG28) 이후의 제7 HDR 영상(HIMG29)을 발생할 수 있다.
도 12는 본 발명의 실시예들에 따른 영상 처리 장치에 포함되는 HDR 프로세서의 다른 예를 나타내는 블록도이다. 이하 도 9와 중복되는 설명은 생략한다.
도 12를 참조하면, HDR 프로세서(300b)는 제1 프레임 버퍼(310b), 제2 프레임 버퍼(320b), 제3 프레임 버퍼(330b) 및 HDR 처리부(350b)를 포함한다.
제1 프레임 버퍼(310b), 제2 프레임 버퍼(320b) 및 제3 프레임 버퍼(330b)는 복수의 프레임 영상들(FIMG)을 수신 및 저장하는 입력 버퍼로서 동작할 수 있다.
서로 다른 3개의 노출 시간들(L, M, S)을 가지는 복수의 프레임 영상들(FIMG)을 수신하여 동일한 노출 시간을 가지는 프레임 영상들을 동일한 프레임 버퍼에 저장하도록, 도 12의 HDR 프로세서(300b)는 3개의 프레임 버퍼들(310b, 320b, 330b)을 포함할 수 있다. 예를 들어, 제1 프레임 버퍼(310b)는 제1 노출 시간(L)을 가지는 프레임 영상들(FIMG_L)을 순차적으로 수신하여 저장하고, 제2 프레임 버퍼(320b)는 제2 노출 시간(M)을 가지는 프레임 영상들(FIMG_M)을 순차적으로 수신하여 저장하며, 제3 프레임 버퍼(330b)는 제3 노출 시간(S)을 가지는 프레임 영상들(FIMG_S)을 순차적으로 수신하여 저장할 수 있다.
HDR 처리부(350b)는 노출 시간 정보(EINF)를 수신하며, 서로 다른 노출 시간들(예를 들어, L, M, S)을 가지는 프레임 영상들(FIMG_L, FIMG_M, FIMG_S)을 슬라이딩 윈도우 방식을 기초로 합성하여 복수의 HDR 영상들(HIMG)을 발생할 수 있다. 다시 말하면, HDR 처리부(350b)는 도 1의 단계 S200과 도 10의 단계 S240, S250, S260 및 S270을 수행할 수 있다.
도 11의 예와 관련하여 도 12의 HDR 프로세서(300b)의 동작을 구체적으로 설명하면, 도 11의 프레임 영상들(FIMG21, FIMG24, FIMG27)이 도 12의 프레임 영상들(FIMG_L)에 대응하고, 도 11의 프레임 영상들(FIMG22, FIMG25, FIMG28)이 도 12의 프레임 영상들(FIMG_M)에 대응하며, 도 11의 프레임 영상들(FIMG23, FIMG26, FIMG29)이 도 12의 프레임 영상들(FIMG_S)에 대응할 수 있다. 먼저 제1 프레임 버퍼(310b)는 프레임 영상(FIMG21)을 수신하며, HDR 처리부(350b)는 프레임 영상(FIMG21)을 합성 없이 시작 HDR 영상(HIMG21)으로 출력할 수 있다. 제2 프레임 버퍼(320b)는 프레임 영상(FIMG22)을 수신하며, HDR 처리부(350b)는 프레임 영상들(FIMG21, HIMG22)을 합성하여 제2 시작 HDR 영상(HIMG22)을 발생할 수 있다. 제3 프레임 버퍼(330b)는 프레임 영상(FIMG23)을 수신하며, HDR 처리부(350b)는 프레임 영상들(FIMG21, FIMG22, FIMG23)을 합성하여 HDR 영상(HIMG23)을 발생할 수 있다. 제1 프레임 버퍼(310b)는 프레임 영상(FIMG24)을 수신하고, 이 때 프레임 영상(FIMG21)은 삭제되며, HDR 처리부(350b)는 프레임 영상들(FIMG22, FIMG23, FIMG24)을 합성하여 HDR 영상(HIMG24)을 발생할 수 있다. 이와 유사하게, 프레임 영상들(FIMG25, FIMG26, FIMG27, FIMG28, FIMG29)이 순차적으로 수신되며, HDR 영상들(HIMG25, HIMG26, HIMG27, HIMG28, HIMG29)이 순차적으로 발생될 수 있다.
HDR 처리부(350b)는 움직임 추출부(352b), 영상 쉬프터(354b) 및 영상 합성부(356b)를 포함할 수 있다. 도 12의 움직임 추출부(352b), 영상 쉬프터(354b) 및 영상 합성부(356b)는 도 9의 움직임 추출부(352a), 영상 쉬프터(354a) 및 영상 합성부(356a)와 각각 실질적으로 동일할 수 있다.
일 실시예에서, 도 9 및 12를 참조하여 상술한 것처럼, 본 발명의 실시예들에 따른 슬라이딩 윈도우 방식을 기초로 동작하는 HDR 프로세서(300a, 300b)에서, 프레임 버퍼들의 개수는 프레임 영상들(FIMG)에 포함되는 노출 시간들의 개수와 동일하며 노출 시간들의 개수가 증가할수록 증가할 수 있다. 예를 들어, 도 9에서와 같이 프레임 영상들(FIMG)이 2개의 노출 시간들(L, S)을 가지는 경우에 HDR 프로세서(300a)는 2개의 프레임 버퍼들(310a, 320a)을 포함하고, 도 12에서와 같이 프레임 영상들(FIMG)이 3개의 노출 시간들(L, M, S)을 가지는 경우에 HDR 프로세서(300b)는 3개의 프레임 버퍼들(310b, 320b, 330b)을 포함할 수 있다.
도 1 내지 12를 참조하여 상술한 본 발명의 실시예들에 따른 영상 처리 방법 및 장치에서는, 슬라이딩 윈도우 방식을 활용함으로써 사용되는 프레임 개수에 영향을 받지 않고 모든 프레임에 대해 HDR 영상을 발생하며, 따라서 프레임 레이트의 손실이 사라질 수 있다. 레코딩(recording)과 같이 프레임 지연(frame delay)이나 소모 전력(computing power)에 제한을 받지 않는다면, 향상된 비디오 HDR 발생을 위해 입력 프레임을 제한 없이 사용할 수 있는 장점이 있을 수 있다.
도 13은 본 발명의 실시예들에 따른 영상 처리 방법을 나타내는 순서도이다. 이하 도 1과 중복되는 설명은 생략한다.
도 13을 참조하면, 본 발명의 실시예들에 따른 영상 처리 방법은 복수의 프레임 영상들을 포함하는 비디오 영상에 대해 수행되며, 특히 프레임 레이트의 손실 없이 상기 복수의 프레임 영상들을 기초로 복수의 HDR 영상들을 발생하여 HDR 비디오 영상을 획득하는데 적용된다.
본 발명의 실시예들에 따른 영상 처리 방법에서, 상기 복수의 프레임 영상들 중 가장 앞에 배치되는 시작 프레임 영상을 합성 없이 시작 HDR 영상으로 출력하고(단계 S1100), 상기 복수의 프레임 영상들 중 서로 다른 노출 시간들을 가지고 연속하는 프레임 영상들을 반복적인(recursive) IIR(infinite impulse response) 방식으로 합성하여 HDR 영상을 발생한다(단계 S1200). 도 13의 단계 S1100은 도 1의 단계 S100과 실질적으로 동일할 수 있다.
IIR 방식은 많은 선형 시간 불변 시스템(linear time-invariant system)에 적용되는 특성이며, 선형 시간 불변 시스템의 일반적인 예는 대부분의 전자 및 디지털 필터이다. 이러한 속성을 지닌 시스템은 IIR 시스템 또는 IIR 필터로 알려져 있으며, 특정 시점을 지나서 정확히 0이 되지는 않지만 무기한으로 지속되는 임펄스 응답을 가짐으로써 구별된다. 이는 유한한 지속 시간 이후에 정확하게 항상 0이 되는 임펄스 응답을 가지는 FIR(finite impulse response) 방식과는 대조적이다. IIR 방식에서는 이전의 출력 결과를 이용하여 현재 입력에 대한 현재 출력을 발생하며, 이와 유사하게 본 발명의 실시예들에 따른 비디오 영상 처리 시에도 이전에 출력된 HDR 영상과 현재 입력된 프레임 영상을 이용하여 현재 HDR 영상을 발생하는 방식으로 적용될 수 있다. 상기 IIR 방식을 이용한 영상 처리 및 이를 수행하기 위한 영상 처리 장치의 구성에 대해서는 도 14 내지 18을 참조하여 후술하도록 한다.
도 14는 도 13의 HDR 영상을 발생하는 단계의 일 예를 나타내는 순서도이다. 도 15는 도 14의 HDR 영상 발생 동작을 설명하기 위한 도면이다.
도 14 및 15는 상기 서로 다른 노출 시간들의 개수가 2인 경우를 예시하고 있다. 도 15에서, 입력 영상인 비디오 영상에 포함되는 복수의 프레임 영상들(FIMG31, FIMG32, FIMG33, FIMG34, FIMG35, FIMG36, ...)은 이미지 센서, 메모리 장치 등으로부터 제공되며, 제1 노출 시간(L)을 가지는 프레임 영상들(FIMG31, FIMG33, FIMG35) 및 제2 노출 시간(S)을 가지는 프레임 영상들(FIMG32, FIMG34, FIMG36)이 교번적으로 반복되도록 배치될 수 있다.
도 13, 14 및 15를 참조하면, 단계 S1100을 참조하여 상술한 것처럼, 먼저 복수의 프레임 영상들(FIMG31, FIMG32, FIMG33, FIMG34, FIMG35, FIMG36) 중 가장 앞에 배치되는 시작 프레임 영상(FIMG31)을 합성 없이 출력 영상인 HDR 비디오 영상에 포함되는 복수의 HDR 영상들(HIMG31, HIMG32, HIMG33, HIMG34, HIMG35, HIMG36, ...) 중 시작 HDR 영상(HIMG31)으로 출력할 수 있다.
이후에 단계 S1200을 참조하여 상술한 것처럼, 복수의 HDR 영상들(HIMG31, HIMG32, HIMG33, HIMG34, HIMG35, HIMG36) 중 시작 HDR 영상(HIMG31)을 제외한 나머지 HDR 영상들(HIMG32, HIMG33, HIMG34, HIMG35, HIMG36)을 발생하는데 있어서, IIR 방식을 이용하여 이전에 출력된 HDR 영상과 현재 입력된 프레임 영상을 합성하여 현재 출력인 HDR 영상을 발생할 수 있다.
구체적으로, 시작 HDR 영상(HIMG31) 및 프레임 영상(FIMG32)을 합성하여 제1 HDR 영상(HIMG32)을 발생할 수 있다. 시작 HDR 영상(HIMG31)은 시작 프레임 영상(FIMG31)과 실질적으로 동일하므로, 상기 동작은 제1 노출 시간(L)을 가지는 제1 프레임 영상(FIMG31) 및 제2 노출 시간(S)을 가지는 제2 프레임 영상(FIMG32)을 합성하여 제1 HDR 영상(HIMG32)을 발생하는 것(단계 S1210)으로 설명될 수 있다. 제1 및 제2 프레임 영상들(FIMG31, FIMG32)을 합성하는 동작은 도 4 내지 7을 참조하여 상술한 방식과 동일하게 수행될 수 있다.
제1 HDR 영상(HIMG32) 및 제1 노출 시간(L)을 가지고 제2 프레임 영상(FIMG32) 이후의 제3 프레임 영상(FIMG33)을 합성하여 제1 HDR 영상(HIMG32) 이후의 제2 HDR 영상(HIMG33)을 발생할 수 있다(단계 S1220).
제1 HDR 영상(HIMG32) 및 제3 프레임 영상(FIMG33)을 합성하는 동작은 도 4 내지 7을 참조하여 상술한 방식과 유사하게 수행될 수 있다. 예를 들어, 도 4의 방식과 유사하게, 제1 HDR 영상(HIMG32)과 제3 프레임 영상(FIMG33) 사이의 전체적인 움직임을 추출하고, 상기 전체적인 움직임에 기초하여 제1 HDR 영상(HIMG32)을 쉬프트하며, 쉬프트된 제1 HDR 영상(HIMG32)과 제3 프레임 영상(FIMG33)을 합성할 수 있다. 다른 예에서, 도 6의 방식과 유사하게, 제1 HDR 영상(HIMG32)과 제3 프레임 영상(FIMG33)에 포함되는 제1 객체의 개별적인 움직임을 추출하고, 상기 개별적인 움직임에 기초하여 제1 HDR 영상(HIMG32) 내에서 상기 제1 객체를 쉬프트하며, 상기 제1 객체가 쉬프트된 제1 HDR 영상(HIMG32)과 제3 프레임 영상(FIMG33)을 합성할 수 있다. 실시예에 따라서, 제3 프레임 영상(FIMG33)이 아닌 제1 HDR 영상(HIMG32)을 참조 영상으로 이용할 수도 있다.
이와 유사하게, 제2 HDR 영상(HIMG33) 및 제2 노출 시간(S)을 가지고 제3 프레임 영상(FIMG33) 이후의 제4 프레임 영상(FIMG34)을 합성하여 제2 HDR 영상(HIMG33) 이후의 제3 HDR 영상(HIMG34)을 발생할 수 있다(단계 S1230). 또한, 도 15에 도시된 것처럼 제3 HDR 영상(HIMG34) 및 제1 노출 시간(L)을 가지고 제4 프레임 영상(FIMG34) 이후의 제5 프레임 영상(FIMG35)을 합성하여 제3 HDR 영상(HIMG34) 이후의 제4 HDR 영상(HIMG35)을 발생할 수 있고, 제4 HDR 영상(HIMG35) 및 제2 노출 시간(S)을 가지고 제5 프레임 영상(FIMG35) 이후의 제6 프레임 영상(FIMG36)을 합성하여 제4 HDR 영상(HIMG35) 이후의 제5 HDR 영상(HIMG36)을 발생할 수 있다.
상술한 것처럼 IIR 방식을 기초로 프레임 영상들을 합성하여 HDR 영상들을 발생하는 경우에, 상기 입력 영상을 나타내는 영상 처리 이전의 복수의 프레임 영상들(FIMG31, FIMG32, FIMG33, FIMG34, FIMG35, FIMG36)의 개수와 상기 출력 영상을 나타내는 영상 처리 이후의 복수의 HDR 영상들(HIMG31, HIMG32, HIMG33, HIMG34, HIMG35, HIMG36)의 개수는 실질적으로 동일할 수 있으며, 따라서 프레임 레이트의 손실 없이 HDR 영상을 효과적으로 발생할 수 있다.
도 16은 본 발명의 실시예들에 따른 영상 처리 장치에 포함되는 HDR 프로세서의 또 다른 예를 나타내는 블록도이다. 이하 도 9 및 12와 중복되는 설명은 생략한다.
도 16을 참조하면, HDR 프로세서(300c)는 제1 프레임 버퍼(310c), HDR 처리부(350c) 및 제2 프레임 버퍼(360c)를 포함한다.
제1 프레임 버퍼(310c)는 복수의 프레임 영상들(FIMG)을 순차적으로 수신 및 저장하는 입력 버퍼로서 동작할 수 있다. 본 발명의 실시예들에 따른 IIR 방식을 기초로 동작하는 HDR 프로세서(300c)에서, 입력 버퍼로 동작하는 프레임 버퍼(310c)의 개수는 프레임 영상들(FIMG)에 포함되는 노출 시간들의 개수와 상관 없이 1개로 일정하게 고정될 수 있다.
HDR 처리부(350c)는 노출 시간 정보(EINF)를 수신하며, 서로 다른 노출 시간들을 가지는 프레임 영상들(FIMG)을 IIR 방식을 기초로 합성하여 복수의 HDR 영상들(HIMG)을 발생할 수 있다. 예를 들어, HDR 처리부(350c)는 도 13의 단계 S1200과 도 14의 단계 S1210, S1220 및 S1230을 수행할 수 있다. 다른 예에서, HDR 처리부(350c)는 도 13의 단계 S1200과 도 17의 단계 S1240, S1250, S1260, S1270 및 S1280을 수행할 수 있다.
일 실시예에서, HDR 처리부(350c)는 IIR 필터를 포함하여 구현될 수 있다. IIR 방식에 기초하여 프레임 영상들(FIMG)을 합성하는데 있어서, 프레임 영상들(FIMG)의 노출 시간, 즉 노출 시간 정보(EINF)를 고려하여 상기 IIR 필터의 필터 계수(filter coefficient)를 변화시킬 수 있다.
제2 프레임 버퍼(360c)는 복수의 HDR 영상들(HIMG)을 순차적으로 수신 및 저장하는 축적 버퍼로서 동작할 수 있다. 본 발명의 실시예들에 따른 IIR 방식을 기초로 동작하는 HDR 프로세서(300c)에서, 축적 버퍼로 동작하는 프레임 버퍼(360c)의 개수는 프레임 영상들(FIMG)에 포함되는 노출 시간들의 개수와 상관 없이 1개로 일정하게 고정될 수 있다.
상술한 것처럼, 본 발명의 실시예들에 따른 IIR 방식을 기초로 동작하는 HDR 프로세서(300c)에서, 입력 버퍼 및 축적 버퍼의 개수는 항상 고정되므로, 전체 프레임 버퍼들의 개수 또한 프레임 영상들(FIMG)에 포함되는 노출 시간들의 개수와 상관 없이 2개로 일정하게 고정될 수 있다.
도 15의 예와 관련하여 도 16의 HDR 프로세서(300c)의 동작을 구체적으로 설명하면, 먼저 제1 프레임 버퍼(310c)는 프레임 영상(FIMG31)을 수신하고, HDR 처리부(350c)는 프레임 영상(FIMG31)을 합성 없이 시작 HDR 영상(HIMG31)으로 출력하며, 제2 프레임 버퍼(360c)는 시작 HDR 영상(HIMG31)을 저장할 수 있다. 제1 프레임 버퍼(310c)는 프레임 영상(FIMG32)을 수신하고, 이 때 프레임 영상(FIMG31)은 삭제되며, HDR 처리부(350c)는 시작 HDR 영상(HIMG31)인 프레임 영상(FIMG31) 및 프레임 영상(FIMG32)을 합성하여 HDR 영상(HIMG32)을 발생하고, 제2 프레임 버퍼(360c)는 HDR 영상(HIMG32)을 저장하며, 이 때 시작 HDR 영상(HIMG31)은 삭제될 수 있다. 이와 유사하게, 프레임 영상들(FIMG33, FIMG34, FIMG35, FIMG36)이 순차적으로 수신되며, HDR 영상들(HIMG33, HIMG34, HIMG35, HIMG36)이 순차적으로 발생될 수 있다.
HDR 처리부(350c)는 움직임 추출부(352c), 영상 쉬프터(354c) 및 영상 합성부(356c)를 포함할 수 있다. 도 16의 움직임 추출부(352c), 영상 쉬프터(354c) 및 영상 합성부(356c)는 도 9의 움직임 추출부(352a), 영상 쉬프터(354a) 및 영상 합성부(356a)와 각각 실질적으로 동일할 수 있다.
도 17은 도 13의 HDR 영상을 발생하는 단계의 다른 예를 나타내는 순서도이다. 도 18은 도 16의 HDR 영상 발생 동작을 설명하기 위한 도면이다. 이하 도 14 및 15와 중복되는 설명은 생략한다.
도 17 및 18은 상기 서로 다른 노출 시간들의 개수가 3인 경우를 예시하고 있다. 도 18에서, 복수의 프레임 영상들(FIMG41, FIMG42, FIMG43, FIMG44, FIMG45, FIMG46, ...)은 이미지 센서, 메모리 장치 등으로부터 제공되며, 제1 노출 시간(L)을 가지는 프레임 영상들(FIMG41, FIMG44), 제2 노출 시간(M)을 가지는 프레임 영상들(FIMG42, FIMG45) 및 제3 노출 시간(S)을 가지는 프레임 영상들(FIMG43, FIMG46)이 순차적으로 반복되도록 배치될 수 있다.
도 13, 17 및 18을 참조하면, 단계 S1100을 참조하여 상술한 것처럼, 먼저 가장 앞에 배치되는 시작 프레임 영상(FIMG41)을 합성 없이 복수의 HDR 영상들(HIMG41, HIMG42, HIMG43, HIMG44, HIMG45, HIMG46, ...) 중 시작 HDR 영상(HIMG41)으로 출력할 수 있다.
이후에 단계 S1200을 참조하여 상술한 것처럼, 복수의 HDR 영상들(HIMG41, HIMG42, HIMG43, HIMG44, HIMG45, HIMG46) 중 시작 HDR 영상(HIMG41)을 제외한 나머지 HDR 영상들(HIMG42, HIMG43, HIMG44, HIMG45, HIMG46)을 발생하는데 있어서, IIR 방식을 이용하여 이전에 출력된 HDR 영상과 현재 입력된 프레임 영상을 합성하여 현재 출력인 HDR 영상을 발생할 수 있다.
구체적으로, 제1 노출 시간(L)을 가지는 제1 프레임 영상(FIMG41) 및 제2 노출 시간(M)을 가지는 제2 프레임 영상(FIMG42)을 합성하여 제1 HDR 영상(HIMG42)을 발생할 수 있다(단계 S1240). 도 17의 단계 S1240은 도 14의 단계 S1210과 실질적으로 동일할 수 있다.
제1 HDR 영상(HIMG42) 및 제3 노출 시간(S)을 가지고 제2 프레임 영상(FIMG42) 이후의 제3 프레임 영상(FIMG43)을 합성하여 제1 HDR 영상(HIMG42) 이후의 제2 HDR 영상(HIMG43)을 발생할 수 있다(단계 S1250).
이와 유사하게, 제2 HDR 영상(HIMG43) 및 제1 노출 시간(L)을 가지고 제3 프레임 영상(FIMG43) 이후의 제4 프레임 영상(FIMG44)을 합성하여 제2 HDR 영상(HIMG43) 이후의 제3 HDR 영상(HIMG44)을 발생할 수 있고(단계 S1260), 제3 HDR 영상(HIMG44) 및 제2 노출 시간(M)을 가지고 제4 프레임 영상(FIMG44) 이후의 제5 프레임 영상(FIMG45)을 합성하여 제3 HDR 영상(HIMG44) 이후의 제4 HDR 영상(HIMG45)을 발생할 수 있으며, 제4 HDR 영상(HIMG45) 및 제3 노출 시간(S)을 가지고 제5 프레임 영상(FIMG45) 이후의 제6 프레임 영상(FIMG46)을 합성하여 제4 HDR 영상(HIMG45) 이후의 제5 HDR 영상(HIMG46)을 발생할 수 있다.
상술한 것처럼, IIR 방식을 기초로 본 발명의 실시예들에 따른 영상 처리를 수행하는 경우에 필요한 프레임 버퍼들의 개수는 프레임 영상들에 포함되는 노출 시간들의 개수와 상관 없이 일정하게 고정되므로, 도 17 및 18을 참조하여 상술한 영상 처리 방법은 도 16의 HDR 프로세서(300c)에 의해 수행될 수 있다.
도 13 내지 18을 참조하여 상술한 본 발명의 실시예들에 따른 영상 처리 방법 및 장치에서는, IIR 방식을 활용함으로써 모든 프레임에 대해 HDR 영상을 발생하며, 프레임 레이트의 손실이 사라질 수 있다. IIR 방식에서는 현재의 입력 프레임과 직전 출력된 HDR 프레임 두 가지만을 활용하여 비디오 HDR을 구현하며, 이 때 입력 영상의 노출 시간을 고려하여 IIR 필터 계수를 변화시킬 수 있다. 슬라이딩 윈도우 방식에 비하여 두 개의 프레임 버퍼만을 사용하므로, 프레임 지연 없이 더 빠르게 비디오 HDR을 구현하는 추가적인 장점이 있을 수 있다.
한편, 도 1 내지 18을 참조하여 입력 영상인 복수의 프레임 영상들이 특정 개수의 노출 시간들 및 노출 시간들의 특정 패턴을 가지는 경우에 기초하여 본 발명의 실시예들을 설명하였으나, 본 발명은 이에 한정되지 않을 수 있다. 예를 들어, 복수의 프레임 영상들이 4개 이상의 임의의 개수의 노출 시간들을 가지는 경우에도 본 발명이 확대 적용될 수 있으며, 복수의 프레임 영상들이 가지는 노출 시간들의 패턴은 실시예에 따라서 다양하게 변경될 수 있다.
도 19는 본 발명의 실시예들에 따른 영상 처리 장치를 나타내는 블록도이다. 이하 도 8과 중복되는 설명은 생략한다.
도 19를 참조하면, 영상 처리 장치(100a)는 제1 HDR 프로세서(301) 및 제2 HDR 프로세서(303)를 포함한다. 영상 처리 장치(100a)는 3A 프로세서(200), 영상 신호 프로세서(400), 제1 스위치(250) 및 제2 스위치(450)를 더 포함할 수 있다.
두 개의 HDR 프로세서들(301, 303)을 포함하고 제1 및 제2 스위치들(250, 450)을 더 포함하는 것을 제외하면, 도 19의 영상 처리 장치(100a)는 도 8의 영상 처리 장치(100)와 실질적으로 동일할 수 있다.
제1 HDR 프로세서(301)는 도 1 내지 7, 10 및 11을 참조하여 상술한 슬라이딩 윈도우 방식으로 동작할 수 있다. 예를 들어, 제1 HDR 프로세서(301)는 도 9의 HDR 프로세서(300a) 또는 도 12의 HDR 프로세서(300b)일 수 있다. 제2 HDR 프로세서(303)는 도 13 내지 15, 17 및 18을 참조하여 상술한 IIR 방식으로 동작할 수 있다. 예를 들어, 제2 HDR 프로세서(303)는 도 16의 HDR 프로세서(300c)일 수 있다.
제1 및 제2 스위치들(250, 450)은 모드 신호(MS)에 기초하여 제1 및 제2 HDR 프로세서들(301, 303) 중 하나를 선택할 수 있다. 예를 들어, 모드 신호(MS)가 제1 논리 레벨(예를 들어, 논리 로우 레벨)을 가지는 경우에, 제1 및 제2 스위치들(250, 450)은 제1 HDR 프로세서(301)와 연결되며, 영상 처리 장치(100a)는 슬라이딩 윈도우 방식으로 HDR 영상들(HIMG)을 발생할 수 있다. 모드 신호(MS)가 제2 논리 레벨(예를 들어, 논리 하이 레벨)을 가지는 경우에, 제1 및 제2 스위치들(250, 450)은 제2 HDR 프로세서(303)와 연결되며, 영상 처리 장치(100a)는 IIR 방식으로 HDR 영상들(HIMG)을 발생할 수 있다.
실시예에 따라서, 본 발명의 영상 처리 방법 및 영상 처리 장치는, 컴퓨터로 판독 가능한 매체에 저장된 컴퓨터로 판독 가능한 프로그램 코드를 포함하는 제품 등의 형태로 구현될 수도 있다. 상기 컴퓨터로 판독 가능한 프로그램 코드는 다양한 컴퓨터 또는 다른 데이터 처리 장치의 프로세서로 제공될 수 있다. 상기 컴퓨터로 판독 가능한 매체는 컴퓨터로 판독 가능한 신호 매체 또는 컴퓨터로 판독 가능한 기록 매체일 수 있다. 상기 컴퓨터로 판독 가능한 기록 매체는 명령어 실행 시스템, 장비 또는 장치 내에 또는 이들과 접속되어 프로그램을 저장하거나 포함할 수 있는 임의의 유형적인 매체일 수 있다.
도 20은 본 발명의 실시예들에 따른 전자 시스템을 나타내는 블록도이다.
도 20을 참조하면, 전자 시스템(1000)은 프로세서(1010), 통신부(1020), 메모리 장치(1030), 사용자 인터페이스(1040), 영상 촬상 장치(1050) 및 영상 처리 장치(1060)를 포함하며, 전원 장치(미도시)를 더 포함할 수 있다.
프로세서(1010)는 특정 계산들 또는 태스크들과 같은 다양한 컴퓨팅 기능들을 실행할 수 있다. 통신부(1020)는 외부 장치와 통신을 수행할 수 있다. 메모리 장치(1030)는 프로세서(1010)에 의해 처리되는 데이터를 저장할 수 있다. 사용자 인터페이스(1040)는 하나 이상의 입/출력 장치를 포함할 수 있다. 상기 전원 장치는 전원을 공급할 수 있다.
영상 촬상 장치(1050) 및 영상 처리 장치(1060)는 프로세서(1010)에 의해 제어된다. 영상 촬상 장치(1050)는 서로 다른 노출 시간들을 가지는 복수의 프레임 영상들을 발생하며, 예를 들어 CMOS(complementary metal oxide semiconductor) 이미지 센서, CCD(charge-coupled device) 이미지 센서 등을 포함할 수 있다. 상기 복수의 프레임 영상들은 영상 처리 장치(1060)에 직접 제공되거나 메모리 장치(1030)에 저장되었다가 영상 처리 장치(1060)에 제공될 수 있다. 영상 처리 장치(1060)는 도 8 및 19의 영상 처리 장치들(100, 100a) 중 하나이며, 도 1 내지 19를 참조하여 상술한 본 발명의 실시예들에 따라 동작할 수 있다. 실시예에 따라서, 영상 처리 장치(1060)는 프로세서(1010)에 포함될 수도 있다.
본 발명의 실시예들은 영상 처리 장치 및 시스템을 포함하는 임의의 전자 장치 및 시스템에 유용하게 이용될 수 있다. 예를 들어, 본 발명의 실시예들은 컴퓨터(computer), 노트북(laptop), 핸드폰(cellular), 스마트 폰(smart phone), MP3 플레이어, PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), 디지털 TV, 디지털 카메라, 포터블 게임 콘솔(portable game console), 네비게이션(navigation) 기기, 웨어러블(wearable) 기기, IoT(Internet of Things) 기기, IoE(Internet of Everything) 기기, e-북(e-book), VR(Virtual Reality) 기기, AR(Augmented Reality) 기기 등과 같은 전자 기기에 더욱 유용하게 적용될 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.

Claims (20)

  1. 복수의 프레임 영상들을 포함하는 비디오 영상에 대한 영상 처리 방법으로서,
    제1 노출 시간을 가지는 제1 프레임 영상 및 상기 제1 노출 시간과 다른 제2 노출 시간을 가지고 상기 제1 프레임 영상 이후의 제2 프레임 영상을 합성하여 제1 HDR(high dynamic range) 영상을 발생하는 단계; 및
    상기 제2 프레임 영상 및 상기 제1 노출 시간을 가지고 상기 제2 프레임 영상 이후의 제3 프레임 영상을 합성하여 제2 HDR 영상을 발생하는 단계를 포함하는 영상 처리 방법.
  2. 제 1 항에 있어서,
    영상 처리 이전의 상기 복수의 프레임 영상들의 개수와 상기 제1 및 제2 HDR 영상들을 포함하는 영상 처리 이후의 복수의 HDR 영상들의 개수는 동일한 것을 특징으로 하는 영상 처리 방법.
  3. 제 1 항에 있어서,
    상기 제3 프레임 영상 및 상기 제2 노출 시간을 가지고 상기 제3 프레임 영상 이후의 제4 프레임 영상을 합성하여 제3 HDR 영상을 발생하는 단계를 더 포함하는 것을 특징으로 하는 영상 처리 방법.
  4. 제 1 항에 있어서,
    상기 복수의 프레임 영상들 중 가장 앞에 배치되는 시작 프레임 영상을 합성 없이 시작 HDR 영상으로 출력하는 단계를 더 포함하는 것을 특징으로 하는 영상 처리 방법.
  5. 제 1 항에 있어서, 상기 제1 HDR 영상을 발생하는 단계는,
    상기 제1 프레임 영상과 상기 제2 프레임 영상 사이의 전체적인 움직임을 추출하는 단계;
    상기 전체적인 움직임에 기초하여 상기 제1 프레임 영상을 쉬프트하는 단계; 및
    쉬프트된 상기 제1 프레임 영상과 상기 제2 프레임 영상을 합성하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  6. 제 1 항에 있어서, 상기 제1 HDR 영상을 발생하는 단계는,
    상기 제1 프레임 영상과 상기 제2 프레임 영상에 포함되는 복수의 객체들 중 제1 객체의 개별적인 움직임을 추출하는 단계;
    상기 개별적인 움직임에 기초하여 상기 제1 프레임 영상 내에서 상기 제1 객체를 쉬프트하는 단계; 및
    상기 제1 객체가 쉬프트된 상기 제1 프레임 영상과 상기 제2 프레임 영상을 합성하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  7. 제 1 항에 있어서,
    상기 제1 HDR 영상을 발생하는데 있어서, 상기 제1 및 제2 노출 시간들과 다른 제3 노출 시간을 가지고 상기 제2 및 제3 프레임 영상들 사이에 배치되는 제4 프레임 영상과 상기 제1 및 제2 프레임 영상들을 합성하여 상기 제1 HDR 영상을 발생하고,
    상기 제2 HDR 영상을 발생하는데 있어서, 상기 제4 프레임 영상과 상기 제2 및 제3 프레임 영상들을 합성하여 상기 제2 HDR 영상을 발생하는 것을 특징으로 하는 영상 처리 방법.
  8. 제 7 항에 있어서,
    상기 제3 및 제4 프레임 영상들 및 상기 제2 노출 시간을 가지고 상기 제3 프레임 영상 이후의 제5 프레임 영상을 합성하여 제3 HDR 영상을 발생하는 단계를 더 포함하는 것을 특징으로 하는 영상 처리 방법.
  9. 제 7 항에 있어서,
    상기 복수의 프레임 영상들 중 가장 앞에 배치되는 시작 프레임 영상을 합성 없이 시작 HDR 영상으로 출력하는 단계; 및
    상기 시작 프레임 영상 및 상기 시작 프레임 영상과 연속하는 제2 시작 프레임 영상을 합성하여 제2 시작 HDR 영상을 발생하는 단계를 더 포함하는 것을 특징으로 하는 영상 처리 방법.
  10. 복수의 프레임 영상들을 포함하는 비디오 영상에 대한 영상 처리 장치로서,
    제1 노출 시간을 가지는 제1 프레임 영상을 수신하는 제1 프레임 버퍼;
    상기 제1 노출 시간과 다른 제2 노출 시간을 가지고 상기 제1 프레임 영상 이후의 제2 프레임 영상을 수신하는 제2 프레임 버퍼; 및
    상기 제1 및 제2 프레임 영상들을 합성하여 제1 HDR(high dynamic range) 영상을 발생하는 HDR 처리부를 포함하고,
    상기 제1 프레임 버퍼는 상기 제1 노출 시간을 가지고 상기 제2 프레임 영상 이후의 제3 프레임 영상을 더 수신하며,
    상기 HDR 처리부는 제2 및 제3 프레임 영상들을 합성하여 제2 HDR 영상을 더 발생하는 영상 처리 장치.
  11. 제 10 항에 있어서,
    상기 제1 및 제2 노출 시간들과 다른 제3 노출 시간을 가지고 상기 제2 및 제3 프레임 영상들 사이에 배치되는 제4 프레임 영상을 수신하는 제3 프레임 버퍼를 더 포함하며,
    상기 HDR 처리부는 상기 제1, 제2 및 제4 프레임 영상들을 합성하여 상기 제1 HDR 영상을 발생하고, 상기 제2, 제3 및 제4 프레임 영상들을 합성하여 상기 제2 HDR 영상을 발생하는 것을 특징으로 하는 영상 처리 장치.
  12. 제 10 항에 있어서,
    상기 영상 처리 장치에 포함되는 프레임 버퍼들의 개수는 상기 복수의 프레임 영상들에 포함되는 노출 시간들의 개수와 동일한 것을 특징으로 하는 영상 처리 장치.
  13. 복수의 프레임 영상들을 포함하는 비디오 영상에 대한 영상 처리 방법으로서,
    제1 노출 시간을 가지는 제1 프레임 영상 및 상기 제1 노출 시간과 다른 제2 노출 시간을 가지고 상기 제1 프레임 영상 이후의 제2 프레임 영상을 합성하여 제1 HDR(high dynamic range) 영상을 발생하는 단계; 및
    상기 제1 HDR 영상 및 상기 제1 노출 시간을 가지고 상기 제2 프레임 영상 이후의 제3 프레임 영상을 합성하여 제2 HDR 영상을 발생하는 단계를 포함하는 영상 처리 방법.
  14. 제 13 항에 있어서,
    영상 처리 이전의 상기 복수의 프레임 영상들의 개수와 상기 제1 및 제2 HDR 영상들을 포함하는 영상 처리 이후의 복수의 HDR 영상들의 개수는 동일한 것을 특징으로 하는 영상 처리 방법.
  15. 제 13 항에 있어서,
    상기 제2 HDR 영상 및 상기 제2 노출 시간을 가지고 상기 제3 프레임 영상 이후의 제4 프레임 영상을 합성하여 제3 HDR 영상을 발생하는 단계를 더 포함하는 것을 특징으로 하는 영상 처리 방법.
  16. 제 13 항에 있어서,
    상기 복수의 프레임 영상들 중 가장 앞에 배치되는 시작 프레임 영상을 합성 없이 시작 HDR 영상으로 출력하는 단계를 더 포함하는 것을 특징으로 하는 영상 처리 방법.
  17. 제 13 항에 있어서,
    상기 제1 및 제2 노출 시간들과 다른 제3 노출 시간을 가지고 상기 제2 및 제3 프레임 영상들 사이에 배치되는 제4 프레임 영상과 상기 제1 HDR 영상을 합성하여 제3 HDR 영상을 발생하는 단계를 더 포함하고,
    상기 제2 HDR 영상을 발생하는데 있어서, 상기 제3 HDR 영상과 상기 제3 프레임 영상을 합성하여 상기 제2 HDR 영상을 발생하는 것을 특징으로 하는 영상 처리 방법.
  18. 제 17 항에 있어서,
    상기 제2 HDR 영상 및 상기 제2 노출 시간을 가지고 상기 제3 프레임 영상 이후의 제5 프레임 영상을 합성하여 제4 HDR 영상을 발생하는 단계를 더 포함하는 것을 특징으로 하는 영상 처리 방법.
  19. 복수의 프레임 영상들을 포함하는 비디오 영상에 대한 영상 처리 장치로서,
    제1 노출 시간을 가지는 제1 프레임 영상, 상기 제1 노출 시간과 다른 제2 노출 시간을 가지고 상기 제1 프레임 영상 이후의 제2 프레임 영상, 및 상기 제1 노출 시간을 가지고 상기 제2 프레임 영상 이후의 제3 프레임 영상을 수신하는 제1 프레임 버퍼;
    상기 제1 및 제2 프레임 영상들을 합성하여 제1 HDR(high dynamic range) 영상을 발생하고, 상기 제1 HDR 영상 및 상기 제3 프레임 영상을 합성하여 제2 HDR 영상을 발생하는 HDR 처리부; 및
    상기 제1 및 제2 HDR 영상들을 수신하는 제2 프레임 버퍼를 포함하는 영상 처리 장치.
  20. 제 19 항에 있어서,
    상기 제1 프레임 버퍼는 상기 제1 및 제2 노출 시간들과 다른 제3 노출 시간을 가지고 상기 제2 및 제3 프레임 영상들 사이에 배치되는 제4 프레임 영상을 더 수신하고,
    상기 HDR 처리부는 상기 제1 HDR 영상 및 상기 제4 프레임 영상들을 합성하여 제3 HDR 영상을 더 발생하고,
    상기 제2 프레임 버퍼는 상기 제3 HDR 영상을 더 수신하며,
    상기 제2 HDR 영상을 발생하는데 있어서, 상기 HDR 처리부는 상기 제3 HDR 영상과 상기 제3 프레임 영상을 합성하여 상기 제2 HDR 영상을 발생하는 것을 특징으로 하는 영상 처리 장치.

KR1020190001728A 2019-01-07 2019-01-07 영상 처리 방법 및 이를 수행하는 영상 처리 장치 KR102628911B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190001728A KR102628911B1 (ko) 2019-01-07 2019-01-07 영상 처리 방법 및 이를 수행하는 영상 처리 장치
US16/527,563 US11182887B2 (en) 2019-01-07 2019-07-31 Method of processing images using high dynamic range while preserving frame rate and image processing device performing the same
CN201911073478.6A CN111416945A (zh) 2019-01-07 2019-11-05 用于处理图像的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190001728A KR102628911B1 (ko) 2019-01-07 2019-01-07 영상 처리 방법 및 이를 수행하는 영상 처리 장치

Publications (2)

Publication Number Publication Date
KR20200085523A true KR20200085523A (ko) 2020-07-15
KR102628911B1 KR102628911B1 (ko) 2024-01-24

Family

ID=71403663

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190001728A KR102628911B1 (ko) 2019-01-07 2019-01-07 영상 처리 방법 및 이를 수행하는 영상 처리 장치

Country Status (3)

Country Link
US (1) US11182887B2 (ko)
KR (1) KR102628911B1 (ko)
CN (1) CN111416945A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022191585A1 (ko) * 2021-03-08 2022-09-15 삼성전자 주식회사 전자 장치의 촬영 방법 및 그 전자 장치

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11223780B1 (en) * 2020-10-23 2022-01-11 Black Sesame Technologies Inc. Two-stage method to merge burst image frames
WO2022094784A1 (zh) * 2020-11-04 2022-05-12 深圳市大疆创新科技有限公司 图像处理方法、装置及可移动平台
US11847737B2 (en) * 2021-04-09 2023-12-19 Nvidia Corporation Temporal denoiser quality in dynamic scenes
US20220414847A1 (en) * 2021-06-29 2022-12-29 Qualcomm Incorporated High dynamic range image processing
CN115842962A (zh) * 2021-09-17 2023-03-24 荣耀终端有限公司 Hdr图像处理方法及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130037962A (ko) * 2011-10-07 2013-04-17 삼성디스플레이 주식회사 표시 장치
JP2014036401A (ja) * 2012-08-10 2014-02-24 Sony Corp 撮像装置、画像信号処理方法及びプログラム
KR20140093237A (ko) * 2011-10-14 2014-07-25 가부시키가이샤 모르포 화상 합성 장치, 화상 합성 방법 및 기록 매체
KR20150118003A (ko) * 2014-04-11 2015-10-21 한화테크윈 주식회사 영상 처리 장치 및 영상 처리 방법

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3740394B2 (ja) * 2001-07-27 2006-02-01 日本電信電話株式会社 高ダイナミックレンジ映像の生成方法とその装置、及びこの方法の実行プログラムとこの実行プログラムの記録媒体
US20040130649A1 (en) * 2003-01-03 2004-07-08 Chulhee Lee Cameras
JP2006148825A (ja) * 2004-11-25 2006-06-08 Matsushita Electric Ind Co Ltd デジタル放送受信装置
JP2011254125A (ja) 2010-05-31 2011-12-15 Sony Corp 画像処理装置、カメラシステム、画像処理方法、およびプログラム
US8830360B1 (en) * 2010-08-25 2014-09-09 Sri International Method and apparatus for optimizing image quality based on scene content
CN102779334B (zh) * 2012-07-20 2015-01-07 华为技术有限公司 一种多曝光运动图像的校正方法及装置
US9131172B2 (en) 2012-11-30 2015-09-08 Hanwha Techwin Co., Ltd. Image processing apparatus and method for detecting motion using long exposures images and then performing infinite impulse response filtering on short exposure image
WO2014099320A1 (en) * 2012-12-17 2014-06-26 The Trustees Of Columbia University In The City Of New York Methods, systems, and media for high dynamic range imaging
US10382674B2 (en) * 2013-04-15 2019-08-13 Qualcomm Incorporated Reference image selection for motion ghost filtering
WO2016173794A1 (en) * 2015-04-30 2016-11-03 Fotonation Limited A method and apparatus for producing a video stream
US9819873B2 (en) * 2015-06-25 2017-11-14 Canon Kabushiki Kaisha Image-processing apparatus and image-processing method
US9544506B1 (en) * 2015-08-26 2017-01-10 Novatek Microelectronics Corp. Image processing method for image capturing device
US10511776B2 (en) * 2015-12-28 2019-12-17 Huawei Technologies Co., Ltd. Image fusion method and apparatus, and terminal device
CN105827964B (zh) * 2016-03-24 2019-05-17 维沃移动通信有限公司 一种图像处理方法及移动终端
US10097765B2 (en) 2016-04-20 2018-10-09 Samsung Electronics Co., Ltd. Methodology and apparatus for generating high fidelity zoom for mobile video
JP2018042089A (ja) 2016-09-07 2018-03-15 キヤノン株式会社 撮像装置及びその制御方法、プログラム
KR20180067052A (ko) * 2016-12-12 2018-06-20 삼성전자주식회사 광역 역광 보정 영상 촬상 방법, 이를 수행하는 영상 촬상 장치 및 이를 포함하는 전자 시스템
WO2018190649A1 (en) 2017-04-12 2018-10-18 Samsung Electronics Co., Ltd. Method and apparatus for generating hdr images
CN107465882B (zh) * 2017-09-22 2019-11-05 维沃移动通信有限公司 一种图像拍摄方法及移动终端
CN108989699B (zh) * 2018-08-06 2021-03-23 Oppo广东移动通信有限公司 图像合成方法、装置、成像设备、电子设备以及计算机可读存储介质
US20200211166A1 (en) * 2018-12-28 2020-07-02 Qualcomm Incorporated Methods and apparatus for motion compensation in high dynamic range processing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130037962A (ko) * 2011-10-07 2013-04-17 삼성디스플레이 주식회사 표시 장치
KR20140093237A (ko) * 2011-10-14 2014-07-25 가부시키가이샤 모르포 화상 합성 장치, 화상 합성 방법 및 기록 매체
JP2014036401A (ja) * 2012-08-10 2014-02-24 Sony Corp 撮像装置、画像信号処理方法及びプログラム
KR20150118003A (ko) * 2014-04-11 2015-10-21 한화테크윈 주식회사 영상 처리 장치 및 영상 처리 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022191585A1 (ko) * 2021-03-08 2022-09-15 삼성전자 주식회사 전자 장치의 촬영 방법 및 그 전자 장치

Also Published As

Publication number Publication date
US20200219240A1 (en) 2020-07-09
CN111416945A (zh) 2020-07-14
KR102628911B1 (ko) 2024-01-24
US11182887B2 (en) 2021-11-23

Similar Documents

Publication Publication Date Title
KR102628911B1 (ko) 영상 처리 방법 및 이를 수행하는 영상 처리 장치
US10984583B2 (en) Reconstructing views of real world 3D scenes
US9826149B2 (en) Machine learning of real-time image capture parameters
US10594952B2 (en) Key frame selection in burst imaging for optimized user experience
CN108885785B (zh) 用于时间噪声减少的运动自适应流处理
US10242710B2 (en) Automatic cinemagraph
CN110012310B (zh) 一种基于自由视点的编解码方法及装置
CN101969527A (zh) 内容感知的视频稳定
CN110248115B (zh) 图像处理方法、装置及存储介质
CN112785672B (zh) 图像处理方法及装置、电子设备和存储介质
CN112637517A (zh) 视频处理方法、装置、电子设备及存储介质
JP6931268B2 (ja) 画像処理装置および画像処理方法
US10230920B1 (en) Adjusting interpolation phase for MEMC using image analysis
CN114531553A (zh) 生成特效视频的方法、装置、电子设备及存储介质
KR20230022843A (ko) 적응적 런타임 효율적 이미지 분류를 위한 입력 이미지 크기 전환 가능 네트워크
US9286655B2 (en) Content aware video resizing
CN112492230B (zh) 视频处理方法、装置、可读介质及电子设备
JP2020184669A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム
CN113099132B (zh) 视频处理方法、装置、电子设备、存储介质及程序产品
CN113256785B (zh) 图像处理方法、装置、设备及介质
CN114286007A (zh) 图像处理电路、图像处理方法、电子设备和可读存储介质
EP3132608A1 (en) Fallback detection in motion estimation
CN115396740B (zh) 全景视频的播放方法、装置、电子设备及可读存储介质
CN116546182B (zh) 视频处理方法、装置、设备以及存储介质
CN117714892A (zh) 一种变焦控制方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)