KR101964228B1 - 영상 처리 장치 및 영상 처리 방법 - Google Patents

영상 처리 장치 및 영상 처리 방법 Download PDF

Info

Publication number
KR101964228B1
KR101964228B1 KR1020130098604A KR20130098604A KR101964228B1 KR 101964228 B1 KR101964228 B1 KR 101964228B1 KR 1020130098604 A KR1020130098604 A KR 1020130098604A KR 20130098604 A KR20130098604 A KR 20130098604A KR 101964228 B1 KR101964228 B1 KR 101964228B1
Authority
KR
South Korea
Prior art keywords
exposure image
current frame
image
iir
motion
Prior art date
Application number
KR1020130098604A
Other languages
English (en)
Other versions
KR20140070345A (ko
Inventor
타케루 스즈키
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to US14/073,340 priority Critical patent/US9131172B2/en
Priority to CN201310594596.8A priority patent/CN103856720B/zh
Publication of KR20140070345A publication Critical patent/KR20140070345A/ko
Application granted granted Critical
Publication of KR101964228B1 publication Critical patent/KR101964228B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal

Abstract

영상 처리 장치가 개시된다. 이 장치는 검출부 및 처리부를 포함한다. 검출부는 현재 프레임의 장노광 영상 및 이전 프레임의 장노광 영상에 의하여 움직임을 검출한다. 처리부는, 검출부로부터의 움직임 검출 결과에 따라 IIR(Infinite Impulse Response) 필터링의 순회 계수를 설정하여, 현재 프레임의 단노광 영상에 대해 IIR 필터링을 수행한다.

Description

영상 처리 장치 및 영상 처리 방법{Image processing apparatus and image processing method}
본 발명은, 영상 처리 장치 및 영상 처리 방법에 관한 것으로서, 보다 상세하게는, WDR(Wide Dynamic Range)의 영상 처리 장치 및 영상 처리 방법에 관한 것이다.
WDR(Wide Dynamic Range)은 HDR(High Dynamic Range)이라고도 불리우지만, 이하에서는 WDR로 통칭하기로 한다.
최근, 단시간 노광의 영상(이하, 단순히 "단(短)노광 영상"이라고 함)과 장시간 노광의 영상(이하, 단순히 "장(長)노광 영상"이라고 함)을 연속적으로 촬영하여 합성함으로써, 영상 센서의 촬영 가능 다이나믹 레인지를 초과한 다이나믹 레인지의 영상을 얻는 WDR(Wide Dynamic Range)이라는 촬영 기능이 증가하고 있다. 상기 촬영 기능은, 역광의 구도 등 명암비가 매우 큰 환경에서 특히 큰 효과가 있다.
그러나 단노광 영상과 장노광 영상을 합성하는 구조에서 발생하는 문제가 2가지 있다. 한가지는, 피사체에 움직임이 있으면 합성시에 어긋남이 발생하여 윤곽이 이중이 되는 아티팩트(artifact)가 발생한다는 문제이다. 또 한가지는, 단노광 영상에 플리커가 촬영되는 경우가 있는데 이 단노광 영상이 합성에 사용되면 플리커를 포함한 합성 영상이 출력되어 보기 어려운 영상이 된다는 문제이다. 본 명세서에서는, 주로 후자의 플리커에 대한 문제의 해결을 시도한다.
플리커를 일으키는 것으로서는 인버터가 없는 형광등이 유명한데, 최근 보급되기 시작한 LED(Light Emitting Diode) 조명 중에서도 명멸 주파수가 낮은 것이 있으며 이러한 낮은 주파수의 명멸은 플리커의 발생원이 되는 경우가 있다. 또한 LCD(Liquid Crystal Display)를 포함한 텔레비젼 장치나 PC(Personal Computer)용 디스플레이 중에도 동영상 표시 성능의 향상을 목적으로 하여 백라이트를 점멸시키는 것이 증가하고 있는데, 백라이트의 점멸도 플리커의 발생원이 될 수 있다.
WDR의 플리커 저감 방법으로는, 이하와 같은 것이 있다. 플래시가 있는 환경에서 촬영된 영상을 합성했을 때의 WB(White Balance)와 플래시가 없는 환경에서 촬영된 영상을 합성했을 때의 WB의 차이를 맞추는 것을 주된 목적으로 하는 방법이 있다(특허문헌 1 참조.). 상기 방법에서는 여러 장의 영상을 가산 평균함으로써 플리커를 줄인다. 또한, 상기 방법에 의하면, 여러 장의 영상을 가산 평균함으로써 WDR 효과도 얻을 수 있다. 또한, 상기 방법에서는 WB를 맞추기 위한 게인을 조정한다.
한편, 1/240 초 및 1/60 초 각각의 셔터 속도로 촬영한 영상을 비교하여 플리커를 검출하는 방법이 있다(특허문헌 2 참조.). 상기 방법에서는, 플리커 검출 결과에 기초하여 여러 개의 WDR 합성 영상 및 단노광 영상 1장의 계조 보정 영상 각각에 대해 우선 순위를 설정하고, 해당 우선 순위에 기초하여 여러 개의 WDR 합성 영상 및 단노광 영상 1장의 계조 보정 영상의 표시 제어 또는 기록 제어를 한다. 플리커가 검출된 경우에는 WDR 합성 영상이 아닌 1장의 계조 보정 영상의 혼합 비율을 높일 수 있다.
그러나 특허문헌 1에 개시된 방법은, 단노광 영상과 장노광 영상을 합성하는 타입에 비하면 WDR 효과가 작다. 또 특허문헌 1에 개시된 방법은, 여러 장의 영상을 가산 평균하기 때문에 장수만큼의 프레임 메모리가 필요하여 메모리 사이즈 혹은 데이터 전송의 부하가 커진다는 문제도 있다. 움직임 검출 결과는 WB의 조정용 게인 산출에는 활용되었으나 가산 평균함으로써 움직이는 물체가 이중이 된다는 문제는 해결되지 않았다.
또한, 특허문헌 2에 개시된 방법에서는, 촬영전에 플리커 판정 순서를 촬영할 필요가 있으며 동영상 촬영중에 플리커의 유무가 변화된 경우에는 대응할 수 없다. 또 특허문헌 2에 개시된 방법으로 플리커가 검출된 경우에는 WDR 합성 영상이 아닌 1장의 계조 보정 영상의 혼합 비율을 높일 수 있기 때문에 WDR 효과가 큰폭으로 떨어진다는 문제가 있다.
특허문헌 1 : 일본 특허 공개 제2011-35894호 공보 특허문헌 2 : 일본 특허 공개 제2012-119761호 공보
본 발명의 실시 예는, 장노광 영상 및 단노광 영상을 합성하는 방식의 WDR 처리에 있어서, 메모리 용량이나 데이터 전송 부하의 증가를 억제하고, 움직이는 물체의 이중 영상도 줄이면서, 플리커를 포함한 동영상에 대해서도 높은 WDR 효과를 얻을 수 있게 하는 기술을 제공하고자 한다.
본 발명의 일 측면에 의하면, 검출부와 처리부를 포함한 영상 처리 장치가 제공될 수 있다.
상기 검출부는 현재 프레임의 장노광 영상 및 이전 프레임의 장노광 영상에 의하여 움직임을 검출한다.
상기 처리부는, 상기 검출부로부터의 움직임 검출 결과에 따라 IIR(Infinite Impulse Response) 필터링의 순회 계수를 설정하여, 현재 프레임의 단노광 영상에 대해 IIR 필터링을 수행한다.
바람직하게는, 상기 처리부는, 현재 프레임의 단노광 영상에 대한 IIR 필터링의 처리 결과를, 이전 프레임의 단노광 영상에 대한 IIR 필터링의 처리 결과에 혼합하여 출력한다.
바람직하게는, 상기 처리부는, 상기 움직임의 값이 클수록 현재 프레임의 단노광 영상의 IIR 필터링의 순회 계수를 크게 하여, 현재 프레임의 단노광 영상에 대한 IIR 필터링을 수행한다.
바람직하게는, 현재 프레임의 장노광 영상과, 상기 처리부로부터의 현재 프레임의 단노광 영상에 대한 IIR 필터링의 처리 결과를 합성하는 합성부를 더 포함한다.
본 발명의 다른 측면에 의하면, 두 단계들을 포함한 영상 처리 방법이 제공될 수 있다.
제1 단계에서는, 현재 프레임의 장노광 영상 및 이전 프레임의 장노광 영상에 의하여 움직임이 검출된다.
제2 단계에서는, 움직임 검출 결과에 따라 IIR(Infinite Impulse Response) 필터링의 순회 계수가 설정되어, 현재 프레임의 단노광 영상에 대해 IIR 필터링이 수행된다.
본 발명의 실시 예의 상기 영상 처리 장치 및 영상 처리 방법에 의하면, 단노광 영상과 장노광 영상을 합성하는 WDR(Wide Dynamic Range) 처리에 있어서, 메모리 용량과 데이터 전송 부하의 증가를 억제하고, 움직이는 물체의 이중 영상도 억제하면서, 플리커를 가진 동영상에 대해서도 큰 WDR 효과를 얻을 수 있다.
도 1은 본 발명의 일 실시 예의 영상 처리 장치로서의 WDR 시스템을 보여주는 블록도이다.
도 2는 움직임 검출 결과와 IIR 필터링의 순회 계수와의 관계의 일 예를 보여주는 그래프이다.
도 3은 도 1의 시스템에 적용된 영상 처리 방법의 일 예를 보여주는 흐름도이다.
하기의 설명 및 첨부된 도면은 본 발명에 따른 동작을 이해하기 위한 것이며, 본 기술 분야의 통상의 기술자가 용이하게 구현할 수 있는 부분은 생략될 수 있다.
또한 본 명세서 및 도면은 본 발명을 제한하기 위한 목적으로 제공된 것은 아니고, 본 발명의 범위는 청구의 범위에 의하여 정해져야 한다. 본 명세서에서 사용된 용어들은 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
이하 첨부된 도면을 참조하면서 본 발명의 적합한 실시 예에 대하여 상세하게 설명한다. 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소들에 대하여 동일한 부호를 부여함으로써 중복 설명을 생략한다. 물론, 실질적으로 동일한 기능 구성을 가진 여러 개의 구성요소들에 대하여, 동일한 부호 뒤에 다른 부호가 추가되어 구별될 수도 있다. 즉, 실질적으로 동일한 기능 구성을 가진 여러 개의 구성 요소들 각각을 특별히 구별할 필요가 없는 경우, 동일 부호가 부여된다
도 1은 본 발명의 일 실시 예의 영상 처리 장치로서의 WDR(Wide Dynamic Range) 시스템(10)을 보여준다.
도 1을 참조하면, 본 실시 예의 영상 처리 장치로서의 WDR 시스템(10)은 영상 센서(110), 제1 메모리(121), 제2 메모리(122), 검출부(130), 처리부로서의 IIR(Infinite Impulse Response) 필터(140) 및 합성부(150)를 포함한다.
이하, WDR 시스템(10)이 포함한 각 기능 블록의 기능에 대해 차례대로 상세히 설명하기로 한다.
영상 센서(110)는, 외부로부터의 광을 촬상 소자의 수광 평면에 결상시키고, 결상된 광을 전하량으로 광전 변환하여 해당 전하량을 전기 신호로 변환한다. 영상 센서(110)의 예로서, CCD(Charge Coupled Deｖice) 영상 센서 또는 CMOS(Complementary Metal Oxide Semiconductor) 영상 센서를 들 수 있다.
본 실시 예에서의 영상 센서(110)는 장노광 영상과 단노광 영상을 연속적으로 촬영한다. 장노광 영상과 단노광 영상이 연속적으로 촬영되는 경우, 도 1에 도시한 바와 같이 WDR 시스템(10)은, 영상 센서(110)로부터 장노광 영상을 출력하기 위한 계통과 단노광 영상을 출력하기 위한 계통의 2 개의 계통들을 가진다.
상대적으로 긴 노광 시간 동안에 촬영된 이전 프레임의 장노광 영상은 제1 메모리(121)에 저장된다.
한편, 상대적으로 짧은 노광 시간 동안에 촬영된 이전 프레임의 단노광 영상은, IIR(Infinite Impulse Response) 필터(140)에 출력된다. IIR 필터(140)는 이전 프레임의 단노광 영상에 대한 IIR 필터링을 수행한 후, 그 처리 결과를 제2 메모리(122)에 저장한다.
그 다음 프레임 주기에 있어서, 영상 센서(110)는 현재 프레임의 장노광 영상 및 단노광 영상을 취득한다. 본 실시 예의 경우, 이전 프레임은 현재 프레임보다 1 프레임 전의 프레임을 의미한다.
참고로, 본 발명의 실시 예에서 단노광 영상 및 장노광 영상이라는 용어를 사용하는데, 이들 용어는 촬영된 2 개의 영상들 각각의 절대적인 노광 시간을 한정하지 않는다. 즉, 노광 시간이 다른 2 개의 영상들이 촬영된 경우에 해당 2개의 영상들 중에서 상대적으로 노광 시간이 짧은 영상이 단노광 영상에 상당하고, 상대적으로 노광 시간이 긴 영상이 장노광 영상에 상당한다.
처리부로서의 IIR 필터(140)는, 검출부(130)에 의해 검출된 움직임 검출 결과에 따라 IIR 필터링의 순회 계수를 설정하여, 영상 센서(110)에서 출력된 현재 프레임의 단노광 영상에 대해 IIR 필터링을 수행한다.
여기에서, IIR 필터(140)는, 현재 프레임의 단노광 영상에 대한 IIR 필터링의 처리 결과를, 이전 프레임의 단노광 영상에 대한 IIR 필터링의 처리 결과에 혼합하여 출력한다.
본 실시 예의 경우, IIR 필터(140)의 출력 화소 값들 Y는 아래의 수학식 1에 의하여 표현될 수 있다.
Figure 112013075510680-pat00001
상기 수학식 1에서, K는 0 ~ 1의 값을 취하는 IIR 필터링의 순회 계수를, Xt는 현재 프레임의 단노광 영상의 화소 값들을, 그리고 Xt -1은 이전 프레임의 단노광 영상의 화소 값들에 대한 IIR 필터(140)의 처리 결과이다.
따라서, 출력 화소 값들 Y는, 현재 프레임의 단노광 영상의 화소치에 대한 IIR 필터링의 처리 결과로서, 합성부(150)에 출력됨과 동시에 제2 메모리(122)에도 저장되어, 다음 프레임에서 Xt -1로서 사용된다.
여기에서, IIR 필터링의 순회 계수 K를 적게 할수록 다수의 프레임들의 가산 평균 효과가 커지므로 플리커의 저감 정도가 증대된다. 하지만, IIR 필터링의 순회 계수 K를 적게 할수록, 움직임이 있는 장소에서 물체의 윤곽이 겹쳐보이게 된다.
이와 반대로, IIR 필터링의 순회 계수 K를 크게 할수록 출력 화소 값들 Y는 현재 프레임의 화소 값들에 근접된다. 따라서, IIR 필터링의 순회 계수 K를 크게 할수록, 움직임이 있는 장소에서 물체의 윤곽이 겹쳐보이지 않게 된다. 하지만, IIR 필터링의 순회 계수 K를 크게 할수록, 시간 방향의 필터링 효과는 작아지고, 플리커 저감 효과도 작아진다.
참고로, IIR 필터링으로 한정하지 않고 다이나믹 레인지 확대나 노이즈 축소 등을 목적으로 하여 여러 프레임들을 가산 평균할 경우, 움직임이 있는 부분에서 물체의 윤곽이 겹쳐 부자연스러워진다는 것이 큰 문제가 된다. 이 문제에 대하여, 움직임을 검출하여 움직임이 있는 부분에서만 프레임들의 화소들을 가산하지 않도록 하는 대책을 세우는 예도 있다.
그러나 이러한 대책을 세우는 것은 조명 환경에 변화가 없는 것을 전제로 하여야만 한다. 플리커를 포함한 영상이 입력된 경우, 플리커와 움직임의 구별이 되지 않음에 따라, 오동작을 일으켜 원하는 효과를 얻을 수 없기 때문이다.
본 발명의 실시 예에서는, WDR 시스템의 촬영 방법의 특징을 살려 이하 설명하는 움직임 검출 방법에 의해 이 문제를 해결하기로 한다.
일반적으로, 장노광 영상의 셔터 스피드는 플리커 주파수와 같거나 또는 그보다 길다. 이에 따라 장노광 영상에 플리커는 거의 포함되지 않는다. 따라서, 움직임 검출의 정도는 단순히 장노광 영상에 대해 프레임 차분을 취함으로써도 충분히 얻을 수 있다.
이에 착안하여, 검출부(130)는, 영상 센서(110)에서 출력된 현재 프레임의 장노광 영상 및 제1 메모리(121)에서 출력된 이전 프레임의 장노광 영상에 의하여 움직임을 검출한다.
검출부(130)가 장노광 영상에 대해 프레임 차분을 취함으로써 움직임을 검출함에 있어서, 차분 값이 제1 문턱 값보다 적으면, 움직임이 없다고 판단되어 움직임의 값이 최소 값으로서 설정된다.
또한, 차분 값이 제2 문턱 값보다 크면, 움직임이 있다고 판단되어 움직임의 값이 최대 값으로서 설정된다.
그리고, 차분 값이 제1 문턱 값부터 제2 문턱 값까지의 범위에 있으면, 차분 값에 비례하여 움직임 검출 결과의 값 즉, 움직임의 값이 설정된다.
검출부(130)로부터의 장노광 영상에서의 움직임 검출 결과의 값 즉, 움직임의 값은 IIR 필터(140)에 입력되고, 이에 따라 IIR 필터링의 순회 계수가 적응적으로 설정된다.
다음에, 움직임 검출 결과(움직임의 값)에 의하여 IIR 필터링의 순회 계수가 제어되는 일 예에 대하여 설명하기로 한다.
도 2는 움직임 검출 결과와 IIR 필터링의 순회 계수와의 관계의 일 예를 보여준다.
도 1 및 2를 참조하면, IIR 필터(140)는 움직임 검출 결과(움직임의 값)이 클수록 IIR 필터링의 순회 계수를 크게 설정하여 IIR 필터링을 수행한다. 도 2에서 TH1, TH2는 움직임의 유무를 판정할 때에 사용하는 문턱 값들을 가리킨다.
IIR 필터(140)는, 움직임 검출 결과(움직임의 값)가 제1 문턱 값(TH1)보다 적은 경우, IIR 필터링의 순회 계수를 최소 값 "0.3"으로 설정한다. 이에 따라 여러 프레임들의 가산 평균에 의한 효과가 커져서 플리커 저감 효과가 높아질 수 있다.
IIR 필터(140)는, 움직임 검출 결과(움직임의 값)가 제2 문턱 값(TH2)보다 큰 경우, IIR 필터링의 순회 계수를 최대 값 "0.9"로 설정한다. 이에 따라, 프레임들 사이의 가산 평균 효과가 적게 되므로, 움직이는 물체의 윤곽이 겹쳐져서 부자연스럽게 보이는 현상이 방지될 수 있다.
IIR 필터(140)는, 움직임 검출 결과(움직임의 값)가 제1 문턱 값(TH1)부터 제2 문턱 값(TH2)까지의 범위에 있으면, 움직임 검출 결과(움직임의 값)에 비례하여 순회 계수를 설정한다.
한편, 합성부(150)는, 현재 프레임의 장노광 영상과 현재 프레임의 단노광 영상에 대한 IIR 필터링의 처리 결과를 합성한다. 예를 들어, 합성부(150)는, 선택 정보에 의하여 현재 프레임의 장노광 영상과 현재 프레임의 단노광 영상에 대한 IIR 필터링의 처리 결과를 합성함으로써 WDR 영상을 생성한다.
현재 프레임의 장노광 영상과 현재 프레임의 단노광 영상에 대한 IIR 필터링의 처리 결과 중에서 어느 하나를 선택하는 알고리즘은 다양하다.
예를 들어, 장노광 영상에서 포화된 영역은 단노광 영상에서 포화되지 않을 가능성이 높기 때문에, 해당 영역의 사용 영상으로서 단노광 영상을 선택하면 된다. 그러나 이 처리만으로는 큰 움직임이 있는 영역에서는 윤곽이 이중이 되는 아티팩트(artifact)가 발생할 수 있다. 따라서 움직임을 검출하여 윤곽이 이중이 되는 현상을 줄이는 처리를 해도 좋다. 상기 처리를 포함한 단노광 영상과 장노광 영상 중 어느 한쪽을 선택하는 알고리즘은 특별히 한정되지 않는다.
또한, 합성부(150)는, 혼합 비율에 의하여 현재 프레임의 장노광 영상과 현재 프레임의 단노광 영상에 대한 IIR 필터링의 처리 결과를 합성함으로써 WDR 영상을 생성할 수도 있다. 예를 들어, 장노광 영상의 포화 정도가 강할수록 단노광 영상의 혼합 비율을 크게 설정 한다. 또한, 단노광 영상 또는 장노광 영상의 움직임이 클수록 단노광 영상의 혼합 비율을 크게 설정한다. 단노광 영상과 장노광 영상과의 혼합 비율을 산출하는 알고리즘도 특별히 한정되지 않는다.
예를 들어, 장노광 영상의 혼합 비율을 α로 설정한 경우, 합성부(150)는, 현재 프레임의 장노광 영상과 현재 프레임의 단노광 영상에 대한 IIR 필터링의 처리 결과에서 대응하는 각 화소에 대하여 아래의 수학식 2를 적용할 수 있다.
Figure 112013075510680-pat00002
상기 수학식 1에서, YF는 합성부(150)에서 출력되는 화소 값을, XLt는 현재 프레임의 장노광 영상의 화소 값을, 그리고 XSt는 현재 프레임의 단노광 영상에 대한 IIR 필터링의 처리 결과의 화소 값을 각각 가리킨다.
따라서, 각 화소에 대하여 상기 수학식 2가 적용된 결과의 프레임 영상은 WDR의 영상이 된다. 아울러, 선택 정보나 혼합 비율은, 예를 들면 WDR 시스템(10)의 내부 또는 외부에서 생성되면 된다. 또한, 합성부(150)에 의한 합성 방법은 특별히 한정되지 않는다.
도 3은 도 1의 WDR 시스템(10)에 적용된 영상 처리 방법의 일 예를 보여준다.
도 3에 도시한 바와 같이 검출부(130)는, 영상 센서(110)에서 출력된 현재 프레임의 장노광 영상 및 제1 메모리(121)에서 출력된 이전 프레임의 장노광 영상에 의하여 움직임을 검출한다(단계 S1).
IIR 필터(140)는, 검출부(130)에 의하여 검출된 움직임 검출 결과(움직임의 값)에 따라 IIR 필터링의 순회 계수를 설정하여, 영상 센서(110)에서 출력된 현재 프레임의 단노광 영상에 대해 IIR 필터링을 수행한다(단계 S2).
합성부(150)는, 영상 센서(110)에서 출력된 현재 프레임의 장노광 영상과, IIR 필터(140)에서 출력된 현재 프레임의 단노광 영상에 대한 IIR 필터링의 처리 결과를 합성한다(단계 S3).
현재 프레임의 단노광 영상에 대한 IIR 필터링의 처리 결과는, 제2 메모리(122)에 저장되어, 다음 프레임에 대한 IIR 필터링에서 이전 프레임의 단노광 영상에 대한 IIR 필터링의 처리 결과로서 사용된다.
물론, 상기 단계들 S1 내지 S3은 각각의 프레임에 대하여 반복적으로 수행된다.
상기 본 발명의 실시 예의 영상 처리 장치 및 영상 처리 방법에 의하면, 단노광 영상과 장노광 영상을 합성하는 WDR(Wide Dynamic Range) 처리에 있어서, 메모리 용량과 데이터 전송 부하의 증가를 억제하고, 움직이는 물체의 이중 영상도 억제하면서, 플리커를 가진 동영상에 대해서도 큰 WDR 효과를 얻을 수 있다.
이하, 본 발명의 실시 예에 관한 방법에 의해 발휘되는 효과를 더욱 상세히 설명하기로 한다.
본 발명의 실시 예에서는 WDR 합성 전에 단노광 영상에 포함되는 플리커를 저감시키는 방법을 채용하고 있다. 플리커 저감은 IIR(Infinite Impulse Response) 필터링에 의해 수행하는데, 여러 프레임들의 영상을 가산 평균하는 방법을 채용할 경우, 움직이는 물체의 윤곽이 겹쳐 부자연스럽게 보이는 현상이 일반적으로 문제가 된다.
이 문제에 대하여, 본 발명의 실시 예에서는, 플리커를 포함하지 않는 장노광 영상을 사용한 움직임 검출에 의해 높은 정밀도로써 움직임 영역을 검출하고, 검출 결과를 IIR 필터링의 순회 계수의 설정에 활용함으로써 대응하고 있다.
또한, WDR 합성시에 플리커를 저감시키는 방법을 채용한 경우, 플리커와 움직임의 구별이 어렵기 때문에 플리커를 저감시킬 수 없다. 이에 대하여 본 발명의 실시 예에 의하면, WDR 합성 전에 단노광 영상에 포함되는 플리커를 저감시킬 수 있기 때문에 WDR 합성시에 플리커를 고려할 필요 없이 안정적인 합성을 실시할 수 있다.
이상 설명된 바와 같이, 본 발명의 실시 예의 영상 처리 장치 및 영상 처리 방법에 의하면, 단노광 영상과 장노광 영상을 합성하는 WDR(Wide Dynamic Range) 처리에 있어서, 메모리 용량과 데이터 전송 부하의 증가를 억제하고, 움직이는 물체의 이중 영상도 억제하면서, 플리커를 가진 동영상에 대해서도 큰 WDR 효과를 얻을 수 있다.
이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다.
예를 들어, 본 발명의 실시 예에서의 처리 대상 신호로서 원시(bayer) 데이터가 적용되었지만, 그 대신에 RGB 데이터 또는 YUV 데이터가 적용될 수도 있다.
그러므로 상기 개시된 실시 예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 특허청구범위에 의해 청구된 발명 및 청구된 발명과 균등한 발명들은 본 발명에 포함된 것으로 해석되어야 한다.
WDR(Wide Dynamic Range) 시스템 외의 영상 처리 시스템에서도 이용될 가능성이 있다.
10 : WDR 시스템(영상 처리 장치), 110 : 영상 센서,
121 : 제1 메모리, 122 : 제2 메모리,
130 : 검출부, 140 : IIR 필터(처리부),
150 : 합성부.

Claims (8)

  1. 현재 프레임의 장노광 영상 및 이전 프레임의 장노광 영상에 의하여 움직임을 검출하는 검출부; 및
    상기 현재 프레임 및 상기 이전 프레임의 장노광 영상들로부터의 움직임 검출 결과에 따라 IIR(Infinite Impulse Response) 필터링의 순회 계수를 설정하여, 현재 프레임의 단노광 영상에 대해 IIR 필터링을 수행하는 처리부; 및
    상기 현재 프레임의 장노광 영상과, 상기 처리부로부터의 현재 프레임의 단노광 영상에 대한 IIR 필터링의 처리 결과를 합성하는 합성부;를 포함한, 영상 처리 장치.
  2. ◈청구항 2은(는) 설정등록료 납부시 포기되었습니다.◈
    제1항에 있어서, 상기 처리부는,
    현재 프레임의 단노광 영상에 대한 IIR 필터링의 처리 결과를, 이전 프레임의 단노광 영상에 대한 IIR 필터링의 처리 결과에 혼합하여 출력하는, 영상 처리 장치.
  3. ◈청구항 3은(는) 설정등록료 납부시 포기되었습니다.◈
    제1항에 있어서, 상기 처리부는,
    상기 움직임의 값이 클수록 현재 프레임의 단노광 영상의 IIR 필터링의 순회 계수를 크게 하여, 현재 프레임의 단노광 영상에 대한 IIR 필터링을 수행하는, 영상 처리 장치.
  4. 삭제
  5. ◈청구항 5은(는) 설정등록료 납부시 포기되었습니다.◈
    현재 프레임의 장노광 영상 및 이전 프레임의 장노광 영상에 의하여 움직임을 검출함; 및
    상기 현재 프레임 및 상기 이전 프레임의 장노광 영상들로부터의 움직임 검출 결과에 따라 IIR(INFINITE IMPULSE RESPONSE) 필터링의 순회 계수를 설정하여, 현재 프레임의 단노광 영상에 대해 IIR 필터링을 수행함; 및
    상기 현재 프레임의 장노광 영상과, 상기 현재 프레임의 단노광 영상에 대한 IIR 필터링의 처리 결과를 합성함;을 포함한, 영상 처리 방법.
  6. ◈청구항 6은(는) 설정등록료 납부시 포기되었습니다.◈
    제5항에 있어서, 상기 IIR 필터링을 수행함에서,
    현재 프레임의 단노광 영상에 대한 IIR 필터링의 처리 결과를, 이전 프레임의 단노광 영상에 대한 IIR 필터링의 처리 결과에 혼합하여 출력하는, 영상 처리 방법.
  7. 제5항에 있어서, 상기 IIR 필터링을 수행함에서,
    상기 움직임의 값이 클수록 현재 프레임의 단노광 영상의 IIR 필터링의 순회 계수를 크게 하여, 현재 프레임의 단노광 영상에 대한 IIR 필터링을 수행하는, 영상 처리 방법.
  8. 삭제
KR1020130098604A 2012-11-30 2013-08-20 영상 처리 장치 및 영상 처리 방법 KR101964228B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/073,340 US9131172B2 (en) 2012-11-30 2013-11-06 Image processing apparatus and method for detecting motion using long exposures images and then performing infinite impulse response filtering on short exposure image
CN201310594596.8A CN103856720B (zh) 2012-11-30 2013-11-21 图像处理设备和方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012263136A JP6045894B2 (ja) 2012-11-30 2012-11-30 画像処理装置および画像処理方法
JPJP-P-2012-263136 2012-11-30

Publications (2)

Publication Number Publication Date
KR20140070345A KR20140070345A (ko) 2014-06-10
KR101964228B1 true KR101964228B1 (ko) 2019-04-02

Family

ID=51030889

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130098604A KR101964228B1 (ko) 2012-11-30 2013-08-20 영상 처리 장치 및 영상 처리 방법

Country Status (2)

Country Link
JP (1) JP6045894B2 (ko)
KR (1) KR101964228B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6324235B2 (ja) * 2014-06-26 2018-05-16 ハンファテクウィン株式会社Ｈａｎｗｈａ Ｔｅｃｈｗｉｎ Ｃｏ．，Ｌｔｄ． 画像処理装置および画像処理方法
JP6338062B2 (ja) * 2015-01-29 2018-06-06 株式会社富士通ゼネラル 画像処理装置および撮像装置並びに画像処理方法
JP6759089B2 (ja) * 2016-12-21 2020-09-23 キヤノン株式会社 画像処理装置、撮像装置、制御方法
JP6843651B2 (ja) * 2017-03-01 2021-03-17 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、及び、プログラム
JP7232014B2 (ja) 2018-11-06 2023-03-02 キヤノン株式会社 画像のノイズを低減する画像処理装置および画像処理方法ならびにプログラム
CN112235505B (zh) * 2020-09-24 2022-08-09 浙江大华技术股份有限公司 去除图像闪烁的方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001061105A (ja) 1999-08-20 2001-03-06 Matsushita Electric Ind Co Ltd 撮像装置
JP2004112403A (ja) 2002-09-19 2004-04-08 Hitachi Kokusai Electric Inc 撮像装置
JP2010219807A (ja) * 2009-03-16 2010-09-30 Panasonic Corp 画像処理装置および画像処理方法
JP2010273233A (ja) * 2009-05-25 2010-12-02 Panasonic Corp カメラ装置および露光制御方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3760943B2 (ja) * 2004-01-20 2006-03-29 コニカミノルタフォトイメージング株式会社 撮像装置および動画のノイズ処理方法
JP5589585B2 (ja) 2009-07-07 2014-09-17 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP2012119761A (ja) 2010-11-29 2012-06-21 Sanyo Electric Co Ltd 電子機器、画像処理方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001061105A (ja) 1999-08-20 2001-03-06 Matsushita Electric Ind Co Ltd 撮像装置
JP2004112403A (ja) 2002-09-19 2004-04-08 Hitachi Kokusai Electric Inc 撮像装置
JP2010219807A (ja) * 2009-03-16 2010-09-30 Panasonic Corp 画像処理装置および画像処理方法
JP2010273233A (ja) * 2009-05-25 2010-12-02 Panasonic Corp カメラ装置および露光制御方法

Also Published As

Publication number Publication date
JP2014110484A (ja) 2014-06-12
KR20140070345A (ko) 2014-06-10
JP6045894B2 (ja) 2016-12-14

Similar Documents

Publication Publication Date Title
JP3826904B2 (ja) 撮像装置およびフリッカ低減方法
KR101964228B1 (ko) 영상 처리 장치 및 영상 처리 방법
JP4106554B2 (ja) 撮影環境判定方法および撮像装置
US9544505B2 (en) Image processing apparatus for synthesizing images based on a plurality of exposure time periods and image processing method thereof
US9131172B2 (en) Image processing apparatus and method for detecting motion using long exposures images and then performing infinite impulse response filtering on short exposure image
KR102170695B1 (ko) 영상 처리 장치 및 영상 처리 방법
US9407889B2 (en) Image processing apparatus and image processing method for white balance control
JP5612017B2 (ja) カメラの手ぶれ低減システム
JP6045896B2 (ja) 評価値算出装置および評価値算出方法
JP2015041984A (ja) 画像処理装置および画像処理方法
KR20160030350A (ko) 화상 처리 장치 및 화상 처리 방법
JP2013222980A (ja) 撮像装置及び撮像方法
KR102247597B1 (ko) 영상 처리 장치 및 영상 처리 방법
KR102199472B1 (ko) 화상 처리 장치 및 화상 처리 방법
JP6020904B2 (ja) 画像処理装置および撮像装置
JP6173027B2 (ja) 画像処理装置および画像処理方法
JP2012044377A (ja) 画像合成装置、画像合成方法、及びプログラム
KR102182696B1 (ko) 영상 처리 장치 및 영상 처리 방법
JP6121234B2 (ja) 画像処理装置および画像処理方法
JP2012160852A (ja) 画像合成装置、撮像装置、画像合成方法、および、画像合成プログラム
JP2002118787A (ja) 露出制御装置、画像信号生成装置、媒体、および情報集合体
JP2012147060A (ja) 画像信号処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant