KR102199472B1 - 화상 처리 장치 및 화상 처리 방법 - Google Patents

Abstract

단노광 화상 및 장노광 화상을 합성하는 기술에 있어서, 노이즈 저감 처리를 보다 효과적으로 수행하는 기술을 제공한다.
단노광 화상과 장노광 화상을 합성하는 화상 처리 장치(1A)에 있어서, 단노광 화상에 대한 노이즈 저감 처리를 단노광 화상의 화소값에 따라 화소마다 선택하는 선택부(52A); 노이즈 저감 처리를 화소마다 수행하는 처리부(51); 및 노이즈 저감 처리가 이루어진 단노광 화상과 장노광 화상을 합성하는 WDR 합성부(70);를 구비하는 화상 처리 장치(1A)가 제공된다.

Description

화상 처리 장치 및 화상 처리 방법{APPARATUS AND METHOD FOR PROCESSING IMAGE}

본 발명은 화상 처리 장치 및 화상 처리 방법에 관한 것이다.

최근 단시간 노광의 화상(이하, 「단노광 화상」이라 함)과 장시간 노광의 화상(이하, 「장노광 화상」이라 함)을 연속적으로 촬영하여 합성함으로써, 센서가 촬영 가능한 다이나믹 레인지를 넘은 다이나믹 레인지를 포착한 화상을 획득하는 WDR(wide dynamic range, 와이드 다이나믹 레인지) 혹은 HDR(high dynamic range, 하이 다이나믹 레인지)라고 하는 촬영 기능이 증가하고 있다. 이러한 촬영 기능은 역광의 구도 등 명암비가 매우 큰 씬(scene)에서는 특히 큰 효과가 있다.

WDR 신호를 획득하는 방법으로는 노광 시간을 바꾸면서 복수장의 화상을 연속적으로 촬영하여 합성하는 방법이 채용되고 있는 것이 일반적이다. 이 때, 획득되는 다이나믹 레인지는 16 비트에서 20 비트, 혹은 그 이상에 달하는 경우도 있다. WDR 신호는 디스플레이나 프린터의 표시 능력에 맞추어 8 비트에서 12 비트 정도로 레인지가 압축되어 출력된다.

이러한 WDR 신호에서는 단노광 화상을 사용하는 영역의 노이즈가 자주 문제가 된다. 단노광 화상이라 하더라도, 적정 노광되고 있는 영역이라면, SN비(signal to noise ratio)는 높고, 노이즈는 별로 눈에 띄지 않지만, 단노광 화상 중에서 거의 새까맣게 비추고 있는 영역을 증폭하여 사용하는 경우는 노이즈 레벨과 큰 차이가 없는 신호를 증폭하게 되어 노이즈가 매우 두드러진다. 특히, 명암이 급격하게 변화하는 오브젝트 경계는 단노광 화상 사용 영역과 장노광 화상 사용 영역이 전환되는 천이 영역이 되고, 2개의 화상이 혼합되어 사용된다. 2개의 화상이 혼합되어 사용되는 영역에서는 SN비가 낮은 단노광 화상의 화소값이 사용되므로, 합성 화상에 노이즈가 혼입된다.

WDR 신호의 단노광 화상 사용 영역의 노이즈를 저감하는 방법으로서 이하의 특허 문헌 1-4에 개시되어 있는 기술이 있다.

특허 문헌 1에 기재된 기술은 단노광 화상의 문턱값 이하의 화소값을 클립 처리한 후, 합성을 수행하는 기술이다. 이에 따라 노이즈가 두드러지는 암부를 마스킹하게 되므로 노이즈를 큰 폭으로 억압할 수 있다.

특허 문헌 2에 기재된 기술은 합성 화상에 사용하는 단노광 화상의 비율이 높을수록, 또는 합성 화상의 휘도값이 클수록 단노광 화상에 대한 노이즈 저감 처리의 강도를 높이는 기술이다. 이에 따라 단노광 화상의 노이즈를 저감할 수 있다.

특허 문헌 3에 기재된 기술은 단노광 화상을 복수매 촬영하여 합성함으로써, 노이즈를 저감한 합성용 단노광 화상을 작성한 후, 이 합성용 단노광 화상과 장노광 화상을 이용하여 합성 화상을 생성하는 기술이다.

특허 문헌 4에 기재된 기술은 노광 시간이 다른 복수장의 화상을 미리 촬영하고, 각 화상의 노이즈량을 분석함으로써, 노이즈 상황을 파악하여 합성 화상의 노이즈량이 원하는 노이즈량 이하의 범위가 되도록 노광 설정을 수행한다.

일본 공개특허공보 제2009-152669호 일본 공개특허공보 제2000-069355호 일본 공개특허공보 제2012-239077호 일본 공개특허공보 제2010-200177호

그러나, 특허 문헌 1에 기재된 기술을 이용한 경우에는 문턱값 이하의 화소 레벨에 포함되는 텍스쳐 정보도 모두 사라져 버리므로, 단노광 화상과 장노광 화상의 경계 영역에서 텍스쳐가 약해져 부자연스럽게 보이는 현상이 발생한다. 또한, 클립 레벨이 직류가 되므로, 만약 경계 영역의 장노광 화상의 화소값이 0 근방인 경우에는 단노광 화상 사용 영역의 주변이 희미하게 밝게 보이는 휘도차가 발생하는 점도 문제가 된다. 노광비가 십수배-수십배 정도로 큰 경우, 지적한 화질 상의 문제는 작아질지도 모르나, 너무 큰 노광비는 단노광 화상 사용 영역과 장노광 화상 사용 영역이 매끄럽게 변화해야 할 영역의 매끄러움을 저하시키기 때문에, 이 기술을 모든 씬에 대해 적용할 수는 없다.

또한, 특허 문헌 2에 기재된 기술에서는 노이즈 저감 처리의 대상이 단노광 화상 전체로서, 노이즈 저감의 효과뿐만 아니라 해상도 저하라는 폐해도 단노광 화상 사용 영역 전체에 퍼지기 때문에, 결과적으로 노이즈 저감 효과를 강력하게 할 수 없는 점이 과제이다. 또한 단노광 화상이라도 신호 레벨이 높으면 노이즈는 그다지 두드러지지 않고, 낮은 신호 레벨을 증폭하여 사용하는 단노광 화상 사용 영역과 장노광 화상 사용 영역과의 경계 영역에서 노이즈가 두드러지는 경향이 있다. 그 경계 영역에서는 단노광 화상의 사용 비율은 낮아지고, 합성 화상의 휘도값도 작아지고 있으므로, 본 기술을 사용하더라도 경계 영역의 노이즈 저감에는 거의 효과가 없는 것으로 추측된다.

또한 특허 문헌 3에 기재된 기술에서는 오브젝트가 움직이고 있는 경우에는, 합성용 단노광 화상을 생성하는 시점에서 합성 아티팩트가 발생하는 점이 문제가 된다. 또한 노이즈 저감 효과를 크게 하려면, 단노광 화상만으로 복수장의 화상을 촬영할 필요가 있으므로, 본 기술을 동영상에 적용하고자 하면 프레임 레이트가 크게 저하되는 점도 문제이다.

또한, 특허 문헌 4에 기재된 기술에서는 노이즈를 저감하는 대신에 다이나믹 레인지가 저하되는 점이 문제이다.

따라서, 본 발명은 단노광 화상 및 장노광 화상을 합성하는 기술에 있어서, 노이즈 저감 처리를 더욱 효과적으로 수행하는 기술을 제공한다.

본 발명의 일 실시 형태에 의하면, 단노광 화상과 장노광 화상을 합성하는 화상 처리 장치에 있어서, 상기 단노광 화상에 대한 노이즈 저감 처리를 상기 단노광 화상의 화소값에 따라 화소마다 선택하는 선택부; 상기 노이즈 저감 처리를 화소마다 수행하는 처리부; 및 상기 노이즈 저감 처리가 이루어진 상기 단노광 화상과 장노광 화상을 합성하는 합성부;를 구비하는 화상 처리 장치가 제공된다.

이러한 구성에 의하면, 단노광 화상의 암부 노이즈를 저감함으로써, 합성 화상 중에서 노이즈가 두드러지는 영역인 단노광 화상 사용 영역과 장노광 화상 사용 영역과의 경계 영역의 노이즈를 효과적으로 저감할 수 있다. 또한 이러한 구성에 의하면, 노이즈 저감 처리의 폐해인 해상도 저하가 적고 자연스러운 합성 화상을 얻을 수 있다.

더 구체적으로, 상기 선택부는 상기 화소값이 문턱값을 밑도는 경우에는 제1 노이즈 저감 처리를 선택하고, 상기 화소값이 상기 문턱값을 상회하는 경우에는 상기 제1 노이즈 저감 처리와는 다른 제2 노이즈 저감 처리를 선택해도 된다.

또한 상기 제2 노이즈 저감 처리는 상기 제1 노이즈 저감 처리보다 약한 노이즈 저감 처리를 하거나, 또는 노이즈 저감 처리를 하지 않아도 된다.

상기 화상 처리 장치는 움직임 영역 및 비움직임 영역을 검출하는 움직임 검출부를 구비하고, 상기 선택부는 상기 화소가 상기 비움직임 영역에 속하는 경우, 상기 화소값이 문턱값을 밑도는 경우에는 상기 제1 노이즈 저감 처리를 선택하고, 상기 화소값이 상기 문턱값을 상회하는 경우에는 상기 제2 노이즈 저감 처리를 선택해도 된다.

이러한 구성에 의하면, 움직임 영역에 대해서는 약한 노이즈 저감 처리를 실시함으로써, 움직임 영역의 해상도 저하를 작게 억제할 수 있다. 특히, 움직임 물체를 합성할 때 발생하는 아티팩트나 블러를 억제하기 위해, 움직임 영역에 단노광 화상이 사용되는 경우에는 단노광 화상의 해상도 저하를 작게 억제할 수 있다. 또한 비움직임 영역에서는 단노광 화상 사용 영역과 장노광 화상 사용 영역과의 경계 영역의 노이즈를 효과적으로 저감시킬 수 있고, 비움직임 영역의 해상도 저하를 작게 억제할 수 있다.

더 구체적으로는, 상기 선택부는 상기 화소가 상기 움직임 영역에 속하는 경우에는 제3 노이즈 저감 처리를 선택해도 된다.

또한 본 발명이 다른 실시 예에 의하면, 단노광 화상과 장노광 화상을 합성하는 화상 처리 장치에서의 화상 처리 방법에 있어서, 상기 단노광 화상에 대한 노이즈 저감 처리를 화소값에 따라 당해 화소마다 선택하는 스텝; 상기 노이즈 저감 처리를 화소마다 수행하는 스텝; 상기 노이즈 저감 처리가 이루어진 상기 단노광 화상과 상기 장노광 화상을 합성하는 스텝;를 구비하는 화상 처리 방법이 제공된다.

이러한 방법에 의하면, 단노광 화상의 암부 노이즈를 저감함으로써, 합성 화상 중 노이즈가 두드러지는 영역인 단노광 화상 사용 영역과 장노광 화상 사용 영역과의 경계 영역의 노이즈를 효과적으로 저감할 수 있다. 또한 이러한 구성에 의하면, 노이즈 저감 처리의 폐해인 해상도의 저하가 적어 자연스러운 합성 화상을 얻을 수 있다.

이상 설명한 바와 같이, 본 발명에 의하면, 단노광 화상 및 장노광 화상을 합성하는 기술에 있어서, 노이즈 저감 처리를 보다 효과적으로 수행할 수 있다.

도 1은 일반적인 WDR 기술에 따른 각 화상의 예를 나타내는 도면이다.
도 2는 본 발명의 제1 실시 형태에 따른 화상 처리 장치의 기능 구성을 나타내는 도면이다.
도 3은 노이즈 저감부의 상세한 구성예를 나타내는 도면이다.
도 4는 약(弱)필터 및 강(强)필터 각각의 구성예를 나타내는 도면이다.
도 5는 본 발명의 제1 실시 형태에 따른 화상 처리 장치의 선택부의 동작예를 나타내는 흐름도이다.
도 6은 본 발명의 제1 실시 형태가 나타내는 효과의 예를 설명하기 위한 도면이다.
도 7은 본 발명의 제2 실시 형태에 따른 화상 처리 장치의 기능 구성을 나타내는 도면이다.
도 8은 노이즈 저감부의 상세한 구성예를 나타내는 도면이다.
도 9는 본 발명의 제2 실시 형태에 따른 화상 처리 장치의 선택부의 동작예를 나타내는 흐름도이다.

이하, 첨부 도면을 참조하면서, 본 발명의 가장 바람직한 실시 형태에 대해 상세히 설명하기로 한다. 또한 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는 동일한 부호를 부여함으로써 중복 설명을 생략한다.

또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 가지는 복수의 구성 요소를 동일한 부호의 뒤에 다른 알파벳을 부여하여 구별하는 경우도 있다. 다만, 실질적으로 동일한 기능 구성을 갖는 복수의 구성 요소의 각각을 특별히 구별할 필요가 없는 경우, 동일 부호만을 부여한다.

(실시 형태의 개요)

우선, 본 발명의 실시 형태의 개요를 설명하기로 한다. 도 1은 일반적은 WDR 기술에 따른 각 화상의 예를 나타내는 도면이다. 도 1의 각 화상은 화창한 날에 실내에서 옥외를 촬영한 장면이며, 단노광 화상(Img-a)에서는 창 밖의 구름이 보이지만 실내는 매우 어둡게 비쳐져 있다. 또한, 장노광 화상(Img-b)에서는 실내나 인물은 적정 노광으로 되어 있지만 창은 포화되어 있다. 이러한 두 장의 화상을 사용 화상 선택 정보(Img-c)에 따라 합성하면, 합성 화상(Img-d)을 획득할 수 있다. 또한 사용 화상 선택 정보(Img-c) 중 흰색 영역은 단노광 화상을 사용하는 영역을 나타내고, 흑색 영역은 장노광 화상을 사용하는 영역을 나타내고 있다.

이와 같이 하여 합성이 행해지면, 옥외 및 옥내 모두 시인성이 높아지는데, 단노광 화상 사용 영역과 장노광 화상 사용 영역이 전환되는 창틀 부분(R1)이 노이즈가 된다. 단노광 화상(Img-a)에서는 창 이외 부분의 신호 레벨은 매우 작아져 있고, 단노광 화상(Img-a)의 화소값을 증폭하여 얻어지는 노이즈 신호와 장노광 화상의 화소값을 혼합하여 합성 화상(Img-d)에 사용하면, 합성 화상(Img-d)과 같이 창틀 부분(R1)의 주변만 노이즈가 두드러지게 되는 것이다.

본 발명의 제1 실시 예에 따른 기술에서는 단노광 화상(Img-a)의 암부에만 강한 노이즈 저감 처리를 적용한 후 합성한다. 이에 따라, 종래 두드러졌던 암부와 명부와의 경계 영역에서의 노이즈를 억제할 수 있다. 또한 본 발명의 제2 실시 예에 따른 기술에서는, 본 발명의 제1 실시 예에 따른 기술과 움직임 물체의 합성 아티팩트 저감 처리를 조합하는 경우, 강한 노이즈 저감 처리를 비움직임 영역의 단노광 화상 암부에 적용하고, 움직임 영역에는 약한 노이즈 저감 처리를 적용한다. 이에 따라 움직임 물체의 해상도 저하를 방지하면서, 경계 노이즈 저감의 효과를 얻을 수 있다.

(제1의 실시 형태)

우선, 본 발명에 따른 제1 실시 형태에 대해 설명하기로 한다. 우선, 본 발명의 제1 실시 형태에 따른 화상 처리 장치(1A)의 기능 구성에 대해 설명하기로 한다. 도 3는 본 발명의 제1 실시 형태에 따른 화상 처리 장치(1A)의 기능 구성을 나타내는 도면이다. 도 2에 도시한 바와 같이, 화상 처리 장치(1A)는 센서(10), 프레임 메모리(20), 사용 화상 선택부(30), 노이즈 저감부(50A), WDR 합성부(70) 및 레인지 압축부(80)를 구비한다. 이하, 화상 처리 장치(1A)가 구비하는 각 기능 블록의 기능에 대해 차례로 상세히 설명하기로 한다.

화상 처리 장치(1A)는 센서(10)의 노광 설정을 바꾸어 2장의 화상을 연속 촬영하는데, 여기서는 단노광 촬영을 먼저 하고, 그 다음에 장노광 촬영을 수행하는 것으로 한다. 그러나, 장노광 촬영을 먼저하고, 그 다음에 단노광 촬영을 실시해도 무방하다. 이와 같이 하여 촬영된 장노광 화상 및 단노광 화상은 쌍으로 프레임 메모리(20)에 기입된다. 장노광 화상 및 단노광 화상의 촬영과, 촬영된 장노광 화상 및 단노광 화상의 프레임 메모리(20)로의 기입은 연속적으로 행해진다.

또한 도 2에 도시한 예에서는, 화상 처리 장치(1A)는 장노광 화상 및 단노광 화상을 출력하기 위한 공통의 계통을 하나 가지고, 센서(10)가 장노광 화상과 단노광 화상을 시분할로 출력하는 것으로 하였지만, 장노광 화상과 단노광 화상이 동시에 출력되어도 된다. 이러한 경우, 화상 처리 장치(1A)는 센서(10)로부터 장노광 화상을 출력하기 위한 계통과, 단노광 화상을 출력하기 위한 계통의 2개의 계통을 가지면 된다. 각각의 셔터 타임은, 예컨대, 촬영 대상의 다이나믹 레인지나 센서 사양 등에 의해 정해진다.

본 발명의 실시 형태에서는 단노광 화상 및 장노광 화상이라는 용어를 사용하는데, 이러한 용어는 촬영된 2개의 화상 각각의 절대적인 노광 시간을 한정하는 것은 아니다. 따라서 노광 시간이 다른 2개의 화상이 촬영된 경우, 당해 2개 화상 중 상대적으로 노광 시간이 짧은 화상이 단노광 화상에 해당되고, 상대적으로 노광 시간이 긴 화상이 장노광 화상에 해당된다.

센서(10)는 외부로부터의 광을 촬상 소자의 수광 평면에 결상시키고, 결상된 광을 전하량으로 광전 변환하고, 당해 전하량을 전기신호로 변환하는 이미지 센서에 의해 구성된다. 이미지 센서의 종류는 특별히 한정되지 않으며, 예컨대, CCD(Charge　Coupled　Deｖice)여도 되고, CMOS(Complementary　Metal　Oxide　Semiconductor )여도 된다.

사용 화상 선택부(30)는 프레임 메모리(20)로부터 독출한 단노광 화상과 장노광 화상을 참조하여 장노광 화상 및 단노광 화상 각각의 포화 상태나 움직임 등을 검출하고, 단노광 화상과 장노광 화상 중 어느 하나를 사용 화상으로 선택하기 위한 사용 화상 선택 정보를 생성한다. 단노광 화상과 장노광 화상 중 어느 하나를 선택하는 알고리즘으로는 다양한 알고리즘이 상정된다.

예컨대, 장노광 화상에서 포화된 영역은 단노광 화상에서는 포화되어 있지 않을 가능성이 높으므로, 당해 영역의 사용 화상으로는 단노광 화상을 선택하면 된다. 그러나, 이러한 처리만으로는 큰 움직임이 있는 영역에서는 윤곽이 이중이 되는 등 아티팩트가 발생할 수 있다. 따라서, 움직임을 검출하고, 움직임에 따라 윤곽이 이중이 되는 현상을 저감 하는 처리를 실시해도 무방하다. 이러한 처리를 포함하는 단노광 화상과 장노광 화상 중 어느 하나를 선택하는 알고리즘은 특별히 한정되지 않는다.

또한 상기한 바와 같이 사용 화상 선택 정보는 단노광 화상 및 장노광 화상 중 어느 것을 선택할지를 나타내는 2치 데이터의 집합이어도 되나, 장노광 화상 및 단노광 화상을 각각 어느 정보의 비율로 혼합하는지를 나타내는 혼합 비율의 집합이어도 무방하다. 예컨대, 사용 화상 선택부(30)는 장노광 화상의 포화 정도가 강한 만큼, 단노광 화상의 혼합 비율을 크게 해도 무방하다. 또한, 사용 화상 선택부(30)는 단노광 화상 또는 장노광 화상의 움직임이 클수록 단노광 화상의 혼합 비율을 크게 해도 무방하다. 단노광 화상과 장노광 화상의 혼합 비율을 산출하는 알고리즘도 특별이 한정되지 않는다.

노이즈 저감부(50A)는 단노광 화상으로부터 노이즈를 저감한다. 도 3은 노이즈 저감부(50A)의 상세한 구성예를 나타내는 도면이다. 도 3에 도시한 바와 같이, 노이즈 저감부(50A)는 처리부(51) 및 선택부(52A)를 구비하고 있다. 처리부(51)는 노이즈 저감 처리를 화소마다 실시한다. 도 3에 도시한 예에서는 노이즈 저감 처리를 화소마다 수행하는 주체로서 약필터(51a) 및 강필터(51b)가 개시되어 있다. 그러나, 약필터(51a) 및 강필터(51b)는 절대적인 강도를 한정하는 것은 아니다. 따라서 강도가 다른 2개의 필터 중 상대적으로 강도가 작은 필터가 약필터(51a)에 해당되고, 상대적으로 강도가 큰 필터가 강필터(51b)에 해당된다. 또한 약필터(51a)는 노이즈 저감 처리를 실시하지 않아도 된다.

도 4는 약필터(51a) 및 강필터(51b) 각각의 구성예를 나타내는 도면이다. 도 4에는 약필터(51a)는 5탭 필터이고, 강필터(51b)는 13탭 필터인 경우가 예로서 도시되어 있다. 약필터(51a) 및 강필터(51b)는 중심탭의 화소값과 주변탭의 화소값의 가산 평균을 산출함으로써 중심탭의 화소값을 산출해도 된다. 이러한 예와 같이, 노이즈 저감 강도를 크게 할수록 주변탭의 수를 늘려도 무방하다.

그러나, 약필터(51a) 및 강필터(51b) 각각의 강도는 어떻게 달리 하더라도 무방하다. 예컨대, 태 사이즈를 고정하고 약필터(51a) 및 강필터(51b)는 중심탭의 화소값과의 차분이 소정의 값보다 작은 하나 또는 복수 탭의 화소값의 가산 평균을 산출함으로써 중심탭의 화소값을 산출해도 된다. 이러한 경우, 소정값의 크기가 노이즈 저감 처리의 강약에 해당된다.

또는 탭 사이즈를 고정하고, 중심탭과의 거리에 따른 무게 계수를 각 탭에 정의하고, 각 탭의 화소값과 무게 계수와의 콘볼루션 연산에 의해 노이즈 저감을 실시해도 된다. 이 경우, 무게 계수의 분포 차이가 노이즈 저감 처리의 강약이 된다. 이와 같이 하여, 노이즈 저감 처리로는 다양한 방법이 존재하는데, 노이즈 저감 처리의 강약이 존재하고, 텍스쳐나 선예감(sharpness) 감퇴 등의 폐해도 존재하는 2가지 노이즈 저감 처리를 준비할 수 있다면, 이러한 2가지 노이즈 저감 처리는 본 발명의 실시 형태에 적용될 수 있다.

선택부(52A)는 단노광 화상에 대한 노이즈 저감 처리를 단노광 화상의 화소값에 따라 화소마다 선택한다. 예컨대, 선택부(52A)는 화소값이 문턱값을 밑도는 경우에는 강필터(51b)를 선택하고, 화소값이 문턱값을 상회하는 경우에는 약필터(51a)를 선택한다. 화소값이 문턱값과 동일한 경우에는 약필터(51a) 및 강필터(51b) 중 어느 쪽이 선택되어도 무방하다. 선택된 필터에 의해 노이즈 저감 처리가 이루어진 단노광 화상은 WDR 합성부(70)로 출력된다.

이러한 구성에 따라, 단노광 화상의 암부에 포함되는 노이즈가 강력하게 저감 되는 한편, 중간 영역으로부터 고휘도 영역의 노이즈가 별로 두드러지지 않는 영역에 대해서는 약한 노이즈 저감이 적용됨으로써, 노이즈 저감 처리보다 해상도 확보가 우선된다. 또한 설정 노광비나 노이즈가 두드러지는 정도 등에 따라 최적의 문턱값이 결정되어도 된다. 노이즈 저감부(50A)에 있어서, 암부 노이즈가 강력하게 저감된 단노광 화상이 WDR 합성에 사용된다.

WDR 합성부(70)는 사용 화상 선택부(30)에 의해 생성된 사용 화상 선택 정보에 따라, 노이즈 저감부(50A)에 의해 노이즈 저감 처리가 이루어진 단노광 화상과 장노광 화상을 합성함으로써 WDR 합성 화상을 생성한다. 구체적으로 WDR 합성부(70)는 사용 화상 선택 정보를 참조하여 단노광 화상 사용 영역에는 단노광 화상을 사용하고, 장노광 화상 사용 영역에는 장노광 화상을 사용하여 합성 화상을 생성한다. 합성시에는 어느 하나의 화상에 대해 노광비에 따른 게인을 곱하여 정규화한 후 합성하는 것이 바람직하다.

WDR 합성부(70)에 의한 합성 방법은 특별히 한정되지 않는다. 예컨대, 장노광 화상을 선택하는 것을 나타내는 것이 「0」이고, 단노광 화상을 선택하는 것을 나타내는 값이 「1」인 경우를 상정한다. 이러한 경우 WDR 합성부(70)는 사용 화상 선택 정보를 구성하는 혼합 비율을 α로 하고, 장노광 화상과 단노광 화상에 있어서 대응되는 화소에 대해, α×(단노광 화상의 화소값)＋(1－α)×(장노광 화상의 화소값)을 산출하고, 산출 결과를 합성 후의 화상(WDR 화상)으로 할 수 있다.

레인지 압축부(80)는 다이나믹 레인지가 넓은 화상 신호의 비트 레인지를 소정의 비트 레인지에 넣기 위한 압축 처리를, WDR 합성부(70)에 의해 생성된 WDR 화상에 대해 실시한다. 센서(10)의 분해 능력이 12 비트라고 하면, WDR 신호는 16 비트 정도로 확장되지만, 레인지 압축부(80)는 이 신호를, 후단의 범용적인 화상 신호 처리의 입력 사양에 맞추어, 예컨대 12 비트로 다시 압축한다. 이러한 압축 처리로서는 룩업 테이블(LUT)에 따른 톤 매핑을 이용해도 되나, 어떠한 방법을 이용해도 무방하다.

레인지 압축부(80)의 후단은, 예컨대 베이어 데이터로부터 RGB 플레인을 생성하는 디모자이크부, 윤곽 강조부, 컬러 관리 등을 포함한 화상 처리 엔진에 접속된다. 따라서, 레인지 압축부(80)로부터의 출력 신호의 데이터량은, 예컨대 화상 처리 엔진에 대한 입력 데이터의 사이즈에 적합하게(예컨대, 12 비트 정도) 조정되는 것이 바람직하다. 단지 데이터 사이즈를 저하시키는 것 만으로는 어두운 화상으로 변환되기 때문에, 인간의 시각 특성에 가깝게 고휘도측을 강하게 압축하면 된다.

이상, 하나의 문턱값을 상회하는지 하회하는지에 따라 2 종류의 노이즈 저감 처리 중 어느 하나를 선택하는 예에 대해 설명하였지만, 문턱값은 2개 이상 설치되어 있어도 된다. 예컨대, 문턱값이 2개 설치되는 경우, 이러한 문턱값에 의해 나뉘는 2개의 영역 중 어느 영역에 해당되는지에 따라 3종류의 노이즈 저감 처리 중 어느 하나를 선택하는 것으로 해도 무방하다.

또한, 이상, 노광량이 다른 2종류의 화상(단노광 화상 및 장노광 화상)을 촬영하여 합성하는 예를 설명하였다. 그러나 합성에 사용되는 화상의 종류는 특별히 한정되지 않는다. 예컨대, 노광량이 다른 3종류 이상의 화상을 촬영하여 합성하는 예에도 본 실시 형태는 적용될 수 있다.

여기서, 본 발명의 제1 실시 형태에 따른 화상 처리 장치(1A)의 선택부(52A)의 동작에 대해 더 설명하기로 한다. 도 5는 본 발명의 제1 실시 형태에 따른 화상 처리 장치(1A)의 선택부(52A)의 동작 예를 나타내는 흐름도 이다. 또한 도 5에 나타낸 선택부(52A)의 동작 예는 일 예에 불과하므로, 선택부(52A)의 동작은 도 5에 도시한 예에 한정되지 않는다.

도 5에 도시한 바와 같이, 선택부(52A)는 단노광 화상을 구성하는 각 화소에 대해, 이하에 나타내는 필터 선택을 수행한다. 즉, 선택부(52A)는 단노광 화상의 화소값이 문턱값을 상회하는 경우에는(스텝 S11에 대해「No」) 약필터(51a)를 선택한다(스텝 S12). 한편 선택부(52A)는 단노광 화상의 화소값이 문턱값을 밑도는 경우에는 (스텝 S11에 대해 「Yes」) 강필터(51b)를 선택한다(스텝 S13). WDR 합성부(70)에는 선택된 필터에 의해 노이즈 저감된 단노광 화상이 출력된다. 그 후, 장노광 화상과 선택된 필터에 의해 노이즈 저감된 단노광 화상이 WDR 합성부(70)에 의해 합성된다.

이어서, 본 발명의 제1 실시 형태가 나타내는 효과의 예를 설명하기로 한다. 도 6은 본 발명의 제1 실시 형태가 나타내는 효과의 예를 설명하기 위한 도면이다. 도 6을 참조하면, 본 발명의 제1 실시 형태에 따른 화상 처리 장치(1A)에 의해 생성된 합성 화상(Img-e)이 개시되어 있다. 합성 화상(Img-e)을 참조하면, 단노광 화상의 암부 노이즈를 저감함으로써, 합성 화상 중에서 노이즈가 두드러지는 영역인 단노광 화상 사용 영역과 장노광 화상 사용 영역과의 경계 영역의 노이즈가 효과적으로 저감되고 있다.

또한, 노이즈 저감 처리의 폐해인 해상도 저하가 적고 자연스러운 화상이 얻어지고 있다. 기타, 종래 기술과 비교하여, 본 발명의 제1 실시 형태에 따른 화상 처리 장치(1A)는 동영상에도 적용 가능하다는 점, 다이나믹 레인지도 저하되지 않는다는 점, 움직임 영역의 합성 아티팩트 저감 처리와의 높은 친화성을 갖는다는 점 등도 특징이다.

(제2의 실시 형태)

이어서, 본 발명의 제2 실시 형태에 대해 설명하기로 한다. 본 발명의 제1 실시 형태에서는 움직임 검출 정보를 참조하지 않고 노이즈 저감 처리를 선택하는 예를 설명하였다. 그러나, 예컨대 움직임 영역에 대해서 강한 노이즈 저감 처리를 실시하면, 움직임 영역의 해상도가 크게 저하될 가능성이 있다(움직임 물체의 텍스쳐가 크게 감쇠될 가능성이 있다).

예컨대, 움직임 물체를 합성할 때 발생하는 아티팩트나 블러를 억제하기 위해, WDR 합성부(70)에 대해 움직임 영역에 단노광 화상이 사용되는 경우에는 이 단노광 화상의 해상도가 크게 저하될 가능성이 있다. 따라서, 본 발명의 제2 실시 형태에서는 움직임 검출 정보를 이용하여 노이즈 저감 처리를 선택하는 예를 설명하기로 한다.

도 7은 본 발명의 제2 실시 형태에 따른 화상 처리 장치(1B)의 기능 구성을 나타내는 도면이다. 도 7에 도시한 바와 같이, 본 발명의 제2 실시 형태에 따른 화상 처리 장치(1B)는 본 발명의 제1 실시 형태에 따른 화상 처리 장치(1A)에 비해, 프레임 메모리(20) 후단에 움직임 검출부(40)를 더 구비한다. 또한 본 발명의 제1 실시 형태에 따른 화상 처리 장치(1A)에 비해 노이즈 저감부(50)의 기능이 다르다. 이하, 움직임 검출부(40) 및 노이즈 저감부(50B)에 대해 주로 설명한다.

움직임 검출부(40)는 움직임을 검출하여 움직임 검출 정보를 생성한다. 움직임 검출 방법은 한정되지는 않지만, 단노광 화상 및 장노광 화상으로부터 움직임을 검출하는 경우에는 어느 하나의 화상에 대해 노광비에 따른 게인을 곱하여 정규화한 후, 차분을 산출하는 것이 바람직하다. 또한 움직임 검출 정보의 생성 방법은 특별히 한정되지 않는다. 예컨대 움직임 검출부(40)는 단노광 화상과 장노광 화상에 따라 검출한 움직임과 문턱값과의 관계에 따라 움직임 검출 정보를 생성하면 된다.

구체적으로 움직임 검출부(40)는 단노광 화상과 장노광 화상에 있어서, 대응되는 영역의 화소값 또는 구배(勾配)의 차분을 검출하고, 차분이 문턱값보다 큰 영역을 움직임 영역으로 검출해도 된다. 한편, 움직임 검출부(40)는 차분이 문턱값보다 작은 영역을 비움직임 영역으로 검출해도 된다. 차분이 문턱값과 동일한 영역은 어떠한 영역으로 검출해도 된다. 움직임 검출부(40)는 이러한 검출 결과를 움직임 검출 정보로서 생성해도 된다.

노이즈 저감부(50B)는 단노광 화상으로부터 노이즈를 저감한다. 도 8은 노이즈 저감부(50B)의 상세한 구성예를 나타내는 도면이다. 도 8에 도시한 바와 같이, 노이즈 저감부(50B)는 처리부(51) 및 선택부(52B)를 구비하고 있다. 선택부(52B)는 화소가 비움직임 영역에 속하는 경우, 화소값이 문턱값을 밑도는 경우에 강필터(51b)를 선택한다. 이에 따라, 본 발명의 제1 실시 형태와 마찬가지로, 합성 화상 중 노이즈가 두드러지는 영역인 단노광 화상 사용 영역과 장노광 화상 사용 영역과의 경계 영역의 노이즈를 효과적으로 저감할 수 있다.

또한, 선택부(52B)는 화소가 비움직임 영역에 속하는 경우, 화소값이 문턱값을 상회하는 경우에 약필터(51a)를 선택한다. 이에 따라 본 발명의 제1 실시 형태와 마찬가지로, 노이즈가 별로 두드러지지 않는 영역에 대해서는 약한 노이즈 저감이 적용됨으로써, 노이즈 저감 처리보다 해상도 확보가 우선된다. 또한 본 발명의 제1 실시 형태와 마찬가지로, 약필터(51a)는 노이즈 저감 처리를 실시하지 않아도 된다.

한편, 선택부(52B)는 화소가 움직임 영역에 속하는 경우에는 약필터(51a)를 선택한다. 이에 따라, 움직임 영역의 해상도가 크게 저하될 가능성이 저감된다(움직임 물체의 텍스쳐가 크게 감쇠될 가능성이 저감된다). 또한 여기서는 화소가 움직임 영역에 속하는 경우에 약필터(51a)가 선택되는 예를 설명하였지만, 강필터(51b)보다 약한 필터라면 약필터(51a)와 다른 필터가 선택되어도 무방하다.

여기서, 본 발명의 제2 실시 형태에 따른 화상 처리 장치(1B)의 선택부(52B)의 동작예에 대해 더 설명하기로 한다. 도 9는 본 발명의 제2 실시 형태에 따른 화상 처리 장치(1B)의 선택부(52B)의 동작예를 나타내는 흐름도이다. 또한 도 9에 나타낸 선택부(52B)의 동작예는 일예에 불과하므로, 선택부(52B)의 동작은 도 9에 도시한 예에 한정되지 않는다.

도 9에 도시한 바와 같이, 선택부(52B)는 단노광 화상을 구성하는 각 화소에 대해 이하에 나타내는 필터 선택을 실시한다. 즉, 선택부(52B)는 단노광 화상의 화소가 움직임 영역에 속하는 경우에는(스텝 S10에 대해 「Yes」), 약필터(51a)를 선택한다(스텝 S14). 한편, 선택부(52B)는 단노광 화상의 화소가 비움직임 영역에 속하는 경우에는(스텝 S10에 대해 「No」), 스텝 S11로 진행한다.

그리고, 선택부(52B)는 단노광 화상의 화소값이 문턱값을 상회하는 경우에는(스텝 S11에 대해 「No」), 약필터(51a)를 선택한다(스텝 S12). 한편, 선택부(52B)는 단노광 화상의 화소값이 문턱값을 밑도는 경우에는(스텝 S11에 대해 「Yes」), 강필터(51b)를 선택한다(스텝 S13). WDR 합성부(70)에는 선택된 필터에 의해 노이즈 저감된 단노광 화상이 출력된다. 그 후, 장노광 화상과 선택된 필터에 의해 노이즈가 저감된 단노광 화상이 WDR 합성부(70)에 의해 합성된다.

또한 도 9에는 화소가 움직임 영역에 속하는 경우에 약필터(51a)가 선택되는 예가 나타나 있는데, 강필터(51b)보다 약한 필터라면, 약필터(51a)와 다른 필터가 선택되어도 무방함은 이미 설명한 바와 같다.

이어서, 본 발명의 제2 실시 형태가 나타내는 효과의 예를 설명하기로 한다. 본 발명의 제2 실시 형태에 의하면, 움직임 영역에 대해서는 약한 노이즈 저감 처리를 실시함으로써, 움직임 영역의 해상도 저하를 작게 억제할 수 있다. 특히, 움직임 물체를 합성할 때 발생하는 아티팩트나 블러를 억제하기 위해, 움직임 영역에 단노광 화상이 사용되는 경우에는, 단노광 화상의 해상도 저하를 작게 억제할 수 이다. 또한 비움직임 영역에서는 단노광 화상 사용 영역과 장노광 화상 사용 영역과의 경계 영역의 노이즈를 효과적으로 저감시킬 수 있어 비움직임 영역의 해상도 저하를 작게 억제할 수 있다.

이상 본 발명의 제1 실시 형태 미 제2 실시 형태에 대해 설명하였다. 본 발명의 제1 실시 형태에 의하면, 단노광 화상과 장노광 화상을 합성하는 화상 처리 장치(1A)에 있어서, 단노광 화상에 대한 노이즈 저감 처리를 단노광 화상의 화소값에 따라 화소마다 선택하는 선택부(52A)와, 노이즈 저감 처리를 화소마다 수행하는 처리부(51)와, 노이즈 저감 처리가 이루어진 단노광 화상과 장노광 화상을 합성하는 WDR 합성부(70)를 구비하는 화상 처리 장치(1A)가 제공된다.

이러한 구성에 의하면, 단노광 화상의 암부 노이즈를 저감함으로써, 합성 화상 중에서 노이즈가 두드러지는 영역인 단노광 화상 사용 영역과 장노광 화상 사용 영역과의 경계 영역의 노이즈가 효과적으로 저감되고 있다. 또한 노이즈 저감 처리의 폐해인 해상도 저하가 적고 자연스러운 합성 화상이 얻어지고 있다. 기타, 종래 기술에 비해, 본 발명의 제1 실시 형태에 따른 화상 처리 장치(1A)는 동영상에도 적용 가능하다는 점, 다이나믹 레인지가 저하되지 않는다는 점, 움직임 영역의 합성 아티팩트 저감 처리와의 높은 친화성을 갖는다는 점 등도 특징이다.

또한, 본 발명의 제2 실시 형태에 의하면, 움직임 영역 및 비움직임 영역을 검출하는 움직임 검출부(40)를 구비하고, 선택부(52B)는 화소가 비움직임 영역에 속하는 경우에는 화소값이 문턱값을 밑도는 경우에 제1 노이즈 저감 처리를 선택하고, 화소값이 문턱값을 상회하는 경우에는 제2 노이즈 저감 처리를 선택하는 화상 처리 장치(1B)가 제공된다.

이러한 구성에 의하면, 움직임 영역에 대해서는 약한 노이즈 저감 처리를 실시함으로써, 움직임 영역의 해상도 저하를 작게 억제할 수 있다. 특히 움직임 물체를 합성할 때 발생하는 아티팩트나 블러를 억제하기 위해, 움직임 영역에 단노광 화상이 사용되는 경우에는 단노광 화상의 해상도 저하를 작게 억제할 수 있다. 또한 비움직임 영역에서는 단노광 화상 사용 영역과 장노광 화상 사용 영역과의 경계 영역의 노이즈를 효과적으로 저감시킬 수 있어 비움직임 영역의 해상도 저하를 작게 억제할 수 있다.

이상, 첨부 도면을 참조하면서 본 발명의 가장 적합한 실시 형태에 대해 상세하게 설명하였지만, 본 발명은 이러한 예에 한정되지 않는다. 본 발명이 속하는 기술 분야에서의 통상의 지식을 가진 자라면, 특허 청구의 범위에 기재된 기술적 사상의 범주 내에서 각종의 변경예 또는 수정예를 도출 가능함은 분명하고, 이것들도 당연히 본 발명의 기술적 범위에 속하는 것으로 이해된다.

와이드 다이나믹 레인지 기술은 네트워크 카메라의 차별화 기술로서 특히 중요시 되고 있다. 본 발명의 실시 형태는 종래 기술에서 큰 문제였던 단노광 화상 사용 영역과 장노광 화상 사용 영역과의 경계 영역의 노이즈를 효과적으로 저감할 수 있다. 또한 본 발명의 실시 형태는 움직임 물체나 정지 영역의 해상도 저하라는 폐해도 작게 억제할 수 있다는 점, 구성이 간단하고 작은 회로 규모로 실현 가능하다는 점, 프레임 레이트에는 영향이 없고 동영상 성능을 떨어뜨리지 않는다는 점, 다이나믹 레인지가 저하되지 않는다는 점, 움직임 영역의 합성 아티팩트 저감 처리와는 높은 친화성 등 뛰어난 점이 많은 기술이다.

1(1A, 1B): 화상 처리 장치
10: 센서
20: 프레임 메모리
30: 사용 화상 선택부
40: 움직임 검출부
50(50A, 50B): 노이즈 저감부
51: 처리부
51a: 약필터
51b: 강필터
52(52A, 52B): 선택부
70: WDR 합성부
　80: 레인지 압축부

Claims (6)

1. 단노광 화상과 장노광 화상을 합성하는 화상 처리 장치에 있어서,
   상기 단노광 화상에 대한 노이즈 저감 처리를 상기 단노광 화상의 화소값에 따라 화소마다 선택하는 선택부;
   상기 단노광 화상의 화소마다 선택된 상기 노이즈 저감 처리를 상기 단노광 화상의 화소마다 수행하는 처리부; 및
   상기 장노광 화상과 상기 노이즈 저감 처리가 이루어진 상기 단노광 화상을 합성하는 합성부;를 구비하고,
   상기 선택부는 상기 화소값이 문턱값을 밑도는 경우에는 제1 노이즈 저감 처리를 선택하고, 상기 화소값이 상기 문턱값을 상회하는 경우에는 상기 제1 노이즈 저감 처리와는 다른 제2 노이즈 저감 처리를 선택하고,
   상기 제2 노이즈 저감 처리는 상기 제1 노이즈 저감 처리보다 약한 노이즈 저감 처리 또는 노이즈 저감 처리가 없는 것인, 화상 처리 장치.
2. 삭제
3. 삭제
4. 제 1항에 있어서,
   상기 화상 처리 장치는 움직임 영역 및 비움직임 영역을 검출하는 움직임 검출부를 구비하고,
   상기 선택부는 상기 화소가 상기 비움직임 영역에 속하는 경우에는, 상기 화소값이 문턱값을 밑도는 경우에는 상기 제1 노이즈 저감 처리를 선택하고, 상기 화소값이 문턱값을 상회하는 경우에는 상기 제2 노이즈 저감 처리를 선택하는 화상 처리 장치.
5. 제 4항에 있어서,
   상기 선택부는 상기 화소가 상기 움직임 영역에 속하는 경우에는 제3 노이즈 저감 처리를 선택하는 화상 처리 장치.
6. 단노광 화상과 장노광 화상을 합성하는 화상 처리 장치에서의 화상 처리 방법에 있어서,
   상기 단노광 화상에 대한 노이즈 저감 처리를 화소값에 따라 당해 화소마다 선택하는 스텝;
   상기 단노광 화상의 화소마다 선택된 상기 노이즈 저감 처리를 상기 단노광 화상의 화소마다 수행하는 스텝; 및
   상기 장노광 화상과 상기 노이즈 저감 처리가 이루어진 상기 단노광 화상을 합성하는 스텝;을 구비하고,
   상기 선택 스텝은 상기 화소값이 문턱값을 밑도는 경우에는 제1 노이즈 저감 처리를 선택하고, 상기 화소값이 상기 문턱값을 상회하는 경우에는 상기 제1 노이즈 저감 처리와는 다른 제2 노이즈 저감 처리를 선택하는 스텝을 포함하고,
   상기 제2 노이즈 저감 처리는 상기 제1 노이즈 저감 처리보다 약한 노이즈 저감 처리 또는 노이즈 저감 처리가 없는 것인, 화상 처리 방법.

Images