KR20160070659A - 영상 처리 장치 및 영상 처리 방법 - Google Patents

Abstract

복수의 영상 중 장노광 영상 외의 영상인 적어도 한 단노광 영상을 각각의 증폭도에 따라 증폭하는 증폭부(61, 62); 장노광 영상과 증폭된 단노광 영상을 합성하는 합성부(70); 및 단노광 영상에 대한 장노광 영상의 노광 비율보다 적은 값을 증폭도로서 설정하는 증폭도 설정부(30)을 포함하는 영상 처리 장치(1)가 제공된다.

Description

영상 처리 장치 및 영상 처리 방법{Image processing apparatus and image processing method}

본 발명은 영상 처리 장치 및 영상 처리 방법에 관한 것이다.

영상 센서가 촬영 가능한 다이나믹 레인지를 종래보다 확장하여 인간의 눈에 가깝거나, 또는 그 이상의 다이나믹 레인지를 표현할 수 있는 WDR(Wide Dynamic Range) 또는 HDR(High Dynamic Range)이라는 촬영 기능을 이용하는 경우가 많아지고 있다. 이러한 촬영 기능은 역광의 구도 등 명암비가 상당히 큰 장면에서는 특히 큰 효과를 나타낼 수 있다.

최근, 합성 가능한 다이나믹 레인지가 증가하고 있고, 보다 많은 장면에서 시인성이 향상되게 된 것은 바람직하다. 하지만, 합성 후의 신호의 스케일이 비약적으로 확대되기 때문에, 신호의 비트 수 증가에 따른 회로 규모의 증대, 그에 따른 비용 증가나 소비 전력의 증가 등이 문제가 되고 있다. WDR 합성 처리의 회로 규모를 합리화하는 방법으로서 다음과 같은 기술이 개시되어 있다.

예를 들어, 각 촬영 영상의 밝기에 따라 증폭도(Gain)을 바꾸어 합성함으로써 합성 신호의 비트 수를 작게 억제할 수 있는 기술(예를 들어, 일본특허공개 2004－266347호의 특허 문헌, 이하 특허 문헌 1이라 함)이 개시되어 있다. 이러한 기술에서는 화소값이 커짐에 따라 점차 작은 증폭도가 적용되므로, 화면 전체에 일률적으로 노광 비율을 곱하는 종래예에 비해 영상의 경계 부분도 매끄럽게 합성하면서 합성 후의 화소값의 최대 값을 큰 폭으로 억제할 수 있다. 또한, 이러한 기술에서는 원(bare) 신호에 대해서도, 2×2 화소 중의 RGB의 대표값을 추출하여 증폭도를 결정하고, 대표값을 추출한 영역에 증폭도를 적용함으로써, 색밸런스를 유지하면서 처리를 수행할 수 있다.

또한, 다(多)비트 신호를 가수와 지수로 표현함으로써, 적은 비트 수로 넓은 레인지의 데이터를 유지할 수 있는 기술(예를 들어, 일본특허공개 2008－236726호의 특허 문헌, 이하 특허 문헌 2라 함)이 개시되어 있다. 일단 노광 비율을 이용하여 신호의 합성을 실시한 후에, 이러한 기술을 사용하면, 신호의 비트 수를 줄일 수 있어 합성 후의 처리의 부하가 경감된다.

또한, 다른 노광의 영상군으로부터 1개의 영상을 참조하고, 그 화소값에 따라 어떤 영상의 화소값을 선택하여 합성할지를 결정하는 기술(예를 들어, 일본특허공개 2012－151732호의 특허 문헌, 이하 특허 문헌 3이라 함)도 개시되어 있다.

일본특허공개 2004－266347호 공보 일본특허공개 2008－236726호 공보 일본특허공개 2012－151732호 공보

하지만, 특허 문헌 1에 기재된 기술에서는 원(bare) 신호에 노이즈가 포함되어 있는 경우, 2×2 화소의 영역 단위에서 노이즈가 강조되는 점이 문제가 된다. 또한, 2×2 화소 단위에서의 처리가 이루어지므로, 하드웨어에서 실현하는 경우는 증폭도 산출시에 1 라인의 메모리가 필요하다.

여기에서, 메모리의 라인은 노광 양이 다른 신호들의 개수 만큼 필요하다. 예를 들어, 3 종류의 신호들을 합성한다면 3 라인들이 필요하다. 또한, 전술한 노이즈 강조 문제를 저감하고자 한다면, 2×2보다 넓은 범위를 참조하는 경우가 있어 메모리량이 더욱 증가한다. 이러한 일은 회로 규모에 대한 제약이 어려운 경우에는 문제가 된다.

또한, 특허 문헌 2에 기재된 기술에 의하면, 화소값이 가수(假數)의 범위를 넘으면 데이터가 정세하지 못하여 영상의 매끄러움이 손상되는 문제가 있다. 예를 들어, 가수를 8 비트, 10을 기수로 하고 지수를 4 비트로 한 경우, 화소값이 256 이상이 되면 10마다 변화되고, 화소값이 2,560 이상이 되면 100마다 변화되며, 화소값이 25,600 이상에서는 1,000마다 변화되기 때문에, 정밀도가 떨어지게 된다.

또한, 특허 문헌 3에 기재된 기술에 의하면, 다이나믹 레인지가 상당히 큰 경우, 합성 영상의 품질 저하의 가능성이 높다는 문제점이 있다. 왜냐하면, 하나의 촬영 영상으로부터 모든 영상들의 노광 상태를 판정하는 것이 어렵기 때문이다.

따라서, 본 발명은 합성 영상의 매끄러움의 저하를 억제함과 동시에 회로 규모 증가를 억제하면서 합성 영상을 생성할 수 있는 기술을 제공하고자 한다.

본 발명의 제1 측면의 영상 처리 장치는 증폭부, 합성부, 및 증폭도 설정부를 포함한다.

상기 증폭부는 장노광 영상과 적어도 한 단노광 영상을 포함한 복수의 영상들 중에서 상기 적어도 한 단노광 영상을 증폭도에 따라 증폭한다.

상기 합성부는 상기 장노광 영상과 증폭된 상기 단노광 영상을 합성한다.

상기 증폭도 설정부는 상기 단노광 영상에 대한 상기 장노광 영상의 노광 비율보다 적은 값을 상기 증폭도로서 설정한다.

상기 제1 측면의 영상 처리 장치에 의하면, 상기 단노광 영상에 대한 상기 장노광 영상의 노광 비율보다 적은 값이 상기 증폭도로서 적용된다. 따라서, 합성 영상의 비트 수를 억제함으로써, 회로 규모의 증가를 억제하면서 합성 영상을 생성할 수 있다.

본 발명의 제2 측면의 영상 처리 장치는 증폭부, 합성부, 및 증폭도 설정부를 포함한다.

상기 증폭부는 장노광 영상과 적어도 한 단노광 영상을 포함한 복수의 영상들 중에서 상기 적어도 한 단노광 영상을 증폭도에 따라 증폭한다.

상기 합성부는 상기 장노광 영상과 증폭된 상기 단노광 영상을 합성한다.

상기 증폭도 설정부는, 상기 단노광 영상에 대한 상기 장노광 영상의 노광 비율이 문턱 값보다 크지 않은 경우에 상기 노광 비율을 상기 단노광 영상의 증폭도로서 설정하고, 상기 노광 비율이 상기 문턱 값보다 큰 경우에 상기 노광 비율보다 적은 값을 상기 단노광 영상의 증폭도로서 설정한다.

상기 제2 측면의 영상 처리 장치에 의하면, 상기 노광 비율이 상기 문턱 값보다 큰 경우에 상기 노광 비율보다 적은 값이 상기 단노광 영상의 증폭도로서 적용된다. 따라서, 합성 영상의 비트 수를 억제함으로써, 회로 규모의 증가를 억제하면서 합성 영상을 생성할 수 있다.

더 나아가, 상기 단노광 영상에 대한 상기 장노광 영상의 노광 비율이 문턱 값보다 크지 않은 경우, 상기 노광 비율이 상기 단노광 영상의 증폭도로서 적용된다. 따라서, 합성 영상의 매끄러움 저하가 방지될 수 있다.

본 발명의 제3 측면의 영상 처리 방법은, 장노광 영상과 적어도 한 단노광 영상을 포함한 복수의 영상들 중에서 상기 적어도 한 단노광 영상을 증폭도에 따라 증폭함을 포함한다. 상기 장노광 영상과 증폭된 상기 단노광 영상은 합성된다. 상기 단노광 영상에 대한 상기 장노광 영상의 노광 비율보다 적은 값이 상기 증폭도로서 설정된다.

상기 제3 측면의 영상 처리 방법에 의하면, 상기 단노광 영상에 대한 상기 장노광 영상의 노광 비율보다 적은 값이 상기 증폭도로서 적용된다. 따라서, 합성 영상의 비트 수를 억제함으로써, 회로 규모의 증가를 억제하면서 합성 영상을 생성할 수 있다.

이상 설명된 바와 같이, 본 발명의 실시예에 의하면, 상기 노광 비율이 상기 문턱 값보다 큰 경우에 상기 노광 비율보다 적은 값이 상기 단노광 영상의 증폭도로서 적용된다. 따라서, 합성 영상의 비트 수를 억제함으로써, 회로 규모의 증가를 억제하면서 합성 영상을 생성할 수 있다.

더 나아가, 상기 단노광 영상에 대한 상기 장노광 영상의 노광 비율이 문턱 값보다 크지 않은 경우, 상기 노광 비율이 상기 단노광 영상의 증폭도로서 적용된다. 따라서, 합성 영상의 매끄러움 저하가 방지될 수 있다.

도 1은 일반적인 WDR 합성 기술을 설명하기 위한 도면이다.
도 2는 노광 비율보다 적은 값들을 증폭도로서 설정한 경우에 대해 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 영상 처리 장치의 기능 구성을 나타내는 도면이다.
도 4는 노광 비율이 작은 경우에 대해 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 증폭도의 제어 특성을 나타내는 도면이다.
도 6은 2 프레임을 합성하는 예를 설명하기 위한 도면이다.
도 7은 증폭도로서 노광 비율을 설정한 경우, 및 증폭도로서 노광 비율의 1/2을 설정한 경우, 각각의 합성 영상의 예를 나타내는 도면이다.

이하, 첨부 도면을 참조하면서, 본 발명의 바람직한 실시의 형태에 대해 상세히 설명하기로 한다. 또한, 본 명세서 및 도면에서 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는 동일한 부호를 부여함으로써 중복 설명을 생략한다.

또한, 본 명세서 및 도면에서 실질적으로 동일한 기능 구성을 갖는 복수의 구성 요소에 대해 동일한 부호의 뒤에 다른 알파벳을 부여하여 구별하는 경우도 있다. 다만, 실질적으로 동일한 기능 구성을 갖는 복수의 구성 요소의 각각에 대해 특별히 구별할 필요가 없는 경우, 동일한 부호만 붙인다.

(일반적인 WDR 합성 기술)

본 발명의 실시예는 노광을 바꾸어 촬영한 복수의 영상 신호를 합성하여 WDR(Wide Dynamic Range) 신호를 얻는 기술에 관한 것이다. 일반적인 WDR 합성 처리에 대하여, 도 1을 참조하여 설명한다.

도 1은, 노광 시간이 긴 쪽으로부터 Long(장노광 영상), Short2(단노광 영상), Short1(초단노광 영상)의 3개의 영상 신호들(3 프레임들)을 Short2에 대한 Long의 노광 비율, Short1에 대한 Short2의 노광 비율이 각각 노광 비율(Exp)이 되도록 노광을 바꾸어 촬영하고, 이러한 영상 신호를 합성하는 예를 나타내고 있다. WDR 신호는 0 ~ 4095의 값을 갖는 12 비트(bit)의 신호로 한다.

복수의 영상 신호들을 합성함에 있어서, 장노광 영상과 밝기를 맞추기 위하여, 단노광 영상에 대하여 단노광 영상에 대한 장노광 영상의 노광 비율(Exp)을 곱함으로써, Short2＇를 취득하고, Short2＇를 사용하여 합성한다. 마찬가지로, 초단노광 영상에 대해서는 초단노광 영상에 대한 장노광 영상의 노광 비율(Exp)의 2승을 곱함으로써 Short1＇를 취득하고, Short1＇를 사용하여 합성한다. 이러한 예를 참조하면, 합성 후의 WDR 신호의 최대 값은 노광 비율의 제곱에 비례하는 것을 알 수 있다.

더 넓은 다이나믹 레인지를 합성 가능하게 하기 위해서는, 영상 신호의 합성 매수를 늘리거나, 노광 비율을 크게 하거나, 또는 양자를 모두 채용할 수 있다. 어떠한 방법을 채택하더라도, 영상 신호의 합성 후의 화소값의 최대 값은 지수적으로 상승한다. 즉, 더 넓은 다이나믹 레인지를 합성하고자 하면, 합성에 필요한 회로의 비트 수가 증가하여 회로 규모가 커지는 문제가 있다.

따라서, 본 발명의 실시예에서는, 합성 영상의 매끄러움의 저하를 억제함과 동시에 회로 규모의 증가를 억제하면서 합성 영상을 생성할 수 있는 기술을 제안한다. 더 구체적으로는, 다이나믹 레인지가 매우 넓은 장면은 발생 빈도가 낮은 점에 주목하여 일정한 다이나믹 레인지까지는, 도 1에 도시한 바와 같이, 선형 합성을 수행한다. 한편, 일정 이상의 다이나믹 레인지를 갖는 장면에 대해서는, 도 2에 도시한 예와 같이, 노광 비율보다 적은 증폭도를 장노광 영상 외의 영상에 적용한다.

(실시예)

우선, 본 발명의 실시예에 따른 영상 처리 장치(1)의 기능 구성에 대해 설명하기로 한다. 도 3은 본 발명의 실시예에 따른 영상 처리 장치(1)의 기능 구성을 보여준다

도 3을 참조하면, 영상 처리 장치(1)는 영상 센서(10), 프레임 메모리(20), 증폭도 설정부(30), 클립(clip, 31), 클립(32), 사용-영상 선택부(40), 움직임 검출부(50), 증폭부(61), 증폭부(62), 합성부(70) 및 계조 압축부(80)를 구비한다. 이하, 영상 처리 장치(1)가 포함하는 각 기능 블록의 기능에 대해 차례로 상세히 설명하기로 한다.

영상 처리 장치(1)는 영상 센서(10)의 노광 설정을 바꾸어 3 장의 영상들을 연속으로 촬영한다. 본 실시예의 경우, 초단노광 촬영을 먼저 수행하고, 이어서 단노광 촬영을 수행하며, 그 후에 장노광 촬영을 수행한다. 하지만, 장노광 촬영을 먼저 수행하고, 이어서 단노광 촬영을 수행하며, 그 후에 초단노광 촬영을 수행할 수도 있다.

이와 같이 촬영된 초단노광 영상, 단노광 영상 및 장노광 영상은 하나의 조합으로서 프레임 메모리(20)에 저장된다. 초단노광 영상, 단노광 영상 및 장노광 영상의 촬영과, 촬영된 초단노광 영상, 단노광 영상 및 장노광 영상의 프레임 메모리(20)에 대한 기입은 연속적으로 행해진다.

또한, 도 3에 도시된 예에 있어서, 영상 처리 장치(1)는, 초단노광 영상, 단노광 영상 및 장노광 영상을 출력하기 위한 공통의 계통을 하나 가지고, 영상 센서(10)가 초단노광 영상, 단노광 영상, 및 장노광 영상을 시분할로 출력한다. 하지만, 초단노광 영상, 단노광 영상, 및 장노광 영상을 동시에 출력할 수도 있다. 이 경우, 영상 처리 장치(1)는 영상 센서(10)로부터 초단노광 영상을 출력하기 위한 계통, 단노광 영상을 출력하기 위한 계통, 및 장노광 영상을 출력하기 위한 계통을 가질 수 있다. 각각의 셔터 시간은, 예를 들어, 촬영 대상의 다이나믹 레인지나 영상 센서 사양 등에 의하여 정해진다.

또한, 본 발명의 실시예에서는, 장노광 영상 외의 영상으로서 노광 시간이 다른 2 종류의 단노광 영상들이 영상 센서(10)에 의해 촬영된다. 하지만, 영상 센서(10)에 의해 촬영되는 장노광 영상 외의 영상은 노광 시간이 다른 2 종류의 단노광 영상들에 한정되지 않는다. 예를 들어, 이하에 설명하는 바와 같이, 영상 센서(10)에 의해 촬영되는 장노광 영상 외의 영상은 1 종류의 단노광 영상뿐일 수도 있다. 또는, 장노광 영상 외의 영상은 서로 노광 시간이 다른 3종 이상의 단노광 영상들일 수도 있다.

또한, 본 발명의 실시예에서는, 초단노광 영상, 단노광 영상 및 장노광 영상이라는 용어를 사용하고 있는데, 이러한 용어가 촬영된 3 개의 영상들 각각의 절대적인 노광 시간을 한정하는 것은 아니다. 따라서, 노광 시간이 다른 3 개의 영상들이 촬영된 경우, 해당 3 개의 영상들 중에서 노광 시간이 가장 짧은 영상이 초단노광 영상에 해당하고, 노광 시간이 다음으로 짧은 영상이 단노광 영상에 해당하며, 노광 시간이 가장 긴 영상이 장노광 영상에 해당한다.

영상 센서(10)는, 외부로부터의 빛을 촬상 소자의 수광 평면에 결상시키고, 결상된 빛을 전하량으로 광전 변환하며, 해당 전하량을 전기 신호로 변환한다. 영상 센서(10)의 종류는 특별히 한정되지 않으며, 예를 들어, CCD(Charge　Coupled　Deｖice)일 수도 있고, CMOS(Complementary　Metal　Oxide　Semiconductor)일 수도 있다. 예를 들어, 영상 센서(10)는 소정 배율(예를 들어, 수 배에서 수십 배)의 노광 비율(Exp)을 취하여 초단노광 영상, 단노광 영상 및 장노광 영상을 검출(촬영)한다.

사용-영상 선택부(40)는, 프레임 메모리(20)으로부터 독출한 초단노광 영상, 단노광 영상, 및 장노광 영상을 참조하여 장노광 영상, 단노광 영상 및 초단노광 영상 각각의 포화 상태나 움직임 등을 검출하고, 초단노광 영상, 단노광 영상, 및 장노광 영상 중 어느 하나를 화소 마다 사용 영상으로서 선택하기 위한 사용-영상 선택 정보를 생성한다. 초단노광 영상, 단노광 영상, 및 장노광 영상 중 어느 하나를 선택하기 위한 알고리즘들은 다양하다.

예를 들어, 사용-영상 선택부(40)는, 초단노광 영상, 단노광 영상 및 장노광 영상 중 어느 하나를, 초단노광 영상, 장노광 영상 또는 단노광 영상의 화소값과 규정 값과의 관계에 따라 화소마다 선택함으로써 사용-영상 선택 정보를 생성한다. 예를 들어, 사용-영상 선택부(40)는 장노광 영상에서 상한 값보다 큰 화소값을 갖는 화소의 사용 영상으로서 단노광 영상을 선택할 수도 있다. 또는, 예를 들어, 사용-영상 선택부(40)는 단노광 영상에서 하한 값보다 적은 화소값을 갖는 화소의 사용 영상으로서 장노광 영상을 선택할 수도 있다.

움직임 검출부(50)는 움직임을 검출한다. 여기에서 움직임 검출 방법은 한정되지 않는다.

예를 들어, 움직임 검출부(50)는, 단노광 영상 및 장노광 영상에서 대응되는 영역의 화소값 또는 기울기의 차분을 검출하고, 차분이 소정의 움직임 양보다 큰 영역을 움직임 영역으로 검출할 수 있다. 한편, 움직임 검출부(50)는 차분이 소정의 움직임 양보다 적은 영역을 비움직임 영역으로 검출할 수 있다. 차분이 소정의 움직임 양과 동일한 영역은 어느 하나의 영역으로 검출될 수도 있다. 움직임 검출부(50)는 이러한 움직임 영역 및 비움직임 영역을 움직임 검출의 결과로서 얻을 수 있다.

또한, 움직임 검출부(50)는, 초단노광 영상 및 단노광 영상에서 대응되는 영역의 화소값 또는 기울기의 차분을 검출하고, 차분이 소정의 움직임 양 보다 큰 영역을 움직임 영역으로서 검출할 수도 있다. 한편, 움직임 검출부(50)는 차분이 소정의 움직임 양보다 적은 영역을 비움직임 영역으로 검출할 수 있다. 차분이 소정의 움직임 양과 동일한 영역은 어느 하나의 영역으로 검출될 수도 있다. 움직임 검출부(50)는 이러한 움직임 영역 및 비움직임 영역을 움직임 검출의 결과로서 얻을 수 있다. 또는 움직임 검출부(50)는 2 개의 움직임 검출 결과들을 통합할 수도 있다.

증폭부(61)는 초단노광 영상을 증폭도에 따라 증폭한다. 구체적으로, 증폭부(61)는 초단노광 영상에 증폭도를 곱함으로써 초단노광 영상을 증폭한다. 일반적으로, 초단노광 영상에 대한 장노광 영상의 노광 비율을 증폭도로 설정하여, 이 증폭도를 초단노광 영상에 대하여 곱함으로써 초단노광 영상을 증폭한다. 본 발명의 실시예에서는, 증폭도 설정부(30)가 이 증폭도를 적절히 제어할 수 있다.

마찬가지로, 증폭부(62)는 단노광 영상을 증폭도에 따라 증폭한다. 구체적으로는, 증폭부(62)는 단노광 영상에 대하여 증폭도를 곱함으로써 단노광 영상을 증폭한다. 일반적으로 단노광 영상에 대한 장노광 영상의 노광 비율을 증폭도로 설정하고, 이 증폭도를 단노광 영상에 대하여 곱함으로써 단노광 영상을 증폭한다. 본 발명의 실시예에서는 증폭도 설정부(30)가 이 증폭도를 적절히 제어할 수 있다.

합성부(70)는 사용-영상 선택부(40)에 의해 생성된 사용-영상 선택 정보에 따라 초단노광 영상, 단노광 영상, 및 장노광 영상을 화소마다 합성함으로써 WDR 합성 영상을 생성한다.

구체적으로는, 합성부(70)는, 사용-영상 선택 정보를 참조하여, 초단노광-영상 사용 영역에 초단노광 영상을 사용하고, 단노광-영상 사용 영역에 단노광 영상을 사용하며, 장노광-영상 사용 영역에 장노광 영상을 사용하여 합성 영상을 생성한다. 합성시에는 어느 하나의 영상에 대해 노광 비율에 따른 증폭도를 곱하여 정규화한 후에 합성하는 것이 바람직하다.

이와 같이 합성부(70)는 사용-영상 선택부(40)에 의해 생성된 사용-영상 선택 정보에 따라 초단노광 영상, 단노광 영상 및 장노광 영상을 합성한다. 하지만, 이러한 처리만으로는 움직임 영역에서 윤곽이 이중이 되는 등의 아티팩트(artifact)가 발생할 수 있다.

따라서, 합성부(70)는 움직임 영역에서 윤곽이 이중이 되는 현상을 저감하는 처리를 수행할 수도 있다. 예를 들어, 합성부(70)는 움직임 영역의 사용 영상으로서 초단노광 영상 또는 단노광 영상을 선택할 수 있다. 또한, 영상 센서(10)의 분해능을 12 비트로 하였을 때, WDR 합성 영상의 각 화소는 16 비트 정도로 확장될 수 있다.

계조 압축부(80)는, 다이나믹 레인지가 넓은 영상 신호의 비트 레인지를 소정의 비트 레인지로 변환하기 위하여, 합성부(70)에 의해 생성된 WDR 합성 영상에 대해 압축 처리를 실시한다. 이러한 압축 처리로는 룩업 테이블(LUT : Look-Up Table)에 따른 톤 매핑이 이용될 수 있는데, 특별히 이에 한정되는 것은 아니며 어떠한 방법을 이용해도 무방하다.

계조 압축부(80)의 후단은 예를 들어, 원(bare) 데이터로부터 RGB 프레인을 생성하는 디모자이크부, 윤곽 강조부, 및 컬러 관리 등을 포함하는 영상 처리 엔진에 접속된다. 따라서, 계조 압축부(80)로부터의 출력 데이터는 예를 들어, 영상 처리 엔진에 대한 입력 데이터의 규격(size)에 적합하도록(예를 들어, 12bit 정도로) 조정되는 것이 바람직하다. 단순히 데이터 규격(size)만 저하시키면 어두운 영상으로 변환되기 때문에, 인간의 시각 특성에 가까워지도록 고휘도측이 강하게 압축되는 것이 바람직하다.

도 2를 참조하면서, 증폭도 제어의 구체적인 예를 설명하기로 한다.

도 2에 도시된 바와 같이, 증폭도 설정부(30)는 Short2(단노광 영상)에 곱해지는 증폭도를 본래의 증폭도(노광 비율(Exp))이 아닌, 예를 들어 그 1/2의 값으로 설정할 수도 있다. 이와 같이 증폭도를 설정하면, Short2＇(증폭도가 곱해진 단노광 영상)와 Long(장노광 영상)과의 경계에 단차가 생기는데, 이 단차는 합성 영상 중의 합성 경계가 매끄럽게 재현되지 않는다는 것을 의미한다. 따라서, 밝은 물체의 주위가 다소 어둡게 보이거나, 그라데이션(gradation)에 줄무늬가 보이기도 한다.

하지만, 이 단차가 너무 크면(예를 들어, 도 2에 도시한 바와 같이, Short2(단노광 영상)에 대해 곱하는 증폭도를 본래의 증폭도(노광 비율(Exp))의 1/2 정도로 한 경우), 최종 영상에서 위화감이 적어지므로 큰 문제는 되지 않음을 알 수 있다. 증폭도를 노광 비율(Exp)로 설정한 경우와 증폭도를 노광 비율(Exp)의 1/2로 설정한 경우, 각각의 합성 영상의 예가 도 7에 도시되어 있다. 증폭도는 노광 비율(Exp)의 1/2에 한정되지 않으며, 노광 비율(Exp) 보다 적은 값이라면 무방하다.

또한, 증폭도 설정부(30)는 Short1(초단노광 영상)에 대해 곱하는 증폭도를 본래의 증폭도(노광 비율(Exp)의 2승)가 아닌, 예를 들어 그 1/8의 값으로 설정할 수도 있다. 이와 같이 증폭도를 설정하면, Short1＇(증폭도가 곱해진 초단노광 영상)와 Short2＇(증폭도가 곱해진 단노광 영상)와의 경계에 단차가 생기는데, 후단의 계조 압축부(80)에 의해 합성 영상은 고휘도에서 강하게 압축되므로, 단차가 축소되어 미미해지게 된다.

그 때문에, Short1＇와 Short2＇ 사이의 단차를 Short2＇와 Long 사이의 단차 보다 크게 해도(예를 들어, 도 2에 도시한 예와 같이, Short1(초단노광 영상)에 대해 곱하는 증폭도를 본래의 증폭도(노광 비율(Exp)의 2승)의 1/8 정도로 한 경우), 최종 영상에 있어서 위화감은 잘 눈에 띄지 않는다. 또한, Short1이 아니면 적정 노광이 되지 않는 초고휘도 물체를 촬영하는 장면은 적기 때문에, 시감 문제가 발생하는 빈도도 낮다. 또한, 증폭도로는 노광 비율(Exp)의 2승의 1/8에 한정되지 않고, 노광 비율(Exp)보다 적은 값이라면 무방하다.

이와 같이 하여, 본래의 노광 비율보다 적은 증폭도를 적용하여 합성함으로써, 도 2에 도시한 예에 있어서, 합성 영상의 최대 값을 본래의 1/8로 억제할 수 있다. 즉, 도 2에 도시한 예에 있어서, 합성 회로의 크기(size)를 3 비트만큼 절약할 수 있다. 또한, 적용할 증폭도를 제어하기만 하면 되므로, 복잡한 연산이나 라인 메모리를 사용해야 하는 연산은 전혀 필요하지 않다. 또한, 다른 영상의 경계부에 생기는 단차가 눈에 띄지 않을 정도로 증폭도를 설정하여 합성 영상의 매끄러움의 저하를 억제할 수 있다.

도 4를 참조하면서 설명을 계속하기로 한다. 도 4는 "노광 비율 = Exp인 경우" 및 "노광 비율 = Exp'인 경우" 각각의 횡축(피사체 휘도)과 종축(합성 화소값)과의 관계를 나타내는 도면이다.

도 4에 도시된 바와 같이, Exp'는 Exp 보다 적고, "노광 비율 = Exp'인 경우"에는 "노광 비율 = Exp인 경우"보다 피사체 휘도가 낮다. 도 4에 도시된 예에 있어서, 노광 비율 = Exp＇인 경우, 일반적인 방법대로 노광 비율 Exp＇를 증폭도로 사용해도, 합성 영상의 최대 값은 "노광 비율 = Exp인 경우"와 동일하다. 따라서, 일부러 Exp＇보다 적은 증폭도를 사용할 필요가 없고, 이에 따라서 다른 영상의 경계부에 단차를 발생시키지도 않는다.

즉, 도 4에서 "노광 비율 = Exp'인 경우"에 의거하여, 증폭도 설정부(30)는, 노광 비율이 문턱 값보다 크지 않은 경우(또는 노광 비율이 문턱 값과 동일한 경우), 증폭도로서 노광 비율을 설정할 수 있다.

또한, 도 4에서 "노광 비율 = Exp인 경우"에 의거하여, 증폭도 설정부(30)는, 노광 비율이 문턱 값보다 큰 경우에 노광 비율보다 적은 값으로 증폭도를 클립(clip)시킨다.

이와 같은 노광 비율에 대한 증폭도의 제어 특성은 도 5에 도시되어 있다.

예를 들어, 노광 비율을 4 배에서 16 배 사이로 변화시킬 수 있는 경우, 증폭도 설정부(30)는 문턱 값(TH)을 "8 배"로 설정한다. 이에 따라, 노광 비율이 4 배 내지 8 배의 범위에서 노광 비율과 같은 증폭도가 적용되지만, 노광 비율이 8 배보다 크고 16 배와 같거나 적은 범위에서 증폭도는 노광 비율의 8 배로 클립(clip)될 수 있다. 그렇게 되면, 노광 비율이 16 배일 때 증폭도가 노광 비율의 8 배가 되고, 노광 비율에 대한 증폭도의 비율은 1/2이 된다.

또한 상기한 바와 같이, 움직임 영역에 있어서 윤곽이 이중이 되는 등의 아티팩트(artifact)를 저감하기 위해, 움직임 영역에 대해 단노광 영상을 적용하는 처리(이하, "움직임-적응 합성 처리"라고 함)를 실시하는 경우가 있다. 이와 같이 움직임-적응 합성 처리가 실행되는 경우, 움직임 영역의 단노광 영상에 대해서 도 5의 증폭도 제어가 적용되지 않는 것이 바람직하다　

보다 상세하게는, 움직임-적응 합성 처리가 실행되는 경우, 단노광 영상에 대한 장노광 영상의 노광 비율이 움직임 영역의 단노광 영상의 증폭도로서 설정된다. 왜냐하면, 단노광 영상에 대한 장노광 영상의 노광 비율보다 적은 값이 움직임 영역의 단노광 영상의 증폭도로서 설정되면, 촬영 대상이 움직인 순간에 촬영 대상이 어두워져 버리기 때문이다. 따라서, 증폭도 설정부(30)는 움직임-적응 합성 처리의 실행 여부에 따라, 도 5에 도시한 제어를 무효로 할지의 여부를 절환할 수 있다. 즉, 움직임-적응 합성 처리가 실행되지 않는 경우, 움직임 영역의 단노광 영상에 대해 도 5에 도시된 증폭도 제어가 적용되도록 절환될 수 있다.

움직임-적응 합성 처리의 실행 여부는 다양하게 설정될 수 있다. 예를 들어, 움직임-적응 합성 처리의 실행 여부가 미리 정해져 있고, 전환 불가능한 것으로 될 수도 있다. 또는, 움직임-적응 합성 처리의 실행 여부가 전환 가능한 것으로 될 수도 있다. 움직임-적응 합성 처리의 실행 여부를 전환 가능하게 하는 경우, 사용자에 의한 조작에 연동하여 전환을 실시하도록 할 수도 있다.

한편, 동일한 노광 비율로 촬영하는 경우라 하더라도, 합성 매수가 다르면 증폭도의 제어를 다르게 할 수도 있다. 도 2와 도 6을 비교하면서 이를 설명하기로 한다.

도 2 및 도 6은 모두 동일한 노광 비율(Exp)로 촬영한 복수의 영상을 합성하는 예이지만, 도 2는 3 프레임(장노광 영상, 단노광 영상 및 초단노광 영상)의 합성의 예를 나타내고 있고, 도 6은 2 프레임(장노광 영상 및 단노광 영상)의 합성의 예를 나타내고 있다.

여기에서, 도 2에 도시한 바와 같이, 3 프레임 합성의 경우, 단노광 영상 및 초단노광 영상에 대해 노광 비율보다 적은 증폭도를 적용하고, 시스템의 비트 상한을 넘지 않게 하고 있다.

도 6에 도시한 바와 같이, 2 프레임 합성의 경우, 단노광 영상에 노광 비율과 동일한 증폭도를 적용하더라도 시스템의 비트 상한에 도달하지 않으므로, 노광 비율보다 적은 증폭도를 적용할 필요가 없다. 따라서, 동일한 노광 비율이라 하더라도, 합성 매수에 따라 도 5의 증폭도 제어의 적용 여부가 전환될 수 있다.

합성되는 영상은 2 프레임들 및 3 프레임들에 한정되지 않는다. 따라서, 합성 매수가 소정 매수 미만인 경우, 증폭도 설정부(30)는 사용 영상에 대한 장노광 영상의 노광 비율을 사용 영상의 증폭도로서 설정할 수 있다. 또한, 합성 매수가 소정 매수 이상이면서, 사용 영상에 대한 장노광 영상의 노광 비율이 문턱 값(TH)보다 크지 않은 경우, 증폭도 설정부(30)는 사용 영상의 증폭도로서 사용 영상에 대한 장노광 영상의 노광 비율을 설정할 수 있다. 그리고, 합성 매수가 소정 매수 이상이면서, 사용 영상에 대한 장노광 영상의 노광 비율이 문턱 값(TH)보다 큰 경우, 증폭도 설정부(30)는 사용 영상의 증폭도를 노광 비율보다 적은 값으로 클립(clip)시킬 수 있다.

이상 설명된 바와 같이, 본 발명의 실시예에 따르면, 발생 빈도가 높거나, 또는 전형적인 장면으로서 상정하고 있는 다이나믹 레인지에 대해서는 선형 특성으로 매끄러운 합성 영상을 얻을 수 있다. 또한, 발생 빈도 또는 중요도가 낮은 다이나믹 레인지가 상당히 큰 장면에 대해서는, 다소의 화질 열화가 있더라도 회로 규모의 증가를 억제하여 합성에 대응할 수 있다.

(정리)

본 실시예의 영상 처리 장치(1)는 증폭부(61, 62), 합성부(70), 및 증폭도 설정부(30)를 포함한다.

증폭부(61, 62)는 복수의 영상들 중에서 장노광 영상 외의 영상인 적어도 한 단노광 영상을 각각의 증폭도에 따라 증폭한다.

합성부(70)는 장노광 영상과 증폭된 단노광 영상을 합성한다.

증폭도 설정부(30)는 단노광 영상에 대한 장노광 영상의 노광 비율보다 적은 값을 증폭도로서 설정한다.

이러한 구성에 따르면, 합성 영상의 매끄러움의 저하를 억제함과 동시에, 회로 규모의 증가를 억제하면서 합성 영상을 생성할 수 있게 된다.

WDR(Wide Dynamic Range) 기술은 중요시 되고 있다. 종래 기술에서는 합성 가능한 다이나믹 레인지의 확대에 따라 회로 규모가 증가되는 것이 큰 문제였다. 본 발명의 실시예는, 다이나믹 레인지가 상당히 넓은 장면은 발생 빈도가 낮은 점에 주목하여, 선형 합성하는 것은 일정한 다이나믹 레인지까지로 하고, 일정 이상의 다이나믹 레인지를 갖는 장면에 대해서는 다소의 화질 열화가 있더라도 작은 증폭도를 적용함으로써, 시스템 규모의 증가를 억제할 수 있다.

본 발명의 실시예에 의하면, 성능 향상과 회로 규모 증가라고 하는 상반된 2가지 문제를 합리적이고 간편한 구성으로 해결할 수 있다.

이상, 첨부 도면을 참조하면서 본 발명의 바람직한 실시예에 대해 상세하게 설명하였지만, 본 발명은 이러한 예에 한정되지 않는다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면, 특허 청구의 범위에 기재된 기술적 사상의 범주 내에서 각종의 변경예 또는 수정예에 도달할 수 있음은 명백하고, 이것들에 대해서도, 당연히 본 발명의 기술적 범위에 속하는 것으로 이해된다.

영상 처리와 관련된 모든 분야에서 이용될 가능성이 있다.

1 : 영상 처리 장치, 10 : 영상 센서,
20 : 프레임 메모리, 30 : 증폭도 설정부,
31 : 클립, 32 : 클립,
40 : 사용-영상 선택부, 50 : 움직임 검출부,
61 : 증폭부, 62 : 증폭부,
70 : 합성부, 80 : 계조 압축부.

Claims (3)

1. 장노광 영상과 적어도 한 단노광 영상을 포함한 복수의 영상들 중에서 상기 적어도 한 단노광 영상을 증폭도에 따라 증폭하는 증폭부;
   상기 장노광 영상과 증폭된 상기 단노광 영상을 합성하는 합성부; 및
   상기 단노광 영상에 대한 상기 장노광 영상의 노광 비율보다 적은 값을 상기 증폭도로서 설정하는 증폭도 설정부;를 포함하는 영상 처리 장치.
2. 장노광 영상과 적어도 한 단노광 영상을 포함한 복수의 영상들 중에서 상기 적어도 한 단노광 영상을 증폭도에 따라 증폭하는 증폭부;
   상기 장노광 영상과 증폭된 상기 단노광 영상을 합성하는 합성부; 및
   상기 단노광 영상에 대한 상기 장노광 영상의 노광 비율이 문턱 값보다 크지 않은 경우에 상기 노광 비율을 상기 단노광 영상의 증폭도로서 설정하고, 상기 노광 비율이 상기 문턱 값보다 큰 경우에 상기 노광 비율보다 적은 값을 상기 단노광 영상의 증폭도로서 설정하는, 증폭도 설정부;를 포함하는 영상 처리 장치.
3. 장노광 영상과 적어도 한 단노광 영상을 포함한 복수의 영상들 중에서 상기 적어도 한 단노광 영상을 증폭도에 따라 증폭함;
   상기 장노광 영상과 증폭된 상기 단노광 영상을 합성함; 및
   상기 단노광 영상에 대한 상기 장노광 영상의 노광 비율보다 적은 값을 상기 증폭도로서 설정함;을 포함하는 영상 처리 방법.

Images