KR101643122B1 - 화상 처리 장치, 화상 처리 방법 및 기록 매체 - Google Patents

Abstract

노출 조건이 서로 다른 제 1 화상 및 제 2 화상이 합성된 합성 화상에 대해 화상 처리를 행하는 화상 처리 장치이다. 이 장치는, 데이터 취득부 및 화상 처리부를 구비한다. 데이터 취득부는 합성 화상, 및 합성 화상의 대상 영역을 나타내는 영역 데이터를 취득한다. 화상 처리부는 영역 데이터에 기초해서, 대상 영역과 대상 영역 이외의 영역에서 서로 다른 화상 처리를 행한다. 여기서, 제 1 화상 및 제 2 화상은 움직임 피사체가 묘화된 영역을 포함하고 있다. 합성 화상은 움직임 피사체가 묘화된 영역에 대해서는, 제 1 화상 및 제 2 화상 중 어느 하나의 화소값을 이용해서 작성되어 있다. 영역 데이터는, 합성 화상에 있어서의 움직임 피사체가 묘화된 영역에 기초해서 생성되는 하나 또는 복수의 영역을 대상 영역으로서 나타낸다.

Description

화상 처리 장치, 화상 처리 방법 및 기록 매체{IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND RECORDING MEDIUM}

본 발명은 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기록 매체에 관한 것이다.

종래, 화상 처리 장치로서, 하이 다이나믹 레인지 합성(HDR(High Dynamic Range) 합성)을 행하는 것이 알려져 있다(특허문헌 1참조). 이 장치는, 서로 다른 노출 조건으로 차례로 촬상된 복수의 화면을 합성함으로써, 영상 신호의 다이나믹 레인지를 외관상 확대시키고 있다. 이로써, 역광시 등에 발생하던 '노출 과다' 또는 '노출 부족'(휘도 레벨이 현저하게 높거나 또는 낮은 부분)을 해소한다. 또한, 이 장치에서는, 손 떨림에 의해 발생하는 복수의 화면간의, 촬상시의 경시적인 위치 어긋남에 대응해서, 복수의 화면 각각의 좌표 변환을 행한 후에 HDR 합성을 행한다. 구체적으로는, 화상의 움직임 정보를 이용해서 2개의 화면의 공통 에어리어 부분을 이용해서 HDR 합성을 행한다. 이로써, 피사체에 대한 화면(촬상 소자)의 위치 어긋남(화면 흔들림)을 해소한다.

한편, 피사체 그 자체가 이동하고 있는 경우에는, 합성된 화상 상에서 물체가 복수로 분리된다고 하는, 이른바 피사체 흔들림의 문제도 있다. 이 때문에, 판독 신호의 출력 타이밍을 변경하거나, 노광 회수, 노광 시간 또는 촬상 소자의 신호 판독 속도를 제어하는 장치가 알려져 있다(특허문헌 2, 3 참조).

일본 특허 제 3110797 호 공보 일본 특허 공개 제 2005-130054 호 공보 일본 특허 공개 제 2005-065119 호 공보

특허문헌 2, 3에 기재된 장치는, 촬상 조건을 고안함으로써 피사체 흔들림을 저감시키는 것이기 때문에, 피사체의 이동 유무에 따라 기기의 동작이나 설정을 변경시킬 필요가 있어, 제어 처리가 복잡화될 우려가 있다.

이 때문에, 입력 화상의 화상 정보만을 이용해서, 피사체 흔들림을 저감시키는 HDR 합성을 행하는 것이 요구되고 있다. 그러나 여러가지 화상 처리를 거쳐서 HDR 화상을 얻게 되기 때문에, 톤 매핑 처리 등의 후공정시에, HDR 합성시의 처리의 영향이 현저하게 되어서, 양질의 화상을 얻을 수 없는 경우가 있다. 이 때문에, 입력 화상의 화상 정보만을 이용해서 피사체 흔들림을 보정한 HDR 합성을 행한 경우에도, 후공정을 적절하게 행할 수 있는 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램 및 상기 화상 처리 프로그램을 저장한 기록 매체가 요구되고 있다.

즉, 본 발명의 일 측면에 따른 화상 처리 장치는, 노출 조건이 서로 다른 제 1 화상 및 제 2 화상이 합성된 합성 화상에 대해 화상 처리를 행하는 화상 처리 장치이다. 이 장치는, 데이터 취득부 및 화상 처리부를 구비한다. 데이터 취득부는 합성 화상, 및 합성 화상의 대상 영역을 나타내는 영역 데이터를 취득한다. 화상 처리부는, 영역 데이터에 기초해서, 대상 영역과 대상 영역 이외의 영역에서 서로 다른 화상 처리를 행한다. 여기서, 제 1 화상 및 제 2 화상은 움직임 피사체가 묘화된 영역을 포함하고 있다. 합성 화상은 움직임 피사체가 묘화된 영역에 대해서는, 제 1 화상 및 제 2 화상 중 어느 하나의 화소값을 이용해서 작성되어 있다. 영역 데이터는, 합성 화상에 있어서의 움직임 피사체가 묘화된 영역에 기초해서 생성되는 하나 또는 복수의 영역을 대상 영역으로서 나타낸다.

이 화상 처리 장치에서는, 합성 화상에 대해 화상 처리를 행할 때, 영역 데이터를 이용해서 움직임 피사체가 묘화된 영역과 그 이외의 영역에서 서로 다른 처리를 행한다. 움직임 피사체가 촬상된 영역은 합성 처리시에 여러가지의 화상 처리가 실시되어 있다. 이 때문에, 화상 전체에 대해 동일한 화상 처리를 실시하는 것이 아니고, 움직임 피사체가 촬상된 영역을 다른 영역과 구별해서 화상 처리를 실시함으로써, 후공정시에 있어서 합성시의 처리의 영향이 현저하게 되는 것을 회피할 수 있다. 따라서, 입력 화상의 화상 정보만을 이용해서 피사체 흔들림을 보정한 합성을 행한 경우에도, 후공정을 적절하게 행하는 것이 가능해진다.

일 실시 형태에 있어서는, 화상 처리 장치는 입력부, 우도 산출부 및 영역 데이터 생성부를 구비해도 된다. 입력부는 제 1 화상 및 제 2 화상을 입력한다. 우도 산출부는 제 1 화상 및 제 2 화상의 차분에 기초해서, 각 화소에 있어서의 움직임 피사체 우도를 산출한다. 영역 데이터 생성부는 움직임 피사체 우도에 기초해서 영역 데이터를 생성한다. 이와 같이 구성함으로써, 입력 화상으로부터 영역 데이터를 생성할 수 있다.

일 실시 형태에 있어서는, 화상 처리 장치는 노출 추정부 및 합성부를 구비해도 된다. 노출 추정부는 움직임 피사체 우도에 기초해서, 제 1 화상과 제 2 화상의 노출 조건을 맞추는 노출 변환 함수를 추정한다. 합성부는 노출 변환 함수를 이용해서 제 1 화상 및 제 2 화상을 합성한다. 이와 같이, 노출을 맞출 때 움직임 피사체 우도가 고려되기 때문에, 예컨대 피사체의 움직임으로 색이 변화되었을 가능성이 있는 영역을 제외하고 노출을 맞출 수 있다. 따라서, 적절한 합성 화상을 생성하는 것이 가능해진다.

일 실시 형태에 있어서는, 화상 처리 장치는 합성 화상 및 영역 데이터를 서로 관련지어서 기록하는 기록부를 가져도 된다. 이와 같이 구성함으로써, 촬상시나 합성시뿐만 아니라, 합성후의 소망의 타이밍에 후공정을 적절하게 행할 수 있다.

일 실시 형태에 있어서는, 영역 데이터는 제 1 화상, 제 2 화상 또는 합성 화상의 크기보다 작은 크기의 데이터이어도 된다. 이와 같이 구성함으로써, 합성 화상에 관련짓는 데이터량을 삭감할 수 있다.

일 실시 형태에 있어서는, 영역 데이터에는, 상기 영역 데이터가 나타내는 대상 영역의 합성시에 이용한 화상의 화소 정보를 특정하는 원(元) 화소 정보가 더 관련지어져 있고, 데이터 취득부는 영역 데이터에 관련된 원 화소 정보를 취득하며, 화상 처리부는 영역 데이터 및 원 화소 정보에 기초해서, 대상 영역과 대상 영역 이외의 영역에서 서로 다른 처리를 행해도 된다.

이와 같이 구성함으로써, 예컨대 노출 과다된 화상 영역을 이용해서 대상 영역이 합성된 것인지, 노출 부족된 화상 영역(또는 화소 정보가 부족한 어두운 영역)을 이용해서 대상 영역이 합성된 것인지를 판단할 수 있기 때문에, 원 화소 정보에 의해서 처리를 변경함으로써 후공정을 보다 적절하게 행하는 것이 가능해진다.

일 실시 형태에 있어서는, 화상 처리부는 대상 영역과 대상 영역 이외의 영역에서 서로 다른 톤 매핑 처리를 행해도 된다. 이와 같이, 톤 매핑 처리를 영역마다 서로 다른 처리로 행함으로써 대상 영역에 노이즈가 많이 발생하거나, 대상 영역의 색이 부자연스럽게 되는 것을 회피할 수 있다.

본 발명의 다른 측면에 따른 화상 처리 방법은 노출 조건이 서로 다른 제 1 화상 및 제 2 화상이 합성된 합성 화상에 대해 화상 처리를 행하는 화상 처리 방법이다. 이 방법은 데이터 취득 단계 및 화상 처리 단계를 구비한다. 데이터 취득 단계에서는 합성 화상, 및 합성 화상의 대상 영역을 나타내는 영역 데이터를 취득한다. 화상 처리 단계에서는, 영역 데이터에 기초해서, 대상 영역과 대상 영역 이외의 영역에서 서로 다른 화상 처리를 행한다. 여기서, 제 1 화상 및 제 2 화상은 움직임 피사체가 묘화된 영역을 포함하고 있다. 합성 화상은, 움직임 피사체가 묘화된 영역에 대해서는, 제 1 화상 및 제 2 화상 중 어느 하나의 화소값을 이용해서 작성되어 있다. 영역 데이터는, 합성 화상에 있어서의 움직임 피사체가 묘화된 영역에 기초해서 생성되는 하나 또는 복수의 영역을 대상 영역으로서 나타낸다.

본 발명의 또 다른 측면에 따른 화상 처리 프로그램은 노출 조건이 서로 다른 제 1 화상 및 제 2 화상이 합성된 합성 화상에 대해 화상 처리를 행하도록 컴퓨터를 동작시키는 화상 처리 프로그램이다. 상기 프로그램은 컴퓨터를 데이터 취득부 및 화상 처리부로서 동작시킨다. 데이터 취득부는 합성 화상, 및 합성 화상의 대상 영역을 나타내는 영역 데이터를 취득한다. 화상 처리부는, 영역 데이터에 기초해서, 대상 영역과 대상 영역 이외의 영역에서 서로 다른 화상 처리를 행한다. 여기서, 제 1 화상 및 제 2 화상은 움직임 피사체가 묘화된 영역을 포함하고 있다. 합성 화상은 움직임 피사체가 묘화된 영역에 대해서는, 제 1 화상 및 제 2 화상 중 어느 하나의 화소값을 이용해서 작성되어 있다. 영역 데이터는, 합성 화상에 있어서의 움직임 피사체가 묘화된 영역에 기초해서 생성되는 하나 또는 복수의 영역을 대상 영역으로서 나타낸다.

본 발명의 또 다른 측면에 따른 기록 매체는, 노출 조건이 서로 다른 제 1 화상 및 제 2 화상이 합성된 합성 화상에 대해 화상 처리를 행하도록 컴퓨터를 동작시키는 화상 처리 프로그램을 기록한 기록 매체이다. 상기 프로그램은 컴퓨터를 데이터 취득부 및 화상 처리부로서 동작시킨다. 데이터 취득부는 합성 화상, 및 합성 화상의 대상 영역을 나타내는 영역 데이터를 취득한다. 화상 처리부는, 영역 데이터에 기초해서, 대상 영역과 대상 영역 이외의 영역에서 서로 다른 화상 처리를 행한다. 여기서, 제 1 화상 및 제 2 화상은 움직임 피사체가 묘화된 영역을 포함하고 있다. 합성 화상은 움직임 피사체가 묘화된 영역에 대해서는, 제 1 화상 및 제 2 화상 중 어느 하나의 화소값을 이용해서 작성되어 있다. 영역 데이터는, 합성 화상에 있어서의 움직임 피사체가 묘화된 영역에 기초해서 생성되는 하나 또는 복수의 영역을 대상 영역으로서 나타낸다.

본 발명의 다른 측면에 따른 화상 처리 방법, 화상 처리 프로그램 및 기록 매체에 의하면, 상술한 화상 처리 장치와 같은 효과를 낸다.

본 발명의 여러가지의 측면 및 실시 형태에 의하면, 입력 화상의 화상 정보만을 이용해서 피사체 흔들림을 보정한 HDR 합성을 행한 경우에도, 후공정을 적절하게 행할 수 있는 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램 및 상기 화상 처리 프로그램을 저장한 기록 매체가 제공된다.

도 1은 일 실시 형태에 따른 화상 처리 장치를 탑재한 휴대 단말의 기능 블도,
도 2는, 도 1의 화상 처리 장치가 탑재되는 휴대 단말의 하드웨어 구성도,
도 3은, 도 1에 나타내는 화상 처리 장치의 전처리 동작을 나타내는 흐름도,
도 4는 움직임 검출을 설명하는 개요도,
도 5는 차분 화상을 설명하는 개요도,
도 6은 다중 해상도를 이용해서 차분 화상을 도출하는 예를 설명하는 개요도,
도 7은 노출 변환 함수의 일례를 나타내는 그래프,
도 8은 휘도 변환 함수를 설명하는 개요도,
도 9는, 도 1에 나타내는 화상 처리 장치의 합성 동작을 나타내는 흐름도,
도 10은 합성 처리의 흐름을 설명하는 개요도,
도 11은 합성 마스크를 설명하는 개요도로, (a)는 노출 변환 함수의 일례를 나타내는 그래프이고, (b)는 노출 변환 함수끼리를 서로 연결할 때의 가중치의 일례를 나타내는 그래프,
도 12는 휘도 베이스 마스크를 설명하는 개요도로, (a)는 입력 화상의 일례이고, (b)는 휘도 베이스 마스크의 일례,
도 13은 차분 화상의 피사체 흔들림 영역의 라벨링을 설명하는 개요도로, (a)는 차분 화상의 일례이고, (b)는 라벨링한 차분 화상의 일례,
도 14는 피사체 흔들림 마스크의 생성 처리의 흐름을 설명하는 개요도,
도 15는 합성 마스크의 생성 처리의 흐름을 설명하는 개요도,
도 16은 일 실시 형태에 따른 화상 처리 장치를 탑재한 휴대 단말의 기능 블도,
도 17은, 도 16에 나타내는 화상 처리 장치의 영역 데이터 동작을 나타내는 흐름도,
도 18은 영역 데이터의 일례,
도 19는, 도 16에 나타내는 화상 처리 장치의 톤 매핑 동작을 나타내는 흐름도,
도 20은 움직임 피사체가 촬상된 입력 화상이며, 노출 부족 영역을 포함하는 입력 화상의 일례로, (a), (b)는 각각 서로 다른 노출 조건으로 촬상된 화상,
도 21은, 도 20에 나타내는 2개의 입력 화상으로부터 생성된 HDR 화상 전체에 대해 톤 매핑 처리를 행한 비교예 1로, (a)는 톤 매핑 처리후의 화상이고, (b)는 (a)에 있어서의 움직임 피사체 영역을 설명하는 화상,
도 22는, 도 21의 (b)에 나타내는 비교예 1의 움직임 피사체 영역의 일부 확대도,
도 23은, 도 20에 나타내는 2개의 입력 화상으로부터 생성된 HDR 화상에 대해, 톤 매핑 처리를 행함과 아울러, 움직임 피사체 영역에 대해 노이즈 제거 필터를 적용한 실시예 1로, (a)는 노이즈 제거 필터를 적용한 화상이고, (b)는 (a)에 있어서의 움직임 피사체 영역을 설명하는 화상,
도 24는, 도 23의 (b)에 나타내는 실시예 1의 움직임 피사체 영역의 일부 확대도,
도 25는 움직임 피사체가 촬상된 입력 화상이며, 노출 과다 영역을 포함하는 입력 화상의 일례로, (a), (b)는 각각 서로 다른 노출 조건으로 촬상된 화상,
도 26은, 도 25에 나타내는 2개의 입력 화상으로부터 생성된 HDR 화상 전체에 대해 톤 매핑 처리를 행한 비교예 2로, (a)는 톤 매핑 처리후의 화상이고, (b)는, (a)에 있어서의 움직임 피사체 영역을 설명하는 화상,
도 27은, 도 25에 나타내는 2개의 입력 화상으로부터 생성된 HDR 화상에 대해 영역마다 서로 다른 톤 매핑 처리를 행한 실시예 2로, (a)는 영역마다 서로 다른 톤 매핑 처리를 행한 화상이고, (b)는 (a)에 있어서의 움직임 피사체 영역을 설명하는 화상이다.

이하, 첨부 도면을 참조해서 본 발명의 실시 형태에 대해서 설명한다. 한편, 각 도면에 있어서 동일 또는 상당 부분에는 동일한 부호를 붙이고, 중복하는 설명을 생략한다.

(제 1 실시 형태)

본 실시 형태에 따른 화상 처리 장치는, 노출 조건이 서로 다른 복수의 화상을 합성해서 하나의 합성 화상을 생성하는 장치이다. 이 화상 처리 장치는, 예컨대 서로 다른 노출 조건으로 차례로 촬상된 복수의 화상을 합성해서, 영상 신호의 다이나믹 레인지를 외관상 확대시키는 HDR 합성을 행하는 경우에 채용된다. 본 실시 형태에 따른 화상 처리 장치는 예컨대, 휴대 전화, 디지털 카메라, PDA(Personal Digital Assistant) 등, 리소스에 제한이 있는 모바일 단말에 적합하게 탑재되는 것이지만, 이들로 한정되는 것이 아니며, 예컨대 통상의 컴퓨터 시스템에 탑재되어도 된다. 한편, 이하에서는, 설명 이해의 용이성을 고려해서 본 발명에 따른 화상 처리 장치의 일례로서, 카메라 기능을 구비한 휴대 단말에 탑재되는 화상 처리 장치를 설명한다.

도 1은 본 실시 형태에 따른 화상 처리 장치(1)를 구비하는 휴대 단말(2)의 기능 블록도이다. 도 1에 나타내는 휴대 단말(2)은 예컨대, 유저에 의해 휴대되는 이동 단말로, 도 2에 나타내는 하드웨어 구성을 갖는다. 도 2는 휴대 단말(2)의 하드웨어 구성도이다. 도 2에 나타낸 바와 같이, 휴대 단말(2)은 물리적으로는, CPU(Central Processing Unit)(100), ROM(Read Only Memory)(101) 및 RAM(Random AccesSMemory)(102) 등의 주기억 장치, 카메라 또는 키보드 등의 입력 디바이스(103), 디스플레이 등의 출력 디바이스(104), 하드디스크 등의 보조 기억 장치(105) 등을 포함하는 통상의 컴퓨터 시스템으로서 구성된다. 후술하는 휴대 단말(2) 및 화상 처리 장치(1)의 각 기능은 CPU(100), ROM(101), RAM(102) 등의 하드웨어 상에, 소정의 컴퓨터 소프트웨어를 판독하게 함으로써, CPU(100)의 제어를 토대로 입력 디바이스(103) 및 출력 디바이스(104)를 동작시킴과 아울러, 주기억 장치나 보조 기억 장치(105)에 있어서의 데이터의 판독 및 기입을 행함으로써 실현된다. 한편, 상기 설명은 휴대 단말(2)의 하드웨어 구성으로서 설명했지만, 화상 처리 장치(1)가 CPU(100), ROM(101) 및 RAM(102) 등의 주기억 장치, 입력 디바이스(103), 출력 디바이스(104), 보조 기억 장치(105) 등을 포함하는 통상의 컴퓨터 시스템으로서 구성되어도 된다. 또한, 휴대 단말(2)은 통신 모듈 등을 구비해도 된다.

도 1에 나타낸 바와 같이, 휴대 단말(2)은 카메라(20), 화상 처리 장치(1) 및 표시부(21)를 구비하고 있다. 카메라(20)는 화상을 촬상하는 기능을 갖고 있다. 카메라(20)로서, 예컨대 CMOS의 화소 센서 등이 사용된다. 카메라(20)는, 예컨대 유저 조작 등에 의해 지정된 타이밍부터 소정 간격으로 반복 촬상하는 연속 촬상 기능을 갖고 있다. 즉, 카메라(20)는 한 장의 정지 화상뿐만 아니라 복수장의 정지 화상(연속하는 프레임 화상)을 취득하는 기능을 갖고 있다. 또한, 카메라(20)는, 연속하는 각 프레임 화상의 노출 조건을 변경해서 촬상하는 기능을 갖고 있다. 즉, 카메라(20)에 의해서 연속 촬상된 각 화상은 각각 노출 조건이 서로 다른 화상이 된다. 카메라(20)는, 예컨대 촬상된 프레임 화상을 촬상할 때마다 화상 처리 장치(1)로 출력하는 기능을 갖고 있다.

화상 처리 장치(1)는, 화상 입력부(10), 전처리부(11), 움직임 보정부(15) 및 합성부(16)를 구비하고 있다.

화상 입력부(10)는, 카메라(20)에 의해 촬상된 프레임 화상을 입력하는 기능을 갖고 있다. 화상 입력부(10)는, 예컨대 카메라(20)에 의해 촬상된 프레임 화상을 촬상할 때마다 입력하는 기능을 갖고 있다. 또한, 화상 입력부(10)는, 입력 프레임 화상을, 휴대 단말(2)에 구비된 기억 장치에 저장하는 기능을 갖고 있다.

전처리부(11)는 HDR 합성전의 전처리를 행한다. 전처리부(11)는 움직임 정보 취득부(12), 우도 산출부(13) 및 노출 추정부(14)를 구비하고 있다.

움직임 정보 취득부(12)는, 화상간의 화소의 움직임 정보를 취득하는 기능을 갖고 있다. 예컨대, 입력 프레임 화상을 제 1 화상 및 제 2 화상이라고 하면, 제 1 화상 및 제 2 화상 사이의 화소의 움직임 정보를 취득한다. 움직임 정보로서는, 예컨대 움직임 벡터가 사용된다. 또한, 움직임 정보 취득부(12)는, 3개 이상의 입력 화상이 화상 입력부(10)에 의해 입력된 경우에는, 입력 화상을 노출 순서로 소팅해서, 노출 조건이 가까운 입력 화상 사이에서 움직임 정보를 취득해도 된다. 노출 조건이 가까운 화상끼리를 비교해서 움직임을 검출함으로써 화상간의 노출의 차이에 의해서 움직임의 검출 정밀도가 저하되는 것을 회피할 수 있다. 그리고, 움직임 정보 취득부(12)는, 복수의 입력 화상 중에서, 움직임 정보를 맞추는 기준 화상을 선택해도 된다. 기준 화상으로서는, 예컨대 복수의 입력 화상 중에서 가장 유효 화소가 많은 화상을 채용한다. 여기서, 유효 화소란, 노출 부족 또는 노출 과다되지 않은 화소이다. 노출 부족 또는 노출 과다는, 휘도값을 기준으로 해서 판정된다. 또한, 움직임 정보 취득부(12)는, 2개의 입력 화상을 이용해서 움직임 정보를 취득하는 경우에는, 2개의 입력 화상 중 노출이 높은 입력 화상으로부터 특징점을 추출하고, 이에 대한 대응점을 노출이 낮은 화상으로부터 구해도 된다. 이와 같이 동작함으로써, 노출이 낮은 화상에 있어서는 특징점으로서 추출된 점이 노출이 높은 화상에서는 노출 과다가 되어서 움직임 정보를 취득할 수 없는 것을 회피할 수 있다. 한편, 자이로 센서 등으로부터 움직임 정보를 취득해도 된다. 움직임 정보 취득부(12)는 움직임 정보를 우도 산출부(13)에 출력하는 기능을 갖고 있다.

우도 산출부(13)는, 각 화소에 있어서의 피사체의 움직임의 우도(움직임 피사체 우도)를 산출하는 기능을 갖고 있다. 움직임 피사체 우도가 클수록, 피사체에 움직임이 있을 가능성이 높고, 합성 화상이 흔들리는 영역이 될 가능성이 높다는 것을 의미한다. 우도 산출부(13)는 움직임 정보를 이용해서 입력 화상간의 화면의 움직임을 보정한다. 그 후, 우도 산출부(13)는 2개의 입력 화상에 있어서 대응하는 화소의 화소값을 정규화한다. 예컨대, 우도 산출부(13)는, 근방 화소의 화소값에 기초해서 LTP(Local Ternary Patterns)를 구한다. 화소값으로서는, RGB 3색이 사용되고, 근방 화소로서는 24 근방이 사용된다. 그리고, 우도 산출부(13)는 정규화된 화상간의 차분을 이용해서 움직임 피사체 우도를 산출한다. 예컨대, 정규화된 화소값의 차분, 즉 주목 화소의 LTP에서의 부호의 불일치 비율을, 주목 화소의 움직임 피사체 우도로서 산출한다.

또한, 우도 산출부(13)는 2개의 입력 화상을 다중 해상도화해서 움직임 피사체 우도를 산출해도 된다. 예컨대, 우도 산출부(13)는 각 입력 화상(제 1 화상 및 제 2 화상)의 해상도를 각각 단계적으로 변경함으로써, 해상도가 다른 복수의 화상(제 1 처리 화상 및 제 2 처리 화상)을 작성한다. 그리고, 우도 산출부(13)는 동일 해상도에서, 제 1 처리 화상 및 제 2 처리 화상의 차분 화상을 작성한다. 이 차분 화상이란, 제 1 처리 화상과 제 2 처리 화상의 차분으로, 구체적으로는 화소값의 차분이다. 그리고, 우도 산출부(13)는 해상도마다 획득한 차분 화상에 가중치를 부여함으로써 각 화소의 움직임 피사체 우도를 산출한다. 가중치(신뢰도)로서는, 각 화소의 LTP에서의 부호의 불일치 비율이 사용된다. 예컨대, LTP에서, 유의에 차이가 있는 페어의 수가 사용된다. 또한, 가중치는 제 1 처리 화상 또는 제 2 처리 화상의 화상 크기 또는 해상도에 따라서 더 가중치를 부여해도 된다. 즉, 화상 크기가 클수록 또는 해상도가 클수록, 가중치를 크게 해도 된다. 우도 산출부(13)는 각 화소의 움직임 피사체 우도를 노출 추정부(14)로 출력하는 기능을 갖고 있다.

노출 추정부(14)는 입력 화상간의 노출 조건을 맞추는 노출 변환 함수를 추정하는 기능을 갖고 있다. 노출 변환 함수란, 각 입력 화상의 노출을 기준 화상에 상당해서 노출 변환하기 위한 함수이다. 예컨대, 노출 변환 함수는 서로 다른 노출 조건으로 촬영된 동일 장면(scene)의 화상에 대해서, 대응하는 화소(위치)에서의 화소값의 관계를 나타내는 함수를 의미하는 것이다. 노출 변환 함수를 이용함으로써, 한쪽 화소값을 인수로 하면, 대응하는 화소에서의 다른쪽 화소값을 산출할 수 있다. 노출 추정부(14)는 3 이상의 입력 화상이 입력된 경우에는 노출 조건이 가까운 입력 화상간에 노출 조건을 맞춰도 된다. 노출 조건이 가까운 화상끼리를 비교해서 노출을 맞춤으로써, 화상간의 노출의 차이에 의해서 추정의 정밀도가 저하되는 것을 회피할 수 있다.

노출 추정부(14)는, 예컨대 움직임 정보를 이용해서 입력 화면간의 움직임을 보정한다. 그리고, 움직임 보정후의 2개의 입력 화상에 있어서, 동일 개소에서 휘도값을 세트로 해서 샘플링해서, 그 관계를 플롯한다. 입력 화상의 좌표로서는 예컨대, Halton 수열이 이용된다. 한편, 노출 추정부(14)는, 소정의 값 이상의 휘도값이나 소정의 값 이하의 휘도값을 샘플링점으로서 채용하지 않아도 된다. 예컨대, 10~245의 범위에 포함되는 휘도값을 샘플링점으로서 채용한다. 노출 추정부(14)는, 예컨대 플롯 결과를 피팅함으로써 노출 변환 함수를 추정한다. 예컨대, 제 1 화상의 샘플링점 i에서의 원래의 휘도값을 K_i, 노출 변환 함수를 f(K_i), 제 2 화상의 샘플링점 i에서의 원래의 휘도값을 U_i라고 한 경우, 이하의 오차 함수 e를 이용해서, Gauss-Newton 법에 의해 피팅해도 된다.

한편, 노출 추정부(14)는 각 화소의 움직임 피사체 우도에 기초해서, 노출 변환 함수를 도출하기 위한 샘플링을 행한다. 노출 추정부(14)는 예컨대, 각 화소의 움직임 피사체 우도에 기초해서 샘플링점을 선택한다. 예컨대, 노출 추정부(14)는 단계적으로 임계값을 마련하고, 움직임 피사체 우도가 작은 화소부터 휘도값을 샘플링한다. 또한, 노출 추정부(14)는 움직임 피사체 우도에 기초해서, 샘플링점에 가중치를 부여해도 된다. 예컨대, 이하의 오차 함수 e를 최소화시켜서 피팅해도 된다.

식 2에 있어서, w_i는 가중치이다. 여기서, 움직임 피사체 우도가 높은 화소일수록, 가중치 w_i를 작게 설정한다. 이와 같이, 노출 추정부(14)가 각 화소의 움직임 피사체 우도에 기초해서 노출 변환 함수를 산출함으로써, 신뢰도가 낮은 샘플링점의 데이터일수록 노출 변환 함수의 도출에 영향을 미치지 않게 할 수 있다. 한편, 노출 변환 함수는 변환후의 입력 화상이 표현 가능한 범위에 들어가도록 변경되어도 된다.

움직임 보정부(15)는 움직임 정보를 이용해서 입력 화면간의 움직임을 보정하는 기능을 갖고 있다. 합성부(16)는, 합성 마스크를 이용해서 입력 화상끼리 또는, 이미 합성된 화상과 입력 화상을 합성한다. 합성 마스크는, 화상끼리를 합성(α블렌드)할 때의 합성비(가중치)를 영상화한 것이다. 합성부(16)는 3 이상의 입력 화상이 있는 경우에는, 우선 합성 마스크에 따라서 2개의 입력 화상을 합성하고, 합성 화상과 나머지 입력 화상의 합성 마스크를 생성해서 합성을 행한다. 합성부(16)는, 휘도 베이스 마스크 및 피사체 흔들림 마스크를 결합해서 합성 마스크를 생성한다. 휘도 베이스 마스크는 화상끼리를 합성할 때의 가중치를 휘도값에 따라 결정함으로써, 노출 과다나 노출 부족인 영역을 합성에 이용하는 것을 회피하기 위한 마스크이다. 피사체 흔들림 마스크는, 피사체가 이동하는 화상을 합성했을 때, 피사체가 2중 3중으로 겹쳐서 표시되는 현상(고스트 현상)을 회피하기 위한 마스크이다.

합성부(16)는 입력 화상의 원래의 휘도값에 기초해서 가중치를 산출해서, 휘도 베이스 마스크를 생성한다. 가중치는, 예컨대 이하의 산출식으로 구한다.

상기 산출식에 의해, 가중치가 적절히 결정됨과 아울러, 휘도적인 불연속성이 경감된다. 한편, 공간적인 불연속성을 경감하기 위해서, 합성 마스크에 대해 블러링 처리를 실시해도 된다.

합성부(16)는 입력 화상간의 차분에 기초해서 가중치를 산출하여, 피사체 흔들림 마스크를 생성한다. 합성부(16)는 입력 화상간의 화소값의 차분으로부터, 움직임 피사체 우도를 산출한다. 입력 화상간의 화소값의 차분 및 움직임 피사체 우도에 대해서는, 상술한 우도 산출부(13)와 마찬가지로 동작함으로써 얻을 수 있다. 그리고, 우도 산출부(13)는, 움직임 피사체 우도가 소정의 임계값 이하가 되는 화소가 인접하는 피사체 흔들림 영역을 검출하고, 각 피사체 흔들림 영역에 대해 식별 라벨을 부여하여, 피사체 흔들림 영역마다 피사체 흔들림 마스크를 생성한다. 한편, 소정의 임계값은, 요구 사양에 따라 적절하게 변경 가능하다. 임계값을 크게 설정하면, 연속 영역을 추출하기 쉽게 할 수 있다. 피사체 흔들림 영역마다 마스크를 생성함으로써 피사체 흔들림 영역마다 노출 과다 영역 또는 노출 부족 영역을 회피하도록 정보량이 많은 화상부터 화소를 선택할 수 있다. 즉, 이 피사체 흔들림 마스크로서는, 합성하는 화상끼리 중에서 강제적으로 휘도값이 낮은 화소값을 선택시키는 lo_mask(제 1 마스크), 또는 합성하는 화상끼리 중에서 강제적으로 휘도값이 높은 화소값을 선택시키는 hi_mask(제 2 마스크)가 존재한다. 합성부(16)는 기본적으로는, 정보량이 많은 고노출의 화상부터 화소값을 선택시키는 제 2 마스크를 생성한다. 그러나 합성부(16)는 고노출의 화상에 있어서 피사체 흔들림 영역이 노출 과다 영역의 영향을 받는 경우에는, 제 1 마스크를 생성한다. 구체적으로는, 이하의 어느 한 조건을 만족시키는 경우에는 제 1 마스크를 생성한다. 제 1 조건으로서는, 합성하는 2개의 화상 중, 고노출의 화상의 노출 과다의 면적이 저노출의 화상의 노출 부족 영역의 면적보다 큰 경우이다. 제 2 조건으로서는, 합성하는 2개의 화상중 고노출의 화상에 있어서, 피사체 흔들림 영역내의 노출 과다 영역의 면적이 10% 이상인 경우이다. 한편, 합성하는 2개의 화상 중 고노출의 화상에 있어서, 피사체 흔들림 영역과 인접하는 영역이 노출 과다 영역인 경우를 조건으로 해도 된다.

합성부(16)는 휘도 베이스 마스크 및 피사체 흔들림 마스크를 결합시켜서 합성 마스크를 생성한다. 예컨대, 합성부(16)는, 휘도 베이스 마스크에 대해, 제 1 마스크를 반전시킨 마스크를 승산한다. 또한, 합성부(16)는, 휘도 베이스 마스크에 대해, 제 2 마스크를 가산한다. 합성부(16)는 모든 입력 화상을 합성하여, 최종적인 합성 화상을 표시부(21)에 출력한다. 표시부(21)는, 합성 화상을 표시한다. 표시부(21)로서 예컨대, 디스플레이 장치가 이용된다.

다음으로 화상 처리 장치(1)의 동작을 설명한다. 도 3은 HDR 합성의 전처리를 설명하는 흐름도이다. 도 3에 나타내는 제어 처리는, 예컨대 유저에 의해서 HDR 합성 모드가 선택되고, 카메라(20)가 복수의 화상을 연속 촬상한 경우에 개시된다.

우선, 화상 입력부(10)가 화상 프레임을 입력한다(S10). 이하에서는, 설명이해의 용이성을 고려해서, 5개의 입력 화상 I₀~I₄를 입력한 것으로 해서 설명한다. S10의 처리가 종료되면, 노출순 소트 처리로 이행한다(S12).

S12의 처리에서는, 움직임 정보 취득부(12)가 입력 화상 I₀~I₄를 노출순으 소트한다. 움직임 정보 취득부(12)는, 예컨대 휘도값의 평균값을 이용해서 소트한다. 여기서는, 입력 화상 I₀~I₄의 숫자가 작을수록 휘도값이 작은 것으로 한다. 이 경우, 입력 화상 I₀~I₄는, 숫자의 순으로 소트된다. S12의 처리가 종료되면, 움직임 정보 취득 처리로 이행한다(S14).

S14의 처리에서는, 움직임 정보 취득부(12)가 입력 화상 I₀~I₄ 각각의 화상간의 움직임 정보를 취득한다. 도 4는 움직임 정보의 취득 처리를 설명하는 개요도이다. 도 4에 나타낸 바와 같이, 입력 화상 I₀~I₄가 왼쪽부터 오른쪽을 향해서 차례로 평균 휘도값이 커지도록 나열되어 있는 것으로 한다. 우선, 움직임 정보 취득부(12)는, 입력 화상 I₀~I₄ 중에서 기준 화상을 설정한다. 여기서는, 입력 화상 I₂를 기준 화상으로 한다. 다음으로 노출 조건이 가까운 입력 화상끼리의 움직임 정보를 취득한다(예컨대, 입력 화상 I₀과 입력 화상 I₁, 입력 화상 I₁과 입력 화상 I₂ 등). 움직임 정보 취득부(12)는 2개의 입력 화상 중, 노출이 높은 입력 화상에서 특징점을 추출하고, 추출된 특징점에 대한 대응점을 노출이 낮은 입력 화상으로부터 추출한다. 이 움직임 정보에 의해서, 노출 조건이 가까운 입력 화상끼리를 동일 차원의 좌표로 변환하는 변환 행렬을 구할 수 있다. 한편, 도 4에서는, 노출 조건이 가까운 입력 화상끼리 중, 노출이 낮은 화상을 노출이 높은 화상에 맞추기 위한 변환 행렬 m10, m21, m32, m43을 나타내고 있다. 다음으로 변환 행렬 m10, m21, m32, m43을 이용해서, 기준 화상 I₂ 이외의 다른 입력 화상 I₀, I₁, I₃, I₄의 좌표를 기준 화상 I₂ 상당의 좌표로 변형시키는 변환 행렬을 산출한다. 도 4에 나타낸 바와 같이, 입력 화상 I₀를 기준 화상 I₂로 변환시키는 변환 행렬은 m10*m21이다. 입력 화상 I₁를 기준 화상 I₂로 변환시키는 변환 행렬은 m10이다. 입력 화상 I₃를 기준 화상 I₂로 변환시키는 변환 행렬은 (m32)^{- 1}이다. 입력 화상 I₄를 기준 화상 I₂로 변환시키는 변환 행렬은 (m32*m43)^{- 1}이다. 이하에서는 변환 후의 입력 화상을 I_0'~I_4'로서 설명한다. S14의 처리가 종료되면, 움직임 피사체 우도 산출 처리로 이행한다(S16).

S16의 처리에서는, 우도 산출부(13)가 입력 화상 I_0'~I_4' 각각의 화상간의 움직임 피사체 우도를 산출한다. 도 5는 입력 화상 I_0'과 입력 화상 I_1'의 화상 사이에 있어서의 움직임 피사체 우도를 산출하는 예이다. 한편, 도 5에서는, 화소값으로서 R값을 이용하는 경우를 나타내고 있다. 도 5에 나타낸 바와 같이, 우도 산출부(13)는 입력 화상 I_0'의 주목 화소(R값=42)의 8 근방의 화소값(R값)을 취득한다. 그리고, 주목 화소의 화소값과 8 근방의 화소값을 이용해서 정규화한다. 예컨대, LTP를 이용한다. 주목 화소의 화소값과 8 근방의 화소값의 차이가 ±5의 범위이면 0, +5보다 큰 경우에는 1, -5보다 작은 경우에는 -1로 한다. 우도 산출부(13)는 입력 화상 I_1'에 대해서도 마찬가지로 정규화한다. 도면 중에서는, 입력 화상 I_0'의 주목 화소에 대응하는 입력 화상 I_1'의 화소에서 정규화하고 있다. 다음으로 정규화된 화소의 화소값을 비교하면, 차분이 발생했다는 것을 알 수 있다. 차분의 크기(부호의 불일치 정도)에 따라 해당 화소의 색을 흑에서 백으로 변화시킨 화상으로서 나타낸 것이 차분 화상 X이다. 이 차분 화상은 각 화소의 움직임 피사체 우도가 영상화된 것이다. 한편, 8 근방으로 한정되는 것이 아니고, 24 근방이어도 된다. 또한, R값만으로 한정되지 않고 G값 및 B값에 대해서도 마찬가지로 처리해도 된다.

차분 화상 X의 영역 C₁에 나타내는 평활 영역의 움직임 피사체 우도의 정밀도를 향상시키기 위해서, 우도 산출부(13)는, 다중 해상도를 이용해서 움직임 피사체 우도를 구해도 된다. 도 6은 다중 해상도를 이용해서 움직임 피사체 우도를 구하는 일례이다. 우선, 우도 산출부(13)는 입력 화상 I_0'과 입력 화상 I_1'의 해상도를 단계적으로 변경시킨 복수의 화상을 생성한다. 그리고, 동일의 해상도끼리에서 차분 화상을 생성한다. 이 차분 화상은 단순히 화소값을 뺀 것이다. 도 6에서는 입력 화상 I_0'과 입력 화상 I_1'를 6단계로 다중화한 경우를 나타내고 있다. 각각의 차분 화상이 X₁~X₆이며, 숫자가 커질수록 낮은 해상도의 차분 화상이 된다. 또한, 해상도가 낮을수록 화상 크기가 작아진다. 이 차분 화상을 신뢰도로 가중치 부여해서 최종적인 차분 화상을 산출한다. 신뢰도는, 예컨대 상술한 LTP의 차분에 있어서, 의미가 있는 차이가 있는 페어의 수에 화상 크기(또는 해상도)를 승산한 것을 이용한다. 예컨대, 도 5에 나타내는 LTP의 경우에는 의미가 있는 차이가 있는 페어의 수는 1이 된다. 이와 같이, 화소마다 페어의 수와 화상 크기를 곱하여, 차분 화상 X₁~X₆에 대응하는 가중치 화상(가중치를 영상화한 것)을 산출한다. 그리고, 차분 화상 X₁~X₆와 가중치 화상을 이용해서 최종적인 차분 화상을 산출한다. 우도 산출부(13)는 상술한 수법과 같은 수법으로, 입력 화상 I_1'~I_4'까지의 차분 화상을 산출한다. S16의 처리가 종료되면, 노출 변환 함수 추정 처리로 이행한다(S18).

S18의 처리에서는, 노출 추정부(14)가 노출 변환 함수를 추정한다. 노출 추정부(14)는 변환 이전의 휘도값을 x, 변환 이후의 휘도값을 y라고 하면, 노출 변환 함수를 이하의 수식으로 나타낼 수 있다.

여기서, (a, b)는 노출 변환 파라미터이다. 노출 변환 파라미터(a, b)를 도출함으로써 노출 변환 함수를 구할 수 있다. 이하에서는, 움직임 보정후의 입력 화상 I_0'과 입력 화상 I_1'의 노출 변환 함수를 구하는 경우를 설명한다. 노출 추정부(14)는, 입력 화상의 점(x, y)에 있어서, 노출이 낮은 입력 화상 I_0'의 휘도값과 노출이 낮은 입력 화상 I_1'의 휘도값의 세트를 몇 개 샘플링하여, 그 관계를 플롯한다. 여기서, S16의 처리로 취득한 차분 화상에 기초해서, 샘플링하는 점을 선택한다. 예컨대, 움직임 피사체 우도가 높은 영역에서는 샘플링하지 않도록 설정한다. 즉 움직임 피사체 우도가 낮은 것부터 샘플링하도록 설정한다. 그리고, 예컨대 움직임 피사체 우도가 높을수록 낮은 가중치를 할당하고, 식 2를 이용해서 노출 변환 함수를 추정한다. 이로써, 예컨대 도 7에 나타내는 것 같은 피팅이 행해진다. 우도 산출부(13)는 상술한 수법과 같은 수법으로, 입력 화상 I_1'~I_4' 사이의 노출 변환 함수를 추정한다. 한편, 휘도값이 0에 가까운 데이터 또는 255에 가까운 데이터를 제외해도 된다.

도 8은 상기의 노출 변환 함수의 추정 처리를 설명하는 개요도이다. 한편, 도 8에서는, 노출 조건이 가까운 입력 화상끼리 중, 노출이 낮은 화상을 노출이 높은 화상에 맞추기 위한 노출 변환 파라미터(a10, b10), (a21, b21), (a32, b32), (a43, b43)를 나타내고 있다. 최종적인 합성 화상이 표현 가능한 범위에 들어가도록, 가장 노출이 낮은 입력 화상 I_0'의 노출 변환 파라미터(A₀, B₀)의 A₀를 1.0으로 설정함으로써, 변환 결과가 1.0을 넘지 않게 해도 된다. 여기서는, 입력 화상 I_0'의 노출 변환후의 화상을, 입력 화상 I_0"로서 표시하고 있다. 또한, 가장 노출이 낮은 입력 화상 I_0'에 대한 기준 화상 I_2'의 노출 변환 파라미터를 (A₂, B₂)라고 하면, A ₀을 1.0으로 설정하는 동시에 B₂를 1.0으로 함으로써 게인이 1/A₂일 때 색미가 입력 화상과 같게 되도록 설정해도 된다. 우도 산출부(13)는 상술한 처리를 RGB 채널마다 따로따로 행한다. S18의 처리가 종료되면 도 3에 도시한 전처리를 종료한다.

이상으로, 도 3에 나타내는 제어 처리를 종료한다. 도 3에 나타내는 제어 처리를 실행함으로써, 노출 변환 함수를 추정하기 전에, 피사체 흔들림을 검출하는 것으로, 피사체 흔들림 영역에서 샘플링하는 것을 회피하거나, 피사체 흔들림 영역에서 샘플링된 데이터의 영향을 가중치 부여에 의해 작게 할 수 있다. 이 때문에, 노출 변환 함수를 정밀도 좋게 추정할 수 있다. 또한, 종래의 HDR 기술에서는, 피사체 흔들림의 보정은, 노출이 맞춰있지 않다면 정확하게 행할 수 없고, 또한 반대로 노출은, 피사체 흔들림의 수정이 행해지지 않았다면 정확하게 맞출 수 없다. 그러나, 노출 변환 함수를 추정하기 전에 간이적으로 피사체 흔들림(피사체의 움직임)을 검출함으로써, 상기 데드록 관계를 해소할 수 있다.

다음으로 화상 처리 장치(1)의 합성 동작을 설명한다. 도 9는 HDR 합성을 설명하는 흐름도이다. 도 9에 나타내는 제어 처리는 예컨대, 도 3에 나타내는 제어 처리가 종료되면 개시된다.

도 9에 나타낸 바와 같이, 움직임 보정부(15)가 실제로 움직임을 보정한다(S20). 이 처리에서는, 도 3의 S14의 처리와 마찬가지로, 움직임 보정부(15)가, 변환 행렬을 이용해서, 노출 변환후의 입력 화상 I_0"~I_4"의 움직임을 보정한다. 한편, 요구되는 정밀도에 따라 서브 픽셀 보간 알고리즘 등을 이용할 수 있게 해도 된다. S20의 처리가 종료되면, 휘도 베이스 마스크 생성 처리 및 피사체 흔들림 영역추출 처리로 이행한다(S22 및 S24).

S22의 처리에서는 합성부(16)가 휘도 베이스 마스크를 생성한다. 도 10은 합성 처리의 흐름을 설명하는 개요도이다. 도 10에 나타낸 바와 같이, 노출이 낮은 입력 화상 I_0"부터 차례로, 입력 화상 I_1"~I_4"를 치환해 감으로써 합성한다. 즉, 처음에는 입력 화상 I_0"에 대해 입력 화상 I_1"를 어느 정도 합성시킬지를 결정하는 휘도 베이스 마스크를 생성한다. 이 휘도 베이스 마스크는, 입력 화상 I_1"의 원래의 휘도값으로부터 가중치를 산출한다. 예컨대, 노출 과다 영역의 부근의 가중치를 0으로 한다. 이와 같이 가중치를 설정해서, 노출이 낮은 화상에 노출이 높은 화상을 중첩시키도록 합성시킴으로써, 대상 픽셀에 대해 정보량이 많은 입력 화상을 반드시 선택시킬 수 있다. 도 11의 (a)는, 입력 휘도에 대한 픽셀값의 관계를 나타내는 그래프이다. 도 11의 (a)에 나타낸 바와 같이, 함수 f₀~f₃는 휘도값에 기초해서 어느 화상의 화소값을 채용하는지를 나타내는 그래프이다. 함수 f₀~f₃는 숫자가 커질수록 노출이 큰 화상에 적용되는 것이다. 예컨대, 가장 노출이 낮은 입력 화상 I_0"가 입력되면, 함수 f₀가 적용되어 모든 화소값이 채용된다. 다음으로 입력 화상 I_1"가 입력되면, 함수 f ₀와 함수 f₁가 적용된다. 이 때문에, S0~S5의 휘도값의 범위에서는, 입력 화상 I_1"가 채용되고, S6 이상의 휘도값의 범위에서는, 입력 화상 I_0"가 채용된다. S5~S6의 휘도값의 범위는, (b)에 나타내는 가중치로 블렌드된 합성값에서 채용된다. 한편, 편의상 γ 보정은 생략하고 있다. 다음으로 입력 화상 I_2"가 입력되면, 함수 f₀~f₂가 적용된다. 이 때문에, S0~S3의 휘도값의 범위에서는 입력 화상 I_2"가 채용되고, S4~S5의 휘도값의 범위에서는 입력 화상 I_1"가 채용되며, S6 이상의 휘도값의 범위에서는 입력 화상 I_0"가 채용된다. S3~S4 및 S5~S6의 휘도값의 범위는, (b)에 나타내는 가중치로 블렌드된 합성값에서 채용된다. 다음으로 입력 화상 I_3"가 입력되면, 함수 f₀~f₃가 적용된다. 이 때문에, S0~S1의 휘도값의 범위에서는 입력 화상 I_3"가 채용되고, S2~S3의 휘도값의 범위에서는 입력 화상 I_2"가 채용되며, S4~S5의 휘도값의 범위에서는 입력 화상 I_1"가 채용되고, S6 이상의 휘도값의 범위에서는 입력 화상 I_0"가 채용된다. S1~S2, S3~S4 및 S5~S6의 휘도값의 범위는, (b)에 나타내는 가중치로 블렌드된 합성값에서 채용된다. 이와 같이, 노출이 높은 화상이 우선적으로 채용된다. 또한, 노출 과다 영역 부분에 대해서는 노출이 낮은 화상이 채용됨과 아울러, 경계 부분을 부드럽게 블렌드한다. 상기 도 11의 (a)에 나타내는 그래프를 영상화한 휘도 베이스 마스크의 일례를 도 12에 나타낸다. 도 12의 (a)는 입력 화상을 나타내고, (b)는 상기 입력 화상의 휘도 베이스 마스크이다. 도 12의 (b)에서는, 100% 입력 화상의 화소값을 이용하는 경우에는 흰색으로 하고, 100% 입력 화상의 화소값을 이용하지 않는 경우에는 흑색으로 표현하고 있다. S22의 처리가 종료되면, 합성 마스크 생성 처리로 이행한다(S32).

한편, S24의 처리에서는, 합성부(16)가 피사체 흔들림 영역을 추출한다. 예컨대, 합성부(16)가 도 3의 S16의 처리와 마찬가지로 차분 화상을 산출하고, 움직임 피사체 우도가 소정값 이상의 영역을 피사체 흔들림 영역으로서 추출한다. 도 13의 (a)는 피사체 흔들림 영역을 포함하는 차분 화상의 일례이다. S24의 처리가 종료되면, 라벨링 처리로 이행한다(S26).

S26의 처리에서는, 합성부(16)가 피사체 흔들림 영역을 라벨링한다. 합성부(16)는, 연속하는 피사체 흔들림 영역에 대해 하나의 라벨 R_N을 설정한다. 도 13의 (b)는 연속 영역을 라벨링한 예이다. S26의 처리가 종료되면, 각 영역의 기준 화상의 선택 처리로 이행한다(S28).

S28의 처리에서는, 합성부(16)가 피사체 흔들림 영역마다 기준 화상을 설정한다. 합성부(16)는 기준 화상으로서 기본적으로 고노출의 화상을 우선시킨다. 예컨대, 입력 화상 I_0"과 입력 화상 I_1"를 합성하는 경우에는, 기준 화상으로서 입력 화상 I_1"가 선택된다. 단, 입력 화상 I_1"에 있어서 피사체 흔들림 영역이 노출 과다 영역의 영향을 받는 경우에는, 기준 화상으로서 입력 화상 I_0"가 선택된다. S28의 처리가 종료되면, 피사체 흔들림 마스크 생성 처리로 이행한다(S30).

S30의 처리에서는, 합성부(16)가 피사체 흔들림 영역마다 피사체 흔들림 마스크를 생성한다. 합성부(16)는 기준 화상으로서 고노출의 화상을 우선시키는 경우에는 제 2 마스크를 생성한다. 한편, 기준 화상으로서 저노출의 화상을 우선시키는 경우에는 제 1 마스크를 생성한다. 도 14는 S24~S30의 일련의 처리를 설명하는 개요도이다. 도 14에 나타낸 바와 같이, 입력 화상 I_0"과 입력 화상 I_1"를 합성할 때, 차분 화상 X를 구하고, 차분 화상의 영역마다 제 1 마스크(lo_mask) 또는 제 2 마스크(hi_mask)가 생성된다. 즉, 피사체가 움직이는 영역에 대해서는, 피사체 흔들림 마스크를 이용하는 것으로 한 장의 화상으로부터만 화소값을 입력시킴으로써, 상술한 고스트 현상을 회피할 수 있다. S30의 처리가 종료되면, 합성 마스크 생성 처리로 이행한다(S32).

S32의 처리에서는, 합성부(16)가 휘도 베이스 마스크 및 피사체 흔들림 마스크에 기초해서 합성 마스크를 생성한다. 도 15는 합성 마스크의 생성 처리를 설명하는 개요도이다. 도 15에 나타낸 바와 같이, lo_mask를 반전시킨 화상을 휘도 베이스 마스크에 승산한다. 또한, hi_mask를 휘도 베이스 마스크에 가산한다. 이와 같이 결합시킴으로써 합성 마스크가 생성된다. S32의 처리가 종료되면, 합성 처리로 이행한다(S34).

S34의 처리에서는, 합성부(16)가 S32의 처리에서 작성된 합성 마스크에 따라서 합성 처리를 행한다. 한편, 합성을 마친 화상의 휘도값 P₀과 노출 변환 함수를 적용시킨 입력 화상의 휘도값 P₁를 가중치 a로 합성하는 경우, 합성후의 휘도값 P₂는 이하의 수식으로 구할 수 있다.

이 때, 노출이 가장 낮은 화상에 대해서는 전체 영역을 그대로 합성한다. S34의 처리가 종료되면, 입력 화상 확인 처리로 이행한다(S36).

S36의 처리에서는, 합성부(16)가 모든 입력 화상을 합성했는지 여부를 판정한다. 모든 입력 화상을 합성하지 않은 경우에는, S22 및 S24의 처리로 이행한다. 그리고, 예컨대 도 10에 나타낸 바와 같이, 입력 화상 I_0"와 입력 화상 I_1"의 합성 화상 O₀과, 새로운 입력 화상 I_0"의 합성 처리가 행해진다. 한편, 모든 입력 화상을 합성한 경우에는, 도 9에 나타내는 제어 처리를 종료한다.

도 9에 나타내는 제어 처리를 실행함으로써, 피사체 흔들림이 보정된 HDR 합성 화상이 생성된다.

다음으로, 휴대 단말(컴퓨터)(2)을 상기 화상 처리 장치(1)로서 기능시키기 위한 화상 처리 프로그램을 설명한다.

화상 처리 프로그램은 메인 모듈, 입력 모듈 및 연산 처리 모듈을 구비하고 있다. 메인 모듈은, 화상 처리를 통괄적으로 제어하는 부분이다. 입력 모듈은 입력 화상을 취득하도록 휴대 단말(2)을 동작시킨다. 연산 처리 모듈은 움직임 정보 취득 모듈, 우도 산출 모듈, 노출 추정 모듈, 움직임 보정 모듈 및 합성 모듈을 구비하고 있다. 메인 모듈, 입력 모듈 및 연산 처리 모듈을 실행시킴으로써 실현되는 기능은 상술한 화상 처리 장치(1)의 화상 입력부(10), 움직임 정보 취득부(12), 우도 산출부(13), 노출 추정부(14), 움직임 보정부(15) 및 합성부(16)의 기능과 각각 같다.

화상 처리 프로그램은 예컨대, ROM 등의 기록 매체 또는 반도체 메모리에 의해서 제공된다. 또한, 화상 처리 프로그램은 데이터 신호로서 네트워크를 통해서 제공되어도 된다.

이상, 본 실시 형태에 따른 화상 처리 장치(1), 화상 처리 방법 및 화상 처리 프로그램에 의하면, 제 1 화상과 제 2 화상의 노출을 맞추기 전에, 제 1 화상과 제 2 화상의 차분에 기초해서 각 화소에 있어서의 피사체의 움직임의 우도를 산출한다. 그리고, 피사체의 움직임의 우도에 기초해서 제 1 화상과 제 2 화상의 노출 조건을 맞추는 노출 변환 함수를 추정한다. 이와 같이, 노출을 맞출 때 피사체의 움직임의 우도가 고려되기 때문에, 예컨대 피사체의 움직임으로 색이 변화되었을 가능성이 있는 영역을 제외하고 노출을 맞출 수 있다. 따라서, 적절한 합성 화상을 생성하는 것이 가능해진다. 또한, 피사체 흔들림 마스크를 이용해서 피사체 흔들림(고스트적인 표시)의 발생을 회피하여, 클리어한 화상으로 할 수 있다.

(제 2 실시 형태)

제 2 실시 형태에 따른 화상 처리 장치는, 제 1 실시 형태에 따른 화상 처리 장치와 거의 마찬가지로 구성되어 있고, HDR 합성 이후의 후처리에 관한 처리부 등을 구비한다는 점이 상이하다. 이하에서는 제 1 실시 형태와의 상이점을 중심으로 설명하고, 중복하는 설명에 대해서는 생략한다.

도 16은 제 2 실시 형태에 따른 화상 처리 장치(1)를 구비하는 휴대 단말(2)의 기능 블록도이다. 도 16에 나타내는 휴대 단말(2)은 제 1 실시 형태와 같이, 도 2에 나타내는 하드웨어 구성을 갖는다. 도 16에 나타낸 바와 같이, 화상 처리 장치(1)는, 제 1 실시 형태에 따른 화상 처리 장치(1)에 비해서, 영역 데이터 생성부(50), 기록부(51), 데이터 취득부(52) 및 후처리부(화상 처리부)(53)를 구비하한는 점이 상이하다.

영역 데이터 생성부(50)는 움직임 피사체 우도에 기초해서 영역 데이터를 생성하는 기능을 갖고 있다. 영역 데이터 생성부(50)는 예컨대, 우도 산출부(13)에 의해 산출된 움직임 피사체 우도를 입력하여, 영역 데이터를 생성한다. 또는, 영역 데이터 생성부(50)는, 합성부(16)로부터 움직임 피사체 영역에 관한 정보 또는 피사체 흔들림 마스크를 입력하여, 영역 데이터를 생성해도 된다. 여기서, 영역 데이터란, 합성 화상에 있어서, 움직임 피사체가 존재하는 움직임 피사체 영역(대상 영역)을 특정하는 정보이다. 예컨대, 영역 데이터는 움직임 피사체가 존재하는 화소의 좌표에 대해서는 '1', 그 이외의 좌표에 대해서는 '0'으로 부호화한 데이터 또는 상기 데이터를 영상화한 것이 이용된다. 한편, 후처리의 처리 내용에 따라서는, 영역 데이터는 움직임 피사체 영역의 위치 좌표를 특정할 수 있으면 충분하기 때문에, 대강의 범위를 알 수 있는 정보이어도 된다. 이 때문에, 영역 데이터는 반드시 합성 화상과 동일한 크기(화소 규모)일 필요는 없고, 여러가지 방법으로 압축해도 된다. 예컨대, 영상화한 경우에는 해상도를 낮춰서 1/4 또는 1/16 정도로 축소해도 된다. 마찬가지로, 예컨대, 영역 데이터는 움직임 피사체 영역의 중심의 좌표(x, y) 및 반경 r이어도 된다. 즉, 영역 데이터는 합성 화상에 있어서 움직임 피사체가 존재하는 움직임 피사체 영역 자체일 필요는 없고, 움직임 피사체 영역을 포함하고 있으면 된다. 예컨대, 영역 데이터가, 움직임 피사체 영역에 기초해서 생성된 영역이어도 된다. 즉, 영역 데이터가, 움직임 피사체 영역을 포함하는 사각형, 원형, 또는 이들 집합으로 나타내는 하나 또는 복수의 영역이어도 된다. 이 경우, 영역 데이터에는, 움직임 피사체가 아닌 영역도 포함되게 되지만, 움직임 피사체 영역을 효율 좋게 특정할 수 있다.

영역 데이터 생성부(50)는, 생성한 영역 데이터를 합성 화상과 관련지어서 기록부(51)에 저장한다. 기록부(51)는 기록 매체이다.

영역 데이터 생성부(50)는, 영역 데이터에 원 화소 정보를 관련지어서 기록해도 된다. 원 화소 정보란, 움직임 피사체 영역을 작성하기 위해서 이용한 화소에 관한 정보이다. 예컨대, 간단히 '합성하는 화상끼리 중 강제적으로 휘도값이 낮은 화소값을 선택시켜서 합성된' 정보여도 된다. 상기 원 화소 정보는, 예컨대 합성부(16)에서 작성한 lo_mask를 이용함으로써 취득할 수 있다. 또는, 간단히 '합성하는 화상끼리 중 강제적으로 휘도값이 높은 화소값을 선택시켜서 합성된' 정보여도 된다. 상기 원 화소 정보는, 예컨대 합성부(16)로 작성한 hi_mask를 이용함으로서 취득할 수 있다. 또한, 보다 상세한 정보로서, 노출 부족 또는 노출 과다로 되어 있는 화소를 이용해서 움직임 피사체 영역이 합성된 것인지 여부를 식별 가능한 정보이어도 된다. 원 화소 정보로서, 예컨대 움직임 피사체 영역의 화소 위치에 따라 노출 부족 화소를 이용한 경우에는 '0', 노출 과다 화소를 이용한 경우에는 '255', 그 이외에는 '124'로 부호화한 데이터가 인용된다. 또는, 원 화상 정보로서, 상기 정보를 산출하기 위해서 필요한 정보를 취득해도 된다. 예컨대, 원 화상 정보로서, 움직임 피사체 영역을 생성하기 위해서 이용한 노출 변환 파라미터(a, b)를 채용해도 된다. 노출 변환 파라미터(a, b)를 이용함으로써 합성 화상의 움직임 피사체 영역의 화소값으로부터 변환 이전의 화소값을 추정할 수 있기 때문에, 노출 부족 또는 노출 과다로 되고 있는 화소를 이용해서 움직임 피사체 영역이 합성된 것인지 여부를 사후적으로 식별할 수 있다. 3장 이상의 화상을 합성한 경우에는, 상술한 노출 변환 파라미터(a, b) 및 합성시의 가중치 a를, 원 화소 정보로 해도 된다. 노출 변환 파라미터(a, b)가 입력 화상과 관련지어져 있는 경우에는, 입력 화상을 식별하는 번호를, 원 화소 정보로 해도 된다. 상기 원 화소 정보는, 예컨대 합성부(16)의 산출 결과로부터 취득할 수 있다. 또한, 합성 화상의 작성시에 움직임 피사체 영역에 대해 원 화상으로부터 어느 정도 휘도값을 증가시켰는지의 비율(합성 화상의 휘도값/원 화상의 휘도값)을 화소값마다 또는 움직임 피사체 영역마다 산출한 것을, 원 화소 정보로 해도 된다.

데이터 취득부(52)는 기록부(51)를 참조 가능하게 구성되어 있다. 데이터 취득부(52)는 기록부(51)를 참조해서 합성 화상과, 상기 합성 화상에 관련지어진 영역 데이터를 취득하는 기능을 갖고 있다. 데이터 취득부(52)는 또한 상기 영역 데이터에 관련지어진 원 화소 정보를 취득해도 된다.

후처리부(53)는, 합성 화상에 대해 후처리를 행하는 기능을 갖고 있다. 후처리부(53)는, 영역 데이터를 이용해서 합성 화상에 대해 움직임 피사체 영역과 움직임 피사체 영역 이외의 영역에서 서로 다른 화상 처리를 행하는 기능을 갖고 있다. 화상 처리는, 톤 매핑 처리, 노이즈 제거 처리(노이즈 리던션 처리), 물체 식별 처리 또는 기타 화소값 가공 처리가 포함된다. 예컨대, 후처리부(53)는 움직임 피사체 영역에 제 1 처리를 행하고, 움직임 피사체 영역 이외의 영역에 제 1 처리와는 다른 제 2 처리를 행한다. 제 1 처리 또는 제 2 처리에는, '처리를 행하지 않는 것'도 포함된다. 예컨대, 움직임 피사체 영역에 필터 처리를 행하지 않고, 움직임 피사체 영역 이외의 영역에 필터 처리를 행하는 것도, 상술한 '다른 처리'에 포함된다. 후처리부(53)가 움직임 피사체 영역을 고려해서 후처리를 행함으로써, 화소값을 변환·합성한 합성 처리가 후처리의 결과에 미치는 영향을 저감시킬 수 있다.

후처리부(53)는, 또한 원 화소 정보를 참조해서 어떤 화상 처리를 행할지를 판정해도 된다. 예컨대, 후처리부(53)는 합성하는 화상끼리 중 강제적으로 휘도값이 낮은 화소값을 선택시키는 lo_mask를 이용해서 움직임 피사체 영역이 생성된 경우와, 합성하는 화상끼리 중 강제적으로 휘도값이 높은 화소값을 선택시키는 hi_mask를 이용해서 움직임 피사체 영역이 생성된 경우에, 처리를 변경해도 된다. 예컨대, 움직임 피사체 영역이 휘도값이 낮은 화소값을 이용해서 생성된 경우에는, 합성 처리를 위해 강제적으로 휘도값을 크게 한 영역으로 되어 있을 가능성이 있어, 화소 정보가 기본적으로 부족한 영역으로 되어 있는 경우가 있다. 또한, 예컨대, 움직임 피사체 영역이 hi_mask에 의해서 생성되고, 또한 노출 과다의 화소를 포함해서 생성된 경우에는, 상기 노출 과다 영역에 대해서는, 합성 처리를 위해 강제적으로 소정의 휘도값을 설정한 영역으로 되어 있을 가능성이 있어, 화소 정보가 기본적으로 결락되어 있는 영역(화소 정보가 불명확한 영역)이다. 이와 같이, 원래의 입력 화상에 따라, 화소 정보가 부족한 것인가, 원래부터 화소 정보가 불명확한 것인지가 다르기 때문에, 상기 차이를 고려해서 후처리를 행함으로써 적절한 결과를 얻을 수 있다.

다음으로, 본 실시 형태에 따른 화상 처리 장치(1)의 영역 데이터 동작에 대해서 설명한다. 도 17은 화상 처리 장치의 영역 데이터 동작을 나타내는 흐름도이다. 도 17에 나타내는 제어 처리는, 도 3 또는 도 9에 나타내는 제어 처리가 종료된 이후에 실행된다.

우선, 영역 데이터 생성부(50)가 데이터 입력 처리를 행한다(S50). S50의 처리에서는, 영역 데이터 생성부(50)가, 예컨대 우도 산출부(13) 또는 합성부(16)로부터 화소 위치마다의 움직임 피사체 우도를 취득한다. 한편, 영역 데이터 생성부(50)가 합성부(16)로부터 피사체 흔들림 마스크에 관한 정보를 취득해도 된다. S50의 처리가 종료되면, 영역 데이터 생성 처리로 이행한다(S52).

S52의 처리에서는, 영역 데이터 생성부(50)가 S52에서 취득한 움직임 피사체 우도에 기초해서 영역 데이터를 생성한다. 예컨대, 영역 데이터 생성부(50)는 움직임 피사체 우도가 소정값 이상인 화소 위치에는 '1', 그 이외의 좌표에 대해서는'0'으로 부호화함으로써 영역 데이터를 생성한다. 부호화한 데이터를 영상화한 것을 도 18의 (a)에 나타낸다. 도 18의 (a)는 합성 화상 Q의 좌표계에서, 움직임 피사체 우도가 소정값 이상인 움직임 피사체 영역 MB1, MW1, MW2를 나타내고 있다. 움직임 피사체 영역 MB1, MW1, MW2 이외의 영역 T는 동작이 없는 피사체가 묘화된 영역이 된다. 또는, 영역 데이터 생성부(50)는 피사체 흔들림 마스크를 입력해서 그대로 영역 데이터로 해도 된다. 그리고, 영역 데이터 생성부(50)는 영역 데이터의 해상도를 낮춰서 데이터량을 압축한다. 또는, 도 18의 (b)에 나타낸 바와 같이, 영역 데이터 생성부(50)는 움직임 피사체 영역 MB1에 대응한 중심 좌표 C1 및 반경 r1을 영역 데이터로서 생성해도 된다. 마찬가지로, 영역 데이터 생성부(50)는 움직임 피사체 영역 MW1에 대응한 중심 좌표 C2 및 반경 r2를 영역 데이터로서 생성해도 된다. 한편, 움직임 피사체 영역을 복수의 원으로 표현해도 된다. 예컨대, 영역 데이터 생성부(50)는, 움직임 피사체 영역 MW2에 대응한 중심 좌표 C3 및 반경 r3, 및 중심 좌표 C4 및 반경 r4를 영역 데이터로서 생성해도 된다. S52의 처리가 종료되면, 원 화소값 정보 입력 처리로 이행한다(S54).

S54의 처리에서는, 영역 데이터 생성부(50)가, S52의 처리에서 얻어진 움직임 피사체 영역마다, 원 화소값 정보를 입력한다. 영역 데이터 생성부(50)는, 예컨대 합성부(16)로부터 피사체 흔들림 마스크를 취득하고, 각각의 움직임 피사체 영역이 lo_mask를 이용해서 작성된 것인지 여부의 정보를 원 화소값 정보로서 취득한다. 영역 데이터 생성부(50)는, 예컨대 합성부(16)로부터 피사체 흔들림 마스크를 취득하고, 각각의 움직임 피사체 영역이 lo_mask 또는 hi_mask를 이용해서 작성된 것인지 여부의 정보를 원 화소값 정보로서 취득한다. 이로써, 움직임 피사체 영역을 두 가지로 분류할 수 있다. 이 경우, 움직임 피사체 영역을 식별하기 위해서 라벨링해 둔다. 이로써, 예컨대 도 18의 (a)에 나타내는 lo_mask를 이용해서 생성된 움직임 피사체 영역 MB1과, hi_mask를 이용해서 생성된 움직임 피사체 영역 MW1, MW2로 분류할 수 있다. 한편, 다른 정보를 원 화소값 정보로서 취득해도 된다. 예컨대, 영역 데이터 생성부(50)는, 움직임 피사체 영역을 생성하기 위해서 이용한 노출 변환 파라미터(a, b)나 합성시의 가중치 a를, 원 화소값 정보로서 합성부(16)로부터 취득해도 된다. S54의 처리가 종료되면, 기록 처리로 이행한다(S56).

S56의 처리에서는, 영역 데이터 생성부(50)가, 합성 화상 및 S52의 처리에서 생성된 영역 데이터를 관련지어서 기록한다. 또한, S56의 처리에서는 또한 영역 데이터와, S52의 처리에서 작성된 원 화소값 정보를 관련지어서 기록해도 된다. S56의 처리가 종료되면, 도 17에 나타내는 제어 처리를 종료한다.

다음으로 본 실시 형태에 따른 화상 처리 장치(1)의 후처리 동작에 대해서 설명한다. 한편, 이하에서는 설명 이해의 용이성을 고려해서, 합성 화상에 대해 톤 매핑 처리를 행하는 예를 설명한다. 도 19는 화상 처리 장치의 톤 매핑 처리 동작을 나타내는 흐름도이다. 도 19에 나타내는 제어 처리는, 도 17에 나타내는 제어 처리가 종료한 후에 실행된다.

도 19에 나타낸 바와 같이, 먼저, 데이터 취득부(52)가 데이터 입력 처리를 행한다(S60). S60의 처리에서는 데이터 취득부(52)가 기록부(51)를 참조해서 합성 화상, 영역 데이터 및 원 화소값 정보를 입력한다. S60의 처리가 종료되면, 움직임 피사체 영역 판정 처리로 이행한다(S62).

S62의 처리에서는, 후처리부(53)가 S60의 처리에서 취득한 영역 데이터 및 원 화소값 정보를 이용해서, 영역 데이터로 표시된 움직임 피사체 영역이 합성하는 화상끼리 중 강제적으로 휘도값이 낮은 화소값을 선택시키는 lo_mask를 이용해서 합성된 것인지 여부를 판정한다. S62의 처리에서 후처리부(53)가 움직임 피사체 영역이 lo_mask를 이용해서 합성된 것이라고 판정된 경우에는, 상기 영역의 톤 매핑 처리로 이행한다(S64).

S64의 처리에서는, 후처리부(53)가, 움직임 피사체 영역에 대해 톤 매핑 처리를 행한다. 해당 움직임 피사체 영역에 대해서는, 합성하는 화상끼리 중 강제적으로 휘도값이 낮은 화소값이 선택되고 있기 때문에, 합성시에 휘도값을 크게 증대시킬 가능성이 있다. 즉, 이미 화소 정보가 부족한 영역을 무리하게 증대시킨 영역의 가능성이 있다. 이 때문에, 톤 매핑 처리로 휘도값을 더 증대시키면, 노이즈가 발생할 우려가 있다. 따라서, 해당 움직임 피사체 영역에 대해서는, 상한값으로서 제 1 임계값을 설정하여, 제 1 임계값 이상의 휘도값이 되지 않도록 톤 매핑 처리를 행한다. 제 1 임계값은, 예컨대 원 화상의 화소값의 n배가 설정된다. 또한, 촬상 센서의 노이즈량에 따라 n의 값을 조정해도 된다. 예컨대, 촬상 센서의 노이즈량이 큰 경우에는 n의 값을 작게 해도 된다. S64의 처리가 종료되면, 노이즈 제거 필터적용 처리로 이행한다(S66).

S66의 처리에서는, S64에서 톤 매핑 처리한 움직임 피사체 영역에 대해, 노이즈 제거 필터를 적용하는 처리이다. 노이즈 제거 필터로서는, 예컨대 평활화 처리 등을 행하는 필터가 채용된다. 한편, S66의 처리는, 합성 처리시의 휘도값 변환율 n₁과, S64에서의 톤 매핑 처리시의 휘도값 변환율 n₂에 기초해서, 노이즈 제거 필터를 적용할지 여부를 판정해도 된다. 예컨대, n₁·n₂이 소정값 이상이면 노이즈 제거 필터를 적용해도 된다. 이 때, n₁·n₂이 커질수록 노이즈 제거 필터의 강도를 크게 설정해도 된다. S66의 처리가 종료되면, 움직임 피사체 영역 판정 처리로 이행한다(S68).

S68의 처리에서는, 후처리부(53)가 S60의 처리로 취득한 영역 데이터 및 원 화소값 정보를 이용해서 이하의 내용을 판정한다. 후처리부(53)는 영역 데이터로 나타내어진 움직임 피사체 영역이, 합성하는 화상끼리 중 강제적으로 휘도값이 높은 화소값을 선택시키는 hi_mask를 이용해서 합성되고 또한, 노출 과다 영역을 포함할지 여부를 판정한다. S68의 처리로, 후처리부(53)가, 움직임 피사체 영역이 lo_mask를 이용해서 합성된 것이다고 판정한 경우에는, 상기 영역의 톤 매핑 처리로 이행한다(S70).

S70의 처리에서는, 후처리부(53)가 움직임 피사체 영역에 대해 톤 매핑 처리를 행한다. 노출 과다 영역에 대해서는, 합성 처리를 위해 강제적으로 소정의 휘도값을 설정한 영역으로 되어 있을 가능성이 있어, 화소 정보가 기본적으로 결락된 영역(화소 정보가 불명인 영역)이다. 즉, 합성 처리를 위해 편의적으로 설정한 화소값에 기초해서 톤 매핑 처리를 행하게 되기 때문에, 적절한 결과로 되지 않는 경우가 있다. 따라서, 노출 과다 영역에 대해서는, 요구되는 톤 매핑 처리의 결과에 따라 소정의 처리를 실시할 필요가 있다. 예컨대, 톤 매핑 처리에 의해서 자연스러운 화상을 얻고 싶다는 요구가 있는 경우에는, 후처리부(53)는, 노출 과다 영역의 화소값으로서, 원 화상의 화소값에 가깝도록 톤 매핑 처리를 행한다. 또는, 후처리부(53)는, 노출 과다 영역에 대해서는 아무것도 행하지 않는(노출 과다 상태를 유지시킴) 것을 해도 된다. S70의 처리가 종료되면, 다른 영역의 톤 매핑 처리로 이행한다(S72).

S72의 처리에서는, 움직임 피사체 영역 이외의 영역에 톤 매핑 처리를 행한다. 이 처리는 소망의 요구에 따라 행하는 통상의 톤 매핑 처리이다. S72의 처리가 종료되면, 도 19에 나타내는 제어 처리를 종료한다.

한편, S62의 처리에서, 후처리부(53)가 움직임 피사체 영역이 lo_mask를 이용해서 합성된 것이 아니라고 판정된 경우에는, 움직임 피사체 영역 판정 처리로 이행한다(S68). 또한, S68의 처리에서 후처리부(53)가, 움직임 피사체 영역이 lo_mask를 이용해서 합성된 것이 아니라고 판정된 경우에는, 다른 영역의 톤 매핑 처리로 이행한다(S72).

도 19에 나타내는 제어 처리를 실행함으로써, 움직임 피사체 영역과 움직임 피사체 영역 이외의 영역에서 서로 다른 후처리를 행할 수 있기 때문에, 노이즈의 발생 등, 합성 화상 처리가 후공정에 영향을 미치는 것을 회피할 수 있다. 한편, S60의 처리가 데이터 취득 단계이고, S64, S66, S70 및 S72가 화상 처리 단계이다.

다음으로 휴대 단말(컴퓨터)(2)을 상기 화상 처리 장치(1)로서 기능시키기 위한 화상 처리 프로그램을 설명한다.

화상 처리 프로그램은 메인 모듈, 입력 모듈 및 연산 처리 모듈을 구비하고 있다. 메인 모듈은, 화상 처리를 통괄적으로 제어하는 부분이다. 입력 모듈은, 입력 화상을 취득하도록 휴대 단말(2)을 동작시킨다. 연산 처리 모듈은, 예컨대, 움직임 정보 취득 모듈, 우도 산출 모듈, 노출 추정 모듈, 움직임 보정 모듈, 합성 모듈, 영역 데이터 생성 모듈, 데이터 취득 모듈 및 후처리 모듈을 구비하고 있다. 메인 모듈, 입력 모듈 및 연산 처리 모듈을 실행시킴으로써 실현되는 기능은 상술한 화상 처리 장치(1)의 화상 입력부(10), 움직임 정보 취득부(12), 우도 산출부(13), 노출 추정부(14), 움직임 보정부(15), 합성부(16), 영역 데이터 생성부(50), 데이터 취득부(52) 및 후처리부(53)의 기능과 각각 같다.

화상 처리 프로그램은 예컨대, ROM 등의 기록 매체 또는 반도체 메모리에 의해서 제공된다. 또한, 화상 처리 프로그램은 데이터 신호로서 네트워크를 통해서 제공되어도 된다.

이상, 제 2 실시 형태에 따른 화상 처리 장치(1), 화상 처리 방법 및 화상 처리 프로그램에 의하면, 후처리부(53)에 의해서 합성 화상에 대해 화상 처리를 행할 때, 영역 데이터를 이용해서 움직임 피사체가 묘화된 영역과 그 이외의 영역에서 서로 다른 처리를 행할 수 있다. 움직임 피사체가 촬상된 영역은 합성 처리시에 여러가지의 화상 처리가 실시되고 있다. 이 때문에, 화상 전체에 대해 동일한 화상 처리를 실시하는 것이 아니고, 움직임 피사체가 촬상된 영역을 다른 영역과 구별해서 화상 처리를 실시함으로써, 후공정시에, 합성시의 처리의 영향이 현저하게 되는 것을 회피할 수 있다. 입력 화상(원 화상)의 화상 정보만을 이용해서 피사체 흔들림을 억제한 HDR 합성을 행한 경우에도, 후공정을 적절하게 행하는 것이 가능해진다. 또한, 합성 화상과 영역 데이터를 기록부(51)에 기록함으로써, 촬상시나 합성시뿐만 아니라, 합성후의 소망의 타이밍에 후공정을 적절하게 행할 수 있다. 또한, 톤 매핑 처리를 영역마다 서로 다른 처리로 행함으로써 대상 영역에 노이즈가 많이 발생하거나, 대상 영역의 색이 부자연스럽게 되는 것을 회피할 수 있다.

한편, 상술한 실시 형태는 본 발명에 따른 화상 처리 장치의 일례를 나타내는 것이다. 본 발명에 따른 화상 처리 장치는, 실시 형태에 따른 화상 처리 장치(1)로 한정되는 것이 아니라, 각 청구항에 기재한 요지를 변경하지 않는 범위에서, 실시 형태에 따른 화상 처리 장치를 변형한, 또는 다른 것에 적용한 것이어도 된다.

예컨대, 상술한 각 실시 형태에서는, 카메라(20)가 프레임 화상을 취득하는 예를 설명했지만, 다른 기기로부터 네트워크를 통해서 송신된 화상이어도 된다. 또한, 합성 화상을 표시하지 않고 기록만 행하는 경우에는, 표시부(21)를 구비하지 않아도 된다.

또한, 상술한 각 실시 형태에 따른 화상 처리 장치(1)를, 손떨림 보정 장치와 함께 동작시켜도 된다.

또한, 도 19에 나타내는 제어 처리에 대해서는, 처리 순서를 변경해도 된다. 예컨대, S72의 처리를 S60의 처리 직후에 행해도 된다. S68~S70의 처리를 실행후에 S62~S66의 처리를 실행해도 된다. 또한, S68의 처리에 있어서, hi_mask를 이용해서 합성된 움직임 피사체 영역뿐만 아니라, lo_mask를 이용해서 합성된 움직임 피사체 영역에 대해 노출 과다 영역을 포함하는지 여부를 판정해서, S70에 기재된 처리를 실행해도 된다.

(실시예)

이하, 상기 효과를 설명하기 위해서 본 발명자가 실시한 실시예 및 비교예에 대해서 설명한다.

(움직임 피사체 영역에 노출 부족 영역을 갖는 입력 화상)

HDR 합성하기 위한 입력 화상으로서, 움직임 피사체가 촬상된 제 1 화상 및 제 2 화상을 준비했다(도 20의 (a), (b)). 도 20의 (a)는 휘도값이 낮은 입력 화상이고, 도 20의 (b)가 휘도값이 높은 입력 화상이다. 여기서는 사람이 왼쪽에서 오른쪽으로 이동하고 있다. 또한, 사람의 양복 부분이 검게 노출 부족되어 있다.

(비교예 1)

도 20에 나타내는 2개의 입력 화상으로부터 생성된 HDR 화상 전체에 대해서 톤 매핑 처리를 행했다. 그 결과를 도 21, 도 22에 나타낸다. 도 21의 (a)는 톤 매핑 처리 후의 화상이고, 도 21의 (b)는, (a)에 있어서의 움직임 피사체 영역 Z1를 설명하는 화상이다. 도 22는, 도 21의 (b)에 나타내는 비교예 1의 움직임 피사체 영역 Z1의 일부 확대도이다.

(실시예 1)

도 20에 나타내는 2개의 입력 화상으로부터 생성된 HDR 화상에 대해서, 톤 매핑 처리를 행함과 아울러, 움직임 피사체 영역에 대해 노이즈 제거 필터를 적용했다. 결과를 도 23, 도 24에 나타낸다. 도 23의 (a)는 노이즈 제거 필터를 적용한 화상이고, 도 23의 (b)는, (a)에 있어서의 움직임 피사체 영역 Z1을 설명하는 화상이다. 도 24는, 도 23의 (b)에 나타내는 실시예 1의 움직임 피사체 영역 Z1의 일부 확대도이다.

비교예 1의 결과인 도 22와, 실시예 1의 결과인 도 24를 비교하면, 실시예 1은 비교예 1에 비해서 노이즈가 저감되어, 화질이 좋은 화상으로 되어 있다는 것이 확인되었다.

(움직임 피사체 영역에 노출 과다 영역을 갖는 입력 화상)

HDR 합성하기 위한 입력 화상으로서, 움직임 피사체가 촬상된 제 1 화상 및 제 2 화상을 준비했다(도 25의 (a), (b)). 도 25의 (a)는, 휘도값이 낮은 입력 화상이고, 도 25의 (b)가 휘도값이 높은 입력 화상이다. 여기서는 왼쪽 손을 흔드는 정지된 인물이 촬상되어 있다. (b)에서는 빈(하늘) 부분이 노출 과다되어 있다.

(비교예 2)

도 25에 나타내는 2개의 입력 화상으로부터 생성된 HDR 화상 전체에 대해 톤 매핑 처리를 행했다. 결과를 도 26에 나타낸다.

(실시예 2)

도 25에 나타내는 2개의 입력 화상으로부터 생성된 HDR 화상에 대해, 노출 과다 영역 그대로 두고 톤 매핑 처리를 행했다. 그 결과를 도 27에 나타낸다.

비교예 2의 결과인 도 26과, 실시예 2의 결과인 도 27을 비교하면, 실시예 2는, 비교예 2에 비해서 움직임 피사체 영역 Z2가 눈에 띄지 않게 되어서, 화질이 좋은 화상으로 되어 있다는 것이 확인되었다.

1 : 화상 처리 장치 10 : 화상 입력부(입력부)
12 : 움직임 정보 취득부 13 : 우도 산출부
14 : 노출 추정부 15 : 움직임 보정부
16 : 합성부 50 : 데이터 생성부
51 : 기록부 52 : 데이터 취득부
53 : 후처리부

Claims (10)

1. 노출 조건이 서로 다른 제 1 화상 및 제 2 화상이 합성된 합성 화상에 대해 화상 처리를 행하는 화상 처리 장치로서,
   상기 합성 화상, 및 상기 합성 화상의 대상 영역을 나타내는 영역 데이터를 취득하는 데이터 취득부와,
   상기 영역 데이터에 기초해서, 상기 대상 영역과 상기 대상 영역 이외의 영역에서 서로 다른 화상 처리를 행하는 화상 처리부
   를 구비하고,
   상기 제 1 화상 및 상기 제 2 화상은 움직임 피사체가 묘화된 영역을 포함하고 있고,
   상기 합성 화상은, 상기 움직임 피사체가 묘화된 영역에 대해서는, 상기 제 1 화상 및 상기 제 2 화상 중 어느 하나의 화소값을 이용해서 작성되어 있고,
   상기 영역 데이터는, 상기 합성 화상에 있어서의 상기 움직임 피사체가 묘화된 영역에 기초해서 생성되는 하나 또는 복수의 영역을 상기 대상 영역으로서 나타내고,
   상기 영역 데이터는 상기 제 1 화상, 상기 제 2 화상 또는 상기 합성 화상의 크기보다도 작은 크기의 데이터인
   화상 처리 장치.
   
2. 제 1 항에 있어서,
   상기 영역 데이터는 상기 합성 화상보다도 낮은 해상도를 갖는 화상 처리 장치.
   
3. 제 1 항에 있어서,
   상기 영역 데이터는 움직임 피사체 영역을 포함하는 영역을 지정하는 도형의 정보를 갖는 화상 처리 장치.
   
4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
   상기 제 1 화상 및 상기 제 2 화상을 입력하는 입력부와,
   상기 제 1 화상 및 상기 제 2 화상의 차분에 기초해서, 각 화소에 있어서의 움직임 피사체 우도를 산출하는 우도 산출부와,
   상기 움직임 피사체 우도에 기초해서 상기 영역 데이터를 생성하는 영역 데이터 생성부
   를 구비하는 화상 처리 장치.
   
   
5. 제 4 항에 있어서,
   상기 움직임 피사체 우도에 기초해서, 상기 제 1 화상과 상기 제 2 화상의 노출 조건을 맞추는 노출 변환 함수를 추정하는 노출 추정부와,
   상기 노출 변환 함수를 이용해서 상기 제 1 화상 및 상기 제 2 화상을 합성하는 합성부
   를 구비하는 화상 처리 장치.
   
6. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
   상기 합성 화상 및 상기 영역 데이터를 서로 관련지어서 기록하는 기록부를 갖는 화상 처리 장치.
   
7. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
   상기 영역 데이터에는, 상기 영역 데이터가 나타내는 상기 대상 영역의 합성시에 이용한 화상의 화소 정보를 특정하는 원(元) 화소 정보가 더 관련지어져 있고,
   상기 데이터 취득부는, 상기 영역 데이터에 관련된 상기 원 화소 정보를 취득하며,
   상기 화상 처리부는, 상기 영역 데이터 및 상기 원 화소 정보에 기초해서, 상기 대상 영역과 상기 대상 영역 이외의 영역에서 서로 다른 처리를 행하는
   화상 처리 장치.
   
8. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
   상기 화상 처리부는, 상기 대상 영역과 상기 대상 영역 이외의 영역에서 서로 다른 톤 매핑 처리를 행하는 화상 처리 장치.
   
9. 노출 조건이 서로 다른 제 1 화상 및 제 2 화상이 합성된 합성 화상에 대해 화상 처리를 행하는 화상 처리 방법으로서,
   상기 합성 화상, 및 상기 합성 화상의 대상 영역을 나타내는 영역 데이터를 취득하는 데이터 취득 단계와,
   상기 영역 데이터에 기초해서, 상기 대상 영역과 상기 대상 영역 이외의 영역에서 서로 다른 화상 처리를 행하는 화상 처리 단계
   를 구비하고,
   상기 제 1 화상 및 상기 제 2 화상은 움직임 피사체가 묘화된 영역을 포함하고 있으며,
   상기 합성 화상은, 상기 움직임 피사체가 묘화된 영역에 대해서는, 상기 제 1 화상 및 상기 제 2 화상 중 어느 하나의 화소값을 이용해서 작성되어 있고,
   상기 영역 데이터는, 상기 합성 화상에 있어서의 상기 움직임 피사체가 묘화된 영역에 기초해서 생성되는 하나 또는 복수의 영역을 상기 대상 영역으로서 나타내고,
   상기 영역 데이터는 상기 제 1 화상, 상기 제 2 화상 또는 상기 합성 화상의 크기보다도 작은 크기의 데이터인
   화상 처리 방법.
   
10. 노출 조건이 서로 다른 제 1 화상 및 제 2 화상이 합성된 합성 화상에 대해 화상 처리를 행하도록 컴퓨터를 동작시키는 화상 처리 프로그램을 기록한 기록 매체로서,
    상기 화상 처리 프로그램은
    상기 합성 화상, 및 상기 합성 화상의 대상 영역을 나타내는 영역 데이터를 취득하는 데이터 취득부, 및
    상기 영역 데이터에 기초해서, 상기 대상 영역과 상기 대상 영역 이외의 영역에서 서로 다른 화상 처리를 행하는 화상 처리부
    로서 상기 컴퓨터를 동작시키고,
    상기 제 1 화상 및 상기 제 2 화상은 움직임 피사체가 묘화된 영역을 포함하고 있으며,
    상기 합성 화상은 상기 움직임 피사체가 묘화된 영역에 대해서는, 상기 제 1 화상 및 상기 제 2 화상 중 어느 하나의 화소값을 이용해서 작성되어 있고,
    상기 영역 데이터는, 상기 합성 화상에 있어서의 상기 움직임 피사체가 묘화된 영역에 기초해서 생성되는 하나 또는 복수의 영역을 상기 대상 영역으로서 나타내고,
    상기 영역 데이터는 상기 제 1 화상, 상기 제 2 화상 또는 상기 합성 화상의 크기보다도 작은 크기의 데이터인
    화상 처리 프로그램을 기록한 기록 매체.

Images