KR101424923B1

KR101424923B1 - 화상 합성 장치 및 화상 합성용 컴퓨터 프로그램

Info

Publication number: KR101424923B1
Application number: KR1020130027977A
Authority: KR
Inventors: 유우시 도요다
Original assignee: 후지쯔 가부시끼가이샤
Priority date: 2012-03-16
Filing date: 2013-03-15
Publication date: 2014-08-01
Also published as: JP2013219744A; TW201351343A; TWI496105B; US9007483B2; KR20130105534A; JP5978949B2; EP2639769A3; US20130242122A1; EP2639769A2

Abstract

노출 시간이 상이한 복수의 화상에 기초하여, 손 떨림에 의한 흐려짐을 억제하면서, 엣지 영역에 포함되는 노이즈 성분을 저감시킨 합성 화상을 생성 가능한 화상 합성 장치를 제공한다. 화상 합성 장치(6, 61)는, 제1 화상상의 주목 화소의 주위에 제1 필터 영역을 설정하고, 제1 필터 영역 중에서, 주목 화소의 값을 포함하는 제1 허용 범위 내의 화소값을 갖는 제1 화소를 선택하는 제1 화소 선택부(12)와, 제1 화상보다도 노출 시간이 긴 제2 화상상의 주목 화소와 동일 위치에 있는 기준 화소의 주위에 제2 필터 영역을 설정하고, 제2 필터 영역 중에서, 주목 화소의 값을 포함하는 제2 허용 범위 내의 화소값을 갖는 제2 화소를 선택하는 제2 화소 선택부(13)와, 제1 화소의 값 및 제2 화소의 값을 합성함으로써 얻어진 합성값을 합성 화상상의 주목 화소와 동일 위치의 화소의 값으로 하는 합성부(14)를 갖는다.

Description

화상 합성 장치 및 화상 합성용 컴퓨터 프로그램{IMAGE SYNTHESIS DEVICE AND COMPUTER PROGRAM FOR IMAGE SYNTHESIS}

본 발명은, 예를 들어 상이한 노출 시간에 의해 피사체를 촬영함으로써 얻어진 복수의 화상을 합성하는 화상 합성 장치 및 화상 합성용 컴퓨터 프로그램에 관한 것이다.

유저가 카메라를 손으로 쥐고 피사체를 촬영하는 경우, 셔터 속도가 느리면 손 떨림에 의해 화상상의 피사체의 상이 흐려지게 되는 경우가 있다. 이와 같은 손 떨림에 의한 흐려짐을 화상 처리로 보정하는 기술이 연구되고 있다. 특히, 화상의 보정에 이용하는 화상의 매수를 적게 하기 위해, 상이한 노출 시간에 의해 피사체를 촬영함으로써 얻어진 복수의 화상을 이용하여 손 떨림에 의한 흐려짐을 보정하는 기술이 제안되어 있다(예를 들어, 특허문헌 1 내지 3을 참조).

예를 들어, 특허문헌 1에는, 적은 화상 매수로 흔들림이 없는, 노이즈를 억제한 화상을 얻기 위한 촬상 장치가 개시되어 있다. 이 촬상 장치는, 노출 시간은 짧고 해상도는 높지만 노이즈가 많은 화상과 노출 시간은 길지만 노이즈가 적은 해상도가 낮은 화상을 포함하는 복수매의 화상을 촬영한다. 그리고 이 촬상 장치는, 2매의 화상간의 차분 화상으로부터 임계값에 의해 엣지ㆍ흔들림과 노이즈를 나누어, 화상의 합성 비율을 변화시켜 합성한다. 그 때, 이 촬상 장치는, 엣지라고 판단한 화소에 대해서는 노출 시간은 짧고 해상도는 높지만 노이즈가 많은 화상의 합성 비율을 높게 한다.

또한, 특허문헌 2에는, 제1 화상과, 제1 화상보다도 노출 시간이 길고 감도가 작은 조건에서 촬영하여 얻어진 제2 화상과, 제1 화상의 고주파 성분이 여파된 제3 화상을 합성하여 합성 화상을 작성하는 화상 처리 장치가 개시되어 있다. 이 화상 처리 장치는, 화소마다 엣지 강도값을 구하고, 엣지 강도값이 큰 화소일수록 제1 화상의 합성 비율을 크게 하고, 제2 화상과 제3 화상간의 차이가 작은 화소일수록 제2 화상의 합성 비율을 크게 한다.

또한, 특허문헌 3에는, 노광 시간이 짧은 단노광 화상과 노광 시간이 긴 적정 노광 화상을 합성하는 화상 처리 장치가 개시되어 있다. 이 화상 처리 장치는, 단노광 화상을 복수의 부분 화상 영역으로 분할하고, 주목 화소 위치에 대한 엣지 강도값이 클수록, 또한, 주목 화소 위치가 속하는 부분 화상 영역에 대한 영역 엣지량이 클수록, 적정 노광 화상에 대한 단노광 화상의 합성 비율을 크게 한다.

일본 특허 공개 제2007-324770호 공보 일본 특허 공개 제2009-284001호 공보 일본 특허 공개 제2011-44846호 공보

상기의 어떤 기술로도, 피사체의 엣지가 찍혀 있는 엣지 영역에 대해서는, 노출 시간이 긴 화상에 대한 노출 시간이 짧은 화상의 합성 비율이 커진다. 그로 인해, 합성된 화상에 있어서도, 엣지 영역에 포함되는 노이즈 성분이 상대적으로 많아진다. 경우에 따라서는, 엣지 영역에 포함되는 노이즈 성분의 양과 엣지 영역의 주위의 영역에 포함되는 노이즈 성분의 양의 차이에 따라, 엣지 영역의 입상성이 눈에 띄게 되고, 그 결과로서, 합성 화상은, 그 전체의 화질이 나쁘다고 하는 인상을 유저에게 부여할 우려가 있었다.

따라서 본 명세서는, 노출 시간이 상이한 복수의 화상에 기초하여, 손 떨림에 의한 흐려짐을 억제하면서, 엣지 영역에 포함되는 노이즈 성분을 저감시킨 합성 화상을 생성 가능한 화상 합성 장치를 제공하는 것을 목적으로 한다.

하나의 실시 형태에 따르면, 제1 화상과 그 제1 화상보다도 노출 시간이 긴 제2 화상을 합성함으로써 합성 화상을 생성하는 화상 합성 장치가 제공된다. 이 화상 합성 장치는, 제1 화상상의 주목 화소의 주위에 제1 필터 영역을 설정하고, 그 제1 필터 영역 중에서 주목 화소의 값을 포함하는 제1 허용 범위 내의 화소값을 갖는 제1 화소를 선택하는 제1 화소 선택부와, 제2 화상상의 주목 화소와 동일 위치에 있는 기준 화소의 주위에 제2 필터 영역을 설정하고, 그 제2 필터 영역 중에서 제1 화상상의 주목 화소의 값을 포함하는 제2 허용 범위 내의 화소값을 갖는 제2 화소를 선택하는 제2 화소 선택부와, 제1 화소의 값 및 제2 화소의 값을 합성함으로써 얻어진 합성값을 합성 화상상의 주목 화소와 동일 위치의 화소의 값으로 하는 합성부를 갖는다.

본 발명의 목적 및 이점은, 청구항에 있어서 특별히 지적된 엘리먼트 및 조합에 의해 실현되고, 또한 달성된다.

상기의 일반적인 기술 및 하기의 상세한 기술의 어느 것도, 예시적 또한 설명적인 것이며, 청구항과 같이, 본 발명을 한정하는 것이 아닌 것을 이해받고자 한다.

본 명세서에 개시된 화상 합성값은, 노출 시간이 상이한 복수의 화상에 기초하여, 손 떨림에 의한 흐려짐을 억제하면서, 엣지 영역에 포함되는 노이즈 성분을 저감시킨 합성 화상을 생성할 수 있다.

도 1은 화상 합성 장치가 내장된 촬상 장치의 구성도이다.
도 2의 (a)는 단노광 화상의 일례를 나타내는 도면이고, 도 2의 (b)는 장노광 화상의 일례를 나타내는 도면이다.
도 3은 제1 실시 형태에 의한 화상 합성 장치의 구성도이다.
도 4의 (a)는 단노광 화상의 주목 화소에 대해서 설정되는 필터 범위 및 선택되는 화소의 일례를 나타내는 도면이고, 도 4의 (b)는 장노광 화상에 대해서 설정되는 필터 범위 및 선택되는 화소의 일례를 나타내는 도면이다.
도 5는 화상 합성 장치에 의해 실행되는 화상 합성 처리의 동작 흐름도이다.
도 6은 제2 실시 형태에 의한 화상 합성 장치의 구성도이다.
도 7은 피사체의 엣지 부분에 대한 단노광 화상과 장노광 화상에 있어서의 화소값의 프로파일의 일례를 나타내는 도면이다.
도 8은 제3 실시 형태에 의한 화상 합성 장치의 구성도이다.
도 9의 (a)는 단노광 화상에 중첩되어 있는 노이즈 성분과 제1 허용 범위의 관계를 나타내는 도면이고, 도 9의 (b)는 장노광 화상에 중첩되어 있는 노이즈 성분과 제2 허용 범위의 관계를 나타내는 도면이다.
도 10은 각 실시 형태 또는 그 변형예에 의한 화상 합성 장치의 각 부의 기능을 실현하는 컴퓨터 프로그램이 동작함으로써, 화상 합성 장치로서 동작하는 컴퓨터의 구성도이다.

이하, 도면을 참조하면서, 몇 개의 실시 형태에 의한 화상 합성 장치에 대해서 설명한다.

이 화상 합성 장치는, 손 떨림에 의한 흐려짐을 억제하기 위해, 노출 시간이 상대적으로 길고, 적정한 노광량으로 촬영이 행해진 화상과, 상대적으로 짧은 노출 시간에 의해 촬영이 행해진 화상을 합성함으로써 합성 화상을 생성한다. 또한, 편의상, 노출 시간이 상대적으로 길고, 적정한 노광량으로 촬영이 행해진 화상을 장노광 화상이라고 칭하고, 장노광 화상의 노출 시간보다도 짧은 노출 시간에 의해 촬영이 행해진 화상을 단노광 화상이라고 칭한다. 이 화상 합성 장치는, 단노광 화상상에 설정되는 임의의 주목 화소의 주위에 설정된 필터 영역으로부터, 주목 화소의 값을 기준값으로서 정해지는 화소값의 제1 허용 범위 내의 값을 갖는 화소를 선택한다. 마찬가지로, 이 화상 합성 장치는, 장노광 화상상의 주목 화소와 동일 위치에 있는 기준 화소의 주위에 설정된 필터 영역으로부터도, 주목 화소의 값을 기준값으로서 정해지는 화소값의 제2 허용 범위 내의 값을 갖는 화소를 선택한다. 그리고 이 화상 합성 장치는, 선택된 화소의 값을 합성함으로써 얻어지는 합성값을, 합성 화상에 있어서의 주목 화소와 동일 위치의 화소의 값으로 함으로써, 엣지 영역에 대해서도, 손 떨림에 의한 흐려짐을 억제하면서, 노이즈 성분을 억제한다.

또한, 본 실시 형태에서는, 처리 대상이 되는 화상은, RGB 표색계로 나타내어지고, 각 색마다 8비트의 계조를 갖는 컬러 디지털 화상이다. 또한 이하의 설명에 있어서의 화소값은, 특정한 색의 성분을 나타낸다. 그리고 색 성분마다, 하기에 설명하는 처리가 실행된다.

또한, 각 색 성분의 계조를 나타내는 비트수는 8비트에 한정되지 않고, 예를 들어 4비트 혹은 10비트라도 좋다. 또한 처리 대상이 되는 화상은, YUV 표색계 혹은 HSV 표색계 등의 다른 표색계로 나타내어지는 컬러 디지털 화상이어도 좋다. 이 경우에는, 이하의 설명에 있어서의 화소값은, 색상, 채도, 휘도 등의 성분을 나타낸다. 그리고 성분마다, 하기의 처리가 실행된다. 혹은, 처리 대상이 되는 화상은, 각 화소가 휘도값만을 갖는 그레이 화상이어도 좋다.

도 1은, 하나의 실시 형태에 의한 화상 합성 장치가 내장된 촬상 장치의 개략 구성도이다. 촬상 장치(1)는, 피사체를 상이한 노출 시간에 의해 연속해서 촬영함으로써, 노출 시간이 상이한 복수의 화상을 생성 가능한 촬상 장치이고, 예를 들어 카메라를 탑재한 휴대 전화기, 혹은 디지털 카메라이다. 도 1에 도시하는 바와 같이, 촬상 장치(1)는, 카메라 모듈(2)과, 조작부(3)와, 표시부(4)와, 기억부(5)와, 화상 합성 장치(6)와, 제어부(7)를 갖는다. 또한 촬상 장치(1)는, 촬상 장치(1)를 컴퓨터 또는 텔레비전 등의 다른 기기와 접속하기 위해, 유니버설 시리얼 버스 등의 시리얼 버스 규격에 따른 인터페이스 회로(도시하지 않음)를 가져도 좋다. 또한 제어부(7)와, 촬상 장치(1)의 그 밖의 각 부는, 예를 들어 버스에 의해 접속되어 있다.

카메라 모듈(2)은, 2차원 형상으로 배치된 고체 촬상 소자의 어레이를 갖는 이미지 센서와, 그 이미지 센서상에 피사체의 상을 결상하는 촬상 광학계를 갖는다. 그리고 카메라 모듈(2)은, 제어부(7)로부터 통지된 조리개 직경 및 셔터 속도에 의해 피사체의 상이 찍힌 화상을 생성한다. 본 실시 형태에서는, 카메라 모듈(2)은, 적정한 노광량이 되도록 조정된 조리개 직경 및 셔터 속도로 피사체를 촬영하여, 장노광 화상을 생성한다. 또한 카메라 모듈(2)은, 장노광 화상 생성시의 조리개 직경과 동일한 조리개 직경으로, 셔터 속도를, 예를 들어 8배로 하여 피사체를 촬영함으로써, 단노광 화상을 생성한다. 즉, 단노광 화상에서는, 장노광 화상과 비교해서 노출 시간 및 노광량이 1/8이 되어 있다. 또한, 상기의 노출 시간은 일례에 지나지 않고, 단노광 화상에 대한 노출 시간은, 예를 들어 장 노광 화상의 노출 시간의 1/4 또는 1/16이어도 좋다.

또한 카메라 모듈(2)은, 노광량의 차이에 따른 장노광 화상과 단노광 화상간의 휘도차를 보정하기 위해, 각 고체 촬상 소자로부터의 출력 신호에 대한 게인을 조절하여, 단노광 화상의 각 화소의 값에, 단노광 화상의 노출 시간에 대한 장노광 화상의 노출 시간의 비를 곱한다. 그리고 카메라 모듈(2)은, 단노광 화상 및 장노광 화상을 기억부(5)에 기억시킨다.

도 2의 (a)는, 단노광 화상의 일례를 나타내는 도면이고, 도 2의 (b)는, 장노광 화상의 일례를 나타내는 도면이다. 도 2의 (a)에 도시한 단노광 화상(200)에서는, 십자 형상을 갖는 피사체(201)의 엣지가 명료하게 찍혀 있다. 그러나, 단노광 화상(200)에서는, 화소값에 차지하는 노이즈 성분이 상대적으로 커지므로, 전체적으로 입상성이 눈에 뜨인다. 한편, 도 2의 (b)에 도시한 장노광 화상(210)에서는, 손 떨림에 의한 흐려짐이 발생하고 있으므로, 피사체(201)의 엣지 근방에서 화소값이 완만하게 변화되어 있어, 엣지가 불명료하게 되어 있다. 그러나, 장노광 화상(210)에서는, 화소값에 차지하는 노이즈 성분이 상대적으로 작아지므로, 입상성은 눈에 뜨이지 않게 되어 있다.

조작부(3)는, 예를 들어 촬상 장치(1)를 유저가 조작하기 위한 각종의 조작 버튼 또는 다이얼 스위치를 갖는다. 그리고 조작부(3)는, 유저의 조작에 따라서, 촬영 또는 합초의 개시 등의 제어 신호 또는 셔터 속도, 조리개 직경 등을 설정하기 위한 설정 신호를 제어부(7)로 송신한다.

표시부(4)는, 예를 들어 액정 디스플레이 장치 등의 표시 장치를 갖고, 제어부(7)로부터 수취한 각종의 정보 또는 카메라 모듈(2)에 의해 생성된 화상을 표시한다. 또한, 조작부(3)와 표시부(4)는, 예를 들어 터치 패널 디스플레이를 사용하여 일체적으로 형성되어도 좋다.

기억부(5)는, 예를 들어 판독 기입 가능한 휘발성 또는 불휘발성의 반도체 메모리 회로를 갖는다. 그리고 기억부(5)는, 카메라 모듈(2)로부터 수취한 화상을 기억한다. 또한 기억부(5)는, 화상 합성 장치(6)로부터의 판독 요구에 의해서 화상을 화상 합성 장치(6)로 넘기고, 또한, 기억부(5)는, 화상 합성 장치(6)로부터 수취한 합성 화상을 기억한다. 또한, 화상 합성 장치(6)가 갖는 각 기능이, 제어부(7)가 갖는 프로세서상에서 실행되는 컴퓨터 프로그램에 의해 실현되는 경우, 그 컴퓨터 프로그램을 기억해도 좋다.

화상 합성 장치(6)는, 장노광 화상과 단노광 화상을 합성함으로써, 손 떨림에 의한 흐려짐이 억제되고, 또한, 노이즈 성분이 저감된 합성 화상을 생성한다. 또한, 화상 합성 장치(6)의 상세에 대해서는 후술한다.

제어부(7)는, 적어도 하나의 프로세서 및 그 주변 회로를 갖고, 촬상 장치(1) 전체를 제어한다. 예를 들어, 제어부(7)는, 조작부(3)로부터 수취한 설정 신호 및 피사체의 노광량에 따라서, 셔터 스피드 또는 조리개 직경을 설정한다. 또한 제어부(7)는, 화상 합성 장치(6)에 의해 생성된 합성 화상에 대해서 컬러 밸런스를 조정하거나, 엣지 강조 또는 콘트라스트 강조 등의 처리를 실행해도 좋다.

이하, 화상 합성 장치(6)의 각 구성 요소에 대해서 설명한다. 도 3에, 화상 합성 장치(6)의 구성도를 도시한다. 화상 합성 장치(6)는, 위치 정렬부(11)와, 제1 유사 화소 선택부(12)와, 제2 유사 화소 선택부(13)와, 합성부(14)를 갖는다.

화상 합성 장치(6)가 갖는 이들의 각 부는, 그 각 부에 대응하는 회로가 집적된 하나의 집적 회로로서 형성된다. 또한, 화상 합성 장치(6)가 갖는 이들의 각 부는, 각각, 별개의 회로로서 형성되어도 좋다.

위치 정렬부(11)는, 장노광 화상에 찍혀 있는 피사체의 상의 위치와 단노광 화상에 찍혀 있는 피사체의 상의 위치와의 위치 어긋남량을 구한다. 그리고 위치 정렬부(11)는, 그 위치 어긋남량을 상쇄하도록, 장노광 화상 및 단노광 화상 중 적어도 한쪽에 찍혀 있는 피사체의 상을 이동함으로써, 양쪽 화상상의 피사체의 상을 위치 정렬한다.

위치 어긋남량을 구하기 위해, 위치 정렬부(11)는, 예를 들어 단노광 화상상의 특징점을 적어도 하나 추출한다. 예를 들어, 위치 정렬부(11)는, 단노광 화상에 대해서 코너 검출기를 적용함으로써 검출되는 복수의 점을 각각 특징점으로 한다. 또한, 위치 정렬부(1)는, 그와 같은 코너 검출기로서, 예를 들어 Harris 검출기를 사용할 수 있다. 또한 위치 정렬부(11)는, 단노광 화상으로부터 특징점을 추출하기 위해, 다른 특징점 추출용의 검출기를 이용해도 좋다. 예를 들어, 그와 같은 검출기로서, Moravec 검출기, Smallest Univalue Segment Assymilating Nucleus(SUSAN) 검출기, Kanade-Lucas-Tomasi(KLT) Tracker 또는 Scale-invariant feature transform(SIFT) 검출기 중 어느 하나가 사용되어도 좋다.

다음에, 위치 정렬부(11)는, 단노광 화상으로부터 추출된 특징점마다, 그 특징점을 중심으로 하는 소정의 영역을 템플릿으로서 설정한다. 그리고 위치 정렬부(11)는, 예를 들어 그 템플릿과 장노광 화상 사이에서 상대적인 위치를 바꾸면서 템플릿 매칭을 행하여 유사도를 구하고, 유사도가 최대가 되는 영역의 중심 위치를, 단노광 화상상의 그 특징점에 대응하는 장노광 화상상의 특징점으로서 구한다. 그 때, 위치 정렬부(11)는, 주목하는 특징점에 대해서, 장노광 화상상의 대응하는 화소를 최초의 탐색점으로 설정한다. 그리고 위치 정렬부(11)는, 탐색점 및 그 주위의 8근방 화소 혹은 24근방 화소에 대해서 유사도를 구하고, 그 중에서 유사도가 최대가 되는 화소를 다음의 탐색점으로 설정한다. 그리고 위치 정렬부(11)는, 탐색점이 이동하지 않게 될 때까지 상기의 처리를 반복하고, 최종적으로 구해진 탐색점을 특징점으로 해도 좋다. 또한, 위치 정렬부(11)는, 유사도로서, 예를 들어 템플릿과 장노광 화상상의 비교하는 영역과의 정규화 상호 상관값을 산출한다. 혹은, 위치 정렬부(11)는, 템플릿과 장노광 화상상의 비교하는 영역과의 대응 화소간의 화소값차의 절대값의 총합 Δ의 역수, 혹은 1/(1+Δ)을 유사도로 해도 좋다.

위치 정렬부(11)는, 상기의 유사도의 최대값이 소정의 임계값 이상인 경우에만, 단노광 화상상의 특징점과 장노광 화상상의 대응하는 점을, 피사체의 동일한 부위에 대응하는 특징점의 조로 해도 좋다. 이 경우, 유사도의 최대값이 임계값 미만이면, 위치 정렬부(11)는, 그 템플릿에 대응하는 특징점과 일치하는 특징점이 장노광 화상에는 존재하지 않는다고 해서, 그 특징점을, 특징점의 조의 탐색 대상으로부터 제거해도 좋다. 이 소정의 임계값이 높게 설정될수록, 위치 정렬부(11)는, 특징점의 조가, 피사체의 동일한 부위에 대응하고 있는 것의 정확도를 향상시킬 수 있다. 예를 들어, 소정의 임계값은, 유사도가 취할 수 있는 최대값에 0.8 내지 0.9를 곱한 값으로 설정된다. 혹은, 위치 정렬부(11)는, 단노광 화상으로부터 추출된 특징점의 수가 많을수록, 소정의 임계값을 높게 해도 좋다. 이에 의해, 위치 정렬부(11)는, 한쪽의 화상으로부터 추출된 특징점의 수가 많을 때에는, 동일한 부위에 대응하고 있을 가능성이 높은 특징점의 조만을 추출할 수 있다. 또한, 한쪽의 화상으로부터 추출된 특징점 수가 적어도, 위치 정렬부(11)는 양쪽 화상상의 피사체의 상의 위치 정렬을 위해 충분한 수의 특징점의 조를 추출할 수 있다.

다음에, 위치 정렬부(11)는, 얻어진 특징점의 조에 기초하여, 단노광 화상에 찍혀 있는 피사체의 위치와 장노광 화상에 찍혀 있는 피사체의 위치를 일치시키기 위한 좌표 변환 파라미터의 조를 산출한다. 좌표 변환 파라미터의 조는, 예를 들어 단노광 화상 및 장노광 화상 중 적어도 한쪽의 각 화소에 대해서 적용되는 아핀 변환의 계수의 조로 할 수 있다.

이 경우, 위치 정렬부(11)는, 예를 들어 최소 제곱법에 의해, 좌표 변환 파라미터의 조를 결정한다. 즉, 위치 정렬부(11)는, 좌표 변환 파라미터의 조에 포함되는 각 아핀 변환의 계수를 각각 변수로서, 복수의 특징점의 조의 각각에 대해서 아핀 변환에 따라서 단노광 화상 및 장노광 화상 중 적어도 한쪽의 특징점의 좌표를 변환한다. 그리고 위치 정렬부(11)는, 각 특징점의 조에 대한 변환 후의 특징점간의 거리의 제곱의 평균값을 구한다. 위치 정렬부(11)는, 이 제곱 평균값이 최소가 되는 좌표 변환 파라미터의 조를 구한다.

또한, 위치 정렬부(11)는, 다른 다양한 위치 정렬 방법 중 어느 하나를 사용하여 좌표 변환 파라미터의 조를 구해도 좋다. 예를 들어, 촬상 장치(1)가 자이로 센서(도시하지 않음)를 내장하고 있는 경우가 있다. 이 경우에는, 자이로 센서로부터의 출력에 기초하여, 위치 정렬부(11)는, 장노광 화상 촬영시의 카메라 모듈(2)의 촬영 방향과 단노광 화상 촬영시의 카메라 모듈(2)의 촬영 방향간의 각도를 구하고, 그 각도에 따라서 상기의 좌표 변환 파라미터를 구해도 좋다.

위치 정렬부(11)는, 구한 좌표 변환 파라미터의 조를 사용하여, 단노광 화상 및 장노광 화상 중 적어도 한쪽의 각 화소의 좌표를 아핀 변환한다. 이에 의해, 위치 정렬부(11)는, 장노광 화상에 찍혀 있는 피사체의 상의 위치와 단노광 화상에 찍혀 있는 피사체의 상의 위치를 일치시킬 수 있다.

위치 정렬부(11)는 피사체의 상의 위치 정렬이 이루어진 단노광 화상을 제1 유사 화소 선택부(12)에 출력하고, 한편, 피사체의 상의 위치 정렬이 이루어진 장노광 화상을 제2 유사 화소 선택부(13)에 출력한다.

제1 유사 화소 선택부(12)는, 단노광 화상상의 각 화소를 순차적으로 주목 화소로 하고, 그 주목 화소의 주위에 소정의 필터 영역을 설정한다. 그리고 제1 유사 화소 선택부(12)는, 그 필터 영역으로부터, 주목 화소의 값을 기준값으로서 설정되는 제1 허용 범위 내의 화소값을 갖는 화소를 선택한다. 또한, 필터 영역은, 예를 들어 주목 화소를 중심으로 하는, 세로 5화소×가로 5화소의 크기를 갖는 직사각형 영역이다. 또한 제1 허용 범위는, 촬상 장치(1)의 전자 회로에서 발생하는 노이즈 및 개개의 화소에 상당하는 촬상 소자에 입사하는 광자수의 요동에 의한 노이즈로부터 상정되는 화소값의 요동에 상당하는 범위로 설정된다. 이 범위는, 예를 들어 실험적으로 정해져, 화소값이 0 내지 255로 나타내어지는 경우, 기준값 ±25로 설정된다. 또한, 촬영시의 노광량이 적을수록, 화소값에 차지하는 노이즈 성분의 비율은 커지므로, 제1 허용 범위는, 단노광 화상의 노광량이 적을수록, 넓게 설정되어도 좋다. 혹은, 주목 화소의 값이 작을수록, 제1 허용 범위는 넓게 설정되어도 좋다.

제1 유사 화소 선택부(12)는, 단노광 화상상에서 선택한 화소의 위치를 나타내는 정보를 합성부(14)로 통지한다.

제2 유사 화소 선택부(13)는, 장노광 화상에 대해서, 단노광 화상상의 주목 화소와 동일 위치에 있는 기준 화소의 주위에 소정의 필터 영역을 설정한다. 그리고 제2 유사 화소 선택부(13)는, 그 필터 영역으로부터, 주목 화소의 값을 기준값으로서 설정되는 제2 허용 범위 내의 화소값을 갖는 화소를 선택한다.

또한, 장노광 화상에서는, 손 떨림에 의해 피사체상의 임의의 점이 복수의 화소에 걸쳐서 찍혀 있을 가능성이 있다. 따라서 장노광 화상에 대해서 설정되는 필터 영역은, 단노광 화상에 대해서 설정되는 필터 영역보다도 큰 것이 바람직하다. 예를 들어, 장노광 화상에 대해서 설정되는 필터 영역은, 주목 화소를 중심으로 하는, 세로 9화소×가로 9화소의 크기를 갖는 직사각형 영역이다. 또한, 예를 들어 촬상 장치(1)에 내장되어 있는 자이로 센서의 출력 등에 의해, 손 떨림의 방향이 추정되는 경우에는, 제2 유사 화소 선택부(13)는, 그 손 떨림의 방향의 필터 크기를, 손 떨림의 방향과 직교하는 방향의 필터 크기보다도 크게 해도 좋다. 제2 유사 화소 선택부(13)는, 예를 들어 필터 영역을, 손 떨림의 방향에 대해서는 기준 화소를 중심으로 하는 9화소의 폭을 갖고, 손 떨림의 방향과 직교하는 방향에 대해서는 기준 화소를 중심으로 하는 5화소의 폭을 갖는 영역으로 해도 좋다.

또한 장노광 화상에 대해서 설정되는 제2 허용 범위는, 단노광 화상에 대해서 설정되는 제1 허용 범위보다도 좁은 것이 바람직하다. 장노광 화상에서는, 상대적으로, 화소값에 차지하는 노이즈 성분의 비율이 낮으므로, 노이즈에 의한 화소값의 요동의 폭도 작기 때문이다. 예를 들어, 화소값이 0 내지 255로 나타내어지는 경우, 제2 허용 범위는, 기준값 ±15로 설정된다.

또한, 제2 유사 화소 선택부(13)는, 장노광 화상의 노광량이 클수록, 제2 허용 범위를 좁게 해도 좋다. 또한 제2 유사 화소 선택부(13)는, 장노광 화상상에서 화소값이 큰 화소일수록, 제2 허용 범위를 좁게 해도 좋다.

도 4의 (a)는, 단노광 화상의 주목 화소에 대해서 설정되는 필터 범위 및 선택되는 화소의 일례를 나타내는 도면이다. 도 4의 (a)에 있어서, 단노광 화상(400)의 각 화소 내에 나타내어진 수치는, 그 화소의 값을 나타낸다. 이 예에서는, 주목 화소 401을 중심으로 하는 세로 5×가로 5화소의 필터 영역(410)이 설정되어 있다. 제1 허용 범위가 주목 화소 401의 화소값 192에 대해서 ±25의 범위라고 하면, 주목 화소 401 외에, 주목 화소 401의 좌측의 이웃 화소 402(화소값 185), 좌측 하방의 화소 403(화소값 203) 및 우측 하방의 화소 404(화소값 190)가 선택된다.

도 4의 (b)는, 장노광 화상(420)에 대해서 설정되는 필터 범위 및 선택되는 화소의 일례를 나타내는 도면이다. 도 4의 (b)에 있어서, 각 화소 내에 나타내어진 수치는, 그 화소의 값을 나타낸다. 이 예에서는, 주목 화소와 동일 위치에 있는 기준 화소 421을 중심으로 하는 세로 9×가로 9화소의 필터 영역(430)이 설정되어 있다. 제2 허용 범위가 도 4의 (a)에 도시된 주목 화소 401의 화소값 192에 대해서 ±15의 범위라고 하면, 해칭으로 나타내어진 7개의 화소 422가 선택된다.

제2 유사 화소 선택부(13)는, 선택한 화소의 위치를 나타내는 정보를 합성부(14)로 통지한다.

합성부(14)는, 제1 유사 화소 선택부(12)에 의해 선택된 단노광 화상상의 화소의 값과, 제2 유사 화소 선택부(13)에 의해 선택된 장노광 화상상의 화소의 값을 합성함으로써 얻어진 합성값을, 합성 화상상의 주목 화소와 동일 위치의 화소의 값으로서 산출한다. 본 실시 형태에서는, 합성부(14)는, 선택된 화소의 평균값을, 합성 화상상의 주목 화소와 동일 위치의 화소의 값으로 한다. 예를 들어, 도 4의 (a) 및 도 4의 (b)에 도시된 선택 화소의 예에서는, 선택 화소의 값의 평균값은, (192+185+203+190+190+185+188+187+195+204+199)/11=192.5가 되므로, 그 평균값의 정수 부분인 192가 주목 화소와 동일 위치의 화소의 값이 된다.

또한, 합성부(14)는, 제1 유사 화소 선택부(12)에 의해 선택된 단노광 화상상의 화소의 값과, 제2 유사 화소 선택부(13)에 의해 선택된 장노광 화상상의 화소의 값의 중앙값을, 합성 화상상의 주목 화소와 동일 위치의 화소의 값으로 해도 좋다. 이 경우에는, 도 4의 (a) 및 도 4의 (b)에 도시된 선택 화소의 예에서는, 선택 화소의 값의 중앙값은 190이므로, 주목 화소와 동일 위치의 화소의 값은 190이 된다.

도 5는, 화상 합성 장치(6)에 의해 실행되는 화상 합성 처리의 동작 흐름도이다.

화상 합성 장치(6)는, 기억부(5)로부터, 장노광 화상 및 단노광 화상을 읽어들인다(스텝 S101). 그리고 위치 정렬부(11)는, 장노광 화상상의 피사체의 상의 위치와 단노광 화상상의 피사체의 상의 위치를 일치시키도록, 장노광 화상 및 단노광 화상 중 적어도 한쪽의 피사체의 상을 이동시킨다(스텝 S102).

화상 합성 장치(6)는, 위치 정렬된 단노광 화상상의 화소 중, 주목 화소로 설정되어 있지 않은 화소를 주목 화소로 설정한다(스텝 S103). 예를 들어, 화상 합성 장치(6)는, 좌측 상단부의 화소로부터 순서대로, 래스터 스캔 순서에 따라서 각 화소를 순차적으로 주목 화소로 설정한다.

제1 유사 화소 선택부(12)는, 단노광 화상상의 주목 화소의 주위에 필터 영역을 설정한다(스텝 S104). 그리고 제1 유사 화소 선택부(12)는, 필터 영역 내에서 주목 화소의 값을 기준값으로서 설정되는 제1 허용 범위 내에 포함되는 화소값을 갖는 화소를 선택한다(스텝 S105). 제1 유사 화소 선택부(12)는, 단노광 화상으로부터 선택한 화소의 위치를 나타내는 정보를 합성부(14)로 통지한다.

또한 제2 유사 화소 선택부(13)는, 장노광 화상에 대해서, 그 장노광 화상상에서 주목 화소와 동일 위치에 있는 기준 화소의 주위에 필터 영역을 설정한다(스텝 S106). 그리고 제2 유사 화소 선택부(13)는, 필터 영역 내에서 주목 화소의 값을 기준값으로서 설정되는 제2 허용 범위 내에 포함되는 화소값을 갖는 화소를 선택한다(스텝 S107). 제2 유사 화소 선택부(13)는, 장노광 화상으로부터 선택한 화소의 위치를 나타내는 정보를 합성부(14)로 통지한다.

합성부(14)는, 선택된 화소의 값을 합성함으로써 얻어진 합성값을, 합성 화상상의 주목 화소와 동일 위치의 화소의 값으로서 산출한다(스텝 S108). 상기한 바와 같이, 선택된 화소의 값을 합성함으로써 얻어진 값은, 예를 들어 선택된 화소의 값의 평균값 또는 중앙값으로 할 수 있다.

그 후, 화상 합성 장치(6)는, 단노광 화상상에서 주목 화상에 설정되어 있지 않은 화소가 남아 있지 않은지 여부를 판정한다(스텝 S109). 단노광 화상상에서 주목 화소로 설정되어 있지 않은 화소가 남아 있는 경우(스텝 S109 "예"), 화상 합성 장치(6)는, 스텝 S103 이후의 처리를 반복한다.

한편, 단노광 화상상에서 주목 화소로 설정되어 있지 않은 화소가 남아 있지 않은 경우(스텝 S109 "아니오"), 화상 합성 장치(6)는, 합성 화상을 제어부(7)로 출력한다(스텝 S110). 또한, 화상 합성 장치(6)는, 합성 화상을 기억부(5)에 기억시켜도 좋다. 그리고 화상 합성 장치(6)는, 이 화상 합성 처리를 종료한다.

또한, 화상 합성 장치(6)는, 스텝 S104 및 S105의 처리와, 스텝 S106 및 S107의 처리를 병렬로 실행해도 좋다. 혹은, 화상 합성 장치(6)는, 스텝 S104 및 S105의 처리와, 스텝 S106 및 S107의 처리의 순서를 전환해도 좋다.

이상으로 설명해 온 바와 같이, 이 화상 합성 장치는, 장노광 화상 및 단노광 화상의 양쪽에 대해서, 주목 화소의 주위에 어느 정도의 크기를 갖는 필터 영역을 설정하여, 그 필터 영역 내로부터, 주목 화소의 값에 가까운 값을 갖는 화소를 선택한다. 이와 같이 하여 선택된 화소에는, 주목 화소에 찍혀 있는 피사체와 동일한 피사체가 찍혀 있을 가능성이 높다. 그로 인해, 이 화상 합성 장치는, 손 떨림에 의한 흐려짐을 억제할 수 있다. 또한 이 화상 합성 장치는, 피사체의 동일한 부위가 찍혀 있다고 상정되는 선택된 복수의 화소의 값을 합성함으로써 합성 화상을 생성하므로, 합성 화상의 각 화소의 값에 포함되는 노이즈 성분을 저감할 수 있다.

다음에, 제2 실시 형태에 의한 화상 합성 장치에 대해서 설명한다. 제2 실시 형태에 의한 화상 합성 장치는, 장노광 화상에 있어서 피사체의 엣지가 찍혀 있는 엣지 화소를 검출하고, 엣지 화소가 기준 화소로서 설정되는 경우의 필터 영역을 상대적으로 크게 한다.

도 6에, 제2 실시 형태에 의한 화상 합성 장치(61)의 구성도를 도시한다. 화상 합성 장치(61)는, 위치 정렬부(11)와, 제1 유사 화소 선택부(12)와, 제2 유사 화소 선택부(13)와, 합성부(14)와, 엣지 판정부(15)를 갖는다.

화상 합성 장치(61)가 갖는 이들의 각 부는, 그 각 부에 대응하는 회로가 집적된 하나의 집적 회로로서 형성된다. 또한, 화상 합성 장치(61)가 갖는 이들의 각 부는, 각각, 별개의 회로로서 형성되어도 좋다.

도 6에 있어서, 화상 합성 장치(61)가 갖는 각 구성 요소에는, 도 3에 도시된 제1 실시 형태에 의한 화상 합성 장치(6)가 갖는 대응하는 구성 요소의 참조 번호와 동일한 참조 번호를 붙였다. 제2 실시 형태에 의한 화상 합성 장치(61)는, 제1 실시 형태에 의한 화상 합성 장치(6)와 비교하여, 엣지 판정부(15)를 갖는 점에서 다르다. 따라서 이하에서는, 엣지 판정부(15) 및 관련 부분에 대해서 설명한다.

엣지 판정부(15)는, 위치 정렬부(11)에 의해 위치 정렬된 장노광 화상 및 단노광 화상에 기초하여, 장노광 화상의 각 화소에 대해서 피사체의 엣지가 찍혀 있는지 여부를 판정한다.

도 7은, 피사체의 엣지 부분에 대한 단노광 화상과 장노광 화상의 화소값의 프로파일의 일례를 나타내는 도면이다. 도 7에 있어서, 횡축은 화상상의 위치를 나타내고, 종축은 화소값을 나타낸다. 그리고 프로파일 701은, 단노광 화상에 있어서의 피사체의 엣지 부분의 화소값의 변화를 나타낸다. 또한 프로파일 702는, 손 떨림에 의한 흐려짐이 발생한 경우의 장노광 화상에 있어서의 피사체의 엣지 부분의 화소값의 변화를 나타낸다.

프로파일 701에 나타내어진 바와 같이, 단노광 화상에서는, 손 떨림에 의한 흐려짐이 거의 발생하지 않으므로, 피사체의 엣지 부분 710에 있어서, 엣지 부분에서의 위치 변화에 대해서 화소값은 급격하게 변화된다. 한편, 프로파일 702에 나타내어진 바와 같이, 장노광 화상에서는, 손 떨림에 의한 흐려짐이 발생하고 있기 때문에, 엣지 부분 720은 단노광 화상에 있어서의 엣지 부분 710보다도 확대되어 있고, 엣지 부분에서의 위치 변화에 대한 화소값의 변화도 완만하다. 그 결과로서, 엣지 부분 720에서는, 동일한 피사체가 찍혀 있음에도 불구하고, 단노광 화상과 장노광 화상에서, 화소값에 차이가 발생하고 있다. 한편, 엣지 부분 720 이외에서는, 단노광 화상과 장노광 화상간의 화소값의 차이는 매우 작다.

따라서 본 실시 형태에서는, 엣지 판정부(15)는, 장노광 화상과 단노광 화상에서, 동일 위치에 있는 화소의 값의 차이의 절대값을 엣지 판정값으로서 산출한다. 그리고 엣지 판정부(15)는, 그 엣지 판정값이 소정의 임계값 Th 이상이 되는 경우, 장노광 화상상의 그 화소에는 피사체의 엣지가 찍혀 있다고 판정한다. 또한, 소정의 임계값 Th는, 예를 들어 동일한 피사체가 찍혀 있는 단노광 화상과 장노광 화상의 조의 복수의 샘플에 기초하여, 피사체의 엣지 부분에 상당하는 화소값의 차이의 절대값을 조사하고, 그 차이의 절대값의 하한에 상당하는 값으로 설정된다. 예를 들어, 그 임계값 Th는, 화소값이 0 내지 255로 나타내어지는 경우, 5로 설정된다.

또한, 엣지 판정부(15)는, 엣지를 검출하는 다른 방법을 사용해도 좋다. 다시 도 7을 참조하면, 장노광 화상에 있어서 손 떨림에 의한 흐려짐이 발생하고 있으면, 장노광 화상에 있어서의 엣지 부분에서의 근방 화소간의 차분값은, 단노광 화상에 있어서의 엣지 부분에서의 근방 화소간의 차분값보다도 작아진다. 반대로, 단노광 화상에 있어서의 엣지 부분의 주위의 화소값이 평탄한 부분에서의 근방 화소간의 차분값보다도, 장노광 화상에 있어서 그 평탄한 부분에 대응하는 부분에서의 근방 화소간의 차분값은 커진다. 따라서 엣지 판정부(15)는, 단노광 화상과 장노광 화상에서, 각각, 동일한 위치에 있는 화소에 대해서 근방 화소간의 차분 연산을 행하여 차분값을 구하고, 그 차분값의 차이의 절대값을 엣지 판정값으로 해도 좋다. 이 경우도, 엣지 판정부(15)는, 엣지 판정값이 소정의 임계값 이상이 되는 경우, 장노광 화상상의 그 화소에 엣지가 찍혀 있다고 판정해도 좋다.

엣지 판정부(15)는, 장노광 화상에 있어서 엣지가 찍혀 있다고 판정된 엣지 화소의 좌표를 제2 유사 화소 선택부(13)로 통지한다.

제2 유사 화소 선택부(13)는, 기준 화소가 엣지 화소인 경우의 필터 영역을, 기준 화소가 엣지 화소가 아닌 경우의 필터 영역보다도 크게 한다. 예를 들어, 기준 화소가 엣지 화소인 경우, 필터 영역은, 기준 화소를 중심으로 하는 세로 9×가로 9화소의 크기로 설정된다. 한편, 기준 화소가 엣지 화소가 아닌 경우, 필터 영역은, 기준 화소를 중심으로 하는 세로 5×가로 5화소의 크기로 설정된다.

손 떨림에 의해 장노광 화상이 흐려지면, 피사체의 엣지가 찍혀 있는 근방에서는, 그 엣지 부분이 본래보다도 확대되어 있기 때문에, 단노광 화상상의 주목 화소에 찍혀 있는 피사체와 마찬가지의 화소값을 갖는 화소가, 장노광 화상상에서 검출하기 어려워진다. 특히, 상기의 엣지 화소의 판정 방법에서는, 단노광 화상에서는 피사체의 엣지가 흐려져 있지 않고, 한편, 장노광 화상상의 피사체의 엣지가 흐려져 있는 경우에 엣지 화소가 검출된다. 그로 인해, 엣지 화소와 판정된 화소에는, 손 떨림에 의해 흐려져 있는 피사체의 엣지가 찍혀 있을 가능성이 높다. 그러나 이 실시 형태에서는, 단노광 화상의 주목 화소와 동일 위치에 있는 장노광 화상상의 기준 화소가 엣지 화소인 경우, 장노광 화상에 대해서 설정되는 필터 영역이 확대된다. 그로 인해, 제2 유사 화소 선택부(13)는, 주목 화소에 찍혀 있는 피사체의 부위와 동일한 부위가 찍혀 있는 화소를 검출하기 쉬워진다.

또한, 변형예에 따르면, 엣지 판정부(15)는, 장노광 화상상의 각 화소에 대해서, 그 화상의 엣지 판정값을 제2 유사 화소 선택부(13)로 통지해도 좋다. 그리고 제2 유사 화소 선택부(13)는, 기준 화소의 엣지 판정값이 클수록, 그 기준이 그 주위에 설정되는 필터 영역의 크기를 크게 해도 좋다.

다음에, 제3 실시 형태에 의한 화상 합성 장치에 대해서 설명한다. 제3 실시 형태에 의한 화상 합성 장치는, 장노광 화상에 중첩되어 있는 노이즈 성분 및 단노광 화상에 중첩되어 있는 노이즈 성분에 의한 화소값의 변동 폭을 추정하고, 그 변동 폭이 클수록, 화소값의 허용 범위를 크게 한다. 또한 이 화상 합성 장치는, 그들의 화상에 중첩되어 있는 노이즈 성분이 클수록, 필터 영역을 확대한다.

도 8에, 제3 실시 형태에 의한 화상 합성 장치(62)의 구성도를 도시한다. 화상 합성 장치(62)는, 위치 정렬부(11)와, 노이즈 성분 추정부(16)와, 제1 유사 화소 선택부(12)와, 제2 유사 화소 선택부(13)와, 합성부(14)를 갖는다.

화상 합성 장치(62)가 갖는 이들의 각 부는, 그 각 부에 대응하는 회로가 집적된 하나의 집적 회로로서 형성된다. 또한, 화상 합성 장치(62)가 갖는 이들의 각 부는, 각각, 별개의 회로로서 형성되어도 좋다.

도 8에 있어서, 화상 합성 장치(62)가 갖는 각 구성 요소에는, 도 3에 도시된 제1 실시 형태에 의한 화상 합성 장치(6)가 갖는 대응하는 구성 요소의 참조 번호와 동일한 참조 번호를 붙였다. 제3 실시 형태에 의한 화상 합성 장치(62)는, 제1 실시 형태에 의한 화상 합성 장치(6)와 비교해서, 노이즈 성분 추정부(16)를 갖는 것과, 제1 유사 화소 선택부(12) 및 제2 유사 화소 선택부(13)에 있어서의 필터 영역과 화소값의 허용 범위의 설정 방법에 있어서 다르다. 따라서 이하에서는, 노이즈 성분 추정부(16), 제1 유사 화소 선택부(12) 및 제2 유사 화소 선택부(13)에 대해서 설명한다.

노이즈 성분 추정부(16)는, 장노광 화상에 중첩되어 있는 노이즈 성분에 의한 화소값의 변동 폭 및 단노광 화상에 중첩되어 있는 노이즈 성분에 의한 화소값의 변동 폭을 추정한다. 일반적으로, 노이즈 성분이 많을수록, 화소값의 요동도 커지고, 그 결과로서, 화소값의 표준 편차도 커진다. 단, 모양이 있는 피사체가 찍혀 있는 영역에서는, 그 피사체의 모양에 의해 그 영역의 화소값의 표준 편차도 커진다. 따라서, 노이즈 성분 추정부(16)는, 가능한 한 모양이 없는 피사체가 찍혀 있는 영역에 있어서의 화소값의 표준 편차를 조사함으로써, 노이즈 성분에 의한 화소값의 변동 폭을 추정한다.

노이즈 성분 추정부(16)는, 장노광 화상 및 단노광 화상을, 각각, 예를 들어 세로로 8등분하고, 또한 가로로 8등분함으로써 복수의 서브 영역으로 분할한다. 그리고 노이즈 성분 추정부(16)는, 각각의 서브 영역마다, 그 서브 영역에 포함되는 각 화소에, 라플라시안 필터, sobel 필터 등의 엣지 검출 필터를 곱함으로써, 각 화소의 필터값을 산출한다. 그리고 노이즈 성분 추정부(16)는, 서브 영역마다 필터값의 합계를 산출한다. 노이즈 성분 추정부(16)는, 장노광 화상의 복수의 서브 영역 중, 필터값의 합계가 최소가 되는 서브 영역을, 피사체에 의한 화소값의 변동 폭이 최소가 되는 평탄 영역으로서 선택한다. 마찬가지로, 노이즈 성분 추정부(16)는, 단노광 화상의 복수의 서브 영역 중, 필터값의 합계가 최소가 되는 서브 영역을 평탄 영역으로서 선택한다.

혹은, 노이즈 성분 추정부(16)는, 평탄 영역을 특정하기 위해, 복수의 서브 영역의 각각에 대해서 고속 푸리에 변환을 적용해도 좋다. 그리고 노이즈 성분 추정부(16)는, 단노광 화상의 복수의 서브 영역 중, 소정의 주파수 임계값보다도 높은 주파수 성분이 주파수 성분 전체에 차지하는 비율이 최소가 되는 서브 영역을 평탄 영역으로 해도 좋다. 이 경우, 주파수 임계값은, 예를 들어 서브 영역의 한 변의 길이의 역수로 할 수 있다.

노이즈 성분 추정부(16)는, 단노광 화상에 중첩되어 있는 노이즈 성분에 의한 화소값의 변동 폭을 나타내는 지표로서, 단노광 화상의 평탄 영역의 화소값의 표준 편차 α를 산출한다. 마찬가지로, 노이즈 성분 추정부(16)는, 장노광 화상에 중첩되어 있는 노이즈 성분에 의한 화소값의 변동 폭을 나타내는 지표로서, 장노광 화상의 평탄 영역의 화소값의 표준 편차 β를 산출한다.

노이즈 성분 추정부(16)는, 표준 편차 α 및 β를 제1 유사 화소 선택부(12) 및 제2 유사 화소 선택부(13)로 통지한다.

제1 유사 화소 선택부(12)는, 단노광 화상의 평탄 영역의 화소값의 표준 편차 α에 기초하여, 제1 허용 범위를 설정한다.

도 9의 (a)는, 단노광 화상에 중첩되어 있는 노이즈 성분과 제1 허용 범위의 관계를 나타내는 도면이다. 도 9의 (a)에 있어서, 횡축은 화상상의 위치를 나타내고, 종축은 화소값을 나타낸다. 그리고 프로파일 901은, 단노광 화상의 평탄 영역에 있어서의 화소값의 변화를 나타낸다.

도 9의 (a)에 도시된 바와 같이, 단노광 화상의 평탄 영역의 화소값의 평균값을 중심으로 하는 ±2α의 범위에는, 평탄 영역 내의 대부분의 화소(이론적으로는, 평탄 영역 내의 화소의 95.45％)가 포함된다. 즉, 노이즈 성분에 의한 화소값의 변동 폭은, ±2α로 추정된다. 단, 주목 화소의 값이, 화소값의 변동 범위의 최소값 또는 최대값인 경우가 있다. 예를 들어, 도 9의 (a)에 있어서, 화소 910이 주목 화소인 경우, 그 화소값 Pref는, 변동 폭에 포함되는 화소값의 최소값이 되어 있다. 이 경우에 있어서, 화소값의 변동 폭 전체가 제1 허용 범위에 포함되기 위해서는, 주목 화소의 화소값으로부터 ±4α의 범위가 제1 허용 범위에 포함될 필요가 있다. 따라서 제1 유사 화소 선택부(12)는, 제1 허용 범위를, 주목 화소의 값을 기준값 Pref로서, (Pref-4α)로부터 (Pref+4α)로 설정한다.

마찬가지로, 제2 유사 화소 선택부(13)는, 단노광 화상에 중첩되어 있는 노이즈 성분 및 장노광 화상에 중첩되어 있는 노이즈 성분에 기초하여, 제2 허용 범위를 설정한다.

도 9의 (b)는, 단노광 화상에 중첩되어 있는 노이즈 성분 및 장노광 화상에 중첩되어 있는 노이즈 성분과 제2 허용 범위의 관계를 나타내는 도면이다. 도 9의 (b)에 있어서, 횡축은 화상상의 위치를 나타내고, 종축은 화소값을 나타낸다. 그리고 프로파일 902는, 장노광 화상의 평탄 영역에 있어서의 화소값의 변화를 나타낸다.

도 9의 (b)에 도시된 바와 같이, 장노광 화상의 평탄 영역의 화소값의 평균값을 중심으로 하는 ±2β의 범위에는, 평탄 영역 내의 대부분의 화소가 포함된다. 즉, 노이즈 성분에 의한 화소값의 변동 폭은, ±2β로 추정된다. 단, 제2 허용 범위의 중심이 되는, 단노광 화상에 있어서의 주목 화소의 값이, 단노광 화상의 화소값의 변동 범위의 최소값 또는 최대값인 경우가 있다. 이 경우, 평탄 영역에서는, 주목 화소의 값과 장노광 화상의 화소의 평균값의 차이는, 대략 2α가 된다. 이것은, 단노광 화상의 게인 등이 조절됨으로써, 동일한 휘도를 갖는 피사체에 대한 단노광 화상의 화소값과 장노광 화상의 화소값은 동등한 것에 의한다. 이 경우에 있어서, 화소값의 변동 폭 전체가 제2 허용 범위에 포함되기 위해서는, 주목 화소의 화소값으로부터 ±(2α+2β)의 범위가 제2 허용 범위에 포함될 필요가 있다. 따라서 제2 유사 화소 선택부(13)는, 제2 허용 범위를, 주목 화소의 값을 기준값 Pref로서, (Pref-(2α+2β))로부터 (Pref+(2α+2β))로 설정한다.

또한, 제1 유사 화소 선택부(12) 및 제2 유사 화소 선택부(13)는, 단노광 화상 및 장노광 화상에 중첩되어 있는 노이즈 성분이 클수록, 필터 영역을 크게 설정하는 것이 바람직하다. 이에 의해, 노이즈 성분이 커도, 제1 유사 화소 선택부(12) 및 제2 유사 화소 선택부(13)는, 주목 화소에 찍혀 있는 피사체의 휘도와 동일 정도의 휘도를 갖는 화소를 선택하기 쉬워진다.

장노광 화상은, 적정 노광으로 촬영된 화상이므로, 일반적으로, 노이즈 성분에 의한 화소값의 변동 폭은 작고, 그로 인해, 평탄 영역의 표준 편차 β도 작아진다. 또한, 노광량이 약간 저하되어도, 화소값에 대한 노이즈 성분의 기여는 작으므로, 표준 편차 β도 그만큼 크게는 되지 않는다. 한편, 단노광 화상은, 장노광 화상의 노광량보다도 적은 노광량으로 촬영되어 있으므로, 노광량이 적어짐에 따라서, 화소값에 대한 노이즈 성분의 기여가 급격하게 커진다. 그로 인해, 노광량이 적어짐에 따라서, 평탄 영역의 표준 편차 α는, 표준 편차 β보다도 크게 변화된다. 따라서, 제1 유사 화소 선택부(12) 및 제2 유사 화소 선택부(13)는, α/β가 커질수록, 장노광 화상 및 단노광 화상에 중첩되어 있는 노이즈 성분이 크다고 추정한다. 그리고 제1 유사 화소 선택부(12) 및 제2 유사 화소 선택부(13)는, α/β가 커질수록, 필터 영역을 확대한다.

예를 들어, 1.00<α/β≤2.00인 경우, 제1 유사 화소 선택부(12)는, 단노광 화상에 대해서 설정되는 제1 필터 영역의 크기를, 세로 3화소×가로 3화소로 설정한다. 한편, 제2 유사 화소 선택부(13)는, 장노광 화상에 대해서 설정되는 제2 필터 영역의 크기를, 세로 7화소×가로 7화소로 설정한다.

또한, 2.00<α/β≤4.00인 경우, 제1 유사 화소 선택부(12)는, 제1 필터 영역의 크기를, 세로 5화소×가로 5화소로 설정하고, 한편, 제2 유사 화소 선택부(13)는, 제2 필터 영역의 크기를, 세로 9화소×가로 9화소로 설정한다.

또한, α/β가 4.00보다도 큰 경우에는, 제1 유사 화소 선택부(12)는, 제1 필터 영역의 크기를, 세로 7화소×가로 7화소로 설정하고, 한편, 제2 유사 화소 선택부(13)는, 제2 필터 영역의 크기를, 세로 11화소×가로 11화소로 설정한다.

그리고 제1 유사 화소 선택부(12)는 단노광 화상의 필터 영역 내에서 제1 허용 범위에 포함되는 화소값을 갖는 화소를 선택하고, 제2 유사 화소 선택부(13)는 장노광 화상의 필터 영역 내에서 제2 허용 범위에 포함되는 화소값을 갖는 화소를 선택한다. 그리고 합성부(14)는, 선택된 화소의 값에 기초하여 주목 화소의 값을 합성한다.

이상으로 설명해 온 바와 같이, 이 제3 실시 형태에 의한 화상 합성 장치는, 단노광 화상 및 장노광 화상에 중첩되어 있는 노이즈 성분에 의한 화소값의 변동 폭을 추정하고, 그 추정 결과에 기초하여, 화소값의 허용 범위 및 필터 영역을 자동으로 적정화할 수 있다.

또한, 변형예에 따르면, 노이즈 성분 추정부(16)는, 단노광 화상의 평탄 영역 내의 화소값의 최대값과 최소값의 차이 d1을, 단노광 화상에 있어서의 노이즈 성분에 의한 화소값의 변동 폭으로서 산출해도 좋다. 마찬가지로, 노이즈 성분 추정부(16)는, 장노광 화상의 평탄 영역 내의 화소값의 최대값과 최소값의 차이 d2를, 장노광 화상에 있어서의 노이즈 성분에 의한 화소값의 변동 폭으로서 산출해도 좋다. 이 경우, d1은, 2α에 상당하는 값이 된다. 마찬가지로, d2는, 2β에 상당하는 값이 된다. 따라서 제1 유사 화소 선택부(12)는, 제1 허용 범위를, 주목 화소의 값을 기준값 Pref로서, (Pref-d1)로부터 (Pref+d1)로 설정해도 좋다. 또한 제2 유사 화소 선택부(13)는, 제2 허용 범위를, 주목 화소의 값을 기준값 Pref로서, (Pref-(d1+d2)/2)로부터 (Pref+(d1+d2)/2)로 설정해도 좋다.

또한, 본 발명은 상기의 실시 형태에 한정되는 것은 아니다. 상기의 각 실시 형태의 변형예에 따르면, 합성부(14)는, 장노광 화상으로부터 선택된 화소의 값과 단노광 화상으로부터 선택된 화소의 값을 가중 평균함으로써, 합성 화상의 화소값을 산출해도 좋다. 이 경우, 합성부(14)는, 예를 들어 다음 식에 따라서 합성 화상의 화소값 P를 산출한다.

여기서, w_l은 장노광 화상으로부터 선택된 화소에 대한 가중 계수이고, w_s는 단노광 화상으로부터 선택된 화소에 대한 가중 계수이다. 또한 p_i(i=1, 2, …, m)은, 장노광 화상으로부터 선택된 화소의 값이고, q_j(j=1, 2, …, n)은, 단노광 화상으로부터 선택된 화소의 값이다. 그리고 m, n은, 각각, 장노광 화상으로부터 선택된 화소의 수 및 단노광 화상으로부터 선택된 화소의 수이다.

합성부(14)는, 예를 들어, 장노광 화상이 손이 떨리지 않는 조건에서 촬영되어 있는 경우, 가중 계수 w_l을 가중 계수 w_s보다 크게 한다. 한편, 합성부(14)는, 장노광 화상이 손이 떨리는 조건에서 촬영되어 있는 경우, 가중 계수 w_l을 가중 계수 w_s보다 작게 한다.

장노광 화상에 대해서도 손이 떨리지 않는 조건에서 촬영되어 있는 경우에는, 애당초 손 떨림에 의한 흐려짐이 작다. 그로 인해, 이와 같이 가중 계수를 설정함으로써, 화상 합성 장치는, 합성 화상의 각 화소의 값에 차지하는 노이즈 성분을 보다 저감시켜, 합성 화상의 화질을 향상시킬 수 있다. 한편, 장노광 화상에 대해서 손이 떨리는 조건에서 촬영되어 있는 경우에는, 단노광 화상에 대한 가중 계수를 크게 함으로써, 화상 합성 장치는, 손 떨림에 의한 흐려짐을 보다 저감할 수 있다.

합성부(14)는, 장노광 화상이 손이 떨리지 않는 조건에서 촬영되어 있는지 여부를 판단하기 위해, 촬상 장치(1)의 제어부(7)로부터, 장노광 화상 촬영시의 셔터 속도를 취득한다. 그리고 합성부(14)는, 장노광 화상 촬영시의 셔터 속도가 손 떨림이 발생하기 어려운 셔터 속도의 하한값에 상당하는 임계값 이상이면, 장노광 화상이 손이 떨리지 않는 조건에서 촬영되어 있다고 판단하고, 가중 계수 w_l을 가중 계수 w_s보다 크게 한다. 한편, 장노광 화상 촬영시의 셔터 속도가 그 임계값 미만이면, 합성부(14)는, 장노광 화상이 손이 떨리는 조건에서 촬영되어 있다고 판단하고, 가중 계수 w_l을 가중 계수 w_s보다 작게 한다. 또한, 손 떨림이 발생하기 어려운 셔터 속도의 하한값은, 일반적으로, 35㎜ 필름 환산의 카메라 모듈(2)의 촬상 광학계의 초점 거리의 역수이다.

또한, 촬상 장치(1)가 가속도 센서를 탑재하고 있는 경우, 합성부(14)는, 셔터 속도 대신에, 그 가속도 센서에 의해 측정된 가속도를, 장노광 화상이 손이 떨리지 않는 조건에서 촬영되어 있는지 여부를 판단하기 위해 이용해도 좋다. 예를 들어, 합성부(14)는, 장노광 화상 촬영시의 그 가속도 센서에 의해 측정된 가속도가, 손 떨림이 발생하기 어려운 가속도의 상한값에 상당하는 임계값 이하이면, 장노광 화상이 손이 떨리지 않는 조건에서 촬영되어 있다고 판단한다.

또한 다른 변형예에 따르면, 위치 정렬부는 생략되어도 좋다. 각 실시 형태에 의한 화상 합성 장치는, 장노광 화상에 대해서, 단노광 화상상의 주목 화소와 동일 위치의 기준 화소의 주위에 어느 정도의 크기를 갖는 필터 영역을 설정하여, 그 필터 영역 내에서 주목 화소의 값에 가까운 화소값을 갖는 화소를 선택한다. 그로 인해, 이 화상 합성 장치는, 단노광 화상에 찍혀 있는 피사체의 상의 위치와 장노광 화상에 찍혀 있는 피사체의 상의 위치가 다소 어긋나 있어도, 주목 화소에 찍혀 있는 피사체의 부위와 같은 부위가 찍혀 있는 화소를 장노광 화상으로부터 선택할 수 있다.

또 다른 변형예에 따르면, 화상 합성 장치는, 제1 및 제2 허용 범위 중 적어도 어느 한쪽에 대해서, 단노광 화상의 주목 화소의 값으로부터 상한까지의 폭과 그 주목 화소의 값으로부터 하한까지의 폭을 다르게 해도 좋다.

또 다른 변형예에 따르면, 화상 합성 장치는, 노출 시간이 서로 다른 3매 이상의 화상을 합성해도 좋다. 이 경우에는, 화상 합성 장치는, 노출 시간이 최소의 화상을 단노광 화상으로 한다. 그리고 제2 유사 화소 선택부(13)는, 단노광 화상보다도 노출 시간이 긴 화상의 각각에 대해서, 상기의 실시 형태와 마찬가지로 단노광 화상상의 주목 화소와 동일 위치에 있는 기준 화소의 주위에 설정된 필터 영역으로부터 제2 허용 범위의 화소값을 갖는 화소를 선택하면 된다. 그리고 합성부(14)는, 선택된 모든 화소값을 합성함으로써, 주목 화소와 동일 위치에 있는 합성 화상상의 화소의 값을 구할 수 있다.

또 다른 변형예에 따르면, 화상 합성 장치가, 제어부(7) 대신에 보정된 화상에 대해서 컬러 밸런스를 조정하거나, 엣지 강조 또는 콘트라스트 강조 등의 처리를 실행해도 좋다.

상기의 실시 형태 또는 그 변형예에 의한 화상 합성 장치의 각 부의 기능은, 프로세서상에서 실행되는 컴퓨터 프로그램에 의해 실현되어도 좋다. 그와 같은 컴퓨터 프로그램은, 자기 기록 매체, 광기록 매체 등의 컴퓨터 판독 가능한 기록 매체에 기록된 형태로 제공되어도 좋다. 단, 그 기록 매체에는, 반송파는 포함되지 않는다.

도 10은, 상기의 실시 형태 또는 그 변형예에 의한 화상 합성 장치의 각 부의 기능을 실현하는 컴퓨터 프로그램이 동작함으로써, 화상 합성 장치로서 동작하는 컴퓨터의 구성도이다.

컴퓨터(100)는, 유저 인터페이스부(101)와, 통신 인터페이스부(102)와, 기억부(103)와, 기억 매체 액세스 장치(104)와, 프로세서(105)를 갖는다. 프로세서(105)는, 유저 인터페이스부(101), 통신 인터페이스부(102), 기억부(103) 및 기억 매체 액세스 장치(104)와, 예를 들어 버스를 통해서 접속된다.

유저 인터페이스부(101)는, 예를 들어 키보드와 마우스 등의 입력 장치와, 액정 디스플레이 등의 표시 장치를 갖는다. 또는, 유저 인터페이스부(101)는, 터치 패널 디스플레 등의, 입력 장치와 표시 장치가 일체화된 장치를 가져도 좋다. 그리고 유저 인터페이스부(101)는, 예를 들어 유저의 조작에 따라서, 화상 합성 처리를 개시시키는 조작 신호를 프로세서(105)로 출력한다.

통신 인터페이스부(102)는, 컴퓨터(100)를 상이한 노출 시간의 복수의 화상을 생성 가능한 촬상 장치(도시하지 않음)와 접속하기 위한 통신 인터페이스 및 그 제어 회로를 가져도 좋다. 그와 같은 통신 인터페이스는, 예를 들어 Universal Serial Bus(유니버설ㆍ시리얼ㆍ버스, USB)로 할 수 있다.

또한, 통신 인터페이스부(102)는, 이더넷(등록 상표) 등의 통신 규격에 따른 통신 네트워크에 접속하기 위한 통신 인터페이스 및 그 제어 회로를 가져도 좋다.

이 경우에는, 통신 인터페이스부(102)는, 통신 네트워크에 접속된 다른 기기로부터, 장노광 화상과 단노광 화상을 취득하고, 그들의 화상을 기억부(103)에 기억시킨다. 또한 통신 인터페이스부(102)는, 프로세서(105)로부터 수취한 합성 화상을 통신 네트워크를 통해서 다른 기기로 출력해도 좋다.

기억부(103)는, 예를 들어 판독 기입 가능한 반도체 메모리와 판독 전용의 반도체 메모리를 갖는다. 그리고 기억부(103)는, 프로세서(105)상에서 실행되는 화상 합성 처리를 실행하기 위한 컴퓨터 프로그램 및 그 화상 합성 처리의 도중에 얻어지는 중간 계산 결과 등을 기억한다. 또한 기억부(103)는, 통신 인터페이스부(102)로부터 수취한 화상 또는 프로세서(105)에 의해 생성된 합성 화상 등을 기억한다.

기억 매체 액세스 장치(104)는, 예를 들어 자기 디스크, 반도체 메모리 카드 및 광 기억 매체 등의 기억 매체(106)에 액세스하는 장치이다. 기억 매체 액세스 장치(104)는, 예를 들어 기억 매체(106)에 기억된 프로세서(105)상에서 실행되는, 화상 합성 처리용의 컴퓨터 프로그램을 읽어들이고, 프로세서(105)에 넘긴다. 또한 기억 매체 액세스 장치(104)는, 프로세서(105)에 의해 생성된 합성 화상을 기억 매체(106)에 기입해도 좋다.

프로세서(105)는, 상기의 실시 형태 또는 변형예에 의한 화상 합성 처리용 컴퓨터 프로그램을 실행함으로써, 손 떨림에 의한 흐려짐을 억제하면서 노이즈 성분을 저감한 합성 화상을 생성한다. 그리고 프로세서(105)는, 생성된 합성 화상을 기억부(103)에 보존하고, 또는 통신 인터페이스부(102)를 통해서 다른 기기로 출력한다.

여기에 들었던 모든 예 및 특정한 용어는, 독자가, 본 발명 및 당해 기술의 촉진에 대한 본 발명자에 의해 기여된 개념을 이해하는 것을 돕는, 교시적인 목적에 있어서 의도된 것이고, 본 발명의 우위성 및 열등성을 나타내는 것에 관한, 본 명세서의 어떤 예의 구성, 그와 같은 특정한 예 및 조건에 한정되지 않도록 해석되어야 할 것이다. 본 발명의 실시 형태는 상세하게 설명되어 있지만, 본 발명의 정신 및 범위로부터 벗어나는 일 없이, 다양한 변형, 치환 및 수정을 이에 추가하는 것이 가능한 것을 이해받고자 한다.

이상 설명한 실시 형태 및 그 변형예에 관한 것이고, 또한 이하의 부기를 개시한다.

(부기 1)

제1 화상과 그 제1 화상보다도 노출 시간이 긴 제2 화상을 합성함으로써 합성 화상을 생성하는 화상 합성 장치로서,

상기 제1 화상상의 주목 화소의 주위에 제1 필터 영역을 설정하고, 그 제1 필터 영역 중에서, 상기 주목 화소의 값을 포함하는 제1 허용 범위 내의 화소값을 갖는 제1 화소를 선택하는 제1 화소 선택부와,

상기 제2 화상상의 상기 주목 화소와 동일 위치에 있는 기준 화소의 주위에 제2 필터 영역을 설정하고, 그 제2 필터 영역 중에서, 상기 주목 화소의 값을 포함하는 제2 허용 범위 내의 화소값을 갖는 제2 화소를 선택하는 제2 화소 선택부와,

상기 제1 화소의 값 및 상기 제2 화소의 값을 합성함으로써 얻어진 합성값을 상기 합성 화상상의 상기 주목 화소와 동일 위치의 화소의 값으로 하는 합성부

를 갖는 화상 합성 장치.

(부기 2)

상기 제1 화상상에 찍혀 있는 피사체의 상의 위치와 상기 제2 화상상의 피사체의 상의 위치를 일치시키는 위치 정렬부를 더 갖고,

상기 제2 화소 선택부는, 피사체의 상에 대해서 위치 정렬된 상기 제1 화상 및 상기 제2 화상에 기초하여 상기 기준 화소를 결정하는, 부기 1에 기재된 화상 합성 장치.

(부기 3)

상기 합성부는, 상기 제2 화상이 손이 떨리지 않는 조건에서 촬영되어 있는 경우, 상기 제1 화소에 대한 제1 가중 계수를 상기 제2 화소에 대한 제2 가중 계수보다도 작게 하여 상기 제1 화소의 값 및 상기 제2 화소의 값을 가중 평균함으로써 상기 합성값을 산출하고, 한편, 상기 제2 화상이 손이 떨리는 조건에서 촬영되어 있는 경우, 상기 제1 가중 계수를 상기 제2 가중 계수보다도 크게 하여 상기 제1 화소의 값 및 상기 제2 화소의 값을 가중 평균함으로써 상기 합성값을 산출하는, 부기 1 또는 2에 기재된 화상 합성 장치.

(부기 4)

상기 제2 화상의 각각의 화소에 대해서, 피사체의 엣지가 찍혀 있는지 여부를 판정하는 엣지 판정부를 더 갖고,

상기 제2 화소 선택부는, 상기 기준 화소가 피사체의 엣지가 찍혀 있는 화소라고 판정되어 있는 경우에 있어서의 상기 제2 필터 영역의 크기를, 상기 기준 화소가 피사체의 엣지가 찍혀 있지 않은 화소라고 판정되어 있는 경우에 있어서의 상기 제2 필터 영역의 크기보다도 크게 하는, 부기 1 내지 3 중 어느 한 항에 기재된 화상 합성 장치.

(부기 5)

상기 제2 허용 범위는 상기 제1 허용 범위보다도 좁은, 부기 1 내지 4 중 어느 한 항에 기재된 화상 합성 장치.

(부기 6)

상기 제2 필터 영역의 크기는 상기 제1 필터 영역의 크기보다도 큰, 부기 1 내지 5 중 어느 한 항에 기재된 화상 합성 장치.

(부기 7)

상기 합성값은, 상기 제1 화소의 값 및 상기 제2 화소의 값의 평균값 또는 중앙값인, 부기 1에 기재된 화상 합성 장치.

(부기 8)

상기 제1 화상에 중첩된 노이즈 성분에 의한 화소값의 제1 변동 폭 및 상기 제2 화상에 중첩된 노이즈 성분에 의한 화소값의 제2 변동 폭을 추정하는 노이즈 성분 추정부를 더 갖고,

상기 제1 화소 선택부는, 상기 제1 허용 범위를, 상기 제1 변동 폭이 클수록 넓게 하고,

상기 제2 화소 선택부는, 상기 제2 허용 범위를, 상기 제1 변동 폭 및 상기 제2 변동 폭의 양쪽이 클수록 넓게 하는, 부기 1 내지 7 중 어느 한 항에 기재된 화상 합성 장치.

(부기 9)

상기 제1 화소 선택부는, 상기 제2 변동 폭에 대한 상기 제1 변동 폭의 비가 클수록, 상기 제1 필터 영역을 크게 하고,

상기 제2 화소 선택부는, 상기 제2 변동 폭에 대한 상기 제1 변동 폭의 비가 클수록, 상기 제2 필터 영역을 크게 하는, 부기 8에 기재된 화상 합성 장치.

(부기 10)

상기 노이즈 성분 추정부는, 상기 제1 화상을 복수의 부분 영역으로 분할하고, 그 복수의 부분 영역 중, 화소값의 변동이 가장 적은 부분 영역에 있어서의 화소값의 제1 표준 편차를 상기 제1 변동 폭을 나타내는 지표로서 산출하고, 상기 제2 화상을 복수의 부분 영역으로 분할하고, 그 복수의 부분 영역 중, 화소값의 변동이 가장 적은 부분 영역에 있어서의 화소값의 제2 표준 편차를 상기 제2 변동 폭을 나타내는 지표로서 산출하고,

상기 제1 화소 선택부는, 상기 제1 허용 범위를, 상기 제1 표준 편차가 커질수록 넓게 하고,

상기 제2 화소 선택부는, 상기 제2 허용 범위를, 상기 제1 표준 편차와 상기 제2 표준 편차의 합이 커질수록 넓게 하는, 부기 8 또는 9에 기재된 화상 합성 장치.

(부기 11)

제1 화상과 그 제1 화상보다도 노출 시간이 긴 제2 화상을 합성함으로써 합성 화상을 생성하는 화상 합성 방법으로서,

상기 제1 화상상의 주목 화소의 주위에 제1 필터 영역을 설정하고, 그 제1 필터 영역 중에서, 상기 주목 화소의 값을 포함하는 제1 허용 범위 내의 화소값을 갖는 제1 화소를 선택하고,

상기 제2 화상상의 상기 주목 화소와 동일 위치에 있는 기준 화소의 주위에 제2 필터 영역을 설정하고, 그 제2 필터 영역 중에서, 상기 주목 화소의 값을 포함하는 제2 허용 범위 내의 화소값을 갖는 제2 화소를 선택하고,

상기 제1 화소의 값 및 상기 제2 화소의 값을 합성함으로써 얻어진 합성값을 상기 합성 화상상의 상기 주목 화소와 동일 위치의 화소의 값으로 하는,

것을 포함하는 화상 합성 방법.

(부기 12)

제1 화상과 그 제1 화상보다도 노출 시간이 긴 제2 화상을 합성함으로써 합성 화상을 생성시키는 것을 컴퓨터에 실행시키는 화상 합성용 컴퓨터 프로그램으로서,

것을 컴퓨터에 실행시키기 위한 화상 합성용 컴퓨터 프로그램.

1 : 촬상 장치
2 : 카메라 모듈
3 : 조작부
4 : 표시부
5 : 기억부
6, 61, 62 : 화상 합성 장치
7 : 제어부
11 : 위치 정렬부
12 : 제1 유사 화소 선택부(제1 화소 선택부)
13 : 제2 유사 화소 선택부(제2 화소 선택부)
14 : 합성부
15 : 엣지 판정부
16 : 노이즈 성분 추정부
100 : 컴퓨터
101 : 유저 인터페이스부
102 : 통신 인터페이스부
103 : 기억부
104 : 기억 매체 액세스 장치
105 : 프로세서
106 : 기억 매체

Claims

제1 화상과 그 제1 화상보다도 노출 시간이 긴 제2 화상을 합성함으로써 합성 화상을 생성하는 화상 합성 장치로서,
상기 제1 화상상의 주목 화소의 주위에 제1 필터 영역을 설정하고, 그 제1 필터 영역 중에서, 상기 주목 화소의 값을 포함하는 제1 허용 범위 내의 화소값을 갖는 제1 화소를 선택하는 제1 화소 선택부와,
상기 제2 화상상의 상기 주목 화소와 동일 위치에 있는 기준 화소의 주위에 상기 제 1 필터 영역의 크기보다 큰 크기를 갖는 제2 필터 영역을 설정하고, 그 제2 필터 영역 중에서, 상기 주목 화소의 값을 포함하고, 또한 상기 제1 허용 범위보다도 좁은 제2 허용 범위 내의 화소값을 갖는 제2 화소를 선택하는 제2 화소 선택부와,
상기 제1 화소의 값 및 상기 제2 화소의 값을 합성함으로써 얻어진 합성값을 상기 합성 화상상의 상기 주목 화소와 동일 위치의 화소의 값으로 하는 합성부
를 갖는 화상 합성 장치.
제1항에 있어서,
상기 합성부는, 상기 제2 화상이 손이 떨리지 않는 조건에서 촬영되어 있는 경우, 상기 제1 화소에 대한 제1 가중 계수를 상기 제2 화소에 대한 제2 가중 계수보다도 작게 하여 상기 제1 화소의 값 및 상기 제2 화소의 값을 가중 평균함으로써 상기 합성값을 산출하고, 한편, 상기 제2 화상이 손이 떨리는 조건에서 촬영되어 있는 경우, 상기 제1 가중 계수를 상기 제2 가중 계수보다도 크게 하여 상기 제1 화소의 값 및 상기 제2 화소의 값을 가중 평균함으로써 상기 합성값을 산출하는 화상 합성 장치.
제1항에 있어서,
상기 제2 화상의 각각의 화소에 대해서, 피사체의 엣지가 찍혀 있는지 여부를 판정하는 엣지 판정부를 더 갖고,
상기 제2 화소 선택부는, 상기 기준 화소가 피사체의 엣지가 찍혀 있는 화소라고 판정되어 있는 경우에 있어서의 상기 제2 필터 영역의 크기를, 상기 기준 화소가 피사체의 엣지가 찍혀 있지 않은 화소라고 판정되어 있는 경우에 있어서의 상기 제2 필터 영역의 크기보다도 크게 하는 화상 합성 장치.
삭제
삭제
제1항에 있어서,
상기 제1 화상에 중첩된 노이즈 성분에 의한 화소값의 제1 변동 폭 및 상기 제2 화상에 중첩된 노이즈 성분에 의한 화소값의 제2 변동 폭을 추정하는 노이즈 성분 추정부를 더 갖고,
상기 제1 화소 선택부는, 상기 제1 허용 범위를, 상기 제1 변동 폭이 클수록 넓게 하고,
상기 제2 화소 선택부는, 상기 제2 허용 범위를, 상기 제1 변동 폭 및 상기 제2 변동 폭의 양쪽이 클수록 넓게 하는 화상 합성 장치.
제6항에 있어서,
상기 제1 화소 선택부는, 상기 제2 변동 폭에 대한 상기 제1 변동 폭의 비가 클수록, 상기 제1 필터 영역을 크게 하고,
상기 제2 화소 선택부는, 상기 제2 변동 폭에 대한 상기 제1 변동 폭의 비가 클수록, 상기 제2 필터 영역을 크게 하는 화상 합성 장치.
제6항에 있어서,
상기 노이즈 성분 추정부는, 상기 제1 화상을 복수의 부분 영역으로 분할하고, 그 복수의 부분 영역 중, 화소값의 변동이 가장 적은 부분 영역에 있어서의 화소값의 제1 표준 편차를 상기 제1 변동 폭을 나타내는 지표로서 산출하고, 상기 제2 화상을 복수의 부분 영역으로 분할하고, 그 복수의 부분 영역 중, 화소값의 변동이 가장 적은 부분 영역에 있어서의 화소값의 제2 표준 편차를 상기 제2 변동 폭을 나타내는 지표로서 산출하고,
상기 제1 화소 선택부는, 상기 제1 허용 범위를, 상기 제1 표준 편차가 커질수록 넓게 하고,
상기 제2 화소 선택부는, 상기 제2 허용 범위를, 상기 제1 표준 편차와 상기 제2 표준 편차의 합이 커질수록 넓게 하는 화상 합성 장치.
제1 화상과 그 제1 화상보다도 노출 시간이 긴 제2 화상을 합성함으로써 합성 화상을 생성하는 것을 컴퓨터에 실행시키는 화상 합성용 컴퓨터 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체로서, 상기 컴퓨터 프로그램은,
상기 제1 화상상의 주목 화소의 주위에 제1 필터 영역을 설정하고, 그 제1 필터 영역 중에서, 상기 주목 화소의 값을 포함하는 제1 허용 범위 내의 화소값을 갖는 제1 화소를 선택하고,
상기 제2 화상상의 상기 주목 화소와 동일 위치에 있는 기준 화소의 주위에 상기 제1 필터 영역의 크기보다 큰 크기를 갖는 제2 필터 영역을 설정하고, 그 제2 필터 영역 중에서, 상기 주목 화소의 값을 포함하고, 또한 상기 제1 허용 범위보다도 좁은 제2 허용 범위 내의 화소값을 갖는 제2 화소를 선택하고,
상기 제1 화소의 값 및 상기 제2 화소의 값을 합성함으로써 얻어진 합성값을 상기 합성 화상상의 상기 주목 화소와 동일 위치의 화소의 값으로 하는
것을 컴퓨터에 실행시키는 컴퓨터 판독 가능한 기록 매체.