KR101008917B1

KR101008917B1 - 화상 처리 방법 및 장치와 그 프로그램을 기록한 기록 매체

Info

Publication number: KR101008917B1
Application number: KR1020097005488A
Authority: KR
Inventors: 기미타카 무라시타; 마사요시 시미즈; 가오루 츠조; 다카시 와카마츠
Original assignee: 후지쯔 가부시끼가이샤
Priority date: 2006-09-14
Filing date: 2006-09-14
Publication date: 2011-01-17
Also published as: WO2008032392A1; US8311367B2; US20090232416A1; EP2063390A4; CN101512596B; JP4750854B2; KR20090041442A; EP2063390B1; CN101512596A; JPWO2008032392A1; EP2063390A1

Abstract

본 발명은, 복수의 화상이 합성되어 구성되는 합성 화상의 영역마다, 그 영역에 합성된 합성 매수에 따라 처리를 변경하며, 화상 내에 특성이 상이한 영역이 존재하는 합성 화상에 대한 화상 처리를 간이한 구성으로 수행하는 적응형 화상 처리 방법 및 장치를 제공한다. 복수의 화상을 취득하여 합성 화상을 작성하는 화상 처리 방법은, 화상을 합성할 때, 합성 화상의 영역마다 화상을 합성하는 매수를 검출하여 합성 매수 정보로서 보존하는 합성 매수 결정 처리와, 합성 매수 정보에 기초하여, 합성 화상의 각 영역에 대해 실행되는 화상 처리의 파라미터를 전환하는 화상 처리 파라미터 전환 처리를 포함하는 화상 처리 방법이다.

Description

화상 처리 방법 및 장치와 그 프로그램을 기록한 기록 매체{IMAGE PROCESSING METHOD AND DEVICE, AND RECORDING MEDIUM HAVING RECORDED THEREON ITS PROGRAM}

본 발명은, 촬영한 복수의 정지 화상을 합성하는 화상 처리에 관한 것이며, 특히 손떨림 보정 등 화상을 중첩시키는 기술에 관한 것이다.

최근, 디지털 카메라 등의 촬영 장치에 의해 촬영된 화상의 손떨림 보정은 단노광(short exposure)으로 연사 화상을 합성함으로써 이루어진다. 이들은 특정 피사체를 연속으로 찍어, 연사 화상을 위치맞춤하여 합성된다. 최종적으로 합성된 화상은, 복수매의 동일 위치의 화소를 합성(화소치를 가산하여 평균화)한 것이지만, 영역에 따라 합성에 사용된 매수가 상이한 경우가 있다.

연사 화상에서는 손떨림 외에 피사체의 움직임이 있기 때문에, 단순 가산으로는 피사체가 다중화되는 경우가 있다. 연사 화상 간의 상관을 검출하여, 화소차가 없는 경우는 합성하고, 화소차가 있는 경우는 차가 있는 화상을 합성에 사용하지 않음으로써, 다중화를 막을 수 있다(움직임 영역 검출). 또한, 화상 간에 편차가 있는 경우, 화상이 중첩되는 영역(공통 영역)과 중첩되지 않는 영역이 있다. 공통 영역에서는 복수 화상이 합성될 수 있지만, 그 이외의 영역에서는 합성될 수 없다. 이와 같이, 연사 화상의 합성은, 1매만으로 된 영역, 2매 합성으로 된 영역, 3 매 합성으로 된 영역 등이 혼재하는 합성 화상이 된다. 화상의 노이즈는 이 합성에 사용된 매수에 의해 상이하다. 예컨대 노이즈는, 복수 화상을 합성함으로써 랜덤 노이즈가 평균화되기 때문에, 화상 합성 매수가 많을수록 적어진다. 그 때문에, 1매의 화상 중에 노이즈가 많은 영역, 적은 영역이 혼재하게 된다.

종래에는 이러한 합성 화상에, 촬영 화상을 선명하게 보이게 하기 위해 윤곽 강조 처리를 실시하기도 하였지만, 윤곽 강조 처리에서는, 화상의 선명감은 높아지지만, 반면 노이즈가 강조되어 버린다. 그래서, 통상은 노이즈가 강조되지 않고 선명감이 최대한 높아지는 조정을 실시한다.

또한, 단순히 화상 합성되어 손떨림 보정 결과의 화상에서는 중첩 매수가 상이한 영역들이 혼재한다. 그 때문에, 노이즈량이 중첩 매수에 따라 상이하고, 윤곽 강조를 중첩 매수가 적은 영역에 맞추어 실시하는 경우, 강한 윤곽 강조가 이루어지지 않아 선명감이 약해져 버린다. 또한, 중첩 매수가 많은 영역에 맞추면 노이즈가 강조되어 버린다.

그래서, 특허 문헌 1에서는 동화상의 프레임 간의 운동 벡터(움직임 영역과 비움직임 영역)에 기초하여, 합성 매수를 줄이거나 늘려, 합성 매수에 따라, 동화상의 최초의 프레임에 복수의 프레임의 화소를 내삽하여 합성하는 방법이 제안되어 있다.

그러나, 특허 문헌 1에 따르면, 복수의 저해상도 화상에서 고해상도 화상으로의 변환의 고화질화가 곤란하고, 제n 프레임과 제n+a 프레임을 입력으로 하여, 그 사이의 a+1매의 화상과, 또한 a+1매로부터 내삽에 의해 생성한 중간 프레임을 이용하여 화상을 합성하고 있다.

이에 대해, 복수의 화상으로부터 화상을 합성하는 것으로, 운동 벡터에 따라 화상 합성에 사용하는 2프레임을 변경하고, 2프레임의 간격(a)을 짧게 한다. 이것은 「합성에 사용하는 화상의 결정」으로, 합성 결과의 화상에 대해, 어떠한 처리를 할지는 기재되어 있지 않다.

특허 문헌 2에서는, 영역마다 화상 합성을 실시하고, 영역마다 운동 벡터에 의해 판정된 결과에 따라, 화상 합성의 방법(화상 처리)의 전환이 제안되어 있다.

그러나, 특허 문헌 2에 따르면, 화상의 떨림에는 「피사체 떨림」과 「손떨림」이 있고, 동일한 떨림 제거 처리로는 이들을 동시에 제거할 수 없다. 또한, 손떨림, 피사체 떨림을 검지하여, 떨림의 종류에 따른 화상 처리를 실시하고 있다. 그러나, 검지한 떨림의 종류에 따라 화상 처리를 전환하지만, 그 판별 기준은 「떨림의 종류」이며 화상 합성 매수가 아니다. 화상 처리를 전환하는 계기가 상이하다.

즉, 특허 문헌 1은 운동 벡터에 따라 화상 합성에 사용하는 프레임을 결정하는 것이다. 특허 문헌 2는 진동의 종류에 의해 처리를 전환하는 것이다.

특허 문헌 3에서는, 원래의 화상을 판독하는 판독기를 이용하여, 문자 영역과 농담 화상 영역을 판별하고, 각각의 영역에 대해 상이한 파라미터로 처리(셰이딩, 윤곽화 등)를 실시하는 방식이 제안되어 있다.

그러나, 특허 문헌 3에 따르면, 1 화상을 복수개 영역으로 분할하여 상이한 파라미터로 처리하는 방법은 동일하지만, 복수 화상의 화상 합성 처리에 기초하여 화상을 영역으로 분할하여 상이한 파라미터로 처리하는 화상 분리 수법으로, 1 화상으로부터 영역을 분리하는 것은 아니다.

특허 문헌 4에서는, 촬영 화상을 판독하여 주요부 영역과 배경 영역을 분리하고, 주요부 영역 혹은 배경 영역에 대해 색재현 파라미터로 화상 처리하는 방식이 제안되어 있다.

그러나, 특허 문헌 4에 따르면, 1 화상을 분리하여, 상이한 화상 처리를 실시하는 것은 상기와 마찬가지이지만, 1 화상에 기초하여 주요부와 배경을 분리하기 때문에 화상 분리 수법이 상이하다.

특허 문헌 5에서는, 피사체가 찍힌 화상과 찍히지 않은 화상으로부터 피사체만을 추출하는 방식이 제안되어 있다.

그러나, 특허 문헌 5에 따르면, 복수 화상을 이용하여 영역을 분리하는 방법은 동일하지만, 복수 화상을 합성하는 데에 분리 방법을 이용한다. 또한, 합성 화상에 대해 영역마다 상이한 처리를 실시함에 있어서, 추출을 쉽게 하기 위해 분리 전의 원래 화상에 대해 상이한 처리를 실시하고 있다.

특허 문헌 6에서는, 컬러 화상으로부터 특정 영역을 추출하여 영역에 따른 화상 처리가 제안되어 있다.

그러나, 화상 영역에 따라, 합성 대상으로 삼는 매수가 상이하면, 최종적으로 얻어지는 화상의 노이즈가 많고 적음은 합성 매수에 좌우되기 때문에, 화상 전체에 대해 일률적이지 않다. 그 때문에 노이즈를 제거해야만 한다. 또한, 화상을 해석(엣지부 검출 등)하여, 대상 부분만 노이즈를 제거하는 것도 생각할 수 있지 만, 화상 해석에는 복잡한 처리가 필요하므로, 처리 시간이나 회로 규모의 증대를 초래한다. 또한, 화상 해석을 통해 반드시 원하는 결과가 얻어지지 않는다.

예컨대 노이즈 제거를 실시하는 경우, 지금까지는 화상 전체에 대해 동일한 파라미터로 처리를 수행하고, 노이즈가 많은 장소는 노이즈를 제거하며, 엣지부는 노이즈를 제거하지 않는 등의 화상 해석을 실시하여 해석 결과에 따라 파라미터의 전환 등을 하였다.

그리고, 노이즈 제거 처리에서는 화상에 대해 필터 처리가 수행된다. 노이즈 영역에서 수행되면 노이즈가 감소하지만, 엣지부에서 수행되면 엣지가 희미해져 버려, 선명감이 없어진다고 하는 문제가 있다. 또한, 화상 전체에 일률적으로 동일한 파라미터가 걸린다고 하는 부작용이 있는 영역(엣지부 등)이 생기기 때문에, 부작용이 생기지 않는 약한 처리밖에 수행되지 않는다고 하는 문제가 있다.

[특허 문헌 1] 일본 특허 공개 제2000-194845호 공보

[특허 문헌 2] 일본 특허 공개 제2003-134385호 공보

[특허 문헌 3] 일본 특허 제3023374호 공보

[특허 문헌 4] 일본 특허 제3408770호 공보

[특허 문헌 5] 일본 특허 공개 평성 제8-194113호 공보

[특허 문헌 6] 일본 특허 공개 평성 제11-266358호 공보

본 발명은 복수의 화상을 합성하여 구성되는 합성 화상의 영역마다, 그 영역에 합성된 합성 매수에 따라 처리를 변경하고, 화상 내에 특성이 상이한 영역이 존재하는 합성 화상에 대한 화상 처리를 간이한 구성으로 수행하는 적응형 화상 처리 방법 및 장치와 그 프로그램을 제공하는 것을 목적으로 한다.

본 발명의 일 형태에 있어서, 복수의 화상을 취득하여 합성 화상을 작성하는 화상 처리 방법으로서, 상기 화상을 합성할 때, 상기 합성 화상의 영역마다 상기 화상을 합성하는 매수를 검출하여 합성 매수 정보로서 보존하는 합성 매수 결정 처리와, 상기 합성 매수 정보에 기초하여, 상기 합성 화상의 각 영역에 대해 실행되는 화상 처리의 파라미터를 전환하는 화상 처리 파라미터 전환 처리와, 상기 합성 매수 정보에 기초하여, 상기 합성 화상의 각 영역에 대해 실행되는 화상 처리를 전환하는 화상 처리 전환 처리 중 어느 한쪽 또는 양쪽을 포함하는 것을 특징으로 한다.

바람직하게는, 상기 화상 처리 전환 처리는, 상기 영역의 상기 합성 매수 정보가 N매일 때는 노이즈 제거 처리를 수행하고, 상기 합성 매수가 M매(단, N<M)일 때는 윤곽 강조 처리를 수행하여도 좋다.

본 발명의 일 형태에 있어서, 하나인 복수의 화상을 취득하여 합성 화상을 작성하는 화상 처리 장치로서, 상기 화상을 합성할 때, 상기 합성 화상의 영역마다 상기 화상을 합성하는 매수를 검출하여 합성 매수 정보로서 보존하는 합성 매수 결정부와, 상기 합성 매수 정보에 기초하여, 상기 합성 화상의 각 영역에 대해 실행되는 화상 처리의 파라미터를 전환하는 화상 처리 파라미터 전환부와, 상기 합성 매수 정보에 기초하여, 상기 합성 화상의 각 영역에 대해 실행되는 화상 처리를 전환하는 화상 처리 전환부 중 어느 한쪽 또는 양쪽을 구비한다.

바람직하게는, 상기 화상 처리 전환부는, 상기 영역의 상기 합성 매수 정보가 N매일 때는 노이즈 제거 처리를 수행하고, 상기 합성 매수가 M매(N> M)일 때는 윤곽 강조 처리를 수행하여도 좋다.

본 발명의 일 형태에 있어서, 복수의 화상을 취득하여 합성 화상을 작성하는 화상 처리 장치의 컴퓨터에, 상기 화상을 합성할 때, 상기 합성 화상의 영역마다 상기 화상을 합성하는 매수를 검출하여 합성 매수 정보로서 보존하는 합성 매수 결정 처리와, 상기 합성 매수 정보에 기초하여, 상기 합성 화상의 각 영역에 대해 실행되는 화상 처리의 파라미터를 전환하는 화상 처리 파라미터 전환 처리와, 상기 합성 매수 정보에 기초하여, 상기 합성 화상의 각 영역에 대해 실행되는 화상 처리를 전환하는 화상 처리 전환 처리 중 어느 한쪽 또는 양쪽을 실행시키는 프로그램을 제공한다.

본 발명에 따르면, 합성 화상의 각 영역에서 상이한 화상 합성 매수에 있어서, 영역마다의 화상 합성 매수에 따라 화상 처리, 혹은 화상 처리의 파라미터를 전환함으로써 화상 해석 등 복잡한 처리를 간단화할 수 있고, 최적의 화상 처리를 실시할 수 있다.

도 1은 본 발명의 원리를 도시하는 블록도이다.

도 2는 본 발명의 동작을 도시하는 흐름도이다.

도 3은 움직임 영역 검출의 원리를 도시하는 도면이다.

도 4는 공통 영역 검출의 원리를 도시하는 도면이다.

도 5a는 공통 영역 검출(파노라마 촬영)의 원리를 도시하는 도면이다.

도 5b는 공통 영역 검출(파노라마 촬영)의 원리를 도시하는 도면이다.

도 6은 실시예 1의 구성을 도시하는 블록도이다.

도 7은 실시예 1의 합성 매수와 윤곽 강도를 나타내는 데이터베이스를 도시하는 도면이다.

도 8은 실시예 2의 구성을 도시하는 블록도이다.

도 9는 실시예 2의 합성 매수와 필터 사이즈를 나타내는 데이터베이스를 도시하는 도면이다.

도 10은 실시예 3의 동작을 도시하는 흐름도이다.

도 11은 실시예 4의 구성을 도시하는 블록도이다.

도 12는 실시예 4의 합성 매수와 기울기를 나타내는 데이터베이스를 도시하는 도면이다.

도 13은 프로그램을 컴퓨터로 판독하는 것이 가능한 기록 매체의 구성예를 도시하는 도면이다.

이하, 도면에 기초하여 본 발명의 실시형태에 대해 상세하게 설명한다.

(원리 설명)

본 발명은, 복수매의 화상을 움직임 영역 검출 방법이나 공통 영역 검출 방법 등을 이용하여 합성한 합성 화상에 대해 윤곽 강조 처리, 노이즈 제거, 톤 커브(tone curve) 보정 처리 등의 화상 처리를 수행하는 경우, 상기 합성 화상을 구 성하는 영역마다의 합성 매수에 관한 정보(합성 매수 정보)에 기초하여, 상기 화상 처리마다 파라미터를 변경한다.

(구성 설명)

도 1은 화상 처리 장치(1)의 블록도를 도시한다. 화상 처리 장치(1)는 화상 유지부(2), 합성 매수 결정부(3), 화상 합성부(4), 파라미터 선택부(5), 화상 처리부(6)로 구성된다.

화상 처리 장치(1)는 예컨대 디지털 카메라 등에 구비된다. 광/전기 변환 소자 등의 촬상 소자를 구비한 촬상부(도시하지 않음)로부터, 촬영 시에 촬상 제어를 수행하여 임의의 피사체의 화상을 촬영한다. 여기서, 촬상 제어는, 촬상부에 있어서의 게인치(감도), 노광 시간 등의 촬영 조건을 제어하는 것이다. 즉, 이용자가 설정하는 촬영 조건을 입력하여, 촬상부의 촬영 조건을 적절하게 설정한다.

화상 유지부(2)(프레임 메모리)는 촬상부에서 촬영된 화상 프레임 등의 화상 데이터를 저장한다. 예컨대, 촬상부에서 시계열로 촬영된 복수의 화상 데이터가 저장된다. 상기 화상 데이터는 후단의 합성 매수 결정부(3)와 화상 합성부(4)에 전송된다.

합성 매수 결정부(3)는, 영역(화소, 복수 화소로 구성됨)마다 편차량을 산출하여 움직임 영역 검출 방법이나 공통 영역 검출 방법 등으로 합성 매수를 결정하고, 화상 합성부(4)와 파라미터 선택부(5)에 화상 합성 정보를 전송한다. 여기서 화상 합성 정보는 영역마다의 화상의 합성 매수를 나타내는 합성 매수 정보를 포함하고, 또한 합성 시에 필요한 정보를 포함하여도 좋다.

또, 이 화상 데이터와 함께, 상기 화상 데이터의 감도, 노광 시간 등의 촬영 조건을 나타내는 촬영 시 파라미터 등도, 합성 매수 결정부(3), 화상 합성부(4)에 대해 출력되어도 좋다.

화상 합성부(4)에서는, 화상 유지부(2)에 저장되어 있는 화상 데이터를 취득하여, 합성 매수 결정부(3)에서 생성한 화상 합성 정보(합성 매수 정보를 포함함)에 기초해 화상 합성을 수행한다.

파라미터 선택부(5)에서는, 합성 매수 정보에 기초하여, 화상 합성부(4)에서 생성한 합성 화상에 대해 화상 처리부(6)에서 실시되는, 윤곽 강조 처리, 노이즈 제거, 톤 커브 보정 처리 등의 각 화상 처리의 파라미터를 전환한다. 파라미터의 전환은 합성 매수 정보에 기초하여 행해진다.

상기 화상 처리 장치(1)는, 디지털 카메라, 카메라가 있는 휴대 전화, 카메라가 있는 PDA, 카메라가 있는 퍼스널 컴퓨터 등의 전자 장치(컴퓨터)에 의해 실행되는 프로그램으로서, 소프트웨어에 의해 실현될 수 있다. 혹은, 하드웨어에 의해 실현된다. 나아가서는, 전자 장치 등의 컴퓨터에 고정적으로 설치된 소프트웨어인 펌웨어로서도 실현된다.

(동작 설명)

도 2는 본 발명의 동작 흐름도를 나타낸다.

단계 S1에서는, 촬영(연사 촬영, 파노라마 촬영 등)해서 복수의 정지 화상을 취득하여 화상 유지부(2)(프레임 메모리)에 보존한다.

단계 S2에서는 화상 합성 매수를 결정한다. 단계 S1에서 취득한 복수 화상의 영역마다(화소, 복수 화소도 좋음) 합성 매수(합성 매수 정보)를 결정한다. 합성 매수의 결정으로는 움직임 영역 검출 방법이나 공통 영역 검출 방법 등이 있다.

도 3은 움직임 영역 검출의 원리도를 나타낸다.

예컨대, 연사 촬영된 3매의 화상도 3의 화상[도 3의 화상(31∼33)](화상1∼3)을 화상 유지부(2)에 저장하며, 각 화상의 특징점을 검출하고 위치맞춤하여 단순히 합성하면 도 3의 화상(34)(단순 합성)에 나타내는 바와 같은 자동차가 다중화된 합성 화상이 생성된다. 다음으로, 동일 위치의 화소치의 차분을 산출하고, 그 차분이 미리 설정된 임계치 이상인 부분을 움직임 영역으로서 검출한다.

도 3의 화상(35)(움직임 검출)은 움직임 영역을 「화이트」, 비움직임 영역을 「블랙」으로 표시한 화상이다. 예컨대, 도 3의 화상(36)(움직임 영역 제거 화상 1)은, 움직임 영역은 도 3의 화상(32)(화상 2)의 화상을 이용하고, 비움직임 영역은 3매 합성한 결과를 이용하여 합성한 합성 화상이다. 도 3의 화상(36)에서는 도 3의 화상(35)의 「화이트」 영역이 1매 화상으로, 「블랙」 영역이 3매 합성된 화상으로 이루어지는 혼재 화상이기 때문에, 도 3의 화상(35)의 움직임 검출 결과에 기초해서 자동차를 제거하여 배경만을 추출한다. 그 결과, 합성 화상으로서 도 3의 화상(37)(움직임 영역 제거 화상 1)을 얻을 수 있다. 이 도 3의 화상(37)의 합성 화상에도, 1매 영역, 2매 합성된 영역, 3매 합성된 영역의 혼재 부분이 있다.

또한, 합성 매수의 결정 방법에서는 공통 영역을 이용한다.

도 4는 공통 영역 검출의 원리도를 나타낸다. 피사체가 움직이고 있지 않더라도, 연사 화상 사이에는 손떨림이 있기 때문에, 촬영 영역이 미묘하게 상이한 경 우가 있다. 예컨대, 도 4의 화상(41∼43)과 같이 연사 화상을 취득하여 합성한다. 그 경우, 도 4의 화상(44)에 나타내는 바와 같이 합성된다. 즉, 특징점을 검출한 후 3매 화상을 중첩하면, 중앙은 3매 합성된 영역이 되고, 중첩이 3매가 아니라 끝 부분에는 2매 합성 화상, 1매 화상 영역이 혼재한다.

또한, 도 4에 도시하는 예에서는 3매 합성 영역이 다른 합성 영역에 비해 크지만, 예컨대, 도 5a에 도시하는 바와 같이 모자이크식 파노라마 화상이 생성되는 경우, 화상 사이를 결합하는 이어 붙이는 부분 영역이 2매 합성이고, 그 외에는 1매 화상 영역이 된다. 파노라마화는 촬영 시에 공통 영역(이어 붙이는 부분)을 남기면서, 카메라를 패닝시켜 연속 촬영하고, 이어 붙이는 부분을 결합하여 가로로 긴 화상을 생성한다. 이 경우, 이어 붙이는 부분은 2매 합성이 되고, 그 외에는 1매 화상이 된다.

또한, 도 5b에 도시하는 바와 같이 파노라마화는 가로뿐만 아니라 세로 방향, 가로+세로 방향 등이 가능하다. 그 때문에, 화상 합성 영역도 1매 영역과 2매 합성 영역뿐만 아니라, 3매 합성, 4장 합성 등 많은 변형이 존재한다.

단계 S3에서는 화상 합성을 실시한다. 단계 S2에서 검출한 각 영역(화소, 복수 화소로 구성됨)의 합성 매수에 기초하여 화상 합성을 수행한다. 그리고, 단계 S4에서는 각 영역의 합성 매수를 합성 매수 정보로서 메모리에 보존한다.

단계 S5에서는 모든 영역에 대해 합성을 행했는지를 판정한다. 모든 영역에 대해 합성이 완료되었으면 단계 S6으로 이행한다. 그렇지 않으면 단계 S2로 이행하여 합성을 계속한다.

단계 S6에서는, 단계 S1∼단계 S4에서 수행한 화상 합성 처리와 영역마다의 합성 매수 결정 처리를 수행한 결과에 따라 파라미터 전환을 판정한다. 합성 매수가 1매이면 단계 S7로 이행한다(기준 화상을 사용). 합성 매수가 복수매이면 단계 S8로 이행한다. 단계 S7에서는 1매인 경우에 대응하는 화상 처리의 설정을 선택한다. 파라미터 선택부(5)는 화상 처리를 수행할 때의 파라미터의 설정을 선택한다.

단계 S8에서는 복수매(본 예에서는 2∼n매)인 경우에, 예컨대 합성 매수가 2매이면 2매일 때의 파라미터를 선택한다. 파라미터 선택부(5)는 화상 처리를 수행할 때의 파라미터의 설정을 선택한다.

여기서, 단계 S7, 단계 S8에서 설정된 파라미터는 미리, 합성 매수에 대응하는 파라미터치를 데이터베이스로서 이용하여 파라미터 선택부(5)에 저장되거나, 또는 전용 메모리를 준비하여도 좋다. 화상 처리 파라미터의 전환 처리는, 영역마다 보존된 합성 매수 정보로부터 화상 처리(윤곽 강조 처리, 노이즈 제거, 톤 커브 보정 처리)마다의 파라미터를 전환하기 위해 합성 매수를 취득한다.

단계 S9에서는, 합성 화상의 영역에 대해 화상 처리를 수행하기 때문에 상기 화상 처리에 대응하는 단계 S7 또는 단계 S8에서 선택된 화상 처리를 합성 화상의 각 영역에 수행한다. 그리고, 단계 S10에서는 모든 영역에 대해 합성을 행했는지를 판정한다. 모든 영역에 대해 합성이 완료되었으면 종료된다. 그렇지 않으면 단계 S6으로 이행하여 화상 처리를 계속한다.

상기 방법에 의해 영역 적응형 화상 처리를 실현할 수 있고, 노이즈 제거에 의한 부작용(화상 흐려짐 등)을 화상 해석 등 복잡한 처리를 수행하지 않고 줄일 수 있다.

또한, 합성 화상의 합성 매수에 따라 합성 후 화상의 화상 처리의 파라미터를 변경함으로써, 합성 처리 시의 합성 매수에 기초하여 파라미터를 전환하기 때문에, 추가 처리(영역 분할, 노이즈량 검출 등)를 필요로 하지 않는다.

또한, 파라미터에 있어서 화상 합성 매수가 2 이상일 때의 파라미터를 유지하고, 유지되지 않는 화상 합성 매수 시의 파라미터는 유지된 파라미터를 보간(補間)하여 생성하여도 좋다.

(실시예 1)

합성 화상에서는, 노이즈량이 화상 합성 매수에 비례하여 감소하는 경향이 있기 때문에, 화상 합성 매수를 기억해 두고, 화상 합성 매수에 따라 윤곽 강조 처리의 강도를 전환한다.

도 6은 실시예 1의 블록도를 나타낸다. 실시예 1은, 화상 유지부(61), 편차량 산출부(62), 움직임 영역 검출부(63), 화상 합성부(64), 파라미터 선택부(65), 윤곽 강조 처리부(66)로 구성된다. 실시예 1에서는, 도 1에 도시한 블록도의 합성 매수 결정부(3)가 편차량 산출부(62)와 움직임 영역 검출부(63)로 구성되고, 화상 처리부(6)가 윤곽 강조 처리부(66)로 구성되어 있다.

편차량 산출부(62)는 화상 유지부(61)의 복수의 화상에서의 동일 영역(화소 단위, 또는 복수의 화소로 이루어지는 화소 블록 단위)의 편차량을 산출하여, 움직임 영역 검출부(63)에 출력한다.

움직임 영역 검출부(63)는 임계치 설정부, 움직임 판정부, 고립점 노이즈 판 정부, 판정 버퍼를 포함하고 있다.

임계치 설정부에서는, 상기 촬영 시 파라미터에 따라, 제1 판정 임계치, 및 제2 판정 임계치를 산출하여, 움직임 판정부 및 고립점 노이즈 판정부에 각각 출력한다. 즉, 제1 판정 임계치는 노광 시간(te)에 따라 결정되는 임계치(d-exposure), 또는 게인치(g)에 따라 결정되는 임계치(d-gain) 중 어느 하나로 이루어진다. 제2 판정 임계치도 노광 시간(te) 또는 게인치(g)에 기초하여, 임계치(I-exposure) 또는 임계치(I-gain)와 같이 결정된다.

움직임 판정부는 편차량(Δa)의 대소에 따라, 복수 화상의 대응하는 상기 영역이 움직임 영역인지의 여부를 판정한다. 구체적으로는, 제1 판정 임계치와 비교하여, 차분치(Δa)가 제1 판정 임계치보다 큰 경우에 움직임이 있다고 판정하고, 움직임 판정 결과를 판정 버퍼에 출력한다.

판정 버퍼는, 예컨대 움직임 판정 결과를 비트맵으로 기록한다. 비교되는 화상들의 각 화상의 화소 (x, y)의 영역에 움직임이 있다고 판정된 경우에는, 비트맵의 M(x, y)의 위치에 "1"이, 움직임이 없는 경우는 "0"이 설정된다.

고립점 노이즈 판정부는, 또한, 움직임 판정부에 의해 움직임이 있다고 판정된 화소의 M(x, y)이 고립점 노이즈인지의 여부를 판별하여, 노이즈라고 판정된 경우에는, 상기 M(x, y)을 움직임 없음("0")으로 한다. 구체적으로는, 주목 화소의 M(x, y)에 인접하는 주위의 8개소의 판정 결과를 참조하여, 움직임 있음으로 판정된 화소의 개수를 카운트하고, 이 카운트치가 제2 판정 임계치(임계치 I-exposure 또는 임계치 I-gain)보다 작은 경우에는 고립점 노이즈라고 판정하여, 상기 M(x, y)를 움직임 없음("0")으로 한다.

상기한 바와 같이 판정한 결과에 기초하여, 움직임이 있는 경우에는, 움직이지 않은 영역을 합성하고, 움직이는 영역은 합성하지 않는다. 예컨대, 3매 모두 움직임이 없으면 영역에서의 움직임 영역 정보(화상 합성 매수 정보)는 3을 유지하고, 움직임이 있으면 기준 화상을 사용하기 때문에 움직임 영역 정보(화상 합성 매수 정보)는 1을 유지한다.

화상 합성부(64)에서는 움직임 영역 정보(화상 합성 매수 정보)에 기초하여 각 화상을 합성한다.

파라미터 선택부(65)는, 실시예 1에서는 윤곽 강조 처리를 수행하기 때문에 합성 매수와 윤곽 강도(윤곽 강도 파라미터)를 미리 설정해 둔다. 예컨대, 선명화 필터를 이용하여 화소 간의 농도치(윤곽 강도) 차를 크게 하여 선명하게 한다. 도 7에 나타내는 바와 같은 데이터베이스를 준비하여 합성 매수가 1매인 영역에서는 윤곽 강도를 30으로 하고, 2매인 영역에서는 20, 3매인 영역에서는 10으로 설정하여 메모리 등에 저장한다.

윤곽 강조 처리부(66)에서는, 합성 화상의 영역마다 대응하는 윤곽 강도 파라미터에 기초하여 윤곽 강조 처리를 실행한다. 즉, 영역마다 설정된 윤곽 강도에 기초하여 윤곽 강조 처리한다.

(실시예 2)

도 8은 실시예 2의 블록도를 도시한다. 실시예 2는 화상 유지부(81), 편차량 산출부(82), 공통 영역 검출부(83), 화상 합성부(84), 파라미터 선택부(85), 노이 즈 제거 처리부(86)로 구성된다. 실시예 2에서는, 도 1에 도시한 블록도의 합성 매수 결정부(3)가 편차량 산출부(82)와 공통 영역 검출부(83)로 구성되고, 화상 처리부(6)가 노이즈 제거 처리부(66)로 구성되어 있다.

편차량 산출부(82)는 화상 유지부(81)의 복수의 화상에서의 동일 영역(화소 단위, 또는 복수의 화소로 이루어지는 화소 블록 단위)의 편차량을 산출하여 공통 영역 검출부(83)에 출력한다.

공통 영역 검출부(83)에서는, 화상 유지부(81)에 저장된 복수의 화상의 특징점을 검출하여, 예컨대 3매의 화상을 중첩한 3매 합성 영역, 2매 합성 영역, 1매 합성 영역을 검출한다.

화상 합성부(84)에서는 각 화상을 공유 영역 정보(화상 합성 매수 정보)에 기초하여 합성한다.

파라미터 선택부(85)는, 노이즈 제거 처리를 수행하기 위해 합성 매수와 가중평균 필터나 메디안 필터, 번짐 처리(blurring process) 등의 필터 사이즈(노이즈 제거 파라미터)를 미리 설정해 둔다. 예컨대, 도 9에 도시하는 바와 같은 데이터베이스를 준비하여 합성 매수가 1인 영역에서는 필터 사이즈를 5×5로 하고, 2인 영역에서는 3×3, 3인 영역에서는 1×1로 설정하여 메모리 등에 저장한다.

노이즈 제거 처리부(86)에서는, 합성 화상의 영역마다 대응하는 노이즈 제거파라미터에 기초하여 노이즈 제거 처리를 실행한다. 즉, 영역마다 설정된 필터 사이즈에 기초하여 노이즈 제거 처리한다.

또한, 파노라마 화상 생성에 있어서 이어 붙이는 영역을 검출하여, 이어 붙 이는 영역인지의 여부로 노이즈 제거 파라미터를 전환하여도 좋다.

(실시예 3)

도 10은 화상 처리를 합성 매수로 변경할 때의 동작 흐름을 나타낸다.

단계 S1에서는, 복수의 화상을 촬영(연사 촬영, 파노라마 촬영 등)하여 복수의 정지 화상을 취득한다. 그렇게 취득된 화상은 화상 유지부(2)(프레임 메모리)에 보존된다.

단계 S2에서는 화상 합성 매수를 결정한다. 단계 S1에서 취득한 복수 화상의 영역마다(화소, 복수 화소라도 좋음) 합성 매수(합성 매수 정보)를 결정한다. 합성 매수의 결정으로는, 예컨대 움직임 영역 검출 방법이나 공통 영역 검출 방법이 있다.

단계 S3에서는 화상 합성을 실시한다. 단계 S2에서 검출한 각 영역(화소, 복수 화소로 구성됨)의 합성 매수에 기초하여 합성을 행한다. 그리고, 단계 S4에서는 각 영역의 합성 매수를 합성 매수 정보로서 메모리에 보존한다.

단계 S101에서는, 단계 S1∼단계 S4에서 수행한 화상 합성 처리와 영역마다의 합성 매수 결정 처리를 수행한 후, 합성 화상의 영역마다 화상 처리를 전환하기 위한 판정이 수행된다. 화상 처리의 전환에서는 영역마다 보존된 합성 매수 정보로부터 윤곽 강조 처리와 노이즈 제거 처리가 전환된다. 합성 매수가 1매이면 단계 S102로 이행한다(기준 화상을 사용). 합성 매수가 복수매이면 단계 S103으로 이행한다.

또, 여기서는, 합성 매수가 1매인지 복수매인지로 처리를 전환하고 있지만, 본 발명은 여기에 한정되지 않고, 합성 매수가 N매(N>1)인 경우에 노이즈 제거 처리를 수행하고, M매(M>N)인 경우에 윤곽 강조 처리를 수행하여도 상관없다. 단계 S102에서는 합성 매수 정보가 1매인 경우에 노이즈 제거 처리를 선택하여 노이즈 제거 처리를 수행한다.

단계 S103에서는 합성 매수 정보가 복수매인 경우에, 예컨대 2매의 화상을 합성할 때, 즉 합성 매수 정보가 2매일 때에 윤곽 강조 처리를 선택하여 윤곽 강조 처리를 수행한다.

또, 단계 S103의 처리에 있어서, 화상 합성 매수가 많은 경우는, 윤곽 강조 파라미터를 높게 하고, 화상 합성 매수가 적은 영역에서는 약하게 하여 윤곽 강조를 실시하는 등, 합성 매수가 많음에 따라, 화상 처리에 이용하는 파라미터의 강도를 변화시켜도 좋다.

단계 S104에서는 모든 영역에 대해 합성을 행했는지를 판정한다. 모든 영역에 대해 합성이 완료되었으면 종료되고, 그렇지 않으면 단계 S101로 이행하여 화상 처리를 계속한다.

(실시예 4)

도 11은 톤 커브 보정의 동작 흐름을 나타낸다.

단계 S111에서는, 단계 S1∼단계 S4에서 수행한 화상 합성 처리와 영역마다 의 합성 매수 결정 처리를 수행한 후, 합성 화상의 영역마다 톤 커브 보정을 전환하기 위한 판정이 수행된다. 톤 커브 보정의 전환에 있어서, 영역마다 보존된 합성 매수 정보로부터 톤 커브 보정 파라미터를 전환한다. 합성 매수가 1매이면 단계 S112로 이행한다(기준 화상을 사용). 합성 매수가 복수매이면 단계 S113으로 이행한다.

단계 S112에서는 합성 매수 정보가 1매인 경우, 1매용의 톤 커브 보정 파라미터를 선택하여 톤 커브 보정을 수행한다.

단계 S113에서는 합성 매수 정보가 복수매인 경우에, 예컨대 합성 매수가 2매이면 2매일 때의 톤 커브 보정 파라미터를 선택하여 톤 커브 보정을 수행한다.

예컨대, 톤 커브 보정 파라미터는, 감마 특성을 이용하여 톤 커브 보정을 한다. 이를 위한 데이터베이스를 도 12에 도시한다. 합성 매수가 1매일 때는 기울기 3을 선택하고, 2매일 때는 기울기 1.5를 선택하며, 3매일 때는 1을 선택한다. 또한, 감마 보정을 하는 경우는 감마치가 1이 되도록 톤 커브 보정 파라미터를 설정한다. 또한, 파라미터로서 설정되어 있지 않은 합성 매수에 대해서는 적용할 감마치를 보간에 의해 산출하여도 좋다.

단계 S114에서는 모든 영역에 대해 합성을 행했는지를 판정한다. 모든 영역에 대해 톤 커브 보정이 완료되었으면 종료되고, 그렇지 않으면 단계 S111로 이행하여 화상 처리를 계속한다.

(변형예)

다음으로, 합성 매수의 결정예로서 화상의 문제점(색, 밝기 등)을 검출하는 방법에 대해 설명한다. 촬영한 화상이 푸르스름하게 되거나 불그스름하게 되는 경우가 있다. 이것은 화상 중에 있는 「백색」을 기점으로 하여 화상 전체의 색미를 조정하기 때문에, 예컨대 연사 촬영 중에, 지금까지 기준으로 되어 있었던 「백색」이 피사체 움직임에 의해 없어져(프레임 아웃하는 등), 불그스름한 색을 「백색」으로 오검출하면 적색이 백색으로 고쳐지기 때문에, 전체적으로 푸르스름한 화상이 된다. 이러한 화상을 합성에 사용하면, 합성 결과 화상의 색미가 이상하게 되기 때문에, 합성 대상으로부터 삭제한다.

또한, 다채널 데이터 전송 장치(LSI 등) 내에 설치되는 컴퓨터(CPU, 정보 처리 장치를 포함함)에 외부로부터 PC 등을 이용하여, 상기 실시예에 나타낸 동작이나 단계를 소스로 하는 소정의 프로그램(다채널 데이터 전송 프로그램)을, 메모리(ROM 등)에 보존하고, 기동 시에 컴퓨터에 기록하여, 상기 단계를 실행할 수 있다.

또한, 단일 컴퓨터(CPU, FPGA 등의 정보 처리 장치를 포함함) 등을 이용하여, 상기 실시예 1∼4에 나타낸 단계를 소스로 하는 소정의 프로그램(다채널 데이터 전송 프로그램)을 메모리(ROM 등)에 보존하고, 기동 시에 상기 컴퓨터에 기록하여, 상기 단계를 실행할 수 있다.

또한, 전술한 바와 같은 흐름도의 처리를 표준 컴퓨터(예컨대, 화상 처리 장치 등)의 CPU에 행하게 하기 위한 제어 프로그램을 작성하여 컴퓨터 판독 가능한 기록 매체에 기록시켜 두고, 그 프로그램을 기록 매체로부터 컴퓨터에 판독시켜 CPU로 실행시키도록 하여도, 본 발명을 실시할 수 있다.

기록된 제어 프로그램이 컴퓨터 시스템에 의해 판독될 수 있는 가능한 기록 매체의 예를 도 13에 도시한다. 이러한 기록 매체로서는, 예컨대 컴퓨터 시스템(130)에 내장되거나 외부 부착된 부속 장치로서 구비되는 ROM이나 하드 디스크 장치 등의 기억 장치(131), 컴퓨터 시스템(130)에 구비되는 매체 구동 장치(132)에 삽입함으로써 기록된 제어 프로그램을 판독할 수 있는 플렉시블 디스크, MO(광자기 디스크), CD-ROM, DVD-ROM과 같은 휴대 가능 기록 매체(133) 등을 이용할 수 있다.

또한, 기록 매체는, 통신 회선(134)을 통해 컴퓨터 시스템(130)과 접속되며, 프로그램 서버(135)로서 기능하는 컴퓨터 시스템이 구비하고 있는 기억 장치(136)라도 좋다. 이 경우에는, 제어 프로그램을 표현하는 데이터 신호에 의해 반송파를 변조하여 얻어지는 전송 신호를, 프로그램 서버(135)로부터 전송 매체인 통신 회선(134)을 통해 컴퓨터 시스템(130)으로 전송하도록 하여, 컴퓨터 시스템(130)에서는 수신한 전송 신호를 복조하여 제어 프로그램을 재생함으로써 이 제어 프로그램을 컴퓨터 시스템(130)의 CPU에서 실행할 수 있게 된다.

또한, 본 발명은 상기 실시형태에 한정되지 않고, 본 발명의 요지를 일탈하지 않는 범위 내에서 여러가지의 개량, 변경이 가능하다.

Claims

복수의 화상을 취득하여 합성 화상을 작성하는 화상 처리 방법에 있어서,

상기 화상을 합성할 때, 상기 합성 화상의 영역마다 상기 화상을 합성하는 매수를 검출하여 합성 매수 정보로서 보존하는 합성 매수 결정 처리와,

상기 합성 매수 정보에 기초하여, 상기 합성 화상의 각 영역에 대해 실행되는 화상 처리의 파라미터를 전환하는 화상 처리 파라미터 전환 처리와, 상기 합성 매수 정보에 기초하여, 상기 합성 화상의 각 영역에 대해 실행되는 화상 처리를 전환하는 화상 처리 전환 처리 중 어느 한쪽 또는 양쪽

을 포함하는 것을 특징으로 하는 화상 처리 방법.
제1항에 있어서, 상기 합성 매수 결정 처리는, 상기 화상 간의 편차량을 산출하고, 상기 편차량에 기초해서 상기 화상 사이에서 피사체의 움직임이 있는 영역과 움직임이 없는 영역을 검출하여 움직임 영역 정보를 생성하며, 상기 움직임 영역 정보에 기초하여 상기 합성 화상의 각 영역 내의 상기 합성 매수 정보를 변경하는 것을 특징으로 하는 화상 처리 방법.
제1항에 있어서, 상기 합성 매수 결정 처리는, 상기 화상 간의 편차량을 검출하고, 상기 편차량에 기초해서 상기 화상 중 복수 화상 사이에서 공유하는 상기 화상의 공통 영역을 검출하여 공통 영역 정보를 생성하며, 상기 공통 영역 정보에 기초하여 상기 합성 화상의 각 영역 내의 상기 합성 매수 정보를 변경하는 것을 특징으로 하는 화상 처리 방법.
제1항에 있어서, 상기 합성 매수 결정 처리는, 상기 화상 간의 색과 밝기 레벨의 편차량을 산출하여 미리 설정된 편차량과 비교하고, 범위 외의 상기 화상을 검출하며, 검출한 상기 화상을 상기 합성 매수로부터 삭제하여 상기 합성 매수 결정 처리를 실행하는 것을 특징으로 하는 화상 처리 방법.
제1항에 있어서, 상기 합성 화상의 각 영역에 대해 실행되는 상기 화상 처리는 윤곽 강조 처리인 것을 특징으로 하는 화상 처리 방법.
제1항에 있어서, 상기 합성 화상의 각 영역에 대해 실행되는 상기 화상 처리는 노이즈 제거 처리인 것을 특징으로 하는 화상 처리 방법.
제1항에 있어서, 상기 합성 화상의 각 영역에 대해 실행되는 상기 화상 처리는 톤 커브(tone curve) 보정 처리인 것을 특징으로 하는 화상 처리 방법.
제1항에 있어서, 상기 화상 처리 전환 처리는, 상기 영역의 상기 합성 매수 정보가 N매일 때는 노이즈 제거 처리를 수행하고, 상기 합성 매수가 M매(단, N<M)일 때는 윤곽 강조 처리를 수행하는 것을 특징으로 하는 화상 처리 방법.
복수의 화상을 취득하여 합성 화상을 작성하는 화상 처리 장치에 있어서,

상기 화상을 합성할 때, 상기 합성 화상의 영역마다 상기 화상을 합성하는 매수를 검출하여 합성 매수 정보로서 보존하는 합성 매수 결정부와,

상기 합성 매수 정보에 기초하여, 상기 합성 화상의 각 영역에 대해 실행되는 화상 처리의 파라미터를 전환하는 화상 처리 파라미터 전환부와, 상기 합성 매수 정보에 기초하여, 상기 합성 화상의 각 영역에 대해 실행되는 화상 처리를 전환하는 화상 처리 전환부 중 어느 한쪽 또는 양쪽

을 포함하는 것을 특징으로 하는 화상 처리 장치.
제9항에 있어서, 상기 합성 매수 결정부는,

상기 화상 간의 편차량을 산출하는 편차량 산출부와,

상기 편차량에 기초해서 상기 화상 사이에서 피사체의 움직임이 있는 영역과 움직임이 없는 영역을 검출하여 움직임 영역 정보를 생성하고, 상기 움직임 영역 정보에 기초하여 상기 합성 화상의 각 영역 내의 상기 합성 매수 정보를 변경하는 움직임 영역 검출부

를 포함하는 것을 특징으로 하는 화상 처리 장치.
제9항에 있어서, 상기 합성 매수 결정부는,

상기 화상 간의 편차량을 산출하는 편차량 산출부와,

상기 편차량에 기초해서 상기 화상 사이에서 공유하는 상기 화상의 공통 영역을 검출하여 공통 영역 정보를 생성하고, 상기 공통 영역 정보에 기초하여 상기 합성 화상의 각 영역 내의 상기 합성 매수 정보를 변경하는 공통 영역 검출부

를 포함하는 것을 특징으로 하는 화상 처리 장치.
제9항에 있어서, 상기 합성 매수 결정부는, 상기 화상 간의 색과 밝기 레벨의 편차량을 산출하여 미리 설정된 편차량과 비교하고, 범위 외의 상기 화상을 검출하며, 검출된 상기 화상을 삭제하여 상기 합성 매수를 결정하는 것을 특징으로 하는 화상 처리 장치.
제9항에 있어서, 상기 합성 화상의 각 영역에 대해 실행되는 상기 화상 처리는 윤곽 강조 처리인 것을 특징으로 하는 화상 처리 장치.
제9항에 있어서, 상기 합성 화상의 각 영역에 대해 실행되는 상기 화상 처리는 노이즈 제거 처리인 것을 특징으로 하는 화상 처리 장치.
제9항에 있어서, 상기 합성 화상의 각 영역에 대해 실행되는 상기 화상 처리는 톤 커브 보정 처리인 것을 특징으로 하는 화상 처리 장치.
제9항에 있어서, 상기 화상 처리 전환부는, 상기 영역의 상기 합성 매수 정 보가 N매일 때는 노이즈 제거 처리를 수행하고, 상기 합성 매수가 M매(N>M)일 때는 윤곽 강조 처리를 수행하는 것을 특징으로 하는 화상 처리 장치.
복수의 화상을 취득하여 합성 화상을 작성하는 화상 처리 장치의 컴퓨터에,

상기 화상을 합성할 때, 상기 합성 화상의 영역마다 상기 화상을 합성하는 매수를 검출하여 합성 매수 정보로서 보존하는 합성 매수 결정 처리와,

상기 합성 매수 정보에 기초하여, 상기 합성 화상의 각 영역에 대해 실행되는 화상 처리의 파라미터를 전환하는 화상 처리 파라미터 전환 처리와, 상기 합성 매수 정보에 기초하여, 상기 합성 화상의 각 영역에 대해 실행되는 화상 처리를 전환하는 화상 처리 전환 처리 중 어느 한쪽 또는 양쪽

을 실행시키는 것을 특징으로 하는 화상 처리 장치의 프로그램을 기록한 기록 매체.
제17항에 있어서, 상기 합성 매수 결정 처리는, 상기 화상 간의 편차량을 산출하고, 상기 편차량에 기초해서 상기 화상 사이에서 피사체의 움직임이 있는 영역과 움직임이 없는 영역을 검출하여 움직임 영역 정보를 생성하며, 상기 움직임 영역 정보에 기초하여 상기 합성 화상의 각 영역 내의 상기 합성 매수 정보를 변경하는 것을 특징으로 하는 화상 처리 장치의 프로그램을 기록한 기록 매체.
제17항에 있어서, 상기 합성 매수 결정 처리는, 상기 화상 간의 편차량을 검출하고, 상기 편차량에 기초해서 상기 화상 사이에서 공유하는 상기 화상의 공통 영역을 검출하여 공통 영역 정보를 생성하며, 상기 공통 영역 정보에 기초하여 상기 합성 화상의 각 영역 내의 상기 합성 매수 정보를 변경하는 것을 특징으로 하는 화상 처리 장치의 프로그램을 기록한 기록 매체.
제17항에 있어서, 상기 합성 매수 결정 처리는, 상기 화상 간의 색과 밝기 레벨의 편차량을 산출하여 미리 설정된 편차량과 비교하고, 범위 외의 상기 화상을 검출하며, 검출한 상기 화상을 상기 합성 매수로부터 삭제하여 상기 합성 매수 결정 처리를 실행하는 것을 특징으로 하는 화상 처리 장치의 프로그램을 기록한 기록 매체.
제17항에 있어서, 상기 합성 화상의 각 영역에 대해 실행되는 상기 화상 처리는 윤곽 강조 처리인 것을 특징으로 하는 화상 처리 장치의 프로그램을 기록한 기록 매체.
제17항에 있어서, 상기 합성 화상의 각 영역에 대해 실행되는 상기 화상 처리는 노이즈 제거 처리인 것을 특징으로 하는 화상 처리 장치의 프로그램을 기록한 기록 매체.
제17항에 있어서, 상기 합성 화상의 각 영역에 대해 실행되는 상기 화상 처리는 톤 커브 보정 처리인 것을 특징으로 하는 화상 처리 장치의 프로그램을 기록한 기록 매체.
제17항에 있어서, 상기 화상 처리 전환 처리는, 상기 영역의 상기 합성 매수 정보가 1매일 때는 노이즈 제거 처리를 수행하고, 상기 합성 매수가 복수매일 때는 윤곽 강조 처리를 수행하는 것을 특징으로 하는 화상 처리 장치의 프로그램을 기록한 기록 매체.