KR20130046427A

KR20130046427A - 화상 처리 장치, 화상 처리 방법, 및 화상 처리 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체

Info

Publication number: KR20130046427A
Application number: KR1020137001543A
Authority: KR
Inventors: 다이스케 호죠
Original assignee: 가부시키가이샤 리코
Priority date: 2010-07-08
Filing date: 2011-06-06
Publication date: 2013-05-07
Also published as: EP2591594A4; CN103098456A; KR101374330B1; US20130114862A1; EP2591594A1; US8983140B2; JP2012019397A; CN103098456B; WO2012005081A1; EP2591594B1; JP5445363B2

Abstract

화상 처리 장치는, 기준 화상과 비교 화상을 포함하는 연속으로 촬영된 화상이 저장되어 있는 메모리 유닛과, 기준 화상과 비교 화상을 미리 정해진 크기의 화상 블록으로 분할하는 화상 분할 유닛과, 기준 화상과 비교 화상 각각의 화상 블록마다 화소 출력의 평균값을 산출하는 평균값 산출 유닛과, 기준 화상의 화상 블록의 화소 출력의 평균값에 따라 임계값을 결정하는 임계값 결정 유닛과, 그 임계값을, 합성될 기준 화상과 비교 화상의 화상 블록에 포함된 화소 출력의 평균값의 차분값과 비교하고, 그 비교 결과에 기초하여, 기준 화상과 비교 화상의 화상 블록이 화상 합성에 적합한 것인지를 판정하는 판정 유닛을 포함한다.

Description

화상 처리 장치, 화상 처리 방법, 및 화상 처리 프로그램{IMAGE PROCESSING UNIT, IMAGE PROCESSING METHOD, AND IMAGE PROCESSING PROGRAM}

<관련 출원과의 상호 참조>

본 출원은 2010년 7월 8일에 출원한 일본 특허 출원 제2010-155869호에 기초한 것으로 이것에 대해 우선권을 주장하며, 이 우선권의 개시 내용은 인용에 의해 그 전체가 여기에 원용된다.

본 발명은 카메라 흔들림 등으로 인한 화상에 생긴 블러(blur) 및 노이즈(noise)를, 화상을 파괴하는 일 없이 고정밀도로 보정할 수 있는 화상 처리 장치, 화상 처리 방법, 및 화상 처리 프로그램에 관한 것이다.

최근에, CMOS 등의 이미지 센서의 고속 동작을 이용하여, 다양한 기능을 갖는 디지털 카메라가 개발되고 있다. 예컨대, 초당 5개 이상의 화상을 연속적으로 저장할 수 있는 것이나, 1000 fps 이상에서 고속으로 동화상을 촬영할 수 있는 것이 있다. 이러한 디지털 카메라는 카메라 흔들림으로 인한 블러 또는 장시간의 노광으로 인한 노이즈를 화상에서 제거하기 위해서, 연속으로 촬영된 화상들을 합성하는 화상 처리 장치를 포함한다고 알려져 있다. 화상 합성에 의해, 랜덤 노이즈를 평균화할 수 있고, 카메라 흔들림이나 어둠속 촬영으로 인한 노이즈를 저감할 수 있다.

연속으로 촬영된 화상들을 합성하기 위해서는 그 화상들 중 하나를 기준 화상으로서 결정하고, 나머지 화상들(비교 화상)의 위치를 그 기준 화상의 위치와 맞출 필요가 있다. 완전히 정지해 있는 피사체의 화상의 경우, 이 위치 정렬은 화상들의 크기를 서로 같게 함으로써 이루어진다. 그러나, 움직이는 피사체를 포함하는 화상의 경우, 피사체가 움직이는 방향을 결정한 뒤, 피사체의 움직임에 따라 위치를 정렬할 필요가 있다. 피사체의 움직임을 무시하고 화상 합성이 이루어지면 화상에 블러 및 노이즈가 증대한다. 예를 들어, 일본 특허 제3935500호(특허문헌 1)는, 먼저 피사체의 움직임을 결정하고, 그 움직임에 관한 모션 데이터에 기초하여, 화상의 위치를 정렬하면서 화상을 합성하도록 구성되는 화상 처리 장치를 개시하고 있다.

또한, 움직이는 피사체의 화상 합성에 의해 화상이 파괴되는 것(고스트 등)을 막기 위해서, 기준 화상과 비교 화상 각각을 미소한 화상 블록으로 분할하고, 각 화상 블록의 RGB 출력값의 차분에 따라 합성 비율을 결정하는 화상 처리 방법이 알려져 있다. 예를 들어, 일본 특허 출원 공개 제2009-164857호(특허문헌 2)는, 화상 블록마다 화상의 합성 여부를 판정하여, 화상 블록의 RGB 출력값(평균 RGB값)의 차분값이 미리 정해진 임계값보다 낮을 경우 화상 블록을 합성하고, 그 차분값이 미리 정해진 임계값을 초과할 경우 화상 블록을 합성하지 않는 화상 처리 방법을 개시하고 있다.

특허문헌 2에 개시된 화상 처리 방법과 같이, 미리 정해진 임계값을 이용하여 화상 합성을 판정하는 것에는 문제가 있다. 노광량에 비례하여 랜덤 노이즈가 발생하는 이미지 센서에 의해 촬영되는 화상에서는 피사체 화상의 밝은 부분의 노이즈가 어두운 부분의 노이즈보다 크기 때문에, 화상들 간의 차분값의 절대값이 크다. 따라서, 밝은 부분에 발생하는 노이즈를 화상 합성에 의해 보정하기 위해서는, 화상 합성의 실행 여부를 판정하기 위한 임계값이 큰 값에 설정되어야 하므로, 화상의 밝은 부분에서 피사체의 움직임의 정확한 보정을 실현할 수 있다. 그러나, 밝은 부분에 맞춰 설정된 큰 임계값이 피사체 화상의 어두운 부분에 대해서는 너무 크기 때문에, 어두운 부분에서 피사체의 움직임을 검출하는 것이 불가능하여 화상 합성의 오판정으로 이어진다. 그 오판정에 기초하여, 움직이는 피사체의 화상이 합성되면 합성 화상에 파괴(고스트 등)가 발생한다.

도 14a 내지 도 14c와 도 15는 상이한 임계값을 이용한 화상 합성의 결과를 도시하고 있다. 도 14a의 화상이 기준 화상이고, 도시하지는 않지만, 연속으로 촬영된 3개의 비교 화상이 화상 합성에 이용된다. 도 14b는 예컨대 화상 합성을 판정하기 위한 임계값이 화상의 어두운 부분에 맞춰 설정될 때의 화상 합성의 결과를 도시하고 있다. 도 14b에서, 피사체(X)는 움직이는 피사체이고 화성 합성이 정확하게 판정되어, 화상의 윤곽이 명확하고 고스트 등의 화상 파괴를 포함하고 있지 않다.

한편, 도 14c는 예컨대 화상 합성을 판정하기 위한 임계값이 화상의 밝은 부분에 맞춰 설정될 때의 화상 합성의 결과를 도시하고 있다. 도 14c에서, 움직이는 피사체(X)는 어둡고, 기준 화상과 비교 화상의 차분값은 작아서 밝은 부분에 맞춰 설정된 큰 임계값을 초과할 것 같지 않다. 이 때문에, 화상이 화상 합성에 적합할 것으로 잘못 판정되어, 피사체(X)의 움직임을 따라 윤곽(R)을 갖는 화상, 즉 고스트(Z)가 생겼다.

또한, 임계값이 화상의 어두운 부분에 맞춰 설정될 때에, 예컨대 도 15에 도시하는 바와 같이, 화상의 밝은 부분에만 눈에 띄는 노이즈(Y)가 발생한다. 즉, 자동차의 헤드라이트나 가로등과 같이 국소적으로 밝은 영역에 있어서, 주위의 화상 블록은 화상 합성에 적합한 것으로 판정되지만 이 국소적으로 밝은 영역은 화상 합성에 적합하지 않은 것으로 판정된다. 따라서, 이 밝은 영역에 대응하는 화상 블록은 합성되지 않고 화상 합성에 의한 노이즈 평균화가 이루어지지 않기 때문에, 국소적으로 밝은 영역에서 눈에 띄는 노이즈가 생긴다.

전술한 바와 같이, 고정된 임계값을 이용해서는 화상 합성을 위한 화상의 적합성이 정확하게 판정될 수 없고, 그 결과, 화상 합성이 적절하게 이루어지 않는다. 이것은 화상에서 고스트나 눈에 띄는 노이즈의 생성을 유발하고 화상을 파괴시킨다.

일본 특허 제3935500호 일본 특허 출원 공개 제2009-164857호

본 발명은 고정된 임계값을 설정하는 것 대신에, 화성 합성의 실행/비실행을 판정하기 위한 임계값을 합성될 기준 화상의 화소 출력에 따라 가변적으로 설정함으로써 화상 파괴의 발생 없이, 화상 보정에 이용되는 연속으로 촬영된 화상을 정밀하게 합성할 수 있는 화상 처리 장치, 화상 처리 방법, 및 화상 처리 프로그램을 제공하는 것을 목적으로 한다.

본 발명의 일 양태에 따라, 화상 처리 장치는, 기준 화상과 이 기준 화상과 상이한 비교 화상을 포함하는 연속으로 촬영된 화상이 저장되는 메모리 유닛과, 상기 기준 화상과 비교 화상 각각을 미리 정해진 크기의 화상 블록으로 분할하도록 구성되는 화상 분할 유닛과, 상기 기준 화상과 비교 화상 각각의 화상 블록마다 화소 출력의 평균값을 산출하도록 구성되는 평균값 산출 유닛과, 상기 기준 화상과 비교 화상의 화상 블록이 화상 합성에 적합한지를 판정하기 위한 임계값을, 상기 기준 화상의 화상 블록의 화소 출력의 평균값에 따라 결정하도록 구성되는 임계값 결정 유닛과, 상기 임계값 결정 유닛에 의해 결정된 임계값을, 합성될 상기 기준 화상과 비교 화상의 화상 블록에 포함된 화소 출력의 평균값의 차분값과 비교하고, 그 비교 결과에 기초하여, 상기 기준 화상과 비교 화상의 화상 블록이 화상 합성에 적합한지를 판정하도록 구성되는 판정 유닛을 포함한다.

본 발명의 특징, 실시형태 및 장점은 첨부 도면을 참조한 이하의 상세한 설명으로부터 분명해질 것이다.
도 1은 본 발명의 일 실시형태에 따른 화상 처리 장치를 탑재한 촬상 기기의 예를 도시하는 도면이다.
도 2는 도 1에 나타낸 촬상 기기의 제어 계통의 예의 블록도이다.
도 3은 화상 합성의 실행/비실행을 판정하는 기준으로서 임계값을 선택할 때 이용되는 차트 화상의 예를 나타내는 도면이다.
도 4a와 도 4b는 도 3에 나타낸 차트 화상의 화소 출력의 차분값의 분포를 나타내는 그래프이다.
도 5a와 도 5b는 본 발명의 일 실시형태에 따른 화상 처리 장치에 이용된 임계값 테이블의 예를 나타내는 도면이다.
도 6은 화상 처리 장치의 예시적인 동작의 흐름도이다.
도 7은 화상 처리 장치의 예시적인 화상 합성 판정 동작을 상세하게 나타내는 흐름도이다.
도 8은 화상 처리 장치의 다른 예시적인 화상 합성 판정 동작을 상세하게 나타내는 흐름도이다.
도 9는 화상 처리 장치의 다른 예시적인 화상 합성 판정 동작을 상세하게 나타내는 흐름도이다.
도 10a와 도 10b는 화상 처리 장치의 촬영 화상의 예를 도시하는 도면이다.
도 11a는 종래 기술의 화상 처리 장치의 화상 합성의 예를 도시하는 도면이고, 도 11b는 본 발명의 일 실시형태에 따른 화상 처리 장치의 화상 합성의 예를 도시하는 도면이다.
도 12는 화상 처리 장치의 다른 촬영 화상의 예를 도시하는 도면이다.
도 13a는 종래 기술의 화상 처리 장치의 화상 합성의 다른 예를 도시하는 도면이고, 도 13b는 본 발명의 일 실시형태에 따른 화상 처리 장치의 화상 합성의 다른 예를 도시하는 도면이다.
도 14a 내지 도 14c는 종래 기술의 화상 처리 방법에 따른 화상 합성의 예를 도시하는 도면이다.
도 15는 종래 기술의 화상 처리 방법에 따른 화상 합성의 다른 예를 도시하는 도면이다.

이하, 본 발명의 실시형태에 따른 화상 처리 장치 및 화상 처리 방법에 관해서, 첨부 도면을 참조하여 상세하게 설명한다. 본 발명의 일 실시형태에 따른 화상 처리 장치는 촬상 기기에 탑재될 수 있다. 따라서, 화상 처리 장치가 탑재된 촬상 기기에 대해 설명한다.

제1 실시형태

도 1은 제1 실시형태에 따른 화상 처리 장치를 포함하는 예시적인 촬상 기기의 정면도이다. 도 1에서, 촬상 기기(1)는 줌 렌즈와 포커스 렌즈를 포함하는 렌즈 배럴 유닛(2)과, 스트로보스코픽 유닛(3)과, 피사체와의 거리를 측정하는 측거 유닛(4), 및 광학 파인더(5)를 포함한다. 상면에는, 셔터 버튼(SW1)과, 촬영 모드를 선택하기 위한 모드 다이얼(SW2)과, 조그 다이얼 스위치(SW3)가 배치되어 있다. 셔터 버튼(SW1)을 조작함으로써, 피사체가 렌즈 배럴 유닛(2)의 각종 렌즈를 통해 촬영되어, 도시하지 않는 이미지 센서에 입력되고, 화상 데이터로서 도시하지 않는 메모리 유닛에 저장된다. 한번의 촬영 동작으로 다수의 화상이 메모리 유닛에 연속으로 저장될 수 있다. 예컨대, 셔터 버튼(SW1)을 한번 조작함으로써 연속적인 화상 데이터가 4개 저장될 수 있다.

다음에, 도 2를 참조하여 본 실시형태에 따른 촬상 기기(1)의 기능 블록의 예에 관해서 설명한다. 도 2에 있어서, 촬상 기기(1)는 기기 전체의 동작을 제어하는 프로세서로서 CPU(10)와, 촬상 유닛(11)과, 메모리 유닛(12)과, 화상 분할 유닛(13)과, 평균값 산출 유닛(14)과, 임계값 결정 유닛(15)과, 판정 유닛(16)과, 화상 합성 유닛(17)과, 모션 데이터 산출 유닛(18)과, 디스플레이 유닛(19)과, 조작 유닛(20), 및 이들 유닛을 접속하는 데이터 버스(21)를 포함한다.

촬상 유닛(11)은 광학계를 통해 피사체의 광학상을 취득해서, 그것을 이미지 센서에 의해 전기 신호로 변환하고, 그 전기 신호를 디지털 데이터로 변환하여 미리 정해진 기억 형식으로 파일을 생성하도록 구성되어 있다. 촬상 유닛(11)에 의해 생성된 파일을 본 명세서에서는 "화상"이라고 한다. 촬상 유닛(11)은 미리 정해진 수의 화상, 예컨대 4개의 화상을 연속으로 촬영한다.

촬상 유닛(11)에 의해 연속으로 생성된 화상은 메모리 유닛(12)에 저장된다. 화상 분할 유닛(13)은 메모리 유닛에 저장되어 있는 화상을 미리 정해진 크기의 화상 블록, 예컨대 32 화소×32 화소로 분할하도록 구성되어 있다.

평균값 산출 유닛(14)은 화상 분할 유닛(13)에 의해 분할된 각 화상 블록에 포함된 화소 출력의 평균값을 산출하도록 구성되어 있다. 화소 출력의 평균값은, 예컨대 후술하는 제2 실시형태에서는 R 화소, G 화소 및 B 화소 각각의 출력의 평균값(이하, 평균 RGB값이라고 함), 후술하는 제3 실시형태에서는 각각의 화상 블록에 포함된 모든 화소의 휘도의 평균값, 제4 실시형태에서는 각각의 화상 블록에 포함된 R 화소, G 화소 및 B 화소 각각의 출력의 합의 평균값(이하, 평균 RGB값의 합이라고 함)일 수 있다.

임계값 결정 유닛(15)은 평균값 산출 유닛(14)에 의해 산출된 기준 화상의 평균값에 기초하여, 화성 합성의 실행/비실행을 판정하기 위한 임계값을 결정하도록 구성되어 있다. 여기서, 기준 화상이란, 메모리 유닛(12)에 저장되어 있는 연속으로 촬영된 화상 중 하나를 의미한다. 기준 화상 이외의 화상은 비교 화상이라고 한다. 본 실시형태에서는 연속으로 촬영된 화상 중 최초로 촬영된 화상을 기준 화상이라고 한다. 그러나, 기준 화상은 이러한 화상에 한정되어서는 안 되며, 예컨대 연속으로 촬영된 화상 중에서 포커스 레벨이 가장 높은 것일 수 있다.

이어서, 임계값에 관해서 설명한다. 임계값은 각 화상 블록에 포함된 화상이 화상 합성에 적합한지를 판정하는데 이용되는 것으로서, 화상 블록의 화소 출력의 평균값에 따라 상이하다. 화소 출력의 평균값이 작을 경우, 임계값도 작고, 평균값이 커짐에 따라 임계값도 커진다. 먼저, 임계값을 화상 블록에 포함된 화소 출력의 평균값에 따라 변화시키는 이유에 관해서 설명한다.

일반적으로, 이미지 센서에서 생기는 노이즈의 종류는 출력의 크기에 종속되는 것과 종속되지 않는 것, 2가지가 있다. 이 중 종속되는 것은 광샷(optical shot) 노이즈, 전하 전송 노이즈, 연산 증폭기의 노이즈 등이 있다. 광샷 노이즈는 포토다이오드의 양자 효율로부터 발생하며, 그 크기는 광자(photon)의 수에 종속된다. 같은 광량을 같은 시간 동안 조사할지라도 포토다이오드의 출력은 변할 것이며, 출력이 높을수록 그 변동이 커질 것이다. 다시 말해, 동일 피사체를 같은 환경 조건 하에서 촬영할지라도 이미지 센서의 출력(화소 출력)은 반드시 같아지지 않는다. 같은 환경 조건 하에서 촬영된 동일 피사체의 4개의 화상과 관련하여, 4개의 화상의 화소 출력의 차분은 출력이 낮은 어두운 부분과 출력이 높은 밝은 부분 간에 상이하다. 동일한 상황일지라도, 어두운 부분(저휘도)의 화소 출력은 임계값보다 낮을 가능성이 있고 밝은 부분(고휘도)의 화소 출력은 임계값을 초과할 가능성이 있다. 임계값보다 낮은 화소 출력을 갖는 화상은 합성되지만 출력이 임계값보다 큰 화상은, 어두운 부분에서의 고스트와 밝은 부분에서의 눈에 띄는 노이즈 등의 화상 파괴가 발생할 수 있기 때문에 합성되지 않는다. 이에, 어두운 부분과 밝은 부분에 대해 동일한 임계값을 이용하여 화상 합성의 실행 또는 비실행을 판정하는 것은 화상 품질 열화의 원인이 된다.

그래서, 본 실시형태에서는, 도 3에 도시한 맥베스 차트(Macbeth chart)를 연속으로 촬영한 화상의 화소 출력의 차분값의 분포가 산출되고, 이 분포를 이용해서, 피사체 화상의 출력값에 따라 임계값이 최적으로 설정될 수 있다. 맥베스 차트는 삼각대에 탑재된 디지털 카메라로 동일한 환경 조건 및 동일한 설정 하에서 복수회 촬영된다. 도 4a와 도 4b는 도 3의 맥베스 차트를 2회 연속 촬영하여 화상 블록으로 분할할 경우에 동일한 위치에 있는 하나의 화상 블록에 포함된 화소 출력의 평균값의 차분값을 플롯팅한 그래프이다. 횡축은 화소의 휘도(화소 출력)를 나타내고, 종축은 화소 출력의 차분값을 나타낸다. 도 4a와 도 4b로부터 분명한 바와 같이, 차분은 어두운 부분에서는 값이 작고 밝은 부분에서는 값이 크다. 차분이 얼마나 크냐는 확률적인 문제이며, 밝은 부분에서는 변동이 더 큰 것을 볼 수 있다.

도 4a와 도 4b에서는 차분값의 분포가 수직으로 긴 그룹을 형성하는 것을 볼 수 있다. 이것은, 도 3에 도시한 바와 같이 맥베스 차트가 각각이 단색으로 채색된 사각형 영역(패치)으로 구성되고, 각 패치의 휘도가 미리 정해진 범위 내에 있기 때문이다. 도 4a와 도 4b로부터, 화소 출력의 차분값은 각 패치의 색상과 무관하고 광원에 대한 의존성이 거의 없는 것이 분명하다. 그러나, 이것은 광원이 플리커 등을 생성할 경우에 출력의 절대값 그 자체가 변하기 때문에 유효하지 않다. 도 4a에서는 ISO 감도가 100이지만 도 4b에서는 1,600이다. ISO 감도에 따라 S/N 비가 변하기 때문에, 화소 출력의 차분값도 ISO 감도에 따라 변한다.

도 4a와 도 4b의 곡선은 화소 출력의 차분값의 분포로부터 산출된 근사 곡선이다. 이 근사 곡선으로부터 화소값마다 최적의 임계값을 결정할 수 있다. 목표 화소 출력의 차분값이 곡선 아래쪽에 있을 경우, 화상 합성이 실행되지만, 곡선 위쪽에 있을 경우 화상 합성은 실행되지 않는다. 따라서, 곡선은 임계값을 표현한다. 본 실시형태에 따른 촬상 기기(1)는 비휘발성 워크 메모리 내에 미리 저장되어 있는 임계값 테이블을 포함하고, 이 테이블은 서로 연관되어 있는 화소 출력의 평균값과 임계값을 포함한다. 도 5a와 도 5b는 서로 연관되어 있는 평균값의 차분값과 임계값을 포함하는 임계값 테이블의 예를 나타내고 있다. 도 5a에서, 각각의 가능한 차분값은 각각의 임계값과 연관되어 있기 때문에, 대량의 메모리 영역을 필요로 한다. 도 5b에는, 대표적인 화소 출력의 평균값의 차분값 및 대응하는 임계값이 저장되어 있고, 다른 임계값은 보간에 의해 산출될 수 있다. 화소 출력의 평균값이 ISO 감도에 따라 변하기 때문에(도 4a와 도 4b), ISO 감도의 레벨마다 도 5b의 임계값 테이블이 준비될 수 있다. 또한, RGB 화소마다 임계값 테이블이 준비되어, RGB 각각의 평균값의 차분값을 계산함으로써 보다 정확하게 임계값을 결정할 수 있다.

다시 도 2를 참조하면, 판정 유닛(16)은 임계값 결정 유닛(15)에 의해 결정된 임계값과, 기준 화상과 비교 화상의 대응하는 화상 블록의 화소 출력의 평균값의 차분값을 비교하도록 구성되어 있다. 차분값이 임계값보다 작으면, 판정 유닛은 이 화상 블록에 포함된 2개의 화상이 화상 합성에 적합하다고 판정하여, 화상 합성의 실행을 나타내는 플래그를 설정한다. 플래그는 도시하지 않는 워크 메모리에, 화상 블록을 식별하는 정보와 연관되어 저장된다.

화상 합성 유닛(17)은 판정 유닛(16)에 의해 설정된, 화상 합성의 실행을 나타내는 플래그에 따라 기준 화상과 비교 화상의 화상 블록을 합성하도록 구성되어 있다. 그런 다음, 메모리 유닛(12)에 저장되어 있는 연속으로 촬영된 화상 중, 화상 합성 판정이 이루어지지 않은 것이 있다면, 판정 유닛은 이 화상을 비교 화상으로서 이용하고, 합성된 화상을 새로운 기준 화상으로서 설정하여 비교 화상을 새로운 기준 화상과 비교한다. 판정 유닛(16)은 화상이 화상 합성에 적합한지의 여부를 반복적으로 판정한다.

모션 데이터 산출 유닛(18)은 목표 화상 블록에 포함된 기준 화상과 비교 화상 간의 관계를 결정하기 위한 모션 데이터를 산출하도록 구성되어 있다. 모션 데이터는 기준 화상으로부터 비교 화상의 수평 및 수직 방향의 변위량을 나타낸다. 모션 데이터는, 예컨대 첫 번째 촬영과 두 번째 촬영 사이에 촬상 기기가 약간 흔들림으로 말미암아 화각(angle of view)이 변할 때에 기준 화상과 비교 화상의 상대적인 변위이다. 그것은 평행 이동량을 나타내는 이동 벡터이거나 또는 화상의 회전 등이 검출되는 자유도가 높은 아핀 파라미터일 수도 있다. 기준 화상과 비교 화상 간의 모션 데이터는, 입력 화상에 다중 해상도를 적용하여 해상도가 낮은 화상부터 해상도가 높은 화상에 단계적으로 블록 매칭 처리를 실행함으로써 얻어진 정확한 아핀 파라미터를 이용해서 산출될 수 있다.

디스플레이 유닛(19)은 화상 데이터와 조작 메뉴를 표시하도록 구성되어 있다. 조작 유닛(20)은 셔터 버튼(SW1)과 모드 다이얼(SW2) 등을 포함하고, 미리 정해진 조작을 전기 신호로 변환하여 이것을 CPU(10)에 전송하도록 구성되어 있다.

제2 실시형태

다음에, 제1 실시형태에 따른 화상 처리 장치에 의해 실행되는 화상 처리의 예에 관하여, 도 6의 흐름도를 참조하여 설명한다.

단계 S1에서, 촬상 유닛(11)이 동일한 파라미터 설정(조리개, 노광 시간, ISO 감도, 화각 등)으로 피사체를 연속으로 촬영하고, 촬영된 화상은 메모리 유닛(12)에 저장된다. 이어서, 단계 S2에서, 모션 데이터 산출 유닛(18)은 메모리 유닛(12)에 저장되어 있는 기준 화상과 비교 화상 간의 관계를 결정하기 위한 모션 데이터를 산출하고, CPU(10)는 이 모션 데이터에 기초하여, 기준 화상과 비교 화상의 위치를 정렬한다. 단계 S2의 위치 정렬은 기준 화상으로부터 비교 화상의 변위를 보정하는 것이다.

단계 S3에서, 기준 화상과 비교 화상이 화상 합성에 적합한지의 여부에 대해 판정이 이루어진다. 단계 S4에서, 화상 합성 후 화상 처리에 이용하기 위해, 각 화상 블록에서 합성된 화상의 수가 저장된다. 단계 S3의 판정에 대해서는 나중에 상세하게 설명한다. 단계 S2 내지 단계 S4는 연속으로 촬영된 모든 화상에 대해 반복적으로 실행된다(단계 S5의 No). 모든 화상이 처리되었다고 판정되면(단계 S5의 Yes), 단계 S6에서 화상 합성 유닛(17)은 화상을 합성하고 합성된 화상을 RAW 형식으로 출력한다.

단계 S3에서의 화상 합성의 실행 또는 비실행에 대한 판정에 관해서는, 도 7의 흐름도를 참조하여 상세하게 설명한다. 단계 S10에서, 화상 분할 유닛(13)은 기준 화상과 제1 비교 화상 각각을 미리 정해진 크기의 화상 블록으로 분할한다. 여기서, 기준 화상이란, 연속으로 촬영된 화상 중 최초로 촬영된 화상을 말하고, 제1 비교 화상이란, 두 번째로 촬영된 화상을 말한다. 화상 블록이 작을수록 화상에서의 움직이는 피사체에 대한 판정 정확도가 양호하고 합성 화상의 품질도 양호해진다. 하지만, 연산량과 처리 시간이 증대한다. 처리 시간과 화상 품질 간의 밸런스를 고려하여, 화상 블록의 최적 크기는 예컨대 32 화소×32 화소로 미리 설정된다. 이하의 설명에서는, 1 화상이 M개의 화상 블록으로 분할되는 것으로 한다.

단계 S20에서, 평균값 산출 유닛(14)은 화상 합성의 실행/비실행을 판정하기 위한 임계값을 결정하기 위하여, 기준 화상의 k번째 화상 블록에 포함된 RGB 화소의 각각의 출력의 평균값(평균 RGB값)을 산출한다. k는 1부터 M까지의 값이고, 첫번째 처리에서 제1 화상 블록의 평균 RGB값이 산출되며, 여기서 k=1이다. 각각의 화상 블록의 크기는 32 화소×32 화소이고, R 화소 및 B 화소의 수는 각각 256개이고, G 화소의 수는 512개이다. 평균 RGB값은 각각의 RGB 화소 출력의 합을 총 RGB 화소의 수로 나누어서 산출된 것이다.

촬상 유닛(11)에서 베이어 패턴(Bayer pattern)의 이미지 센서를 이용하면, RG 어레이의 Gr와 GB 어레이의 Gb가 구별되는 경우가 있지만, 제1 실시형태에 따른 화상 처리 장치에서는 Gr와 Gb가 구별될 필요가 없다. Gr와 Gb의 특성이 크게 다른 경우나, 4색 이미지 센서로 화상을 촬영하는 경우, RGr와 GbB가 구별될 수 있거나, 4색 각각마다 평균값이 산출될 수 있다.

다음에, 단계 S30에서, 임계값 결정 유닛(15)은 단계 S20에서 산출된 평균 RGB값에 기초해서, 워크 메모리에 저장되어 있는 임계값 테이블을 참조하여, 화상 블록에 포함된 화상이 화상 합성에 적합한지를 판정하기 위한 임계값을 결정한다. 임계값은 각각의 RGB 화소마다 결정된다. 12비트의 RAW 화상의 평균 RGB값은 범위가 0부터 4,095까지이고 이에 대응하여 임계값의 수는 4,096개이다. 도 4a를 참조하여 전술한 바와 같이, 임계값이 너무 많으면 메모리 영역을 많이 차지한다. 본 실시형태에서는, 도 5b에 나타내는 바와 같이 각각의 평균 RGB값의 차분값과 대응하는 임계값이 워크 메모리에 저장되고 임계값은 단계 S20에서 산출된 평균값의 근사 차분값에 대응하는 임계값에 따라 보간에 의해 산출된다.

다음에, 단계 S40에서, 평균값 산출 유닛(14)은 비교 화상의 k번째 화상 블록에 포함된 RGB 화소의 각각의 출력의 평균값을 산출한다. k는 1부터 M까지의 값이다. 첫 번째 처리에서는 k=1이며 제1 화상 블록의 평균 RGB값이 산출된다.

다음에, 단계 S50에서, 판정 유닛(16)은 기준 화상의 평균 RGB값과 비교 화상의 그것 간의 차분값을 산출하여, 이 차분값과 단계 S30에서 결정된 임계값(Th_R[k], Th_G[k], Th_B[k])을 비교한다. RGB 화소 전부의 차분값이 임계값 이하이면(단계 S50의 Yes), 논의되는 화상 블록을 식별하는 데이터는 후속 단계에서 기준 화상과 비교 화상의 화상 합성에 대해 단계 S60에서 합성 가능을 나타내는 플래그와 함께 워크 메모리에 저장된다. 한편, RGB 화소 중 어느 것의 차분값이 임계값보다 크면(단계 S50의 No), 이 화상 블록에 대해서는 화상 합성이 실행되지 않는다.

합성 가능과 합성 불가능을 나타내는 플래그는 비교 화상과, 비교될 화상 블록을 식별하도록 구성되어 있다. 예컨대, 기준 화상(0)과 제1 비교 화상(1)의 100번째의 화상 블록이 합성 가능일 경우에, 플래그는 0:1:100:1과 같은 숫자 조합으로 표현될 수 있다. 또한, 예컨대, 기준 화상(0)과 제2 비교 화상(2)의 200번째 화상 블록이 합성 불가능일 경우, 플래그는 0:2:200:0과 같은 숫자 조합으로 표현될 수 있다.

단계 S80에서, 모든 화상 블록에 대해 화상 합성 판정이 이루어졌는지의 여부가 판정된다. 결과가 부정이면, 모든 화상 블록에 대해 판정될 때까지(단계 S80의 No), 단계 S20 내지 단계 S70이 반복적으로 실행된다.

제3 실시형태

단계 S3의 화상 합성 판정의 다른 예에 관하여, 도 8의 흐름도를 참조하여 상세하게 설명한다. 도 7의 동작과 같은 것에는, 도 8에 동일한 단계 번호를 부여한다. 먼저, 단계 S10에서, 화상 분할 유닛(13)은 기준 화상과 제1 비교 화상의 각각을 미리 정해진 크기의 화상 블록으로 분할한다. 단계 S21에서, 평균값 산출 유닛(14)은 화상 합성의 실행/비실행을 판정하기 위한 임계값을 결정하기 위하여 기준 화상의 k번째 화상 블록의 휘도의 평균값을 산출한다.

임계값 결정 유닛(15)은 단계 S21에서 산출된 평균 휘도값에 기초해, 워크 메모리에 저장되어 있는 임계값 테이블을 참조하여, 화상 블록에 포함된 화상이 화상 합성에 적합한지를 판정하기 위한 임계값을 결정한다. 임계값 테이블은 도 5b에 나타내는 바와 같이, 맥베스 차트의 화상의 휘도의 차분값의 분포에 기초하여, 임계값과 연관된 각각의 평균 휘도값의 차분값으로서 한 그룹의 데이터를 포함한다. 임계값은 단계 S21에서 산출된 평균값의 근사 차분값에 대응하는 임계값에 따라 보간에 의해 산출된다.

단계 S41에서, 평균값 산출 유닛(14)은 비교 화상의 k번째 화상 블록의 평균 휘도값을 산출한다. 단계 S51에서, 판정 유닛(16)은 기준 화상의 휘도 평균값과 비교 화상의 휘도 평균값 간의 차분값이 임계값보다 큰지의 여부를 판정한다. 차분값이 임계값보다 작으면, k번째 화상 블록에 대해 화상 합성을 실행하도록 화상 합성의 실행을 나타내는 미리 정해진 기억 형식의 미리 정해진 플래그가 저장된다(단계 S51의 Yes, 단계 S60), 한편, 그 차분값이 임계값 이상이면, k번째 화상 블록에 대해 화상 합성을 실행하지 않도록 화상 합성의 비실행을 나타내는 미리 정해진 기억 형식의 미리 정해진 플래그가 저장된다(단계 S51의 No, 단계 S70),

기준 화상과 비교 화상의 모든 화상 블록에 대해 화상 합성의 판정이 완료될 때까지 단계 S20 내지 단계 S70이 반복적으로 실행된다(단계 S80의 No).

이와 같이, 화상 합성의 실행/비실행을 판정하기 위해 평균 휘도값을 이용함으로써, 임계값과의 비교를 고속으로 처리할 수 있고(단계 S51), 전체 화상 합성 처리의 처리 시간을 단축할 수 있다.

제4 실시형태

다음에, 단계 S3에서의 화상 합성 판정의 다른 예에 관하여, 도 9의 흐름도를 참조하여 상세하게 설명한다. 도 7과 도 8의 단계와 같은 것에는 동일한 단계 번호를 부여한다. 먼저, 단계 S10에서 화상 분할 유닛(13)은 기준 화상과 제1 비교 화상 각각을 미리 정해진 크기의 화상 블록으로 분할한다. 단계 S22에서 평균값 산출 유닛(14)은 화상 합성의 실행/비실행을 판정하기 위한 임계값을 결정하기 위하여, k번째 화상 블록의 평균 RGB값의 합을 산출한다. 평균 RGB값의 합은 화상 블록에 포함된 RGB 화소의 각각의 출력의 평균값의 합이다.

단계 S32에서, 임계값 결정 유닛(15)은 단계 S22에서 산출된 평균 RGB값의 합에 기초해서, 워크 메모리에 저장되어 있는 임계값 테이블을 참조하여, 화상 블록에 포함된 화상이 화상 합성에 적합한지를 판정하기 위한 임계값을 결정한다. 전술한 바와 같이, 임계값 테이블은 도 5b에 나타내는 바와 같이, 맥베스 차트의 화상의 휘도의 차분값의 분포에 기초하여, 임계값과 연관된 대표적인 평균 RGB값의 합의 상이한 값으로서 한 그룹의 데이터를 포함한다. 임계값은 단계 S22에서 산출된 값의 근사 차분값에 대응하는 임계값에 따라 보간에 의해 산출된다.

단계 S42에서, 평균값 산출 유닛(14)은 비교 화상의 k번째 화상 블록의 평균 RGB값의 합을 산출한다. 단계 S52에서, 판정 유닛(16)은 기준 화상의 평균 RGB값의 합과 비교 화상의 그것 간의 차분값이 임계값보다 큰지의 여부를 판정한다. 차분값이 임계값보다 작으면, k번째 화상 블록에 대해 화상 합성을 수행하도록 화상 합성의 실행을 나타내는 미리 정해진 기억 형식의 미리 정해진 플래그가 저장된다(단계 S52의 Yes, 단계 S60). 한편, 차분값이 임계값 이상이면, k번째 화상 블록에 대해 화상 합성을 수행하지 않도록 화상 합성의 비실행을 나타내는 미리 정해진 기억 형식의 미리 정해진 플래그가 저장된다(단계 S52의 No, 단계 S70).

기준 화상과 비교 화상의 모든 화상 블록에 대해 화상 합성의 판정이 완료될 때까지 단계 S20 내지 단계 S70의 단계가 반복적으로 실행된다(단계 S80의 No).

이와 같이, 화상 합성의 실행/비실행을 판정하는 데에 평균 RGB값의 합을 이용함으로써, 임계값과의 비교를 고속으로 처리할 수 있고(단계 S52), 전체 화상 합성 처리의 처리 시간을 단축할 수 있다.

제5 실시형태

본 발명의 일 실시형태에 따른 화상 처리 방법의 효과에 관하여, 일례로서 도 10a 내지 도 13에서의 연속으로 촬영된 4개 화상의 화상 합성을 이용하여 설명한다. 도 10a는 촬영된 화상 중 하나의 예를 기준 화상으로서 나타낸다. 다른 화상들은 화상에 있어서 화각 및 피사체 등의 촬영 조건이 다르지 않기 때문에 도시하지 않는다. 설명의 편의상, 도 10b에 도시하는 바와 같이, 화상(A)는 자동차 열(B), 하늘(C), 인물(D) 등의 영역으로 분할된다.

도 11a와 도 11b는 도 10a에 도시한 화상(A)의 합성 화상의 예를 도시한다. 이들 도면에서, 4개의 화상이 합성된 화상 블록은 백색으로 표시되고, 3개의 화상이 합성된 화상 블록은 밝은 회색으로 표시되며, 2개의 화상이 합성된 화상 블록은 짙은 회색으로 표시되고, 화상 합성이 이루어지지 않은 화상 블록은 흑색으로 표시된다. 도 11a는 종래 기술의 화상 합성을 이용한 합성 화상의 예이고, 도 11b는 본 발명의 일 실시형태에 따른 화상 처리 방법을 이용한 합성 화상의 예이다.

도 11a에서, 정지 피사체로서 하늘(C)이 밝은 회색(3개 화상 합성)과 짙은 회색(2개 화상 합성) 2가지로 표시된다. 이것은, 종래 기술에서는 화소 출력과 관계없이 고정된 임계값을 이용하여, 정지 피사체의 일부분은 화상 합성에 적절한 것으로 판정되지만 다른 부분은 부적합한 것으로 판정되기 때문이다. 본질적으로, 하늘과 같은 정지 피사체의 화소 출력은 일정해야 하지만, 이미지 센서의 특성상, 밝은 피사체의 화소 출력은 변동이 크다. 또한, 자동차 열(B)과 인물(D)에 있어서도, 일부분은 화상 합성에 적합한 것으로 판정되고 다른 부분은 부적합한 것으로 판정된다. 이들 움직이는 피사체는 일반적으로 차분값이 크기 때문에 화상 합성에 적합한 것으로 판정되어서는 안 된다. 그러나, 매우 어두운 움직이는 피사체의 경우에는 차분값이 임계값보다 작은 경향이 있기 때문에, 화상 합성에 오판정이 있을 수 있다. 따라서, 화상에 고스트가 발생하고 종래 기술의 화상 합성에 의해 생성된 화상의 밝은 부분에는 눈에 띄는 노이즈가 생긴다.

반면, 본 발명의 일 실시형태에 따른 화상 처리 방법에서는, 화소 출력의 평균값으로부터 최적 임계값이 결정(산출)되고, 그 최적 임계값을 이용하여 화상 합성에 대한 판정이 이루어진다. 도 11b에서는, 하늘(C)은 4개의 화상이 합성된 것이지만, 자동차 열(B)과 인물(D) 등의 움직이는 피사체에 대해서는 화상 합성이 이루어지지 않는다. 콘트라스트가 높은 건물의 윤곽 등의 엣지부를 포함하는 화상 블록의 경우, 약간의 위치 변위에도, 움직이는 피사체로서 판정될 수 있다. 움직이는 피사체의 판정 레벨이 임계값 테이블에 종속되기 때문에 그 최적값이 임의로 미리 결정되어 워크 메모리에 저장될 수 있다.

화상 처리 방법의 효과의 다른 예에 관해 설명한다. 도 12는 매크로 모드로 촬영된 화상(E)을 도시한다. 제2 실시형태에 따른 화상 처리 장치는 화상 블록에 포함된 RGB 화소 출력의 각각의 평균값을 산출하여 R, G, B 화소마다 임계값을 각각 결정하도록 구성되어 있다. 다시 말해, 이 장치는 화상 합성의 실행/비실행을 판정하기 위해 기준 화상과 비교 화상의 각 화상 블록마다 RGB 화소 출력의 평균값을 임계값과 각각 비교한다(도 7 참조).

도 13a와 도 13b는 도 12의 화상(E)의 영역(F)을 확대한 화상을 도시한다. 도 13a는 종래 기술의 화상 합성을 이용한 합성 화상의 예를 도시하고, 도 13b는 본 발명의 일 실시형태에 따른 화상 처리 방법을 이용한 합성 화상의 예를 도시한다.

종래 기술의 화상 처리 방법에 따르면, 차분값을 고정 임계값과 비교함으로써 화상이 화상 합성에 적합한지를 판정하기 위하여, 화상 블록에 포함된 화소값의 총합을 이용해 기준 화상과 비교 화상의 화소 출력의 차분값을 산출한다. 화상 블록의 총합은 ΣR+2*ΣG+ΣB에 의해 산출되고, 여기서 R, G, B는 화소 출력이다. 화상 블록의 평균값은 총합/화소수에 의해 산출되는 값이다. 움직이는 피사체를 판정하는 데에는 휘도 정보만 이용되며, 색상과 채도는 이용되지 않는다.

종래의 화상 처리 방법은 도 13a에 도시하는 바와 같이, 앞쪽에 있는 피사체(메인 피사체)와 뒤쪽에 있는 피사체(배경)가 한 화상에서 근사 휘도를 나타낼 경우에 시각적으로 완전히 다른 화상 블록이 화상 합성에 적합한 것으로 판정된다는 점에서 피사체 촬영에 문제가 있다. 그 결과, 이 도면에서는 배경이 메인 피사체(초목 잎)와 겹치고 메인 피사체의 화상이 파괴된다.

한편, 본 발명의 일 실시형태에 따른 화상 처리 방법에서는, 화상 합성의 판정이 각각의 RGB 화소마다 이루어진다. 이에, 전경(메인 피사체)과 배경의 색상차를 정밀하게 검출할 수 있고 이들이 합성되어서는 안 된다고 정확하게 판정할 수 있다. 도 13b에 도시하는 바와 같이, 메인 피사체는 배경과 겹치지 않게 전경으로서 촬영되고 화상 파괴가 방지된다.

도 12, 도 13a, 도 13b에 도시한 화상의 메인 피사체는 붉은 색상이기 때문에 화상 합성의 실행이 화상 블록에 포함된 R 화소에 대한 데이터만 기초해서 판정될 수 있다. 또한, RGB 화소 중 하나에 관한 데이터만 이용하여, 움직이는 피사체를 포함하는 화상의 화상 합성의 실행을 정확하게 판정할 수 있다.

이에, 본 화상 처리 방법은 화상에 있어서 고스트 및 눈에 띄는 노이즈를 막을 수 있으며 보다 정밀한 화상 처리를 실현하는 것을 가능하게 한다.

본 발명의 일 실시형태에 따른 화상 처리 방법은 촬상 기기 외에, 퍼스널 컴퓨터 상에서 동작하는 화상 처리 소프트웨어에도 적용될 수 있다.

예시적인 실시형태들의 관점에서 본 발명을 설명하였지만, 본 발명은 이들에 한정되지 않는다. 당업자에게는 이어지는 특허청구범위에서 정해지는 본 발명의 범위에서 벗어나는 않고서 이들 실시형태에 대해 변화 또는 변형이 이루어질 수 있는 것이 분명하다.

Claims

기준 화상과 이 기준 화상과 상이한 비교 화상을 포함하는 연속으로 촬영된 화상이 저장되는 메모리 유닛과,
상기 기준 화상과 비교 화상 각각을 미리 정해진 크기의 화상 블록으로 분할하도록 구성되는 화상 분할 유닛과,
상기 기준 화상과 비교 화상 각각의 화상 블록마다 화소 출력의 평균값을 산출하도록 구성되는 평균값 산출 유닛과,
상기 기준 화상과 비교 화상의 화상 블록이 화상 합성에 적합한지를 판정하기 위한 임계값을, 상기 기준 화상의 화상 블록의 화소 출력의 평균값에 따라 결정하도록 구성되는 임계값 결정 유닛과,
상기 임계값 결정 유닛에 의해 결정된 임계값을, 합성될 상기 기준 화상과 비교 화상의 화상 블록에 포함된 화소 출력의 평균값의 차분값과 비교하고, 그 비교 결과에 기초하여, 상기 기준 화상과 비교 화상의 화상 블록이 화상 합성에 적합한지를 판정하도록 구성되는 판정 유닛
을 포함하는 화상 처리 장치.
제1항에 있어서, 상기 기준 화상과 비교 화상 간의 모션 데이터를 산출하도록 구성되는 모션 데이터 산출 유닛을 더 포함하고,
상기 평균값 산출 유닛은 산출된 모션 데이터에 기초하여, 서로 위치가 연관되어 있는 기준 화상과 비교 화상의 화상 블록마다 화소 출력의 평균값을 산출하도록 구성되며,
상기 판정 유닛은 서로 위치가 연관되어 있는 기준 화상과 비교 화상의 화상 블록이 화상 합성에 적합한지를 판정하도록 구성되는 것인 화상 처리 장치.
제1항에 있어서, 상기 평균값 산출 유닛에 의해 산출된 화소 출력의 평균값은 각 화상 블록에 포함된 R 화소 출력, G 화소 출력 및 B 화소 출력의 각각의 평균값이며,
상기 임계값 결정 유닛은 R 화소 출력, G 화소 출력 및 B 화소 출력의 각각의 평균값에 따라 임계값을 결정하도록 구성되는 것인 화상 처리 장치.
제1항에 있어서, 상기 평균값 산출 유닛에 의해 산출된 화소 출력의 평균값은 각 화상 블록에 포함된 R 화소 출력, G 화소 출력 및 B 화소 출력의 각각의 평균값이며,
상기 임계값 결정 유닛은 R 화소 출력, G 화소 출력 및 B 화소 출력의 각각의 평균값의 최대값에 따라 임계값을 결정하도록 구성되는 것인 화상 처리 장치.
제1항에 있어서, 상기 평균값 산출 유닛에 의해 산출된 화소 출력의 평균값은 각 화상 블록에 포함된 화소 출력의 휘도의 평균값인 것인 화상 처리 장치.
제1항에 있어서, 상기 임계값 결정 유닛은 ISO 감도에 따라 상이한 임계값을 결정하도록 구성되는 것인 화상 처리 장치.
제1항에 있어서, 상기 판정 유닛에 의해 화상 합성에 적합한 것으로 판정된 기준 화상의 화상 블록과 비교 화상의 화상 블록 양쪽을 합성하도록 구성되는 화상 합성 유닛을 더 포함하는 화상 처리 장치.
기준 화상과 이 기준 화상과 상이한 비교 화상을 포함하는 연속으로 촬영된 화상을 저장하는 단계와,
상기 기준 화상과 비교 화상 각각을 미리 정해진 크기의 화상 블록으로 분할하는 단계와,
상기 기준 화상과 비교 화상 각각의 화상 블록마다 화소 출력의 평균값을 산출하는 평균값 산출 단계와,
상기 기준 화상과 비교 화상의 화상 블록이 화상 합성에 적합한지를 판정하기 위한 임계값을, 상기 기준 화상의 화상 블록의 화소 출력의 평균값에 따라 결정하는 임계값 결정 단계와,
상기 임계값 결정 단계에서 결정된 임계값을, 합성될 상기 기준 화상과 비교 화상의 화상 블록에 포함된 화소 출력의 평균값의 차분값과 비교하고, 그 비교 결과에 기초하여, 상기 기준 화상과 비교 화상의 화상 블록이 화상 합성에 적합한지를 판정하는 판정 단계
를 포함하는 화상 처리 방법.
제8항에 있어서, 상기 기준 화상과 비교 화상 간의 모션 데이터를 산출하는 단계를 더 포함하고,
상기 평균값 산출 단계에서는, 산출된 모션 데이터에 기초하여, 서로 위치가 연관되어 있는 기준 화상과 비교 화상의 화상 블록마다 화소 출력의 평균값이 산출되며,
상기 판정 단계에서는, 서로 위치가 연관되어 있는 기준 화상과 비교 화상의 화상 블록이 화상 합성에 적합한지에 대해 판정이 이루어지는 것인 화상 처리 방법.
제8항에 있어서, 상기 평균값 산출 단계에서 산출된 화소 출력의 평균값은 각 화상 블록에 포함된 R 화소 출력, G 화소 출력 및 B 화소 출력의 각각의 평균값이며,
상기 임계값 결정 단계에서는, R 화소 출력, G 화소 출력 및 B 화소 출력의 각각의 평균값에 따라 임계값이 결정되는 것인 화상 처리 방법.
제8항에 있어서, 상기 평균값 산출 단계에서 산출된 화소 출력의 평균값은 각 화상 블록에 포함된 R 화소 출력, G 화소 출력 및 B 화소 출력의 각각의 평균값이며,
상기 임계값 결정 단계에서는, R 화소 출력, G 화소 출력 및 B 화소 출력의 각각의 평균값의 최대값에 따라 임계값이 결정되는 것인 화상 처리 방법.
제8항에 있어서, 상기 평균값 산출 단계에서 산출된 화소 출력의 평균값은 각 화상 블록에 포함된 화소 출력의 휘도의 평균값인 것인 화상 처리 방법.
제8항에 있어서, 상기 임계값 결정 단계에서는, ISO 감도에 따라 상이한 임계값이 결정되는 것인 화상 처리 방법.
제8항에 있어서, 상기 판정 단계에서 화상 합성에 적합한 것으로 판정된 기준 화상의 화상 블록과 비교 화상의 화상 블록 양쪽을 합성하는 단계를 더 포함하는 화상 처리 방법.
컴퓨터를 제1항에 기재된 화상 처리 장치로서 기능시키는 화상 처리 프로그램.