KR100994063B1

KR100994063B1 - 화상처리장치, 화상처리방법 및, 프로그램을 기억한 컴퓨터가 판독 가능한 기억매체

Info

Publication number: KR100994063B1
Application number: KR1020090061671A
Authority: KR
Inventors: 가즈히사 마츠나가; 신이치 마츠이
Original assignee: 가시오게산키 가부시키가이샤
Priority date: 2008-07-09
Filing date: 2009-07-07
Publication date: 2010-11-11
Also published as: TWI444924B; US20100007761A1; CN101626459A; JP4720859B2; KR20100006542A; CN101626459B; US8233055B2; TW201007617A; JP2010021698A

Abstract

시계열적으로 연속하는 복수의 화상을 취득하고, 이 취득한 복수의 화상 중 1개를 기준화상으로 하고, 나머지를 대상화상으로 한다. 대상화상의 각각의 주피사체 부분을 기준화상의 주피사체 부분에 중첩하도록 위치맞춤 변환하기 위한 복수의 파라미터를 산출한다. 소정의 개소로부터 멀어짐에 따라 파라미터의 위치맞춤도를 감쇠하면서, 주피사체 부분이 중첩되도록 화상을 합성한다.

피사체, 대상화상, 기록화상, 파라미터, 이동촬영

Description

화상처리장치, 화상처리방법 및, 프로그램을 기억한 컴퓨터가 판독 가능한 기억매체{IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND A COMPUTER READABLE STORAGE MEDIUM HAVING STORED THEREIN A PROGRAM}

본 발명은 화상처리장치, 화상처리방법 및, 프로그램을 기록한 컴퓨터가 판독 가능한 기억매체에 관한 것이다. 상세한 것은 이동체를 피사체로서 이동촬영을 실행하는데 바람직한 촬상장치에 이용되는 화상처리장치와, 이 화상처리장치에 이용되는 프로그램을 기록한 컴퓨터가 판독 가능한 기억매체에 관한 것이다.

종래부터, 이동하는 피사체를 촬영하여 스피드감이 있는 화상을 얻기 위해, 소위 이동촬영이 알려져 있다. 이 이동촬영에서는 카메라의 셔터속도를 통상보다 늦게 설정해 두고, 촬영자가 피사체의 이동에 맞추어 카메라를 패닝하는 것에 의해, 피사체를 정지(靜止)시키면서 배경을 이동시킨 화상을 얻는다.

즉, 우선, 시계열적으로 연속된 프레임 화상을 취득하고, 이들 프레임 화상으로부터 메인으로 되는 피사체를 특정한다. 그리고, 이 피사체의 각 프레임 화상간에서의 상대적으로 어긋남량 및 어긋남방향을 검출하고, 이 검출한 어긋남량 및 어긋남방향에 의거하여, 피사체가 동일한 위치에 중첩되도록 각 프레임 화상을 합 성한다(특허문헌 1 참조).

[특허문헌 1] 일본국 특허공개공보 제2007-184733호

그러나, 특허문헌 1에 나타난 방법에서는 복수의 프레임 화상을 합성하면, 배경에 줄무늬가 발생하는 경우가 있다. 이와 같은 줄무늬가 발생하는 원인은 이동하는 피사체의 동작에 대해, 사용자에 의한 카메라를 추종시키는 동작이 일치하지 않기 때문이다.

즉, 이동하는 피사체의 동작에 대해, 카메라를 추종시키는 동작이 빠른 경우, 각 프레임 화상에서는 배경의 뿌예짐의 수평방향의 치수가 커진다. 이와 같은 프레임화상을 합성하면, 합성화상에서는 각 프레임화상의 뿌예짐의 일부가 오버랩하게 된다. 예를 들면, 폴(pole)과 같은 폭이 좁은 물체가 배경에 포함되는 경우, 폴의 뿌예짐이 오버랩하는 부분과 오버랩하지 않는 부분에서 농담이 생겨, 합성화상에 세로 줄무늬가 발생하게 된다.

한편, 이동하는 피사체의 동작에 대해 카메라를 추종시키는 동작이 느린 경우, 각 프레임 화상에서는 배경의 뿌예짐(blur)의 수평방향의 치수가 작아진다. 이와 같은 프레임화상을 합성하면, 합성화상에서는 각 프레임화상의 뿌예짐이 분리하게 된다. 예를 들면, 폴과 같은 폭이 좁은 물체가 배경에 포함되는 경우, 종래의 합성화상(101)에서는 도 8 중 파선으로 나타내는 바와 같이, 폴의 뿌예짐이 존재하는 부분과 존재하지 않는 부분에서 농담이 생겨, 세로 줄무늬가 발생하게 된다.

본 발명은 이동촬영을 실행했을 때에, 합성화상의 배경에 생기는 세로방향의 줄무늬를 저감할 수 있는 화상처리장치 및 프로그램을 기억한 컴퓨터가 판독 가능 한 기억매체를 제공하는 것을 목적으로 한다.

본 발명의 제 1 양태에 의하면, 시계열적으로 연속하는 복수의 화상을 취득하고, 해당 취득한 복수의 화상 중 1개를 기준화상으로 하며, 나머지를 대상화상으로 하는 화상취득수단과, 상기 복수의 대상화상의 각각의 주피사체 부분을 상기 기준화상의 주피사체 부분에 중첩되도록 위치맞춤 변환하기 위한 복수의 파라미터를 산출하는 파라미터 산출수단과, 소정의 개소로부터 멀어짐에 따라 상기 파라미터의 위치맞춤도를 감쇠하면서, 상기 주피사체 부분이 중첩되도록 화상을 합성하는 화상합성수단을 구비하는 것을 특징으로 하는 화상처리장치를 제공한다.

본 발명의 제 2 양태에 의하면, 시계열적으로 연속하는 복수의 화상을 취득하고, 해당 취득한 복수의 화상 중 1개를 기준화상으로 하며, 나머지를 대상화상으로 하는 행정과, 상기 복수의 대상화상의 각각의 주피사체 부분을 상기 기준화상의 주피사체 부분에 중첩되도록 위치맞춤 변환하기 위한 복수의 파라미터를 산출하는 행정과, 소정의 개소로부터 멀어짐에 따라 상기 파라미터의 위치맞춤도를 감쇠하면서, 상기 주피사체 부분이 중첩되도록 화상을 합성하는 행정을 구비하는 것을 특징으로 하는 화상처리방법을 제공한다.

본 발명의 제 3 양태에 의하면, 촬상수단을 갖는 컴퓨터를, 시계열적으로 연속하는 복수의 화상을 취득하고, 해당 취득한 복수의 화상 중 1개를 기준화상으로 하며, 나머지를 대상화상으로 하는 화상취득수단, 상기 복수의 대상화상의 각각의 주피사체 부분을 상기 기준화상의 주피사체 부분에 중첩되도록 위치맞춤 변환하기 위한 복수의 파라미터를 산출하는 파라미터 산출수단, 소정의 개소로부터 멀어짐에 따라 상기 파라미터의 위치맞춤도를 감쇠하면서, 상기 주피사체 부분이 중첩되도록 화상을 합성하는 화상합성수단으로서 기능시키는 프로그램을 기억한 컴퓨터가 판독 가능한 기억매체를 제공한다.

본 발명에 따르면, 이동촬영을 실행했을 때에, 합성화상의 배경에 생기는 세로방향의 줄무늬를 저감할 수 있다.

이하, 본 발명의 1실시형태를 도면에 의거하여 설명한다.

도 1은 본 발명의 1실시형태에 관한 화상처리장치로서의 디지털카메라의 전기적 구성을 나타내는 블럭도이다.

이 디지털카메라는 기본으로 되는 동작모드로서 촬영을 실행하기 위한 기록모드와, 촬영한 화상을 재생하기 위한 재생모드를 갖고, 기록모드의 하위모드로서 이동촬영모드가 설치된 것이다. 또한, 이동촬영모드는 메인의 피사체의 움직임에 맞추어 카메라를 추종시키면서 촬영을 실행하는 것에 의해서, 메인의 피사체를 정지시키고, 또한 배경을 이동시킨 바와 같은 이동촬영화상을 얻기 위한 촬영모드이다.

본 실시형태의 디지털카메라는 촬영렌즈(1)와, 셔터(2), CMOS 센서(3), A/D변환기(4), DRAM(5), 액정 표시 컨트롤러(6), 액정 표시기(7), 셔터 제어부(8), CPU(9), 수광 제어부(10), 디모자이크부(11), 외부 기억 메모리(12), 키입력 블 록(13), 프로그램메모리(14), 특징량 연산부(15), 블록 매칭부(16), 화상변형 합성 가산부(17)를 구비한다.

기록모드로 촬영하는 경우에는 CMOS 센서(3)에 의해, 촬영렌즈(1)에 의해 수렴된 촬영광을 셔터(2)를 통해 수광하는 동시에, 수광면에 결상된 피사체의 광학상을 광전변환하고 화상신호로서 출력한다. 다음에, A/D변환기(4)에 의해, CMOS 센서(3)의 출력신호를 디지털의 화상데이터로 변환한다. 그리고, DRAM(5)에 의해, A/D변환기(4)에 의해 변환된 화상데이터를 순차 기억한다. 또한, 이 DRAM(5)에는 이동촬영 모드에서의 촬영시에 있어서는 복수개분의 화상데이터가 저장된다.

CMOS 센서(3)는 이동촬영모드에 있어서는 본 발명의 화상취득수단으로서 기능한다.

상기 셔터(2)의 동작은 CPU(9)의 명령에 따라, 셔터제어부(8)에 의해 제어된다. 상기 CMOS 센서(3) 및 A/D변환기(4)의 동작은 CPU(9)의 명령에 따르는 수광 제어부(10)에 의해 제어된다.

상기 DRAM(5)에 저장된 1개분의 화상데이터, 즉 RAW 데이터는 디모자이크부(11)에 의해 화소마다 색 정보가 보간되어 YUV 데이터로 변환된 후, 액정 표시 컨트롤러(6)를 거쳐서 액정 표시기(7)에 스루화상으로서 표시된다.

또한, 상기 디모자이크부(11)는 이동촬영모드에서의 촬영시에 있어서는 RAW 데이터를 YUV 데이터(촬영화상) 뿐만 아니라, 필요에 따라 휘도 정보만으로 이루어지는 휘도 화상데이터(휘도 화상)로 변환한다. 또, 변환된 YUV 데이터 및 휘도 화상 데이터는 DRAM(5)에 일시적으로 기억된다.

기록모드로 촬영하는 경우에, 디모자이크부(11)에 의해 YUV 데이터로 변환된 화상데이터는 CPU(9)에 의해서 JPEG 등의 소정의 압축방식에 따라 압축된 후, 외부 기억 메모리(12)에 정지화상 파일로서 기록된다.

또, 외부 기억 메모리(12)에 정지화상 파일로서 기억된 화상데이터는 재생모드에서는 필요에 따라 CPU(9)에 읽어내어져 신장된 후, 액정 표시 컨트롤러(6)를 통해 액정 표시기(7)에 있어서 표시된다.

또한, 외부 기억 메모리(12)는 예를 들면 카메라 본체에 착탈 자유로운 메모리 카드나, 카메라 본체에 내장된 플래시메모리 등에 의해 구성된다.

CPU(9)에는 키 입력 블록(13), 프로그램 메모리(14), 특징량 연산부(15), 블록 매칭부(16), 화상변형 합성 가산부(17)가 접속되어 있다.

키 입력 블록(13)은 사용자에 의한 디지털카메라의 조작에 사용되는 전원 키나 셔터 키, 모드 전환키 등을 포함하는 복수의 스위치류로 구성된다.

프로그램 메모리(14)는 CPU(9)의 동작에 필요한 각종 프로그램, 및 프로그램의 실행시에 사용되는 각종 데이터가 기억된 메모리이다.

CPU(9)는 프로그램 메모리(14)에 기억된 프로그램에 따라, 키 입력 블록(13)에 있어서의 어느 하나의 키의 조작에 따라 디지털카메라의 각 부의 동작을 제어하는 동시에, 전술한 화상데이터의 압축·신장처리를 실행한다.

특징량 연산부(15)는 이동촬영 모드에서의 촬영시에, CMOS 센서(3)에 의해 촬상된 화상에 있어서의 특정의 국소영역(블록)에 대해 사영(射影; projective) 변환 행렬을 연산하여 CPU(9)로 출력하는 본 발명의 파라미터 산출수단이다.

블록 매칭부(16)는 이동촬영 모드에서의 촬영시에, SRAM(18)을 작업 메모리로서 사용하고, CMOS 센서(3)에 의해 촬상된 기준화상과 다른 화상의 사이에서 블록 매칭을 실행하고, 기준화상의 특정의 국소영역(블록)에 있어서의 주피사체 부분의 상대적인 어긋남량 및 어긋남방향을 나타내는 움직임 벡터를 취득하여 CPU(9)로 출력하는 본 발명의 파라미터 산출수단이다.

화상변형 합성 가산부(17)는 이동촬영 모드에서의 촬영시에, CPU(9)의 지시에 따라 CMOS 센서(3)에 의해 촬상된 복수개의 화상을 위치맞춤하여 합성하는 본 발명의 화상합성수단이다.

도 2는 디지털카메라의 이동촬영모드에서의 동작을 나타내는 흐름도이다.

키 입력 블록(13)에 설치되어 있는 모드 전환 키가 조작되어 이동촬영모드가 설정되면, CPU(9)는 도 2에 나타내는 흐름도의 처리를 실행하기 위한 프로그램을 프로그램 메모리(14)로부터 읽어낸다. CPU(9)는 이 프로그램에 따라, 도 2에 나타내는 흐름도에 있어서의 각종 처리를 실행한다.

또, 프로그램 메모리(14)에는 도 3에 나타내는 바와 같이, 후술하는 중간 합성화상의 인덱스 k와 감쇠 사영 변환 행렬의 강도비 β의 관계를 나타내는 강도비 테이블이 기억되어 있다.

이 강도비 테이블에서는 k=0일 때 강도비 β=1(감쇠없음), k=1일 때 강도비 β=3/4(감쇠율 25%), k=2일 때 강도비 β=1/2(감쇠율 50%)로 되어 있다.

CPU(9)는 이동촬영 모드의 설정과 함께, 액정 표시기(7)에 스루화상을 표시한다.

또한, 주지의 OSD(On Screen Display) 기술에 의해, 스루화상에 중첩하여, 프레임내의 중앙부분에 그리드(grid)를 표시해도 좋다. 이 그리드는 촬영자가 카메라의 방향을 메인의 피사체의 움직임에 추종시킬 때, 메인의 피사체를 프레임내의 특정 위치로 가이드하는 것이다.

우선, 스텝 S1에서는 CPU(9)는 셔터 키의 조작을 감시하고, 셔터 키의 조작이 검출되면, 5회의 연사촬영을 실행한다. 예를 들면, 각 회의 촬영 조건을 노광이 심리스(seamless)가 되도록 설정한 상태에서, 셔터시간 1/60초, 연사속도 60fps로 CMOS 센서(3)에 의해서 시간적으로 연속하는 5개의 화상의 RAW 데이터를 취득하고, DRAM(5)에 기억한다.

이 연사촬영 중, 촬영자는 메인의 피사체가 촬영 프레임내의 중앙부분에 위치하도록 메인의 피사체의 움직임에 맞추어 카메라를 추종시킨다.

이하, 취득한 시계열적으로 연속하는 5개의 화상 p[0]∼p[4]로 하고, 이들 취득한 화상 중 1개를 기준화상 p[0]으로 하고, 나머지를 대상화상 p[1]∼p[4]로 한다.

스텝 S2에서는 취득한 화상 p[0]∼p[4]의 각각에 대해, YUV 화상, 휘도 화상을 생성한다.

구체적으로는 디모자이크부(11)에 의해, DRAM(5)에 기억한 각각의 RAW 데이터를 YUV 데이터 및 휘도성분만으로 이루어지는 휘도 화상데이터로 변환하고, 변환 후의 화상데이터를 DRAM(5)에 기억한다. 여기서, YUV 데이터는 합성용의 화상데이터이며, 휘도 화상 데이터는 중간 합성화상의 생성시에 있어서의 위치맞춤 작업에 충분한 사이즈의 축소 화상데이터이다.

이하, 기준화상 p[0]의 휘도 화상을, 기준 휘도 화상 pl[0], 대상화상 p[1]∼p[4]의 휘도 화상을 대상 휘도 화상 pl[0]∼pl[4]로 한다.

스텝 S3에서는 대상 휘도 화상 pl[i]의 인덱스인 카운터 i를 1로 한다.

스텝 S4에서는 대상 휘도 화상 pl[i]에 대해, 주피사체 부분의 기준 휘도 화상 pl[0]에 대한 움직임 벡터군을 구한다.

구체적으로는 도 4의 (a)에 나타내는 바와 같이, 기준 휘도 화상 pl[0]의 중앙부에 직사각형 형상의 매칭 대상 영역 a를 설정한다. 이 매칭 대상 영역 a의 종방향의 길이는 기준 휘도 화상 pl[0]의 종방향의 길이의 1/2이며, 횡방향의 길이는 기준 휘도 화상 pl[0]의 횡방향의 길이의 1/2이다.

그리고, 도 4의 (b)에 나타내는 바와 같이, 이 매칭 대상 영역을 종 16화소×횡 16화소를 단위로 한 복수 블록으로 분할하고, 각 블록에 대해 대상 휘도 화상 pl[i]내에서 블록 매칭을 실행한다.

즉, 각 블록에 대해, 대상 휘도 화상 pl[i]내의 동일 좌표의 블록을 중심으로 한 소정 범위내에서, 블록간의 차분 제곱합을 평가하면서 탐색한다. 그리고, 차분 제곱합이 최소로 되는 위치에 의거하여, 상대적인 어긋남량 및 어긋남방향을 나타내는 해당 블록의 움직임 벡터를 구한다.

스텝 S5에서는 움직임 벡터군에 의거하여, 대상 휘도 화상 pl[i]의 주피사체 부분을 기준 휘도 화상 pl[0]의 주피사체 부분에 중첩되도록 위치맞춤 변환하는 사영 변환 행렬 m[i]를 생성한다.

구체적으로는 움직임 벡터군 중에서, RANSAC법에 의해 사영 변환 행렬 m[i]를 생성한다.

RANSAC법은 아웃라이어(outlier)(불규칙하게 이동한 블록의 움직임 벡터)를 배제하여 사영 변환 행렬을 구하는 수법이다. 더욱 구체적으로는 RANSAC법에 의해 구해지는 사영 변환 행렬 서포트률(전체 샘플수에 대한 인라이어(변환 행렬이 유효로 되는 샘플)의 비율)이 일정값 이상이면, RANSAC법에 의한 사영 변환 행렬의 생성은 성공이라고 간주하고, 변환 행렬이 유효하다고 판단한다.

스텝 S6에서는 i=4인지 아닌지를 판정한다. 이 판정이 NO인 경우에는 스텝 S7로 이동하고, 카운터 i를 인크리먼트하여, 스텝 S4로 되돌린다.

한편, 이 판정이 YES인 경우에는 스텝 S8로 이동한다.

이상의 스텝 S1∼S7에 의해, 모든 대상 휘도 화상 pl[1]∼pl[4]에 대해, 사영 변환 행렬 m[1]∼m[4]를 생성한다.

스텝 S8에서는 중간 합성화상의 인덱스인 카운터 k를 재차 제로로 한다.

스텝 S9에서는 상술한 강도비 테이블을 참조하여, 도 5에 나타내는 바와 같이, 카운터 k의 값에 대응한 강도비 β를 읽어내어, 사영 변환 행렬 m[i]의 파라미터의 위치맞춤도를 강도비 β로 한 감쇠 사영 변환 행렬 mβ[i][k]를 생성한다. 여기서 강도비 β는 k=0의 경우 β=1, k=0의 경우 β=3/4, k=0의 경우 β=1/2이다.

스텝 S10에서는 대상화상 p[1]∼p[4]의 각각에 대해, 카운터 k에 대응한 감쇠 사영 변환 행렬 mβ[1][k]∼mβ[4][k]를 적용하고, 기준화상 p[0]에 가산 평균하여, 중간 합성화상 c[k]를 생성한다.

예를 들면, 중간 합성화상 c[1]은 대상화상 p[1]에 감쇠 사영 변환 행렬 mβ[1][1]을 적용하고, 대상화상 p[2]에 감쇠 사영 변환 행렬 mβ[2][1]을 적용하며, 대상화상 p[3]에 감쇠 사영 변환 행렬 mβ[3][1]을 적용하고, 대상화상 p[4]에 감쇠 사영 변환 행렬 mβ[4][1]을 적용하여, 기준화상 p[0]에 가산 평균함으로써 생성된 화상이다.

스텝 S11에서는 카운터 k=2인지 아닌지를 판정한다. 이 판정이 NO인 경우에는 카운터 k를 인크리먼트하여(스텝 S12), 스텝 S9로 되돌린다. 이 판정이 YES인 경우에는 스텝 S13으로 이동한다.

스텝 S13에서는 도 6에 나타내는 맵에 따라, 중간 합성화상 c[0]∼c[2]를 알파·블렌딩에 의해 합성하여, 최종 합성화상 cf를 생성한다.

구체적으로는 최종 합성화상 cf를, 중앙부의 직사각형 형상의 영역인 제 1 영역 b₁과, 이 제 1 영역 b₁의 외측의 틀형상의 영역인 제 2 영역 b₂와, 이 제 2 영역 b₂의 외측의 틀형상의 영역인 제 3 영역 b₃과, 이 제 3 영역 b₃의 외측의 틀형상의 영역인 제 4 영역 b₄와, 이 제 4 영역 b₄의 외측의 틀형상의 영역인 제 5 영역 b₅로 구성한다.

제 1 영역 b₁의 종방향의 길이는 최종 합성화상 cf의 종방향의 길이의 1/3이고, 횡방향의 길이는 최종 합성화상 cf의 횡방향의 길이의 1/3이다.

이 제 1 영역 b₁을, 중간 합성화상 c[0]만으로 생성한다.

제 2 영역 b₂의 종방향으로 연장하는 부분의 폭은 최종 합성화상 cf의 횡방향의 길이의 1/8이고, 횡방향으로 연장하는 부분의 폭은 최종 합성화상 cf의 종방향의 길이의 1/8이다.

이 제 2 영역 b₂를, 중간 합성화상 c[0] 및 중간 합성화상 c[1]을 알파·블렌딩에 의해 합성함으로써, 생성한다. 제 2 영역 b₂의 폭은 3등분되어 있고, 내측부터 차례로, 중간 합성화상 c[0] 및 중간 합성화상 c[1]의 블렌딩비는 75% 및 25%, 50% 및 50%, 25% 및 75%로 되어 있다.

제 3 영역 b₃의 종방향으로 연장하는 부분의 폭은 최종 합성화상 cf의 횡방향의 길이의 1/24이고, 횡방향으로 연장하는 부분의 폭은 최종 합성화상 cf의 종방향의 길이의 1/24이다.

이 제 3 영역 b₃을, 중간 합성화상 c[1]만으로 생성한다.

제 4 영역 b₄의 종방향으로 연장하는 부분의 폭은 최종 합성화상 cf의 횡방향의 길이의 1/8이며, 횡방향으로 연장하는 부분의 폭은 최종 합성화상 cf의 종방향의 길이의 1/8이다.

이 제 4 영역 b₄를, 중간 합성화상 c[1] 및 중간 합성화상 c[2]를 알파·블렌딩에 의해 합성함으로써, 생성한다.

제 4 영역 b₄의 폭은 3등분되어 있고, 내측부터 차례로, 중간 합성화상 c[1] 및 중간 합성화상 c[2]의 블렌딩비는 75% 및 25%, 50% 및 50%, 25% 및 75%로 되어 있다.

제 5 영역 b₅의 종방향으로 연장하는 부분의 폭은 최종 합성화상 cf의 횡방향의 길이의 1/24이며, 횡방향으로 연장하는 부분의 폭은 최종 합성화상 cf의 종방향의 길이의 1/24이다.

이 제 5 영역 b₅를, 중간 합성화상 c[2]만으로 생성한다.

예를 들면, 폴과 같은 수평방향의 치수가 작은 물체가 배경에 포함되는 경우, 본 실시형태의 최종 합성화상(21)에서는 도 7 중 파선으로 나타내는 바와 같이, 폴의 뿌예짐이 존재하는 부분이 접근하고, 뿌예짐이 존재하지 않는 부분이 감소하여, 세로 줄무늬가 눈에 띄지 않게 되어 있다.

스텝 S14에서는 CPU(9)는 최종적인 합성화상 cf의 화상데이터를 순차 압축해서 부호화하고, 이 압축·부호화한 화상데이터를 DRAM(5)에 저장하고, 외부 기억 메모리(12)에 기록하는 동시에 액정 표시기(7)에 표시한다.

본 실시형태에 의하면, 이하와 같은 효과가 있다.

[1] 4개의 대상 휘도 화상 pl[1]∼pl[4]의 각각에 대해, 주피사체 부분의 기준 휘도 화상 pl[0]에 대한 움직임 벡터군을 구하고, 이 움직임 벡터군에 의거하여, 대상 휘도 화상 pl[1]∼pl[4]의 주피사체 부분을 기준 휘도 화상 pl[0]의 주피사체 부분에 중첩하도록 위치맞춤 변환하는 사영 변환 행렬 m[1]∼m[4]를 생성한다. 다음에, 이들 사영 변환 행렬 m[1]∼m[4]에 대해 강도비 β를 도입하여 감쇠 사영 변환 행렬 mβ[1]∼mβ[4]를 생성하고, 강도비 β를 3단계로 변화시켜 대상화 상 p[1]∼p[4]에 적용하고, 기준화상 pl[0]에 가산 평균함으로써, 3종류의 중간 합성화상 c[0]∼c[2]를 생성한다. 다음에, 주피사체로부터 멀어짐에 따라 강도비 β가 저하하도록 이들 3종류의 중간 합성화상 c[0]∼c[2]를 합성하여, 1개의 최종 합성화상 cf를 생성한다.

이와 같이 주피사체로부터 멀어짐에 따라 강도비 β를 저하시켜 위치맞춤을 억제했으므로, 이동촬영을 실행했을 때에, 최종 합성화상 cf의 배경에 생기는 종방향의 줄무늬를 저감할 수 있다.

[2] 최종 합성화상 cf의 중심에서 둘레가장자리부를 향함에 따라 감쇠 사영 변환 행렬 mβ[1]∼mβ[4]의 강도비 β가 저하하도록, 3종류의 중간 합성화상 c[0]∼c[2]를 알파·블렌딩에 의해 합성하였다. 주피사체는 촬영 프레임의 대략 중심에 위치하고 있다고 판단할 수 있기 때문에, 이와 같이 설정함으로써, 회로의 계산 부하를 경감할 수 있다.

[3] 움직임 벡터군에 의거하여 사영 변환 행렬 m[1]∼m[4]를 생성할 때에, RANSAC법을 채용하였다. 따라서, 불규칙하게 이동한 블록의 움직임 벡터를 배제할 수 있기 때문에, 사영 변환 행렬에 의한 주피사체의 위치맞춤의 정밀도를 높일 수 있다.

또한, 본 발명은 상기 실시형태에 한정되는 것은 아니고, 본 발명의 목적을 달성할 수 있는 범위에서의 변형, 개량 등은 본 발명에 포함되는 것이다.

예를 들면, 본 실시형태에서는 3개의 중간 합성화상 c[0]∼c[2]를 합성할 때, 촬영 화상의 중심에 주피사체가 존재하는 것으로서, 최종 합성화상 cf의 중심 으로부터 둘레가장자리부를 향함에 따라, 감쇠 사영 변환 행렬 mβ의 강도비 β를 저하시켰지만, 이것에 한정되지 않는다. 즉, 기준화상과 대상화상의 상관성을 화소 단위로 판정하고, 상관성이 높은 영역을 주피사체 영역으로서 강도비를 1로 하고, 이 상관성이 높은 영역으로부터 멀어짐에 따라 강도비를 저하시켜도 좋다.

또, 상술한 실시형태에서는 촬상소자가 CMOS 센서인 디지털카메라에 본 발명을 적용했지만, 이것에 한정되지 않고, CCD 등의 다른 촬상소자를 이용해도 좋다.

또, 상술한 디모자이크부(11), 특징량 연산부(15), 블록 매칭부(16), 화상변형 합성 가산부(17)의 기능의 일부 또는 전부를, CPU(9)를 소정의 프로그램에 따라 동작하는 것에 의해서 실현하도록 해도 좋다.

또, 본 발명은 디지털카메라에 한정되지 않고, 예를 들면 카메라 부착의 휴대전화단말 등의 정지화상 촬영기능을 갖는 다른 촬상장치에도 적용할 수 있다.

또, 본 발명은 촬상장치에 한정되지 않고, 시간적으로 연속하는 복수개의 화상으로부터 이동촬영 화상을 생성하는 기능을 갖는 임의의 화상처리장치에도 적용할 수 있다. 또, 이러한 화상처리장치에는 소정의 프로그램에 의거하여 동작하는 것에 의해 상기 기능이 실현되는 퍼스널 컴퓨터도 포함된다.

도 1은 본 발명의 1실시형태에 관한 디지털카메라의 개략 구성을 나타내는 블럭도.

도 2는 상기 실시형태에 관한 디지털카메라의 이동촬영 모드에서의 동작을 나타내는 흐름도.

도 3은 상기 실시형태에 관한 디지털카메라의 프로그램 메모리에 기억된 강도비 테이블을 나타내는 도면.

도 4는 상기 실시형태에 관한 디지털카메라의 기준화상에 설정하는 매칭 대상영역을 설명하기 위한 도면.

도 5는 상기 실시형태에 관한 디지털카메라의 사영 변환 행렬을 생성하는 수순을 설명하기 위한 도면.

도 6은 상기 실시형태에 관한 디지털카메라의 중간 합성화상을 합성하기 위한 맵.

도 7은 상기 실시형태에 관한 디지털카메라의 최종의 합성화상의 구체예.

도 8은 종래예에 관한 디지털카메라의 합성화상의 구체예.

Claims

시계열적으로 연속하는 복수의 화상을 취득하고, 해당 취득한 복수의 화상 중 1개를 기준화상으로 하며, 나머지를 대상화상으로 하는 화상취득수단과,

상기 복수의 대상화상의 각각의 주피사체 부분을 상기 기준화상의 주피사체 부분에 중첩되도록 위치맞춤 변환하기 위한 복수의 파라미터를 산출하는 파라미터 산출수단과,

소정의 개소로부터 멀어짐에 따라 상기 파라미터의 위치맞춤도를 감쇠하면서, 상기 주피사체 부분이 중첩되도록 화상을 합성하는 화상합성수단을 구비하는 것을 특징으로 하는 화상처리장치.
제 1 항에 있어서,

상기 화상합성수단은 감쇠된 복수의 위치맞춤도의 각각에 대해, 중간 합성화상을 생성하는 것을 특징으로 하는 화상처리장치.
제 2 항에 있어서,

상기 화상합성수단은 상기 복수의 중간 합성화상을 가중 가산 평균하는 것을 특징으로 하는 화상처리장치.
제 1 항에 있어서,

상기 파라미터는 사영 변환 행렬의 각 성분인 것을 특징으로 하는 화상처리장치.
제 1 항에 있어서,

상기 소정의 개소는 화각의 중앙인 것을 특징으로 하는 화상처리장치.
제 1 항에 있어서,

상기 소정의 개소는 주피사체인 것을 특징으로 하는 화상처리장치.
시계열적으로 연속하는 복수의 화상을 취득하고, 해당 취득한 복수의 화상 중 1개를 기준화상으로 하며, 나머지를 대상화상으로 하는 행정과,

상기 복수의 대상화상의 각각의 주피사체 부분을 상기 기준화상의 주피사체 부분에 중첩되도록 위치맞춤 변환하기 위한 복수의 파라미터를 산출하는 행정과,

소정의 개소로부터 멀어짐에 따라 상기 파라미터의 위치맞춤도를 감쇠하면서, 상기 주피사체 부분이 중첩되도록 화상을 합성하는 행정을 구비하는 것을 특징으로 하는 화상처리방법.
촬상수단을 갖는 컴퓨터를,

시계열적으로 연속하는 복수의 화상을 취득하고, 해당 취득한 복수의 화상 중 1개를 기준화상으로 하며, 나머지를 대상화상으로 하는 화상취득수단,

상기 복수의 대상화상의 각각의 주피사체 부분을 상기 기준화상의 주피사체 부분에 중첩되도록 위치맞춤 변환하기 위한 복수의 파라미터를 산출하는 파라미터 산출수단,

소정의 개소로부터 멀어짐에 따라 상기 파라미터의 위치맞춤도를 감쇠하면서, 상기 주피사체 부분이 중첩되도록 화상을 합성하는 화상합성수단으로서 기능시키는 프로그램을 기억한 컴퓨터가 판독 가능한 기억매체.