KR100981003B1

KR100981003B1 - 동체화상추출장치 및 프로그램을 기록한 컴퓨터 판독 가능한 기록매체

Info

Publication number: KR100981003B1
Application number: KR20080085449A
Authority: KR
Inventors: 아키라 하마다
Original assignee: 가시오게산키 가부시키가이샤
Priority date: 2007-08-30
Filing date: 2008-08-29
Publication date: 2010-09-07
Also published as: KR20090023304A; EP2031562A2; CN101378462B; EP2031562A3; US20090060275A1; US8116521B2; TW200913687A; TWI365663B; CN101378462A; JP2009059060A; JP4415198B2

Abstract

동체화상추출장치는 연사된 복수의 프레임에 대해서 배경부분에 관련하는 차분강도를 산출한다. 또한, 동체화상추출장치는 복수의 프레임 중, 어느 하나의 임의의 프레임의 차분강도를, 가산된 복수의 프레임분의 차분강도로 나눈 값을 산출한다. 동체화상추출장치는 이 산출된 값에 의거하여 임의의 프레임에 있어서의 동체의 추출화상을 안정적으로 출력한다.

동체화상추출장치, 프레임, 차분강도, 가산수단, 산출수단, 프레임생성수단, 판단수단

Description

동체화상추출장치 및 프로그램을 기록한 컴퓨터 판독 가능한 기록매체{MOVING BODY IMAGE EXTRACTION APPARATUS AND COMPUTER READABLE STORAGE MEDIUM STORING PROGRAM}

본 발명은 연속하는 복수의 프레임으로부터 동체의 화상을 추출하는 동체화상추출장치 및 프로그램을 기록한 컴퓨터 판독 가능한 기록매체에 관한 것이다.

근래, 방송업계 등에서, 동체연사화상을 1장의 화상에 나열해서 합성하는 기술이 사용되기 시작하고 있다.

또, 예를 들면, 일본국 특허 제3793258호에 개시되어 있는 바와 같이, 복수의 프레임 중에서 관객이나 수목 등 복잡한 동작을 하는 배경과 그 배경을 포함하는 영상 속의 동체를 분리하고, 동체를 순차 추출해서 합성하는 기술이 알려져 있다.

이와 같은 기술은 어느 기간의 동작의 전체를 정적으로 파악할 수 있어, 스포츠연구 등, 동체의 운동해석에 편리하다. 또, 영상특수효과로서의 재미도 있다.

그러나, 동체를 추출할 때에 화상을 2값화하여 라벨링의 최대성분만을 취할 경우, 연결성이 중단되기 때문에 동체의 부분화상(동체가 인간이면 머리나 손발의 화상)이 통째로 결락되어 버린다고 하는 품질 열화가 발생한다. 또, 프레임에 복수의 동체가 포함될 경우, 이들 복수의 동체 모두를 추출하는 것은 불가능하게 되어 있다. 또한 추출화상은 축소된 프레임으로 생성하는데, 이 생성된 화상을 실 사이즈의 화상에 적용시킨 경우에, 추출화상의 윤곽에 심한 재기(jaggy) 하자가 발생하는 일이 있다.

또, 조명변동, 모션브라, 동체의 그림자ㆍ반사, 노이즈 등에 의해, 배경부분과 동체부분의 경계 그 자체가 애매하게 되어 위화감이 없는 합성화상을 얻는 것이 곤란하다.

본 발명은 상기 실상에 감안하여 이루어진 것이며, 적정한 동체의 화상을 추출해서 안정적으로 출력할 수 있는 동체화상추출장치 및 프로그램을 기록한 컴퓨터 판독 가능한 기록매체를 제공한다.

상기 목적을 달성하기 위해, 본 발명의 제 1 관점에 관련되는 동체화상추출장치는, 복수의 프레임에 대해서 배경부분 또는 다른 프레임에 관련하는 차분강도를 산출하는 제 1 산출수단과, 상기 제 1 산출수단에 의해서 산출된 상기 복수의 프레임의 상기 차분강도를 가산하는 가산수단과, 상기 복수의 프레임 중, 어느 하 나의 임의의 프레임의 상기 차분강도를, 상기 가산수단에 의해서 가산된 상기 복수의 프레임분의 차분강도로 나눈 값을 산출하는 제 2 산출수단과, 상기 제 2 산출수단에 의해서 산출된 값에 의거하여 상기 임의의 프레임에 있어서의 동체의 추출화상을 출력하는 제 1 출력수단을 구비하는 것을 특징으로 한다.

또, 본 발명의 제 2 관점에 관련되는 컴퓨터 판독 가능한 기록매체는, 컴퓨터에, 복수의 프레임에 대해서 배경부분 또는 다른 프레임에 관련하는 차분강도를 산출하는 제 1 산출기능, 상기 제 1 산출기능에 의해서 산출된 상기 복수의 프레임의 상기 차분강도를 가산하는 가산기능, 상기 복수의 프레임 중, 어느 하나의 임의의 프레임의 상기 차분강도를, 상기 가산기능에 의해서 가산된 상기 복수의 프레임분의 차분강도로 나눈 값을 산출하는 제 2 산출기능, 상기 제 2 산출기능에 의해서 산출된 값에 의거하여 상기 임의의 프레임에 있어서의 동체의 추출화상을 출력하는 제 1 출력기능을 실현시키기 위한 프로그램을 기록한 것을 특징으로 한다.

본 발명에 따르면, 화상촬영조건에 관계없이, 위화감이 없는 자연스러운 동체추출화상을 안정적으로 출력할 수 있다.

이하에, 본 발명의 실시형태를, 도면을 참조해서 상세하게 설명한다.

도 1은 본 발명을 적용한 일 실시형태의 촬상장치(100)의 개략 구성을 나타내는 블록도이다. 촬상장치(100)는 입력된 복수의 프레임(F[0], F[1],…F[N1])에 대해서 화소마다 배경부분에 관련하는 차분강도를 산출한다. 촬상장치(100)는 이 들 복수의 프레임 중, 어느 하나의 임의의 프레임의 차분강도를 복수의 프레임분의 차분강도로 나눈 알파값을 산출하고, 해당 알파값에 의거하여 임의의 프레임에 있어서의 동체의 추출화상(Gm)을 출력한다.

구체적으로는, 촬상장치(100)는 도 1에 나타내는 바와 같이, 촬상부(1)와, 촬상보조부(2)와, 표시부(3)와, 조작부(4)와, 기록매체(5)와, USB단자(6)와, 제어부(7) 등을 구비하여 구성되어 있다.

촬상부(1)는 촬상수단으로서, 피사체를 연속해서 촬상하여 상기 복수의 프레임을 생성한다. 구체적으로는, 촬상부(1)는 촬상렌즈군(11)과, 전자촬상부(12)와, 영상신호처리부(13)와, 화상메모리(14)와, 촬영제어부(15) 등을 구비하고 있다.

촬상렌즈군(11)은 복수의 촬상렌즈로 구성되어 있다.

전자촬상부(12)는 촬상렌즈군(11)을 통과한 피사체상을 2차원의 화상신호로 변환하는 CCD(Charge Coupled Device)나 CMOS(Complementary Metal-oxide Semiconductor) 등의 촬상소자로 구성되어 있다.

영상신호처리부(13)는 전자촬상부(12)로부터 출력되는 화상신호에 대해서 소정의 화상처리를 시행하는 것이다.

화상메모리(14)는 화상처리 후의 화상신호를 일시적으로 기억한다.

촬영제어부(15)는 CPU(71)의 제어하에서, 전자촬상부(12) 및 영상신호처리부 (13)를 제어한다. 구체적으로는, 촬영제어부(15)는 전자촬상부(12)에 소정의 노출시간에 피사체를 연속해서 촬상시키고, 해당 전자촬상부(12)의 촬상영역으로부터 화상신호(프레임)를 소정의 프레임레이트로 판독하는 처리의 실행을 제어한다.

촬상보조부(2)는 촬상부(1)에 의한 피사체의 촬상시에 구동하는 것이며, 포커스 구동부(21)와 줌 구동부(22) 등을 구비하고 있다.

포커스 구동부(21)는 촬상렌즈군(11)에 접속된 포커스 기구부(도시생략)를 구동시킨다.

줌 구동부(22)는 촬상렌즈군(11)에 접속된 줌 기구부(도시생략)를 구동시킨다.

또한, 포커스 구동부(21) 및 줌 구동부(22)는 촬영제어부(15)에 접속되고, 촬영제어부(15)의 제어하에서 구동한다.

표시부(3)는 촬상부(1)에 의해 촬상된 화상을 표시하는 것이며, 표시제어부 (31)와 화상표시부(32) 등을 구비하고 있다.

표시제어부(31)는 CPU(71)로부터 적절하게 출력되는 표시데이터를 일시적으로 보존하는 비디오메모리(도시생략)를 구비하고 있다.

화상표시부(32)는 표시제어부(31)로부터의 출력신호에 의거하여 소정의 화상을 표시하는 액정모니터 등을 구비하고 있다.

조작부(4)는 해당 촬상장치(100)의 소정조작을 실행하기 위한 것이며, 조작입력부(41)와, 입력회로(42) 등을 구비하고 있다.

조작입력부(41)는 촬상부(1)에 의한 피사체의 촬상을 지시하는 셔터버튼 (41a)을 구비하고 있다.

입력회로(42)는 조작입력부(41)로부터 출력되어 입력된 조작신호를 CPU(71)에 입력하기 위한 것이다.

기록매체(5)는, 예를 들면 카드형의 불휘발성 메모리(플래시메모리)나 하드디스크 등에 의해 구성되고, 촬상부(1)에 의해 촬상된 화상의 데이터를 복수 기억한다.

USB단자(6)는 외부기기와의 접속용의 단자이며, USB케이블(도시생략) 등을 통하여 데이터의 송수신을 실행한다.

제어부(7)는 촬상장치(100)의 각부를 제어하는 것이며, 예를 들면, CPU(71)와, 프로그램메모리(72)와, 데이터메모리(73) 등을 구비하고 있다.

CPU(71)는 프로그램메모리(72)에 기억된 촬상장치(100)용의 각종 처리프로그램에 따라서 각종의 제어동작을 실행하는 것이다.

데이터메모리(73)는, 예를 들면 플래시메모리 등에 의해 구성되고, CPU(71)에 의해서 처리되는 데이터 등을 일시 기억한다.

프로그램메모리(72)는 CPU(71)의 동작에 필요한 각종 프로그램이나 데이터를 기억하는 것이다. 구체적으로는, 프로그램메모리(72)는 배경화상생성프로그램 (72a), 차분강도산출프로그램(72b), 에러프레임제거프로그램(72c), 중복프레임제거프로그램(72d), 알파값 산출프로그램(72e), 합성프로그램(72f) 등을 기억하고 있다.

배경화상생성프로그램(72a)은 전처리(후술)에서, 동체(M)가 존재하지 않는 상태의 배경화상(Gb)을 생성하는 처리에 관련되는 기능을 CPU(71)에 실현시키기 위한 프로그램이다.

즉, CPU(71)가 배경화상생성프로그램(72a)을 실행하는 것으로, 연사화상(도 2 참조; 또한, 도 2에 있어서는, “F”는 연사화상 중의 1장의 화상을 나타낸다)의 축소화상프레임(이후, 프레임이라 칭한다)을 이용하고, 다수결 원리에 의거하여 가상적 배경화상(Gb, 도 3 참조)을 합성하는 처리를 실행한다. 구체적으로는, 단색화상을 대상으로 하고 있는 경우, 화소마다 모든 프레임의 동일좌표의 화소값의 메디안(중앙값)을 구하면 좋다. 또, 컬러화상을 대상으로 하고 있는 경우, 벡터의 메디안은 얻을 수 없기 때문에, 하기식 (1)에 규정하는 바와 같이, 색공간의 성분마다 메디안을 구한다. 여기에서, 입력되는 p번째의 원치수 원화상(原畵像)을 F'[p]로 하고, 그것을 소정사이즈로 축소한 p번째의 프레임을 F[p]로 한다. 또한 프레임 F[p]의 좌표(x,y)의 화소값을 F[p,x,y]로 한다. 또, C∈{Y, Cb, Cr}는 색성분을 나타내는 첨자로 하고(Y는 휘도, Cb 및 Cr은 색차), 이에 따라 FC[p,x,y]는 F[p,x,y]의 각 색성분을 나타낸다.

또한, 미리 배경화상(Gb)으로서 동체(M)가 존재하지 않는 상태의 화상을 촬영하고, 그것을 지정하도록 해도 좋다.

차분강도산출프로그램(72b)은 복수의 프레임에 대해서, 배경부분에 관련하는 차분강도를 산출하는 차분강도산출처리에 관련되는 기능을 CPU(71)에 실현시키기 위한 프로그램이다.

즉, CPU(71)가 차분강도산출프로그램(72b)을 실행하는 것으로, 복수의 프레임에 대해서, 배경화상의 차분강도를 산출하는 처리를 실행한다. 구체적으로는, 하기식 (2)에 따라서, 각 프레임의 화상의 색성분의 가중 제곱합을 연산하는 것으 로 원차분강도(배열 Do[p])를 산출한다. 여기에서, 각 배경화상을 “Gb”로 나타낸다.

또한, 차분강도를 8bit값으로 할 경우, 최대값 255에 클립할 필요가 있다. 특히, 제곱값에서는 매우 큰 값이 되므로, 시프트로 몇 자리 작게 하고 나서 255에 클립하는 편이 좋다.

또, 색차성분의 가중 정수(w)는 경험적으로 결정할 수 있고, 대부분의 경우, “w”에 그다지 민감하게는 의존하지 않으므로, 1이라도 좋은데 2 이상 값의 쪽이 약간 양호한 결과를 얻을 수 있는 점에서 바람직하다.

또, 색공간으로서는, JPEG의 처리에서 이용하는 것과 같은 Y, Cb, Cr을 이용하고 있는데, 변환된 색공간을 이용해도 좋다.

여기에서, 도 4에 상기식 (2)에 따라서 산출된 원차분강도를 나타낸 그레이 스케일화상(Gd)을 나타낸다. 도면에 나타내는 바와 같이, 입력된 원화상(도 2 참조)에 있어서의 배경의 화이트 보드의 프레임이나 골판지상자 등의 영향에 의해, 동체(M)의 내부에 강한 요철이 되어 있다. 또, 한쪽 발 부분과 배경의 벽이 닮은 화소값이기 때문에 매우 얇게 되어 있다.

또, 원차분강도(배열 Do[p])는 하기식 (3)에 따라서, 각 프레임 화상의 색성분의 가중 절대값 합에 의해 산출하도록 해도 좋다.

또, 차분강도산출처리에 있어서는, 후술하는 차분강도의 정규화 처리, 에러프레임판정처리, 배경강도산출처리에 이용하는 각종 파라미터산출을 위해, 원차분강도에 대해서 오츠의 2값화 처리를 실행한다(적응적 2값화 처리). 여기에서, 오츠의 2값화는 클래스 내 분산을 기준으로 하여 그룹을 분리하는 분리도에 의한 판별분석법의 일종이다. 이 수법에 따르면, 샘플값의 히스토그램을 얻어둠으로써, 뒤의 처리는 히스토그램을 스캔하는 것만으로 매우 고속으로 처리할 수 있다.

또, 오츠의 2값화에 의해, 0에 가까운 그룹과 1에 가까운 그룹의 2개의 집합을 나누는 임계값(t_p)이 설정된다. 이로 인해, 이상적으로는 0값이 되는 배경영역과 동체영역으로 나누어졌다고 간주하면 좋을 것이다. 그러나, 이 임계값(t_p)에 의한 경계가 그대로 동체(M)의 윤곽이 된다고는 단정할 수 없다. 동체영역 중, 전형적인 차분값의 그룹과 그 이상 값의 부분으로 나누어졌을 뿐이며, 그것보다 미미한 차분값을 갖는 동체영역이 남아 있을지도 모른다.

그리고, 2값화의 결과를 이용하고, 하기식 (4)∼(6)에 규정되는 배경 중앙값 (z_p), 동체 중앙값(m_p), 노이즈 레벨 추정값(n_p)을 추출해서 보존한다. 여기에서, “z'_p”는 배경집합의 위에서 25 퍼센타일값이다.

이들의 값은, 차분강도에 관해서, 배경영역 및 동체영역 각각의 전형값, 및 배경영역 진폭의 전형값을 얻었다고 하는 의미이다. 또, 노이즈 레벨 추정값은 엄밀하게 무엇인가를 의미하고 있는 것은 아니지만, 배경영역의 표준편차나 평균편차와 근사하고 있다. 메디안이나 퍼센타일값은 2값화 임계값을 구하기 위해서 작성한 히스토그램으로부터 간단하게 또한 고속으로 계산할 수 있다.

여기에서, 평균이나 표준편차를 이용해서 노이즈 레벨 추정값을 산출해도 좋은데, 그것들은 이상값(outlier value)에 영향을 받기 십다. 2값화에 의한 배경영역이 정말로 배경을 정확하게 잘라내고 있다는 보증이 없는 상황에서는, 로바스트 (robust)인 척도라고는 말할 수 없으므로, 상기의 추정방법을 취했다.

또한, 2값화 임계값(t_p)은 상기한 오츠의 2값화 임계값이다. 정규화 처리(후술)를 실행할 경우에는, 정규화 후의 차분강도에 있어서, 거의 같은 영역을 잘라낼 수 있도록 본래의 임계값에서 z_p를 뺀 것을 보존하는 것이 바람직하다.

또, 차분강도산출처리에 있어서는, 조명변동에 의거하는 합성시의 동체(M)의 블렌드비 농도의 불균등을 보정하기 위해 차분강도의 정규화 처리를 실행한다.

즉, 차분강도는 일종의 퍼지집합의 멤버십 함수로 볼 수 있고, 애매한 동체영역을 나타내고 있다. 여기에서, 퍼지집합이란, 멤버십 함수로 불리는 각 요소의 소속의 정도가 정의된 집합이며, 치역(値域)을 [0, 1]로 하면, 0이라면 전혀 소속하고 있지 않고, 1이라면 완전하게 소속하고 있으며, 중간값이라면 그 값에 따른 정도로 소속하고 있다고 하는 것을 의미하고 있다. 또, 멤버십 함수의 중간값의 결정방법에 강한 제약은 없고, 막연히 정도의 서열을 나타내고 있으면 좋다.

그러나, 현실적으로 얻어지는 원차분강도는, 조명변동에 의해 완전한 배경영역(부동영역)이라도 차분값은 0은 아니고, 조명변동의 정도에 의해 프레임마다 다른 직류 오프셋과 진폭을 갖고 있다.

그래서, 완전한 배경영역에서는 멤버십은 0이 되어야 하기 때문에, 하기식 (7)에 따라서, 차분강도에서 적응적 2값화 처리에서 산출된 배경 중앙값(z_p)을 뺀 후, 뺀 결과가 마이너스 값이 될 경우는 0에 클립한 값으로 변환함으로써, 차분강도를 정규화한다.

또한, 차분강도의 정규화 처리에 있어서는, 배경 중앙값(z_p)을 이용하도록 했는데, 이것에 한정되는 것은 아니고, 배경부분의 대표값이면 좋으며, 최빈값이나 평균값 등이라도 좋다.

또, 차분강도산출처리에 있어서는, 노이즈에 기인하는 잔 결손ㆍ고립점이나, 약간의 카메라 흔들림에 기인하는 얇은 에지를 지우기 위해, 차분강도의 평활화 처리를 실행한다.

여기에서, 평활화 처리는 모르폴로지 연산에 의해서 실행하는데, 이 수법은 2값 처리에서는 잘 실행되고 있으며, 일종의 평활화 처리라고 볼 수 있다.

또한, 본 실시형태에 있어서는 평활화 처리를 다값 모르폴로지 연산에 의해서 실행하는데, 다값 모르폴로지 연산의 수축ㆍ팽창처리는 Min, Max연산에 의거하고 있으며, 이것도 일종의 퍼지연산이라고 말할 수 있다. 구체적으로는, 하기식 (8)에 따라서, 차분강도를 closing(수축→팽창) 후, opening(팽창→수축)을 실행한다.

또한, 평활화 처리는 상기한 방법에 한정되는 것은 아니다.

에러프레임제거프로그램(72c)은 유효프레임으로부터 동체(M)가 올바르게 추출되지 않고 배경의 일부를 에러로 추출해 버릴 우려가 있는 에러프레임을 제거하는 처리에 관련되는 기능을 CPU(71)에 실현시키기 위한 프로그램이다.

여기에서, 특히 영향이 크고, 문제가 되는 것은, 동체(M)가 존재하지 않는 배경만의 프레임이다. 예를 들면, 동체(M)가 프레임의 밖에 있는 경우, 또는, 오클루전(은폐)이 발생하고 있는 경우의 프레임이다. 이 경우, 배경은 이상적으로는 차분값이 모두 0이다. 이와 같은 프레임을 무리하게 2개의 그룹으로 분리하면, 2값화 임계값은 매우 작게 되고, 또, 추출되는 배경의 면적은 자주 이상하게 크게 되어 버린다.

그래서, 적응적 2값화 처리에서 산출한 2값화 임계값 이상의 차분강도를 갖는 점의 개수를 세는 것으로, 동체면적을 산출하고, 해당 면적값의 화면 전체에 대한 비가 소정의 범위에 들어가 있는지 아닌지를 판정한다. 여기에서, 동체 면적값의 화면 전체에 대한 비가 소정의 범위에 들어가 있지 않다고 판정되면, 에러프레임이라고 한다. 실제로는, 극단적으로 큰 동체 면적이 발생하는 일이 있는데, 그 프레임에 동체(M)가 존재하고 있지 않던지, 오클루전에 의해 동체(M)가 매우 작은 면적이 되어 버리고 있는 경우에 발생하고 있었다.

또한, 면적비를 판정하기 위한 범위의 최소값 및 최대값은 미리 설정하는데, 응용범위를 극력 한정하고 싶지 않으면, 예를 들면 0에서 화면 전체 면적의 1/4까지라고 하는 정도의 느슨한 제약이라도 좋다.

또, 해당 판정처리는 적응적 2값화 처리의 직후에 실행해도 상관없다.

그 후, 모든 프레임에 대한 2값화 임계값을 구한 후, 그들 임계값의 메디안을 산출한다. 이 메디안값은 프레임의 반수 이상이 배경부분이라고 하는 상황은 매우 예외적이다고 생각할 수 있는 것으로부터, 정상값의 전형값이라고 생각할 수 있다. 그리고, 메디안값과 비교하고, 예를 들면 1/10 정도 이하의 작은 임계값을 갖는 프레임이 존재하는지 아닌지 판정한다. 여기에서, 해당 1/10 정도 이하의 작은 임계값을 갖는 프레임이라고 판정되면, 그 프레임은 에러프레임이라고 한다. 실제로는, 극단적으로 작은 임계값이 발생하는 일이 있는데, 그 프레임에 동체(M)가 존재하고 있지 않던지, 오클루전에 의해 동체(M)가 매우 작은 면적이 되어 버리고 있는 경우에 발생하고 있었다.

즉, 극단적인 초고속(초단시간노광)촬영을 전제로 하고 있지 않으면, 형광등 등의 조명변동으로 거기까지 극단적인 임계값의 차이가 나오는 일은 없을 것이며, 동체(M)가 아닌 것을 추출하여 버렸다고 판단할 수 있다.

중복프레임제거프로그램(72d)은 복수의 유효프레임에 대해서, 다른 프레임과 동체영역의 중복이 큰 프레임(중복프레임)을 판정하고, 자동적으로 솎아내는 처리에 관련되는 기능을 CPU(71)에 실현시키기 위한 프로그램이다.

블렌딩에 의한 합성의 결점은, 동체(M)의 표시에 시계열의 개념이 없는 것이 다. 그로 인해, 특히, 동작이 늦은 경우, 또는, 일시적인 동작의 체류상태가 있는 경우, 그것을 모두 겹치면 물체의 동작을 거의 판독할 수 없다(중복화상(Gr); 도 5 참조).

그래서, 2값화 처리에 의해 산출된 2값화 임계값에 의거하여 프레임에 있어서의 배경영역과 동체영역을 구분한다. 그리고, 동체영역의 면적(화소수)과 동체중복영역(화소수)의 면적비를 기준으로 하고, 해당 면적비가 소정의 임계값보다 큰지 아닌지에 따라 중복프레임을 판정한다. 구체적으로는, 화상 p와 화상 q에 있어서의 동체 중복 면적비는, 하기식 (9)에 따라서, r(p,q)로 나타내어진다. 또한, 하기식 (9) 중의 Σ의 대상이 2값 논리식으로 되어 있는데, 진(truth)이라면 1, 위 (false)라면 0을 그대로 수값으로서 더하는 의미이다. 그리고, 해당 면적비가 소정의 임계값 이상이라면, 화상 p 및 화상 q 중, 어느 하나(예를 들면, 시간적으로 뒤)의 프레임을 유효프레임 집합에서 제거한다.

여기에서, 상기 처리에 있어서는, 임계값의 설정에 의해 어느 정도의 중복을 허락하는지를 조절할 수 있다. 즉, 주관적인 기호에도 따르지만, 억지로 1∼수 퍼센트 정도의 중복을 허락하는 편이, 합성장수가 증가해서 스피드감에 넘치는 합성화상(Gc)을 얻을 수 있다(도 7 참조).

또한, 2값화 임계값에 의한 경계는, 정확한 동체경계를 나타내고 있다고는 단정할 수 없다. 그러나, 다소의 중복을 허락하는 관점에서, 약간 잘못된 경계라 도 그다지 나쁜 결과는 되지 않는다고 생각할 수 있다.

알파값 산출프로그램(72e)은 복수의 유효프레임의 블렌드비인 알파값(A)을 산출하는 처리에 관련되는 기능을 CPU(71)에 실현시키기 위한 프로그램이다. 구체적으로는, CPU(71)가 알파값 산출프로그램(72e)을 실행하는 것으로, 하기식 (10)에 따라서, 알파값을 산출한다. 이 알파값은 복수의 유효프레임 중, 어느 하나의 임의의 프레임의 차분강도를 복수의 유효프레임분 가산된 차분강도로 제산(除算)하는 것으로 산출된다.

여기에서, 상기식 (10)에서는 분모가 0일 때는 에러에, 또, 분모가 0에 가까울 때는 결과가 불안정하게 된다. 또한, 분모가 0일 때, 어느 하나의 유효프레임의 차분강도를 1로 강제적으로 변경해서 재계산하는 것으로 에러는 회피할 수 있는데, 불안정성은 남아 버린다. 약간의 노이즈 변동에 의해, 어느 프레임이 우세하게 될지가 불안정하게 바뀌어 버린다. 특히 조명변동이 있는 경우에는, 배경이 여러 가지 프레임에서 선택되고 있는 것이 눈에 띄어 버리게 된다.

그래서, 배경영역에서, 결과를 노이즈 정도의 미소한 변동에 대해서 둔감하게 하기 위해 알파값 산출의 앞 단계에서 배경강도에 의한 수정처리를 실행한다.

구체적으로는, 적응적 2값화 처리에서 산출된 노이즈 레벨 추정값(n_p)을 이용하여, 합성 노이즈 레벨을 추정한다(하기식 (11) 참조).

즉, 비록, 프레임간의 동일 화소 위치의 노이즈가 무상관이면, 알파값의 분모인 가산결과의 노이즈의 분산은, 프레임마다의 노이즈의 분산의 합이 된다. 즉, 상기와 같이 노이즈 레벨 추정값은 표준편차로부터 동떨어지지는 않으므로, 노이즈 레벨의 제곱합의 제곱근에 의해 분모의 표준편차를 근사한 합성 노이즈 레벨을 추측할 수 있다. 여기에서, 엄밀하게는, 노이즈는 순수한 랜덤 노이즈만이 아니다. 즉, 기준이 되는 배경화상(Gb)을 각 프레임의 메디안에 의해 구하고 있어 의존성이 있는 것, 또, 정규화 처리에서 조명변동을 배경 중앙값과의 차이만큼 보정하고 있기 때문에 배경내용에 의한 상관이 남는다. 그러나, 반대로, 프레임간의 동일 화소 위치의 노이즈에 강한 상관이 있었던 경우, 알파값 분모의 노이즈 진폭은, 프레임마다의 노이즈 진폭의 합(즉, 노이즈 레벨의 단순 합)으로서 추측할 수 있다. 전형적으로는, 알파값 분모의 노이즈 진폭은, 수배 커지는 정도의 차이에 지나지 않는다. 또, 이 추측을 엄밀화하려고 해도 실제적으로는 별로 효과가 없다고 생각되므로, 상기의 방법이라도 충분하다고 생각할 수 있다.

알파값의 분모 최소값을 “α_min=kn_c”로 규정한다. 여기에서, “k”는 적당한 정수이며, 이 정수가 클수록 노이즈에 대해서 더욱 둔감하게 된다. 구체적으로는, 예를 들면, 3 정도로 한다.

그리고, 합성 노이즈 레벨의 추정값의 수배 정도의 값을 이용하고, 분모가 그 값을 밑돌 경우, 그 영역은 배경영역인 정도를 갖고 있다고 간주한다. 즉, 퍼 지인 배경성의 세기인 배경강도를 하기식 (12)에 따라서 규정한다.

여기에서, 배경강도가 0보다 커지는 영역은, 어느 하나의 프레임에도 명확한 동체(M)가 존재하지 않는, 즉, 차분강도가 노이즈 또는 노이즈와 동등한 얇은 변화밖에 없었던 영역이다. 이들 영역에서는 배경강도의 세기(동체존재성이 약함)에 따라 어느 하나의 프레임의 화소값의 알파값을 높게 한다. 또한, 배경으로서 선택하는 프레임은 어떤 것을 선택해도 배경이 되는 영역일 것이므로, 어떤 것이라도 좋고, 복수의 프레임에 안분(按分)할 수도 있다. 가장 단순한 방법은 프레임 내에서 최초의 유효프레임을 선택하는 것이다.

그리고, 배경으로서 선택하는 프레임의 인덱스를 “b”로 하고, 하기식 (13)에 따라서, 차분강도의 전체 화소 위치의 값을 갱신한다. 그 후, 상기와 같이 각 유효프레임 p∈V의 각 화소의 알파값을 상기식 (10)에 따라서 산출한다.

상기의 알파값 산출 알고리즘의 수정은, 입력에 대한 합성결과의 연속성을 해치지 않고, 오히려 양호하게 할 수 있다.

도 6에 나타내는 바와 같이, 임의의 프레임에 있어서의 동체의 추출화상(Gm)은 알파값을 퍼지인 영역으로서 보면, 동체영역과 동체(M)의 그림자 등의 주변관련영역, 및 배경 노이즈 등으로 성립되어 있다. 원차분강도를 나타낸 그레이 스케일 화상(Gd, 도 4 참조)에 있어서의 동체(M)내부의 요철은, 여기에서는 거의 좋게 고 르게 되어 있다.

합성프로그램(72f)은 복수의 유효프레임을 합성하는 합성처리에 관련되는 기능을 CPU(71)에 실현시키기 위한 프로그램이다.

우선, CPU(71)가 합성프로그램(72f)을 실행하는 것으로, 축소화상의 화소마다 산출된 알파값 A[p]를 원치수에 업 스케일하여 A'[p]를 얻는다. 여기에서, 보간처리는 최근방법(最近傍法)이라도 좋은데, 화질적으로는 쌍일차(bilinear) 보간 등으로 연속으로(더욱 바람직하게는, 부드럽게) 보간하는 것이 좋다. 예를 들면, 본 실시형태의 방식에서는, 단일동체와 배경의 경계에서는(이상적으로는) 재기는 나오지 않는데, 복수 동체간 또는 동체와 큰 배경강도를 갖는 배경의 사이에는 재기가 발생하는 일이 있다. 2값 처리에 비교하면, 다값 처리이기 때문에 재기에 의한 명도차가 작고, 그대로 최근방 보간해도 눈에 띄지 않는다. 그러나, 더욱 정녕 (丁寧)한 보간 쪽이 더욱 완화된다고 생각할 수 있다.

그리고, 복수의 유효프레임 각각의 각 화소값에 알파값 A'[p]를 곱해서 합성해야 할 프레임을 생성한다. 그리고, 이들 복수의 프레임을 합성하는 것으로, 합성화상(Gc)을 얻는다(도 7 참조).

합성화상(Gc)의 화소값은 하기식 (14)∼(16)에 규정된다. 또한, 여기에서 알파값은 실수(實數)로 하고 있는데, 정수배된 정수(整數)값을 이용할 경우는 적당한 시프트에 의해 제산한다. 또, 색차값의 표현은 8bit무부호이며, 무색 때에 128이라고 가정하고 있다. 또, 원치수의 입력화상을 F'[p]로 한다.

다음으로, 본 실시형태의 화상합성처리에 대해 도 8∼도 15를 참조해서 상세하게 설명한다.

도 8은 화상합성처리에 관련되는 동작의 일례를 나타내는 흐름도이다. 도 8에 나타내는 바와 같이, 화상합성의 본 처리에 들어가기 전의 전처리를 실행한다(스텝S1). 그 후, 연사된 복수의 화상프레임의 각각으로부터 동체영역을 추출하는 추출처리를 실행한다(스텝S2). 또한 각 화상프레임의 알파값을 기준으로 하여 복수의 유효프레임을 합성하는 합성처리를 실행하고(스텝S3), 합성결과로서의 합성화상(Gc)을 표시해서 보존한다(스텝S4).

다음으로, 전처리에 대해 도 9를 참조해서 더욱 상세하게 설명한다.

도 9는 화상합성처리의 전처리에 관련되는 동작의 일례를 나타내는 흐름도이다. 도 9에 나타내는 바와 같이, 전처리에 있어서는, CPU(71)는 입력되는 복수(N장)의 화상프레임에 대한 축소화상의 생성을 루프에 의해 처리한다(스텝S11∼S14).

구체적으로는, CPU(71)는 N장(화상번호 i가 「0」∼「N-1」)의 프레임에 대해서, 각 프레임의 원치수 원화상 F'[p]를 입력(취득)한다(스텝S12). 또한 입력(취득)한 해당 화상에 대해서 적당한 로패스 필터(lowpass filter)를 걸친 후, 수분의 1의 소정의 사이즈에 서브샘플링하고, 화소수를 줄인 축소화상 F[p]를 생성한 다(스텝S13).

상기의 처리를 화상번호 i가 N-1인 N장째의 프레임까지 반복 실행한 후(스텝S14), CPU(71)는 프로그램메모리(72) 내의 배경화상생성프로그램(72a)을 실행하고, 생성된 연사화상의 축소화상을 이용해서 다수결 원리에 의거하여 가상적 배경화상 (Gb)을 생성한다(스텝S15).

이에 따라, 전처리를 종료한다.

다음으로, 추출처리에 대해 도 10∼도 14를 참조해서 더욱 상세하게 설명한다.

도 10은 화상합성처리의 추출처리에 관련되는 동작의 일례를 나타내는 흐름도이다. 도 10에 나타내는 바와 같이, 추출처리에 있어서는, 우선 CPU(71)는 N장(화상번호 i가 「0」∼「N-1」)의 프레임에 대해서, 차분강도의 산출을 루프에 의해 처리한다(스텝S21∼S23). 다음으로, 유효프레임에서 에러프레임을 제거하는 에러프레임제거처리를 실행한다(스텝S24). 그 후, 다른 프레임과 동체영역의 중복이 큰 중복프레임을 제거하는 중복프레임제거처리를 실행한다(스텝S25). 계속해서, 복수의 유효프레임의 블렌드비인 알파값을 산출하는 알파값 산출처리를 실행한다(스텝S26).

이하에, 차분강도산출처리에 대해 도 11을 참조해서 더욱 상세하게 설명한다.

도 11에 나타내는 바와 같이, 차분강도산출처리에서는, CPU(71)는 프로그램메모리(72) 내의 차분강도산출프로그램(72b)을 실행하고, 복수의 프레임에 대해서, 화상의 색성분의 가중 제곱합을 연산하는 것으로, 원차분강도를 산출하는 처리를 실행한다(스텝S201). 계속해서, CPU(71)는 산출된 원차분강도에 대해서 오츠의 2값화 처리(적응적 2값화 처리)를 실행하고, 차분강도의 정규화 처리, 에러프레임판정처리, 배경강도산출처리에 이용하는 각종 파라미터로서 배경 중앙값, 동체 중앙값, 노이즈 레벨 추정값을 산출해서 보존한다(스텝S202).

그 후, CPU(71)는 차분강도의 정규화 처리를 실행하고, 조명변동에 의거하는 합성시의 동체(M)의 블렌드비 농도의 불균등을 보정한다(스텝S203).

다음으로, CPU(71)는 차분강도의 평활화 처리를 실행함으로써, 노이즈에 기인하는 작은 결손ㆍ고립점이나, 약간의 카메라 흔들림에 기인하는 얇은 에지를 지운다(스텝S204).

이에 따라, 차분강도산출처리를 종료한다.

이하에, 에러프레임제거처리에 대해 도 12를 참조해서 더욱 상세하게 설명한다.

도 12에 나타내는 바와 같이, 에러프레임제거처리에서는, 우선 CPU(71)는 프로그램메모리(72) 내의 에러프레임제거프로그램(72c)을 실행하고, 적응적 2값화 처리에서 산출된 모든 프레임에 있어서의 2값화 임계값의 메디안을 산출한다(스텝S211). 계속해서, CPU(71)는 N장(화상번호 i가 「0」∼「N-1」)의 프레임에 대해서, 에러프레임의 판정 및 제거를 루프에 의해 처리한다(스텝S212∼S217).

구체적으로는, CPU(71)는 각 프레임 F[i](i=0, 1, 2…N-1)에 대해서, 2값화 임계값 이상의 차분강도를 갖는 점의 개수를 세어서 동체면적을 산출하고, 해당 면 적값의 화면 전체에 대한 비가 소정의 범위에 들어가 있는지 아닌지를 판정한다(스텝S213). 여기에서, 면적비가 소정의 범위 내에 들어가 있지 않다고 판정되면(스텝S213; NG), CPU(71)는 해당 프레임 F[i]를 에러프레임이라고 하고, 유효프레임 집합에서 제거한다(스텝S214).

다음으로, CPU(71)는 스텝S213에 있어서의 판정에서 OK로 판정된 프레임 F[i]에 대해서, 2값화 임계값의 메디안값과 비교하고, 예를 들면 1/10 정도 이하의 작은 임계값을 갖는지 아닌지 판정(체크)한다(스텝S215). 여기에서, 해당 1/10 정도 이하의 작은 임계값을 가진다고 판정되면(스텝S215; NG), CPU(71)는 해당 프레임 F[i]를 에러프레임이라고 하고, 유효프레임 집합에서 제거한다(스텝S216).

상기의 처리를 화상번호 i가 N-1인 N장째의 프레임까지 반복 실행하는 것으로(스텝S217), 에러프레임제거처리를 종료한다.

이하에, 중복프레임제거처리에 대해 도 13을 참조해서 더욱 상세하게 설명한다.

도 13에 나타내는 바와 같이, 중복프레임제거처리에서는, CPU(71)는 프로그램메모리(72) 내의 중복프레임제거프로그램(72d)을 실행하고, N-1장(화상번호 i가 「0」∼「N-2」)의 프레임에 대해서, 그 밖에 중복프레임이 있는지 아닌지의 판정 및 솎아냄을 루프(루프 1)에 의해 처리한다(스텝S221∼S228).

구체적으로는, 우선 CPU(71)는 N-1장(화상번호 i가 「0」∼「N-2」)의 프레임 F[i]에 대해서, 유효프레임인지 아닌지를 판정한다(스텝S222). 여기에서, 유효프레임이라고 판정되면(스텝S222; YES), 화상번호 j에 관한 루프(루프 2, j의 범위 는 「i＋1」∼「N-1」)에 의해, 프레임 F[j]와 프레임 F[i]의 중복프레임인지 아닌지의 판정 및 솎아냄을 처리한다(스텝S223∼S227). 즉, CPU(71)는 해당 화상프레임 [i]와 다음의 화상프레임 [j]에 있어서의 동체영역의 면적과 동체중복영역의 면적비를 산출한다(스텝S224). 그리고, 해당 면적비가 소정의 임계값보다 큰지 아닌지를 판정한다(스텝S225).

여기에서, 면적비가 소정의 임계값보다 크다고 판정되면(스텝S225; YES), CPU(71)는 프레임 [j]를 유효프레임 집합에서 제거한다(스텝S226).

상기의 처리를 화상번호 i가 N-2인 N-1장째의 프레임까지 반복 실행하는 것으로(스텝S228), 중복프레임제거처리를 종료한다.

이하에, 알파값 산출처리에 대해 도 14를 참조해서 더욱 상세하게 설명한다.

도 14에 나타내는 바와 같이, 알파값 산출처리에서는, CPU(71)는 프로그램메모리(72) 내의 알파값 산출프로그램(72e)을 실행하고, 배경강도의 산출 및, N장(화상번호 i가 「0」∼「N-1」)의 프레임 F[i]에 대한 알파값의 생성을 처리한다(스텝S231∼S236).

구체적으로는, 우선, CPU(71)는 화소 위치에 관한 루프(루프 3)를 개시하며, 배경으로서 선택하는 프레임의 각 화소 위치에 대해 배경강도를 산출하고, 해당 배경강도에 의해 각 화소 위치의 차분강도값을 갱신한다(스텝S232).

그 후, N장(화상번호 i가 「0」∼「N-1」)의 프레임에 대해서, 알파값의 생성을 루프(루프 4)에 의해 처리한다(스텝S233∼S235). 구체적으로는, 복수의 유효프레임의 각각에 대해서, 각 화소의 알파값을 산출해서 배열 A에 보존한다(스텝 S234).

상기의 처리를 화상번호 i가 N-1인 N장째의 화상프레임까지 반복 실행하고(스텝S235), 전체 화소 위치까지 반복하는(스텝S236) 것으로 알파값 산출처리를 종료한다.

다음으로, 합성처리에 대해 도 15를 참조해서 더욱 상세하게 설명한다.

도 15는 화상합성처리의 합성처리에 관련되는 동작의 일례를 나타내는 흐름도이다. 도 15에 나타내는 바와 같이, 합성처리에서는, CPU(71)는 프로그램메모리 (72) 내의 합성프로그램(72f)을 실행한다. 우선, 합성화상버퍼에 격납되어 있는 데이터가 클리어되어 배경이 검게 된다(스텝S31). 그 후, N장(화상번호 i가 「0」∼「N-1」)의 프레임에 대해서, 각 화소가 알파값 배(倍)된 합성해야 할 프레임의 가산을 루프(루프 5)에 의해 처리한다(스텝S32∼S37).

구체적으로는, 우선 CPU(71)는 원치수 원화상에 있어서의 알파값의 보간처리 및 합성해야 할 프레임의 가산을 루프(루프 6)에 의해 처리한다(스텝S33∼S36). 즉, CPU(71)는 축소화상의 화소마다 산출된 알파값을 원치수에 업 스케일(보간)한다(스텝S34). 그리고, CPU(71)는 N장(화상번호 i가 「0」∼「N-1」)의 프레임에 대해서, 각 유효프레임의 각 화소값에 알파값을 곱해서 합성해야 할 프레임을 생성하고, 이들 생성된 프레임을 합성화상버퍼에 가산한다(스텝S35).

상기의 처리를 화상번호 i가 N-1인 N장째의 프레임까지 반복 실행하는 것으로(스텝S37), 합성화상(Gc)이 생성되고, 이에 따라 합성처리를 종료한다.

이상과 같이, 본 실시형태의 촬상장치(100)에 따르면, 복수의 프레임 중, 어 느 하나의 임의의 프레임에 있어서의 배경화상(Gb)에 대한 화소마다의 차분강도를 해당 프레임의 색성분의 가중 제곱합 또는 가중 절대값 합에 의거하여 산출하고, 해당 차분강도를 복수의 프레임분의 차분강도로 제산한 알파값을 산출할 수 있다.

또, 해당 알파값에 의거하여 임의의 프레임에 있어서의 동체의 추출화상(Gm)을 출력하므로, 화상촬영조건에 관계없이, 위화감이 없는 자연스러운 동체의 추출화상(Gm)을 안정적으로 출력할 수 있다. 그리고, 알파값에 의거하여 합성해야 할 프레임을 복수 생성하고, 해당 복수의 프레임을 합성하는 것으로, 합성화상(Gc)을 얻을 수 있다.

즉, 예를 들면, 조명변동(특히 플리커)이 있는 경우라도, 차분의 절대적인 크기로 임계값 처리를 하는 것은 아니기 때문에, 프레임간에 차분의 크기가 흩어져도 동체영역을 오검출할 일은 없다. 또한, 합성품질확보를 위해서는, 차분강도의 정규화 처리에 의해 차분의 직류성분의 블렌드비로의 영향을 캔슬하고, 또, 합성처리에 있어서 배경강도의 개념을 도입함으로써 배경화질을 안정시키는 편이 좋다. 그것에 대해서는 후술한다.

또, 모션브라가 발생하고 있는 영역은, 동체성분의 정도에 따라 연속적으로 블렌드비가 높아지므로, 불연속인, 즉, 눈에 띄는 경계선이 발생할 일은 없다.

또, 동체(M)의 그림자나 반사가 발생하고 있는 영역은, 동체(M), 구체적으로는, 동체 본체에 비교해서 퍼지적으로 존재가 얇은 동체(M)로서 인식된다. 따라서, 동체(M)의 그림자나 반사가 발생하고 있는 영역이 다른 프레임의 동체 본체와 겹치는 영역에서는, 동체 본체가 우선된다. 또, 동체(M)의 그림자나 반사가 발생 하고 있는 영역이 배경하고만 겹치는 영역에서는, 동체(M)의 그림자나 반사가 발생하고 있는 영역이 우선된다. 이와 같이, 동체 본체를 지워내는 일 없이, 그림자나 반사의 부분도 어느 정도 포함하는 자연스러운 합성결과를 얻을 수 있다.

또한, 노이즈, 축소화상의 해상력 한계, 배경과 동체(M)의 유사에 의해서, 동체(M)의 가볍게 스치는 것 같은 것이 합성화상(Gc)에 남아 버리는데, 상기의 합성의 안정성에 의해서 가볍게 스치는 정도를 작게 하는 것이 나온다. 또, 동체(M)경계가 최적이지 않아도, 뚜렷한 위(false) 에지는 없으므로, 시각상의 인상을 좋게 할 수 있다.

또, 차분강도로부터 적응적 2값화 처리에서 산출된 배경 중앙값(z_p)을 뺀 최대값을 산출함으로써, 차분강도를 정규화하므로, 조명변동에 의거하는 합성시의 동체(M)의 블렌드비 농도의 불균등을 적정하게 보정할 수 있다.

또한 복수의 프레임에 대해 차분강도에 따라서 배경부분과 동체 부분(M)을 구분하고, 해당 구분의 결과에 의거하여 합성처리에서 합성해야 할 프레임인지 아닌지를 판단한다. 즉, 복수의 유효프레임에 대해서, 다른 프레임과 동체영역의 중복이 큰 프레임(중복프레임(F))을 판정하여 자동적으로 솎아내므로, 합성장수, 즉, 합성되는 동체(M)의 수를 적정화할 수 있다. 따라서, 보기 쉽고, 동작을 파악하기 쉬운 합성화상(Gc)을 얻을 수 있다.

또, 알파값 산출처리에서, 배경으로서 선택하는 프레임의 전체 화소 위치에 대해 배경강도를 산출하고, 해당 배경강도를 프레임의 배경부분의 차분강도에 부가 한다. 이에 따라, 전체 화소 위치의 차분강도값을 갱신하므로, 배경영역에서의 노이즈 정도의 미소한 변동에 대해서 둔감하게 할 수 있다. 따라서, 약간의 노이즈 변동에 의해 어느 프레임이 우세하게 될지가 불안적으로 변화하여 버리는 것을 방지할 수 있다. 특히, 조명변동이 발생하고 있는 경우에, 배경이 여러 가지 프레임으로부터 선택되어 버려 눈에 띄어 버리는 것을 방지할 수 있다.

또한, 본 발명은 상기 실시형태에 한정되는 일 없이, 본 발명의 취지를 일탈하지 않는 범위에 있어서, 여러 가지의 개량 및 설계의 변경을 실행해도 좋다.

또, 상기 실시형태에서는 차분강도산출처리에서 배경차분법을 이용했는데, 이것에 한정되는 것은 아니다. 예를 들면, 인접하는 프레임간에 차분을 얻은 후, 그들의 교점(AND; 교집합)을 얻도록 하는 것으로 (프레임 차분 AND법), 원차분강도를 산출하기 위해 배경화상(Gb)을 합성할 필요가 없어진다. 또한 배경변동에도 강하게 된다. 여기에서, 프레임 차분 AND법 자체는, 종래부터 알려져 있는 기술인데, 다값 화상을 처리할 경우에는, 퍼지집합의 교집합연산, 즉, Min(최소값)을 얻도록 하면 좋다.

또한 상기 실시형태에 있어서는, 차분강도산출처리에서, 정규화 처리 및 평활화 처리를 실행하도록 했는데, 이것에 한정되는 것은 아니다. 예를 들면, 정규화 처리 및 평활화 처리를 실행할지 아닌지는 적절하게 임의로 변경할 수 있다. 즉, 정규화 처리 및 평활화 처리 중, 어느 한쪽만을 실행하도록 해도 좋고, 어느 쪽도 실행하지 않도록 해도 좋다. 또한, 이와 같은 경우, D[p]=DO[p]로 하면 좋다.

또, 정규화 처리에서, 배경영역에 있어서의 멤버십 함수가 0이 되도록 차분강도를 정규화하도록 했는데, 이것에 한정되는 것은 아니다. 예를 들면, 명백한 동체영역에 있어서의 멤버십 함수가 소정값(예를 들면, 1(차분강도가 8bit라면 255))이 되도록, 더욱 정녕하게 차분강도를 정규화하도록 해도 좋다.

또한 상기 실시형태에 있어서의 중복프레임제거처리에 있어서는, 운동속도에 대해 프레임레이트가 높을 때, 공간적으로 거의 등간격으로 동체(M)를 나열할 수 있다. 한편, 프레임레이트가 낮을 때, 중복판정에 따라서는, 거의 1 프레임분이 결핍한 것처럼 사이가 비어 버리는 일이 있다(도 16a 참조). 특히, 스피드감이 있는 경기나 무엇인가의 궤도를 그리는 운동을 촬영한 경우, 전체의 스피드감을 해치는 인상을 받을 경우가 있다. 예를 들면, 서서히 가속하고 있는 것을 표현하려면, 동체(M)의 간격이 점점 벌어져 가는 것이 바람직하다.

그래서, 시간적으로 거의 등간격으로 동체(M)를 나열하는 것을 전제 조건으로 하면서, 중복을 적당하게 억제한 유효프레임 집합을 선택하는 것이 바람직하다. 구체적으로는, 시간적으로 거의 등간격으로 얻은 프레임 집합 중의 모든 인접 프레임의 면적비의 메디안을 기준으로 하고, 최적인 프레임 집합을 선택한다. 이에 따라, 일부 드문드문한 부분이나 조밀한 부분이 있어도, 전체적으로 정확히 좋은 간격으로 되어 있는 화상을 얻을 수 있다(도 16b 참조).

처리내용의 예로서는, 우선, 프레임 간격을 “a”, 개시프레임번호를 “b”로 하고, 부분집합 U_(a,b)(예를 들면, U_(3,1)={1, 4, 7, 10, …} 등)을 정의한다. 그 리고, 현시점에서 유효프레임집합 V에 포함되어 있는 것을 뽑아내고, V_(a,b)=U_(a,b)∩V로 정의한다. 여기에서, 상기 r(p,q)를 이용해서 중복면적의 메디안 r'(a,b)를 하기식 (17)에 따라서 도출한다.

그 후, 후보집합 중에서, r'(a,b)가 소정의 임계값 이하가 되는 것을 조건으로 하여, 요소 수가 최대가 되는 집합을 선택하고, 그 집합으로부터 벗어난 프레임을 유효프레임집합에서 제외한다.

또한, 중복프레임의 판정에 인접프레임의 동체중복면적의 메디안을 이용하도록 했는데, 이것에 한정되는 것은 아니다. 예를 들면, 인접프레임에 관련하는 동체부분 M의 대표값, 구체적으로는, 인접프레임의 동체중복영역의 대표값이면 최빈값이나 평균값이라도 좋다.

또, 중복프레임제거처리에 있어서는, 복수의 프레임에 있어서의 인접하는 프레임간의 차분강도의 상관의 강약에 의거하여, 합성처리에서 합성해야 할 프레임을 선택하도록 해도 좋다. 즉, 화상을 2값화하지 않고 인접하는 프레임간의 동체(M)의 중복영역을 퍼지연산으로 구하고, 그 면적에 상당하는 퍼지인 값을 멤버십 함수의 합에 의해서 구한 것(하기식 (18) 참조)을 소정의 임계값과 비교하는 것으로 판별하도록 해도 좋다.

이에 따라, 화상의 2값화를 실행하지 않으므로, 애매성이 높은 동체(M)의 존재를 반영할 수 있게 된다.

또한 중복프레임제거처리에 있어서는, 처리의 고속화를 도모하는데 있어서, 하기식 (19)에 의해 규정되는 1차원 차분강도(예를 들면, 물체진행방향이 수평이면, 차분강도를 수직열마다 가산한 수평라인에 대응하는 배열. 또한, 물체진행방향이 수직이면, 수평수직을 반대로 한다)를 이용해도 좋다.

그리고, 하기식 (20)에 의해 규정되는 이하의 비를 평가하고, 상기 실시형태와 똑같이 판정할 수도 있다.

또한, 중복프레임제거처리는, 사용자에 의한 모드설정에 의해서, 상기 예시한 각종 방법을 골라서 쓸 수 있도록 하는 것이 바람직하다.

또, 알파값 산출처리에 있어서는, 상기의 1차원 차분강도를 이용하고, 수평위치마다 정해지는 블렌드비를 하기식 (21)에 따라서 산출하도록 해도 좋다.

여기에서, 중복프레임제거처리에 있어서, 중복을 거의 허락하지 않도록 솎아내는 경우에는, 이 방법이라도 잘 작동하고, 루프의 수를 감소시킬 수 있으므로 산 출처리의 고속화를 도모할 수 있다.

또, 본 실시형태의 촬상장치(100)는 삼각으로 고정한 촬영을 상정하고 있는데, 소지촬영에도 대응 가능하다. 즉, 소지로 촬영한 연사화상을 대상으로 하는 경우에는, 손떨림의 동작을 보상한 후에 상기의 각 처리를 실행하도록 하면 좋다.

또한, 동작 보상을 실행해도 좌표변환으로 정확하게 맞지 않는 부분이 배경영역 중에 있으면, 그곳이 동체(M)에 가깝다고 여겨져 버려, 배경영역 중에 합성의 차이를 발생하는 일이 있다. 예를 들면, 배경물체의 능선의 일부가 조금 덜컹덜컹하여 버린다고 하는 형태로 나타난다. 이 경우, 배경자체는 별로 주시되지 않으므로, 주관평가적으로서는 그다지 눈에 띄지 않는다. 또, 경면반사나 하이라이트영역(조명반사에 의해 특히 밝게 나와 있는 곳)은, 시점에 따라서 다르므로, 카메라 위치가 움직이면 본질적으로 맞출 수 없다. 따라서, 이 영역은 동체영역으로 되고 또한 휘도가 높기 때문에 조금 눈에 띄는데, 이와 같은 영역이 발생하는 케이스는 비교적 보기 드물다.

또, 예를 들면, 골프스윙시의 전신상과 같이 거의 같은 위치에 체류하고 있는 피사체에 대응하기 위해서는, 하기의 수정을 시행할 필요가 있다.

우선, 1번째로, 배경의 자동합성을 실행할 수 없기 때문에, 배경프레임을 별도 촬영하여 둘 필요가 있다. 2번째로, 중복프레임제거처리를 실행하면, 최초의 1장 이외는 모두 제거되어 버리므로, 솎아냄 처리를 실행하지 않던지, 또는 적당한 프레임간격을 결정해서 솎아내게 된다.

이에 따라, 예를 들면 운동해석용도에 유용한 합성화상(Gc)을 얻을 수 있다.

또, 상기 실시형태에 예시한 촬상장치(100)의 구성은 일례이며, 이것에 한정되는 것은 아니다.

또한 동체화상추출장치로서 촬상장치(100)를 예시했는데, 이것에 한정되는 것은 아니다. 촬상부(1)에 의해 취득한 동화상을 구성하는 복수의 프레임을, USB단자(6)를 통하여 접속된 외부기기에 출력하고, 해당 외부기기에서 화상합성처리에 관련되는 전처리, 추출처리 및 합성처리 등의 각종 처리를 실행하도록 해도 좋다.

덧붙여서, 상기 실시형태에서는 제 1 산출수단, 가산수단, 제 2 산출수단, 출력수단, 제 3 산출수단, 정규화 수단, 프레임생성수단, 합성수단, 제 1 판단수단, 제 2 판단수단, 제 1 추정수단, 제 2 추정수단, 제 4 산출수단으로서의 기능을, CPU(71)에 의해서 소정의 프로그램 등이 실행됨으로써 실현되는 구성으로 했는데, 이것에 한정되는 것은 아니다. 예를 들면, 각종 기능을 실현하기 위한 논리회로 등으로 구성해도 좋다.

도 1은 본 발명을 적용한 일 실시형태의 촬상장치의 개략 구성을 나타내는 블록도이다.

도 2는 도 1의 촬상장치에 의한 화상합성처리에 관련되는 화상프레임의 일례를 모식적으로 나타내는 도면이다.

도 3은 도 2의 화상합성처리에 관련되는 배경화상의 일례를 모식적으로 나타내는 도면이다.

도 4는 도 2의 화상합성처리에 관련되는 원차분강도를 나타낸 그레이스케일화상의 일례를 모식적으로 나타내는 도면이다.

도 5는 도 2의 화상합성처리에 관련되는 합성화상의 일례를 모식적으로 나타내는 도면이다.

도 6은 도 2의 화상합성처리에 관련되는 추출화상의 일례를 모식적으로 나타내는 도면이다.

도 7은 도 2의 화상합성처리에 관련되는 합성화상의 일례를 모식적으로 나타내는 도면이다.

도 8은 도 2의 화상합성처리에 관련되는 동작의 일례를 나타내는 흐름도이다.

도 9는 도 8의 화상합성처리의 전처리에 관련되는 동작의 일례를 나타내는 흐름도이다.

도 10은 도 8의 화상합성처리의 추출처리에 관련되는 동작의 일례를 나타내 는 흐름도이다.

도 11은 도 10의 추출처리의 차분강도산출처리에 관련되는 동작의 일례를 나타내는 흐름도이다.

도 12는 도 10의 추출처리의 에러프레임제거처리에 관련되는 동작의 일례를 나타내는 흐름도이다.

도 13은 도 10의 추출처리의 중복프레임제거처리에 관련되는 동작의 일례를 나타내는 흐름도이다.

도 14는 도 10의 추출처리의 알파값 산출처리에 관련되는 동작의 일례를 나타내는 흐름도이다.

도 15는 도 8의 화상합성처리의 합성처리에 관련되는 동작의 일례를 나타내는 흐름도이다.

도 16a는 변형예 1의 촬상장치에 의한 화상합성처리에 관련되는 합성화상의 일례를 모식적으로 나타내는 도면으로서, 프레임레이트가 낮을 때의 합성화상의 도면이다.

도 16b는 변형예 1의 촬상장치에 의한 화상합성처리에 관련되는 합성화상의 일례를 모식적으로 나타내는 도면으로서, 최적인 프레임집합을 선택했을 때의 합성화상의 도면이다.

※도면의 주요부분에 대한 부호의 설명

1: 촬상부 2: 촬상보조부

3: 표시부 4: 조작부

5: 기록매체 6: USB단자

7: 제어부 11: 촬상렌즈군

12: 전자촬상부 13: 영상신호처리부

14: 화상메모리 15: 촬영제어부

21: 포커스 구동부 22: 줌 구동부

31: 표시제어부 32: 화상표시부

41: 조작입력부 42: 입력회로

71: CPU 72: 프로그램메모리

72a: 배경화상생성프로그램 72b: 차분강도산출프로그램

72c: 에러프레임제거프로그램 72d: 중복프레임제거프로그램

72e: 알파값 산출프로그램 72f: 합성프로그램(72f)

73: 데이터메모리 100: 촬상장치

F: 프레임 Gc: 합성화상

Claims

복수의 프레임에 대해, 배경부분 또는 다른 프레임에 관련하는 차분강도를 산출하는 제 1 산출수단과,

상기 제 1 산출수단에 의해서 산출된 상기 복수의 프레임의 상기 차분강도를 가산하는 가산수단과,

상기 복수의 프레임 중 어느 하나의 임의의 프레임의 상기 차분강도를, 상기 가산수단에 의해서 가산된 상기 복수의 프레임분의 차분강도로 나눈 값을 산출하는 제 2 산출수단과,

상기 제 2 산출수단에 의해서 산출된 값에 의거하여 상기 임의의 프레임에 있어서의 동체의 추출화상을 출력하는 제 1 출력수단을 구비하는 것을 특징으로 하는 동체화상추출장치.
제 1 항에 있어서,

상기 제 1 산출수단은 상기 배경부분 또는 다른 프레임에 관련하는 차분강도를 화소마다 산출하고,

상기 제 2 산출수단은 화소마다 상기 임의의 프레임의 차분강도를 상기 가산수단에 의해서 가산된 상기 복수의 프레임분의 차분강도로 나눈 값을 화소마다 산출하는 것을 특징으로 하는 동체화상추출장치.
제 2 항에 있어서,

상기 제 1 산출수단은 상기 프레임에 있어서의 각 화상의 색성분 차분의 가중 제곱합을 산출하는 것을 특징으로 하는 동체화상추출장치.
제 2 항에 있어서,

상기 제 1 산출수단은 상기 프레임에 있어서의 각 화상의 색성분 차분의 가중 절대값 합을 산출하는 것을 특징으로 하는 동체화상추출장치.
제 1 항에서 제 4 항 중 어느 한 항에 있어서,

상기 차분강도로부터 배경부분의 대표값을 산출하는 제 3 산출수단과,

상기 제 3 산출수단에 의해서 산출된 상기 대표값을 상기 프레임의 상기 차분강도로부터 각각 빼고, 또한, 뺀 결과가 마이너스 값으로 되는 경우 0으로 하는 것에 의해 해당 차분강도를 정규화하는 정규화 수단을 추가로 구비하는 것을 특징으로 하는 동체화상추출장치.
제 1 항에 있어서,

상기 복수의 프레임 중, 상기 임의의 프레임의 각 화소값에 상기 제 2 산출수단에 의해서 산출된 값을 곱해서 합성해야 할 프레임을 생성하는 프레임생성수단과,

상기 프레임생성수단에 의해서 생성된 복수의 합성해야 할 프레임을 합성하는 합성수단을 추가로 구비하는 것을 특징으로 하는 동체화상추출장치.
제 6 항에 있어서,

상기 복수의 프레임에 대해, 상기 제 1 산출수단에 의해 산출된 차분강도에 따라서 배경부분과 동체부분을 구분하고, 해당 구분의 결과에 의거하여 상기 합성수단에 의해 합성해야 할 프레임인지 아닌지를 판단하는 제 1 판단수단을 추가로 구비하며,

상기 합성수단은 상기 제 1 판단수단에 의해 합성해야 한다고 판단된 프레임을 합성하는 것을 특징으로 하는 동체화상추출장치.
제 6 항에 있어서,

상기 합성수단은 상기 복수의 프레임에 있어서의 인접하는 프레임에 관련하는 동체부분의 대표값에 의거하여 합성해야 할 프레임을 선택해서 합성하는 것을 특징으로 하는 동체화상추출장치.
제 6 항에 있어서,

상기 복수의 프레임에 있어서의 인접하는 프레임간의 차분강도의 상관을 판단하는 제 2 판단수단을 추가로 구비하고,

상기 합성수단은 상기 제 2 판단수단에 의해 차분강도의 상관이 강하다고 판단되었을 때는, 상기 인접하는 프레임 중의 어느 한쪽의 프레임에 대응하는 상기 프레임생성수단에 의해서 생성된 프레임을 합성해야 할 프레임으로서 선택해서 합 성하는 것을 특징으로 하는 동체화상추출장치.
제 6 항에 있어서,

상기 제 1 산출수단에 의해서 산출된 상기 차분강도로부터 상기 배경부분의 노이즈 레벨을 추정하는 제 1 추정수단과,

상기 제 1 추정수단에 의해 추정된 상기 배경부분의 노이즈 레벨로부터 상기 합성수단에 의해서 합성됨으로써 발생하는 합성 노이즈 레벨을 추정하는 제 2 추정수단과,

상기 제 2 추정수단에 의해 추정된 상기 합성 노이즈 레벨에 따라 증감하는 값을 제수(除數) 최소값으로 하고, 상기 제수 최소값으로부터 상기 제 1 산출수단에 의해서 산출된 상기 차분강도 중의 동체부분의 차분강도의 총합을 뺀 배경강도값을 산출하는 제 4 산출수단과,

상기 제 4 산출수단에 의해서 산출된 배경강도값이 플러스인 경우, 이 배경강도값을 상기 제 1 산출수단에 의해서 산출된 상기 배경부분의 차분강도에 더한 값을 출력하는 제 2 출력수단을 추가로 구비하는 것을 특징으로 하는 동체화상추출장치.
제 1 항에 있어서,

촬상수단을 추가로 구비하고,

상기 복수의 프레임은 상기 촬상수단을 연속적으로 구동하여 얻어지는 것을 특징으로 하는 동체화상추출장치.
컴퓨터에,

복수의 프레임에 대해, 배경부분 또는 다른 프레임에 관련하는 차분강도를 산출하는 제 1 산출기능,

상기 제 1 산출기능에 의해서 산출된 상기 복수의 프레임의 상기 차분강도를 가산하는 가산기능,

상기 복수의 프레임 중 어느 하나의 임의의 프레임의 상기 차분강도를, 상기 가산기능에 의해서 가산된 상기 복수의 프레임분의 차분강도로 나눈 값을 산출하는 제 2 산출기능,

상기 제 2 산출기능에 의해서 산출된 값에 의거하여 상기 임의의 프레임에 있어서의 동체의 추출화상을 출력하는 제 1 출력기능을 실현시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.