KR101747511B1 - 화상 처리 장치 및 화상 처리 방법 - Google Patents

Abstract

복수의 입력 화상에 기초하여 정해지는 수정 대상 화상을 수정하여, 양질의 화상을 생성하는 것.
화상 처리 장치(3)에 있어서, 화상 수정부(160)는, 터치 패널(250)에 대한 사용자의 탭 조작을 검지하고, 그 탭 위치가 전경 후보 영역 검출부(140)에 의해서 검출된 전경 후보 영역에 포함되는 경우에는, 기준 화상 설정부(120)에 의해서 설정된 기준 화상 중 해당 전경 후보 영역에 대응하는 화상 영역을 수정한다.

Description

화상 처리 장치 및 화상 처리 방법{IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD}

본 발명은, 화상 처리 장치 및 화상 처리 방법에 관한 것이다.

종래, 예를 들어 행락지에서 기념 사진을 촬영하려고 하는 경우 등에 있어서, 촬영을 행하고자 해도, 촬영의 대상물로 하는 인물 외에, 타인이나 차 등의 움직이는 피사체가 프레임내에 들어가 버려서, 적절한 상황 아래에서, 즉 촬영하고자 하는 대상물만이 프레임내에 존재하는 상태에서 촬영하는 것이 곤란했다. 이 과제에 대해서, 동일 씬의 촬영을 여러 차례 행하고, 그 복수 장의 촬영 화상 중에서 최적으로 생각되는 부분을 추출하고 조합하여 합성하는 것으로 해결을 도모하는, 특허문헌 1, 2와 같은 종래 기술이 있다.

미국특허출원공개 제2012/0320237호 명세서 유럽특허 제2360644호 명세서

상기와 같은 촬영 화상을 입력 화상으로서 입력하고, 이들 입력 화상으로부터 대상물만이 나타난 화상을 생성하려고 한 경우, 움직이는 피사체를 적절히 검출하여, 이것들을 화상 중으로부터 삭제하는 것이 필요하다. 이것을 실현하기 위한 수법으로서, 예를 들면 복수의 입력 화상을 가중치를 부여하여 가중 평균하는 것으로, 대상물이 배경으로서 나타난 배경 화상을 생성하는 수법을 생각할 수 있다.

그러나, 이 수법에서는, 복수의 입력 화상의 위치 맞춤을 완전하게 행하는 것이 곤란한 것에 기인하여, 손떨림 등에 의해서 복수의 입력 화상에 미묘한 위치의 어긋남이 생기거나, 바람으로 흔들리는 나무의 잎 등의 존재에 의해서, 생성되는 배경 화상에 있어서, 이들 영역이 보케(bokeh, 핀트가 맞지 않음)되어 버리고, 양질의 화상이 얻어지지 않는다는 문제가 있다. 또한, 인파 등, 항상 물체에 움직임이 있는 영역은 배경(背景, ground)과 전경(前景, figure)과의 구별이 되지 않기 때문에, 그 물체에 움직임이 있는 영역이 깔끔하게 보정되지 않고, 고스트가 발생해 버린다는 문제가 있다.

본 발명은, 이러한 과제에 비추어서 이루어진 것으로, 그 목적으로 하는 바는, 복수의 입력 화상에 기초하여 정해지는 수정 대상 화상을 수정하여, 양질의 화상을 생성하기 위한 새로운 수법을 제안하는 것에 있다.

상기 과제를 해결하기 위하여, 이하의 수단을 취했다. 또한, 후술하는 발명을 실시하기 위한 형태의 설명 및 도면에서 사용한 부호를 참고를 위하여 괄호로 부기(附記)하는데, 본 발명의 구성요소는 해당 부기한 것에 한정되지 않는다.

제1 발명은,

복수의 입력 화상(촬영에 의해 입력된 화상)에 기초하여 정해지는 수정 대상 화상(입력 화상 중 하나의 화상, 예를 들면 기준 화상)의 수정 대상 영역(전경 후보 영역)을, 상기 복수의 입력 화상 중 어느 하나의 입력 화상을 수정용 화상으로서 이용하여 수정하는 화상 수정 수단(화상 수정부(160))을 구비한, 화상 처리 장치(화상 처리 장치(3))이다.

또한, 제28 발명으로서,

복수의 입력 화상(촬영에 의해 입력된 화상)에 기초하여 정해지는 수정 대상 화상(입력 화상 중 하나의 화상, 예를 들면 기준 화상)의 수정 대상 영역(전경 후보 영역)을, 상기 복수의 입력 화상 중 어느 하나의 입력 화상을 수정용 화상으로서 이용하여 수정하는 것을 포함하는, 화상 처리 방법을 구성해도 좋다.

이 제1 발명 등에 의하면, 복수의 입력 화상에 기초하여 정해지는 수정 대상 화상의 수정 대상 영역을, 복수의 입력 화상 중 어느 하나의 입력 화상을 수정용 화상으로서 이용하여 수정하는 것으로, 양질의 화상을 생성할 수 있다.

또한, 제2 발명은,

제1 발명의 화상 처리 장치로서,

상기 화상 수정 수단은, 상기 수정 대상 영역에 대응하는 영역의 화상 데이터가, 상기 복수의 입력 화상과 관련지어진 참조 화상(복수의 입력 화상을 가중 평균한 배경 화상)과 소정의 관계를 만족하는(화상 데이터가 유사한) 입력 화상을 상기 수정용 화상으로 하고, 해당 수정용 화상의 상기 수정 대상 영역에 대응하는 영역의 화상 데이터를 이용하여, 상기 수정 대상 화상의 상기 수정 대상 영역을 수정하는, 화상 처리 장치를 구성해도 좋다.

이 제2 발명에 의하면, 수정 대상 영역에 대응하는 영역의 화상 데이터가, 복수의 입력 화상과 관련지어진 참조 화상과 소정의 관계를 만족하는 입력 화상을 수정용 화상으로 하고, 해당 수정용 화상의 수정 대상 영역에 대응하는 영역의 화상 데이터를 이용하는 것으로, 수정 대상 화상의 수정 대상 영역을 적절히 수정할 수 있다. 이것에 의해, 복수의 입력 화상에 미묘한 위치의 어긋남이 생기거나, 바람으로 흔들리는 나무의 잎 등이 존재한 경우라도, 이들 영역의 화상 데이터를 수정용 화상의 해당 영역에 대응하는 화상 데이터를 이용하여 수정하고, 양질의 화상을 생성할 수 있다.

또한, 제3 발명으로서,

제1 또는 제2 발명의 화상 처리 장치로서,

상기 수정 대상 영역의 전경으로서의 신뢰도를 판정하는 신뢰도 판정 수단(처리부(100))을 더 구비하고,

상기 화상 수정 수단은, 상기 신뢰도 판정 수단에 의해서 판정된 신뢰도에 기초하여, 상기 수정 대상 영역의 수정의 적합 여부를 판정하는, 화상 처리 장치를 구성해도 좋다.

이 제3 발명에 의하면, 수정 대상 영역의 전경으로서의 신뢰도를 판정한 다음, 수정 대상 영역을 수정해야 할지 말지를 적절히 판정할 수 있다.

또한, 제4 발명으로서,

제3 발명의 화상 처리 장치로서,

상기 복수의 입력 화상 사이에서 피사체의 외관에 변화가 생기고 있는 영역인 외관 변화 영역을 검출하는 외관 변화 영역 검출 수단(처리부(100))을 더 구비하고,

상기 신뢰도 판정 수단은, 상기 외관 변화 영역 검출 수단에 의해서 검출된 외관 변화 영역을 상기 수정 대상 영역으로 하여 상기 신뢰도를 판정하고,

상기 화상 수정 수단은, 상기 신뢰도 판정 수단에 의해서 판정된 신뢰도에 기초하여, 상기 외관 변화 영역의 수정의 적합 여부를 판정하는, 화상 처리 장치를 구성해도 좋다.

외관 변화 영역이란, 피사체에 움직임이 생기고 있는 영역이나, 촬영시의 빛의 변화 등에 의해서 피사체의 보이는 모습에 변화가 생기고 있는 영역이다.

제4 발명에 의하면, 복수의 입력 화상 사이에서 피사체의 외관에 변화가 생기고 있는 영역을 검출하고, 검출된 외관 변화 영역의 수정의 적합 여부를 신뢰도에 기초하여 판정할 수 있다. 이것에 의해, 인파 등 항상 피사체에 움직임이 생기고 있는 영역이나, 빛의 영향을 받아서 피사체의 보이는 모습이 변화하고 있는 영역 등이 존재하는 경우라도, 이들 영역을 외관 변화 영역으로서 검출하여 수정할 수 있다.

또한, 제5 발명으로서,

제3 또는 제4 발명의 화상 처리 장치로서,

상기 신뢰도 판정 수단은, 상기 수정 대상 화상에 있어서의 소정의 처리 화소 단위(1화소 단위, 복수 화소 단위)마다 상기 신뢰도를 판정하고,

상기 화상 수정 수단은, 상기 신뢰도가 소정 조건(신뢰도가 「높음」)을 만족하는 상기 처리 화소 단위를 연결하여 이루어지는 1군의 영역을 상기 수정 대상 영역으로 하여 수정을 행하는, 화상 처리 장치를 구성해도 좋다.

이 제5 발명에 의하면, 수정 대상 화상에 있어서의 소정의 처리 화소 단위마다 전경으로서의 신뢰도를 판정하고, 판정한 신뢰도가 소정 조건을 만족하는 처리 화소 단위를 연결하여 이루어지는 1군의 영역을 수정 대상 영역으로 하여 수정을 행할 수 있다. 여기서, 처리 화소 단위는, 1화소 이상으로 구성되는 영역을 의미한다.

또한, 제6 발명으로서,

제3 ~ 제5 중의 어느 하나의 발명의 화상 처리 장치로서,

상기 복수의 입력 화상 각각에 대해서, 해당 입력 화상과 상기 복수의 입력 화상과 관련지어진 참조 화상(복수의 입력 화상을 가중 평균한 배경 화상)과의 상대 관계(화소값의 차분값)를 나타내는 상대값을, 소정의 처리 화소 단위(1화소 단위, 복수 화소 단위)마다 산출하는 상대값 산출 수단(차분값 산출부(11), 차분값 산출부(111))과,

상기 복수의 입력 화상 중, 상기 상대값 산출 수단에 의해서 산출된 상대값이 특정 조건(차분값이 최소)을 만족하는 입력 화상을, 상기 처리 화소 단위마다 판정하는 입력 화상 판정 수단(최소 차분 입력 화상 판정부(17), 비기준 최소 차분 입력 화상 판정부(117))과,

상기 입력 화상 판정 수단에 의해서 판정된 입력 화상을 식별하기 위한 식별 정보(화상 번호)를 상기 처리 화소 단위마다 기억한 화상 처리용 데이터(최소 차분 맵 데이터(27), 비기준 최소 차분 맵 데이터(873))를 생성하는 화상 처리용 데이터 생성 수단(최소 차분 맵 데이터 생성부(19), 비기준 최소 차분 맵 데이터 생성부(119))을 더 구비하고,

상기 화상 수정 수단은, 상기 수정용 화상과 상기 화상 처리용 데이터 생성 수단에 의해서 생성된 화상 처리용 데이터를 이용하여 수정을 행하는, 화상 처리 장치를 구성해도 좋다.

또한, 제29 발명으로서,

제28 발명의 화상 처리 방법으로서,

복수의 입력 화상 각각에 대해서, 해당 입력 화상과 상기 복수의 입력 화상과 관련지어진 참조 화상(복수의 입력 화상을 가중 평균한 배경 화상)과의 상대 관계를 나타내는 상대값(화소값의 차분값)을, 소정의 처리 화소 단위마다 산출하는 것과,

상기 복수의 입력 화상 중, 상기 산출된 상대값이 특정 조건을 만족하는 입력 화상(차분값이 최소)을, 상기 처리 화소 단위마다 판정하는 것과,

상기 판정된 입력 화상을 식별하기 위한 식별 정보(화상 번호)를 상기 처리 화소 단위마다 기억한 화상 처리용 데이터(최소 차분 맵 데이터(27), 비기준 최소 차분 맵 데이터(873))를 생성하는 것을 더 포함하고,

상기 수정하는 것은, 상기 수정용 화상과 상기 생성된 화상 처리용 데이터를 이용하여 수정을 행하는 것을 포함하는, 화상 처리 방법을 구성해도 좋다.

이 제6 발명 등에 의하면, 복수의 입력 화상 각각에 대해서, 해당 입력 화상과 복수의 입력 화상과 관련지어진 참조 화상과의 상대 관계를 나타내는 상대값에 기초하여, 처리 화소 단위별로 특정 조건을 만족하는 입력 화상을 식별하기 위한 식별 정보를 기억한 화상 처리용 데이터를 생성할 수 있다. 여기서, 상대값은, 입력 화상과 참조 화상과의 상대 관계를 나타내는 값이며, 예를 들면 입력 화상과 참조 화상과의 화소값의 차분값이 이에 포함된다. 또한, 특정 조건은, 미리 정해진 조건이며, 예를 들면 상대값이 최대나 최소가 되는 것, 상대값이 중앙값이 되는 것, 상대값이 평균값이 되는 것 등의 각종 조건을 특정 조건으로 할 수 있다. 이와 같이 하여 생성한 화상 처리용 데이터와 수정용 화상을 이용하는 것으로, 수정 대상 화상을 적절히 수정할 수 있다.

또한, 제7 발명으로서,

제6 발명의 화상 처리 장치로서,

상기 화상 처리용 데이터 생성 수단은, 상기 특정 조건을 만족하는 상대값(최소 차분값)을 상기 식별 정보(화상 번호)와 대응시켜서 상기 처리 화소 단위마다 상기 화상 처리용 데이터에 기억시키는, 화상 처리 장치를 구성해도 좋다.

이 제7 발명에 의하면, 특정 조건을 만족하는 상대값을 입력 화상의 식별 정보와 대응시켜서 처리 화소 단위마다 화상 처리용 데이터에 기억시키는 것으로, 특정 조건을 만족하는 상대값과 해당 상대값에 대응하는 입력 화상을 1개의 데이터로 관리하는 것이 가능해진다.

또한, 제8 발명으로서,

제6 또는 제7 발명의 화상 처리 장치로서,

상기 복수의 입력 화상을 각각 축소하는 축소 수단(해석용 화상 생성부(130))을 더 구비하고,

상기 상대값 산출 수단은, 상기 축소 수단에 의해서 축소된 상기 복수의 입력 화상 각각에 대해서, 해당 입력 화상과 상기 입력 화상과 동일한 크기의 참조 화상과의 상대 관계를 나타내는 상대값을 상기 처리 화소 단위마다 산출하고,

상기 화상 처리용 데이터 생성 수단은, 상기 입력 화상과 동일한 크기의 상기 화상 처리용 데이터를 생성하는, 화상 처리 장치를 구성해도 좋다.

이 제8 발명에 의하면, 복수의 입력 화상을 각각 축소한 화상과 동일한 크기의 화상 처리용 데이터를 생성할 수 있다. 입력 화상의 사이즈가 큰 경우는, 후단의 화상 수정에 있어서의 처리 부하가 증대하기 때문에, 복수의 입력 화상을 각각 축소한다. 그리고, 축소한 입력 화상과 동일한 크기의 화상 처리용 데이터를 생성하는 것으로, 화상 처리용 데이터를 이용한 화상 수정의 처리 부하를 경감할 수 있다.

또한, 제9 발명으로서,

제6 ~ 제8 중의 어느 하나의 발명의 화상 처리 장치로서,

상기 복수의 입력 화상과, 상기 화상 처리용 데이터 생성 수단에 의해서 생성된 화상 처리용 데이터를 이용하여, 상기 참조 화상에 대한 전경의 후보가 되는 영역인 전경 후보 영역을 검출하는 전경 후보 영역 검출 수단(전경 후보 영역 검출부(140))을 더 구비하고,

상기 신뢰도 판정 수단은, 상기 전경 후보 영역 검출 수단에 의해서 검출된 전경 후보 영역을 상기 수정 대상 영역으로 하여 상기 신뢰도를 판정하고,

상기 화상 수정 수단은, 상기 전경 후보 영역 검출 수단에 의해서 검출된 전경 후보 영역을 상기 수정 대상 영역으로 하여 수정을 행하는, 화상 처리 장치를 구성해도 좋다.

이 제9 발명에 의하면, 복수의 입력 화상과 생성된 화상 처리용 데이터를 이용하는 것으로, 참조 화상에 대한 전경의 후보가 되는 영역인 전경 후보 영역을 검출할 수 있다. 그리고, 검출된 전경 후보 영역을 수정 대상 영역으로 하여 신뢰도를 판정한 다음, 검출된 전경 후보 영역을 수정 대상 영역으로 하여 수정을 행할 수 있다.

또한, 제10 발명은,

제9 발명의 화상 처리 장치로서,

상기 복수의 입력 화상 중에서 기준 화상을 설정하는 기준 화상 설정 수단(기준 화상 설정부(120))을 더 구비하고,

상기 입력 화상 판정 수단은, 상기 복수의 입력 화상 중에서 상기 기준 화상을 제외한 입력 화상인 비기준 화상 중, 상기 상대값이 상기 특정 조건을 만족하는 비기준 화상을 상기 처리 화소 단위마다 판정하는 비기준 화상 판정 수단(비기준 최소 차분 입력 화상 판정부(117))을 가지고,

상기 화상 처리용 데이터 생성 수단은, 상기 비기준 화상 판정 수단에 의해서 판정된 비기준 화상을 식별하기 위한 식별 정보를 상기 처리 화소 단위마다 기억한 비기준 화상 처리용 데이터를 생성하는 비기준 화상 처리용 데이터 생성 수단(비기준 최소 차분 맵 데이터 생성부(119))을 가지고,

상기 전경 후보 영역 검출 수단은, 상기 기준 화상과 상기 비기준 화상 처리용 데이터 생성 수단에 의해서 생성된 비기준 화상 처리용 데이터를 이용하여, 상기 전경 후보 영역을 검출하고,

상기 화상 수정 수단은, 상기 기준 화상 설정 수단에 의해서 설정된 기준 화상을 상기 수정 대상 화상으로 하여 수정을 행하는, 화상 처리 장치를 구성해도 좋다.

이 제10 발명에 의하면, 복수의 입력 화상 중에서 설정한 기준 화상을 제외한 입력 화상인 비기준 화상 중, 상대값이 특정 조건을 만족하는 비기준 화상을 처리 화소 단위마다 판정하고, 판정한 비기준 화상을 식별하기 위한 식별 정보를 처리 화소 단위마다 기억한 비기준 화상 처리용 데이터를 생성한다. 기준 화상은, 예를 들면, 복수의 입력 화상 중에서 사용자에 의해 선택된 입력 화상을 설정하는 것으로 해도 좋고, 최초에 입력된 입력 화상이나 마지막에 입력된 입력 화상과 같이 소정의 룰을 따라서 설정하는 것으로 해도 좋다. 이와 같이 하여 설정한 기준 화상과 비기준 화상에 기초하여 생성한 비기준 화상 처리용 데이터를 이용하는 것으로, 전경 후보 영역을 적절히 검출할 수 있다. 그리고, 기준 화상을 수정 대상 화상으로 하여 수정을 행하는 것으로, 양질의 화상을 얻을 수 있다.

또한, 제11 발명으로서,

제9 또는 제10 발명의 화상 처리 장치로서,

상기 화상 수정 수단은, 상기 화상 처리용 데이터에 기억된 식별 정보에 대응하는 입력 화상을 상기 수정용 화상으로 하여 상기 수정 대상 화상의 상기 전경 후보 영역을 수정하는, 화상 처리 장치를 구성해도 좋다.

이 제11 발명에 의하면, 화상 처리용 데이터에 기억된 식별 정보에 대응하는 입력 화상을 수정용 화상으로 하는 것으로, 수정 대상 화상의 전경 후보 영역을 적절히 수정할 수 있다.

또한, 제12 발명으로서,

제9 ~ 제11 중의 어느 하나의 발명의 화상 처리 장치로서,

상기 화상 수정 수단은, 상기 수정 대상 화상의 상기 전경 후보 영역의 화상 데이터를, 상기 수정용 화상의 해당 전경 후보 영역에 대응하는 영역의 화상 데이터를 이용하여 수정하는, 화상 처리 장치를 구성해도 좋다.

이 제12 발명에 의하면, 수정 대상 화상의 전경 후보 영역의 화상 데이터를, 수정용 화상의 해당 전경 후보 영역에 대응하는 영역의 화상 데이터를 이용하여 수정하는 것으로, 수정 대상 화상의 전경 후보 영역을 적절히 수정할 수 있다.

또한, 제13 발명으로서,

제9 ~ 제12 중의 어느 하나의 발명의 화상 처리 장치로서,

상기 화상 수정 수단은, 상기 전경 후보 영역의 신뢰도에 대응하여 실행하는 화상 수정 처리(치환 처리, 붙여넣기 처리)를 전환하여, 상기 수정 대상 화상의 해당 전경 후보 영역을 수정하는, 화상 처리 장치를 구성해도 좋다.

이 제13 발명에 의하면, 전경 후보 영역의 신뢰도에 대응하여 실행하는 화상 수정 처리를 전환하는 것으로, 각 전경 후보 영역 각각에 대해서, 신뢰도에 대응한 적절한 화상 수정을 실현할 수 있다.

또한, 제14 발명으로서,

제13 발명의 화상 처리 장치로서,

상기 화상 수정 수단은, 상기 신뢰도가 소정의 고신뢰도 조건(신뢰도가 「높음」)을 만족하는 전경 후보 영역에 대해서, 상기 수정용 화상의 해당 전경 후보 영역에 대응하는 영역의 화상 데이터에서 상기 수정 대상 화상의 해당 전경 후보 영역의 화상 데이터를 치환하는 처리를 상기 화상 수정 처리로서 실행하는, 화상 처리 장치를 구성해도 좋다.

이 제14 발명에 의하면, 신뢰도가 소정의 고신뢰도 조건을 만족하는 전경 후보 영역에 대하여, 수정용 화상의 해당 전경 후보 영역에 대응하는 영역의 화상 데이터에서 수정 대상 화상의 해당 전경 후보 영역의 화상 데이터를 치환하는 처리를 화상 수정 처리로서 실행하는 것으로, 전경으로서의 신뢰성이 높은 전경 후보 영역을 적절히 수정할 수 있다.

또한, 제15 발명으로서,

제13 또는 제14 발명의 화상 처리 장치로서,

상기 화상 수정 수단은, 상기 신뢰도가 소정의 저신뢰도 조건을 만족하는 전경 후보 영역에 대하여, 상기 수정용 화상 중에서 해당 전경 후보 영역의 화상 데이터와 소정의 관계를 만족하는 화상 데이터를 추출하여 상기 수정 대상 화상의 해당 전경 후보 영역에 붙여넣는 처리를 상기 화상 수정 처리로서 실행하는, 화상 처리 장치를 구성해도 좋다.

이 제15 발명에 의하면, 신뢰도가 소정의 저신뢰도 조건을 만족하는 전경 후보 영역에 대하여, 수정용 화상 중에서 해당 전경 후보 영역의 화상 데이터와 소정의 관계를 만족하는 화상 데이터를 추출하여 수정 대상 화상의 해당 전경 후보 영역에 붙여넣는 처리를 화상 수정 처리로서 실행하는 것으로, 전경으로서의 신뢰성이 낮은 전경 후보 영역을 적절히 수정할 수 있다.

또한, 제16 발명으로서,

제9 ~ 제15 중의 어느 하나의 발명의 화상 처리 장치로서,

표시 수단(표시부(300))과,

상기 전경 후보 영역의 신뢰도를 상기 표시 수단에 표시 제어하는 표시 제어 수단(표시 제어부(170))을 구비한 화상 처리 장치를 구성해도 좋다.

이 제16 발명에 의하면, 전경 후보 영역의 신뢰도를 사용자가 표시 화면에 있어서 확인하는 것이 가능해진다.

또한, 제17 발명으로서,

제16 발명의 화상 처리 장치로서,

상기 표시 제어 수단은, 각 전경 후보 영역의 신뢰도를 사용자가 구별 가능한 표시 형태(예를 들면, 전경 후보 영역이나 그 윤곽선을 신뢰도에 대응하여 색분류한 표시 형태, 전경 후보 영역에 신뢰도에 대응하여 다른 마크를 부여한 표시 형태, 전경 후보 영역을 신뢰도에 대응하여 다른 문양이나 해칭을 실시한 표시 형태)로 상기 표시 수단에 표시 제어하는, 화상 처리 장치를 구성해도 좋다.

이 제17 발명에 의하면, 각 전경 후보 영역의 신뢰도를 사용자가 구별 가능한 표시 형태로 표시 수단에 표시하는 것으로, 사용자는, 각 전경 후보 영역의 신뢰도를 한눈에 파악할 수 있게 된다.

또한, 제18 발명으로서,

제9 ~ 제17 중의 어느 하나의 발명의 화상 처리 장치로서,

상기 수정 대상 화상 중에서 물체를 검출하는 물체 검출 수단(처리부(100))과,

상기 물체 검출 수단에 의한 물체의 검출 영역과 상기 전경 후보 영역과의 위치 관계 및 상기 신뢰도에 기초하여, 상기 수정 대상 화상 중 우선적으로 수정해야 할 영역인 우선 수정 영역을 결정하는 우선 수정 영역 결정 수단(처리부(100))을 구비한 화상 처리 장치를 구성해도 좋다.

이 제18 발명에 의하면, 물체의 검출 영역과 전경 후보 영역과의 위치 관계 및 전경 후보 영역의 신뢰도의 판정 결과에 기초하는 것으로, 수정 대상 화상 중 우선적으로 수정해야 할 영역인 우선 수정 영역을 자동 결정할 수 있다.

또한, 제19 발명으로서,

제9 ~ 제18 중의 어느 하나의 발명의 화상 처리 장치로서,

상기 신뢰도 판정 수단은, 상기 전경 후보 영역의 면적과, 상기 전경 후보 영역에 포함되는 화소에 대해서 상기 화상 처리용 데이터에 기억된 상대값 중 적어도 어느 하나에 기초하여, 해당 전경 후보 영역의 상기 신뢰도를 판정하는, 화상 처리 장치를 구성해도 좋다.

이 제19 발명에 의하면, 전경 후보 영역의 면적과, 전경 후보 영역에 포함되는 화소에 대해서 화상 처리용 데이터에 기억된 상대값 중 적어도 어느 하나에 기초하여, 해당 전경 후보 영역의 상기 신뢰도를 판정할 수 있다. 면적이 작은 전경 후보 영역은, 노이즈 등에 기인하여 우발적으로 검출된 영역일 가능성이 높은 것으로부터, 이러한 전경 후보 영역의 신뢰도는 낮게 하면 좋다. 또한, 특정 조건에 의하지만, 항상 물체가 움직이고 있는 등의 이유에 의해 전경 영역을 바르게 수정하는 것이 곤란한 영역에 대해서는, 화상 처리용 데이터에 기억된 상대값이 특정의 경향을 나타내는 경향이 있다. 이 때문에, 전경 후보 영역에 포함되는 화소에 대해서 화상 처리용 데이터에 기억된 상대값으로부터, 해당 전경 후보 영역의 수정 난이도를 추정할 수 있다. 수정 난이도가 높은 영역에 대해서 화상 수정을 행하면, 과제란에서 기술한 바와 같은 고스트가 발생할 우려가 있는 것으로부터, 이러한 영역에서는 신뢰도를 낮게 하면 좋다.

또한, 제20 발명으로서,

제9 ~ 제19 중의 어느 하나의 발명의 화상 처리 장치로서,

조작 수단(조작부(200), 터치 패널(250))과,

표시 수단(표시부(300))과,

상기 복수의 입력 화상 중에서 선택한 기준 화상을 상기 표시 수단에 표시 제어하는 표시 제어 수단(표시 제어부(170))과,

상기 표시 수단에 표시되고 있는 화상 상(畵像上)의 위치를 지정하는 사용자 조작(탭 조작)을 검지하는 검지 수단(처리부(100))과,

상기 검지 수단의 검지에 대응하여, 상기 사용자 조작에 의해 지정된 위치가 상기 전경 후보 영역에 포함되는지 아닌지를 판정하는 지정 위치 판정 수단(처리부(100))을 더 구비하고,

상기 화상 수정 수단은, 상기 지정 위치 판정 수단의 판정 결과가 긍정 판정인 경우에, 상기 수정 대상 화상의 상기 전경 후보 영역을 수정하고,

상기 표시 제어 수단은, 상기 화상 수정 수단에 의해 수정된 화상을 상기 표시 수단에 표시 제어하는, 화상 처리 장치를 구성해도 좋다.

이 제20 발명에 의하면, 복수의 입력 화상 중에서 선택한 기준 화상이 표시되고 있는 상태에서 화상 상의 위치를 지정하는 사용자 조작이 이루어진 경우로서, 해당 사용자 조작에 의해 지정된 위치가 전경 후보 영역에 포함되는 경우에, 해당 전경 후보 영역에 대응하는 화상 영역을 수정할 수 있다. 즉, 사용자 조작을 계기로 전경 후보 영역에 대응하는 화상 영역을 수정할 수 있다. 그리고, 수정된 화상을 표시 수단에 표시 제어하는 것으로, 사용자는, 수정된 화상을 확인할 수 있다.

또한, 제21 발명으로서,

제20 발명의 화상 처리 장치로서,

상기 지정 위치 판정 수단의 판정 결과에 기초하여, 상기 사용자 조작에 의한 각 전경 후보 영역에 대한 상기 화상 수정이 필요한지 여부를 기억한 화상 수정 필요 여부 데이터(전경 후보 영역 데이터(877))를 생성하는 화상 수정 필요 여부 데이터 생성 수단(처리부(100))을 더 구비하고,

상기 화상 수정 수단은, 상기 화상 수정 필요 여부 데이터 생성 수단에 의해서 생성된 화상 수정 필요 여부 데이터에 기초하여, 각 전경 후보 영역의 수정이 필요한지 여부를 판정하는, 화상 처리 장치를 구성해도 좋다.

이 제21 발명에 의하면, 사용자 조작에 의한 화상 수정 필요 여부 데이터를 생성하는 것으로, 각 전경 후보 영역에 대한 화상 수정이 필요한지 여부를 판단할 수 있기 때문에, 복수의 전경 후보 영역이 사용자에 의해 지정된 경우라도, 지정된 전경 후보 영역을 빠짐없이 수정 대상으로 하여 화상의 수정을 행할 수 있다.

또한, 제22 발명으로서,

제18 발명의 화상 처리 장치로서,

상기 화상 수정 수단은, 상기 수정 대상 화상의 상기 우선 수정 영역을 수정하고,

표시 수단(표시부(300))과,

상기 화상 수정 수단에 의해 수정된 화상을 상기 표시 수단에 표시 제어하는 표시 제어 수단(표시 제어부(170))을 더 구비한, 화상 처리 장치를 구성해도 좋다.

이 제22 발명에 의하면, 우선 수정 영역을 수정하고, 그 수정한 화상을 표시하는 것으로, 사용자는, 자동적으로 우선 수정 영역이 우선적으로 수정된 화상을 확인할 수 있다.

또한, 제23 발명으로서,

제22 발명의 화상 처리 장치로서,

상기 표시 제어 수단은, 상기 우선 수정 영역을 상기 전경 후보 영역과는 다른 표시 형태로 상기 표시 수단에 표시 제어하는, 화상 처리 장치를 구성해도 좋다.

이 제23 발명에 의하면, 우선 수정 영역을 전경 후보 영역과는 다른 표시 형태로 표시 수단에 표시 제어하는 것으로, 사용자는, 우선적으로 수정해야 할 영역을 한눈에 파악할 수 있게 된다.

제24 발명은,

복수의 입력 화상을 축적하는 화상 축적 수단(기억부(800))과,

상기 축적된 복수의 입력 화상에 기초하여, 화상 중의 교체 후보 영역 및 그에 관련지어진 교체 신뢰도를 산출하는 산출 수단(처리부(100))과,

상기 복수의 입력 화상 중 최신으로 입력된 입력 화상인 기준 화상 및 해당 기준 화상 상에 상기 교체 후보 영역을 중첩 표시 또는 윤곽 표시시킨 화상을 표시하는 표시 수단(표시부(300))을 구비하고,

상기 산출 수단은, 상기 기준 화상이 신규 화상 입력에 의해 갱신되었을 때, 상기 교체 후보 영역 및 상기 교체 신뢰도를 재산출하고,

상기 표시 수단은, 상기 재산출의 결과에 기초하여 상기 표시 수단의 표시를 갱신하는, 화상 처리 장치이다.

또한, 제30 발명으로서,

복수의 입력 화상을 축적하는 것과,

상기 축적된 복수의 입력 화상에 기초하여, 화상 중의 교체 후보 영역 및 그에 관련지어진 교체 신뢰도를 산출하는 것과,

상기 복수의 입력 화상 중 최신으로 입력된 입력 화상인 기준 화상 및 해당 기준 화상 상에 상기 교체 후보 영역을 중첩 표시 또는 윤곽 표시시킨 화상을 소정의 표시 수단에 표시시키는 것을 포함하고,

상기 산출하는 것은, 상기 기준 화상이 신규 화상 입력에 의해 갱신되었을 때, 상기 교체 후보 영역 및 상기 교체 신뢰도를 재산출하는 것을 포함하고,

상기 표시시키는 것은, 상기 재산출의 결과에 기초하여 상기 표시 수단의 표시를 갱신하는 것을 포함하는, 화상 처리 방법을 구성해도 좋다.

이 제24 발명 등에 의하면, 복수의 입력 화상을 축적하고, 축적된 복수의 입력 화상에 기초하여, 화상 중의 교체 후보 영역 및 그에 관련지어진 교체 신뢰도를 산출한다. 그리고, 복수의 입력 화상 중 최신으로 입력된 입력 화상인 기준 화상 및 해당 기준 화상 상으로 교체하고 후보 영역을 중첩 표시 또는 윤곽 표시시킨 화상을 표시하는 것으로, 사용자는, 교체 후보 영역을 한눈에 파악할 수 있게 된다. 그리고, 기준 화상이 신규 화상 입력에 의해 갱신되었을 때, 교체 후보 영역 및 교체 신뢰도를 재산출하는 것으로, 신규 화상이 입력에 대응하여 교체 후보 영역 및 교체 신뢰도를 수시로 갱신할 수 있다. 그리고, 재산출의 결과에 기초하여 표시 수단의 표시를 갱신하는 것으로, 사용자는, 최신의 교체 후보 영역을 실시간으로 파악할 수 있다.

또한, 제25 발명으로서,

제24 발명의 화상 처리 장치로서,

상기 표시 수단은, 상기 교체 후보 영역을 중첩 표시 또는 윤곽 표시할 때에, 관련지어진 교체 신뢰도를 반영한 표시를 행하는, 화상 처리 장치를 구성해도 좋다.

이 제25 발명에 의하면, 교체 후보 영역을 중첩 표시 또는 윤곽 표시할 때에, 관련지어진 교체 신뢰도를 반영한 표시를 행하는 것으로, 사용자는, 교체 후보 영역의 신뢰도를 한눈에 파악할 수 있게 된다.

또한, 제26 발명으로서,

제24 또는 제25 발명의 화상 처리 장치로서,

임의의 영역을 지정 가능한 영역 지정 수단(조작부(200), 터치 패널(250))과,

상기 영역 지정 수단에 의해 지정된 영역이, 상기 산출 수단에 의해 산출된 상기 교체 후보 영역에 포함되는 경우에 있어서, 관련지어진 교체 신뢰도가 소정 조건을 만족하는 경우에, 그 취지를 사용자에게 통지하는 통지 수단(표시부(300))을 더 구비한, 화상 처리 장치를 구성해도 좋다.

이 제26 발명에 의하면, 지정된 영역이 교체 후보 영역에 포함되는 경우에 있어서, 관련지어진 교체 신뢰도가 소정 조건을 만족하는 경우에, 그 취지를 사용자에게 통지한다. 예를 들면, 교체 신뢰도가 일정 이상의 신뢰도인 경우에, 그 취지를 사용자에게 통지하는 것으로, 사용자는, 신뢰도가 높은 교체 후보 영역을 파악할 수 있게 된다.

또한, 제27 발명으로서,

제24 ~ 제26 중의 어느 하나의 발명의 화상 처리 장치로서,

임의의 영역을 지정 가능한 영역 지정 수단(조작부(200), 터치 패널(250))과,

상기 영역 지정 수단에 의해 지정된 영역이, 상기 산출 수단에 의해 산출된 상기 교체 후보 영역에 포함되는 경우에 있어서, 관련지어진 교체 신뢰도가 소정 조건을 만족하는 경우는, 해당 교체 후보 영역에 대응하는 화상 영역을 수정하는 화상 수정 수단(화상 수정부(160))을 더 구비하고,

상기 표시 수단은, 상기 화상 수정 수단에 의해 수정된 화상을 표시하는, 화상 처리 장치를 구성해도 좋다.

이 제27 발명에 의하면, 지정된 영역이 교체 후보 영역에 포함되는 경우에 있어서, 관련지어진 교체 신뢰도가 소정 조건을 만족하는 경우는, 해당 교체 후보 영역에 대응하는 화상 영역을 수정한다. 예를 들면, 교체 신뢰도가 일정 이상의 신뢰도인 경우에, 해당 교체 후보 영역에 대응하는 화상 영역을 수정하는 것으로, 교체 신뢰도가 높은 교체 후보 영역에 대응하는 화상 부분만을 수정할 수 있다. 또한, 수정된 화상을 표시하기 때문에, 사용자는, 수정된 화상을 표시 화면에서 확인할 수 있다.

본 발명에 따르는 화상 처리 장치는 상기 종래기술의 문제점을 해결하고 양질의 화상을 생성할 수 있다.

도 1은 화상 처리용 데이터 생성 장치의 기능 구성의 일례를 나타내는 블럭도이다.
도 2는 입력 화상 데이터의 데이터 구성의 일례를 나타내는 도이다.
도 3은 최소 차분 맵 데이터의 데이터 구성의 일례를 나타내는 도이다.
도 4는 최소 차분 맵 데이터 생성의 순서의 일례를 나타내는 원리도이다.
도 5는 최소 차분 맵 데이터 생성 처리의 흐름의 일례를 나타내는 순서도이다.
도 6은 화상 처리 장치의 기능 구성의 일례를 나타내는 블럭도이다.
도 7은 화상 데이터의 데이터 구성의 일례를 나타내는 도이다.
도 8은 전경 후보 영역 데이터의 데이터 구성의 일례를 나타내는 도이다.
도 9는 비기준 최소 차분 맵 데이터의 생성의 순서의 일례를 나타내는 원리도이다.
도 10의 (1)은 촬영 화상의 일례를 나타내는 도이며, (2)는 배경 화상의 일례를 나타내는 도이며, (3)은 배경 차분 화상의 일례를 나타내는 도이다.
도 11은 전경 후보 영역 검출 및 전경 후보 영역 신뢰도 판정을 설명하기 위한 원리도이다.
도 12는 화상 처리의 흐름의 일례를 나타내는 순서도이다.
도 13은 도 12의 화상 처리의 순서도의 계속이다.
도 14는 배경 화상 생성 처리의 흐름의 일례를 나타내는 순서도이다.
도 15는 전경 후보 영역 검출 처리의 흐름의 일례를 나타내는 순서도이다.
도 16은 전경 후보 영역 신뢰도 판정 처리의 흐름의 일례를 나타내는 순서도이다.
도 17은 화상 수정 처리의 흐름의 일례를 나타내는 순서도이다.
도 18의 (1)은 촬영 화상의 일례를 나타내는 도이며, (2)는 교체 후보 영역 표시 화상의 일례를 나타내는 도이며, (3)은 교체 후보 영역 오버레이 표시 화상의 일례를 나타내는 도이며, (4)는 수정 화상의 일례를 나타내는 도이다.
도 19의 (1)은 촬영 화상의 일례를 나타내는 도이며, (2)는 비기준 최소 차분 화상의 일례를 나타내는 도이며, (3)은 전경 후보 영역의 검출 결과의 일례를 나타내는 도이며, (4)는 교체 후보 영역 표시 화상의 일례를 나타내는 도이다.
도 20의 (1)은 띠 형상의 우선 수정 영역 패턴의 일례를 나타내는 도이며, (2)는 테두리 형상의 우선 수정 영역 패턴의 일례를 나타내는 도이며, (3)은 삼각 형상의 우선 수정 영역 패턴의 일례를 나타내는 도이다.
도 21은 기록 매체의 일례를 나타내는 도이다.

[1. 제1 실시형태]

최초에, 후술하는 실시형태에서 설명하는 화상 중의 전경 후보 영역의 검출이나 화상 수정 등의 각종 화상 처리에 이용하는 것이 가능한 데이터인 화상 처리용 데이터를 생성하는 화상 처리용 데이터 생성 장치의 실시형태에 대해서 설명한다.

[1-1. 기능 구성]

도 1은, 화상 처리용 데이터 생성 장치(1)의 기능 구성의 일례를 나타내는 블럭도이다.

화상 처리용 데이터 생성 장치(1)는, 복수의 입력 화상을 입력하고, 이 복수의 입력 화상과 소정의 참조 화상을 이용하여, 화상 처리용 데이터의 일종인 최소 차분 맵 데이터를 생성하는 장치이다. 최소 차분 맵 데이터는, 복수의 입력 화상 각각에 대해서, 해당 입력 화상과 참조 화상과의 차분값을 화소 단위로 산출한 경우에, 차분값이 최소가 되는 입력 화상의 번호와 그 차분값의 최소값(이하, 「최소 차분값」으로 칭함.)을 대응시켜서 기억한 맵 형식의 데이터이다.

화상 처리용 데이터 생성 장치(1)에 입력되는 복수의 입력 화상은, 적합하게는, 동일한 촬영 씬에 대해서 복수 장의 화상의 촬영을 행한 결과로서 얻어지는 복수의 촬영 화상으로 할 수 있다. 구체적으로는, 예를 들면, 소정의 촬영 씬에 촬영 대상물을 배치하고, 이 촬영 대상물을 고정한 상태에서, 시간 간격을 두고 촬영한 복수의 프레임 화상을 입력 화상으로 할 수 있다. 촬영 대상물은, 인간이나 동물, 건축물, 탈 것 등의 물체로 할 수 있다.

화상 처리용 데이터 생성 장치(1)는, 화상 처리용 데이터 생성부(10)와, 기억부(20)를 구비하여 구성된다.

화상 처리용 데이터 생성부(10)는, CPU(Central Processing Unit)나 DSP(Digital Signal Processor) 등의 마이크로 프로세서나, ASIC(Application Specific Integrated Circuit) 등의 집적 회로를 가져서 구성되는 처리 장치이다.

화상 처리용 데이터 생성부(10)는, 주요한 기능부로서, 차분값 산출부(11)와,최소 차분 입력 화상 판정부(17)와, 최소 차분 맵 데이터 생성부(19)를 가진다. 이들 기능부의 기능에 대해서는 후술한다.

기억부(20)는, ROM(Read Only Memory)이나 플래쉬 메모리, RAM(Random Access Memory) 등의 비휘발성이나 휘발성의 메모리나, 외부 기억 장치인 하드 디스크 등을 가져서 구성되는 기억 장치이다.

기억부(20)에는, 화상 처리용 데이터 생성부(10)에 의해 독출(讀出)되고, 최소 차분 맵 데이터 생성 처리(도 5 참조)로서 실행되는 최소 차분 맵 데이터 생성 프로그램(21)이 기억되어 있다. 또한, 기억부(20)에는, 입력 화상 데이터(23)와, 참조 화상 데이터(25)와, 최소 차분 맵 데이터(27)가 기억된다.

입력 화상 데이터(23)는, 화상 처리용 데이터 생성 장치(1)에 입력되는 복수의 입력 화상의 디지털화된 데이터이며, 그 데이터 구성의 일례를 도 2에 나타낸다.

입력 화상 데이터(23)에는, 각 입력 화상을 유니크하게 식별하기 위한 식별 정보인 화상 번호(231)와, 입력 화상의 각 화소의 화소값으로 구성되는 화소값 데이터(233)가 대응되어서 입력 화상마다 기억된다. 본 실시 형태에서는, 입력 화상을 식별하기 위한 식별 정보를 화상 번호(인덱스)로 하여 설명한다.

참조 화상 데이터(25)는, 화상 처리용 데이터 생성부(10)가, 복수의 입력 화상을 이용하여 최소 차분 맵 데이터(27)를 생성할 때에 참조하는 화상인 참조 화상의 디지털화된 데이터이며, 참조 화상의 각 화소의 화소값으로 구성되는 화소값 데이터가 기억되어 있다.

여기서, 참조 화상은, 입력 화상과 관련지어진 화상이면 좋고, 예를 들면, 입력 화상이 촬영된 촬영 씬과 동일한 촬영 씬에 촬영 대상물을 배치하고, 다른 불필요한 물체가 나타나지 않게 하여 촬영한 화상을 참조 화상으로 할 수 있다. 참조 화상은, 도 1에 점선으로 나타내는 바와 같이, 입력 화상과 동시에 화상 처리용 데이터 생성 장치(1)에 입력해도 좋고, 시간을 두고 입력 화상과는 별도로 입력해도 좋다. 또한, 동일하게 도 1에 점선으로 나타내는 바와 같이, 복수의 입력 화상 중에서 참조 화상으로 하는 입력 화상을 선택하는 것으로 해도 좋다.

최소 차분 맵 데이터(27)는, 화상 처리용 데이터 생성부(10)에 의해서 생성된 최소 차분 맵의 데이터이며, 그 데이터 구성의 일례를 도 3에 나타낸다.

최소 차분 맵 데이터(27)에는, 입력 화상을 구성하는 화소(271)와, 해당 화소(271)에 대응하는 최소 차분값(273)과, 해당 최소 차분값(273)에 대응하는 화상 번호(275)가 대응되어서 기억된다.

[1-2. 원리]

도 4는, 최소 차분 맵 데이터 생성의 순서를 설명하기 위한 원리도이다. 이 원리도에서는, 화상이나 데이터를 실선으로 나타내고, 처리를 행하는 기능 블록을 두꺼운 실선으로 나타내어서, 양자를 구별하고 있다. 다른 원리도에 있어서도 동일하다.

우선, 차분값 산출부(11)는, 복수의 입력 화상 각각에 대해서, 해당 입력 화상과 참조 화상과의 상대 관계를 나타내는 상대값으로서, 화소값의 차분값을 처리 화소 단위마다 산출한다. 본 실시 형태에서는, 처리 화소 단위를 1화소로 하고, 입력 화상을 구성하는 모든 화소에 대해서 차분값을 별도로 산출하는 것으로 하여 설명한다. 즉, 입력 화상과 참조 화상과의 차분값을 화소 단위로 산출하는 것으로 하여 설명한다.

다음에, 최소 차분 입력 화상 판정부(17)는, 복수의 입력 화상 각각에 대해서 화소마다 산출된 차분값이 최소가 되는 입력 화상(이하, 「최소 차분 입력 화상」으로 칭함.)을, 특정 조건을 만족하는 입력 화상으로서 판정한다. 본 실시 형태에서는, 특정 조건을, 차분값이 최소가 되는 것으로 하여 설명한다. 구체적으로는, 최소 차분 입력 화상 판정부(17)는, 각 화소 각각에 대해서, 복수의 입력 화상 각각에 대해서 산출된 차분값 중, 그 값이 최소가 되는 것을 특정하여 최소 차분값으로 판정하고, 이 최소 차분값이 산출된 입력 화상을 최소 차분 입력 화상으로 판정한다.

다음에, 최소 차분 맵 데이터 생성부(19)는, 최소 차분 입력 화상 판정부(17)에 의해서 판정된 최소 차분값(273)과 최소 차분 입력 화상의 화상 번호(275)를 화소(271)별로 대응시켜서 기억한 도 3의 최소 차분 맵 데이터(27)를 생성한다.

[1-3. 처리의 흐름]

도 5는, 화상 처리용 데이터 생성부(10)가, 기억부(20)에 기억되어 있는 최소 차분 맵 데이터 생성 프로그램(21)을 따라서 실행하는 최소 차분 맵 데이터 생성 처리의 흐름을 나타내는 순서도이다.

최초에, 화상 처리용 데이터 생성부(10)는, 입력 화상과 참조 화상과의 각 조합 각각에 대해서 루프 A의 처리를 행한다(스텝 A1 ~ A11).

루프 A의 처리에서는, 차분값 산출부(11)가, 해당 조합에 포함되는 입력 화상과 참조 화상과의 조합에 대해서, 각 해당 입력 화상의 화소값과 해당 참조 화상의 화소값과의 차분값을 화소 단위로 산출하는 차분값 산출 처리를 행한다(스텝 A5). 그리고, 화상 처리용 데이터 생성부(10)는, 다음의 입력 화상과 참조 화상과의 조합으로 처리를 이행한다. 이것을 모든 입력 화상과 참조 화상과의 조합에 대해서 행했다면, 화상 처리용 데이터 생성부(10)는, 루프 A의 처리를 종료한다(스텝 A11).

그 후, 화상 처리용 데이터 생성부(10)는, 각 화소 각각에 대해서 루프 C의 처리를 행한다(스텝 A13 ~ A21). 루프 C의 처리에서는, 최소 차분 입력 화상 판정부(17)가, 해당 화소의 최소 차분값을 판정한다(스텝 A15). 또한, 최소 차분 입력 화상 판정부(17)는, 최소 차분 입력 화상을 판정한다(스텝 A17).

다음에, 최소 차분 맵 데이터 생성부(19)는, 해당 화소(271)와, 스텝 A15에서 판정한 최소 차분값(273)과, 스텝 A17에서 판정한 최소 차분 입력 화상의 화상 번호(275)를 대응시켜서 기억부(20)의 최소 차분 맵 데이터(27)에 기억시킨다(스텝 A19).

모든 화소에 대해서 스텝 A15 ~ A19의 처리를 행하는 것으로, 최소 차분 맵 데이터(27)가 완성된다. 그리고, 화상 처리용 데이터 생성부(10)는, 루프 C의 처리를 종료하고(스텝 A21), 최소 차분 맵 데이터 생성 처리를 종료한다.

[1-4. 작용 효과]

화상 처리용 데이터 생성 장치(1)에 있어서, 차분값 산출부(11)는, 복수의 입력 화상 각각에 대해서, 해당 입력 화상과 소정의 참조 화상과의 상대 관계를 나타내는 상대값으로서 화소값의 차분값을 화소별로 산출한다. 그리고, 최소 차분 입력 화상 판정부(17)는, 차분값 산출부(11)에 의해서 산출된 차분값이 최소가 되는 입력 화상을, 특정 조건을 만족하는 입력 화상으로서 화소별로 판정한다. 그리고, 최소 차분 맵 데이터 생성부(19)는, 최소 차분값과 최소 차분 입력 화상의 화상 번호와 대응시켜서 기억한 최소 차분 맵 데이터(27)를 생성한다. 이와 같이 하여 생성한 최소 차분 맵 데이터(27)는, 각종 화상 처리에 이용할 수 있다.

[2. 제2 실시형태]

다음에, 화상 처리 장치(3)의 실시형태에 대해서 설명한다. 화상 처리 장치(3)는, 제1 실시형태에서 설명한 화상 처리용 데이터 생성 장치(1)를 구비한 장치이며, 촬영 대상물과 그 이외의 불필요한 물체가 혼재한 상황 아래에서의 화상(프레임 화상)을 복수 장 촬영한 촬영 화상을 입력 화상으로서 입력하고, 이들 복수의 입력 화상을 이용하여, 불필요한 물체를 제거한 화상을 생성하여 출력하는 장치이다. 이 화상 처리 장치(3)는, 스마트폰이나 타블렛 단말, 디지탈 카메라, PDA, PC 등의 촬영 기능을 가지는 각종 전자 기기에 적용하는 것이 가능하다.

[2-1. 기능 구성]

도 6은, 화상 처리 장치(3)의 기능 구성의 일례를 나타내는 블럭도이다.

화상 처리 장치(3)는, 처리부(100)와, 조작부(200)와, 표시부(300)와, 통신부(400)와, 촬상부(500)와, 시계부(600)와, 기억부(800)를 구비한다.

처리부(100)는, 기억부(800)에 기억되어 있는 시스템 프로그램 등의 각종 프로그램을 따라서 화상 처리 장치(3)의 각 부를 통괄적으로 제어하거나, 화상 처리와 관련되는 각종 처리를 행하는 처리 장치이며, CPU나 DSP 등의 프로세서나 ASIC 등의 집적 회로를 가져서 구성된다.

처리부(100)는, 주요한 기능부로서, 화상 처리용 데이터 생성부(110)와, 기준 화상 설정부(120)와, 해석용 화상 생성부(130)와, 전경 후보 영역 검출부(140)와, 전경 후보 영역 신뢰도 판정부(150)와, 화상 수정부(160)와, 표시 제어부(170)를 가진다. 이들 기능부의 기능에 대해서는 후술한다.

또한, 화상 처리용 데이터 생성부(110)는, 주요한 기능부로서, 차분값 산출부(111)와, 합성 비율 설정부(112)와, 배경 화상 생성부(113)와, 배경 차분값 산출부(114)와, 비기준 최소 차분 입력 화상 판정부(117)와, 비기준 최소 차분 맵 데이터 생성부(119)를 가진다. 이들 기능부의 기능에 대해서는 후술한다.

조작부(200)는, 조작 버튼이나 조작 스위치, 마우스 등의, 사용자가 화상 처리 장치(3)에 대한 각종 조작 입력을 행하기 위한 입력 장치를 가져서 구성된다. 또한, 조작부(200)는, 표시부(300)와 일체적으로 구성된 터치 패널(250)을 가지고, 이 터치 패널(250)은 사용자와 화상 처리 장치(3) 사이의 입력 인터페이스로서 기능한다. 조작부(200)에서는, 사용자 조작에 따른 조작 신호가 처리부(100)에 출력된다.

표시부(300)는, LCD(Liquid Crystal Display) 등을 가져서 구성되는 표시 장치이며, 처리부(100)로부터 출력되는 표시 신호에 기초한 각종 표시를 행한다. 표시부(300)는, 터치 패널(250)과 일체적으로 구성되어서 터치 스크린을 형성하고 있다. 표시부(300)에는, 촬영 화상이나 수정 화상 등의 각종 화상이 표시된다.

통신부(400)는, 장치 내부에서 이용되는 정보를 외부의 정보 처리 장치와의 사이에서 송수신하기 위한 통신 장치이다. 통신부(400)의 통신 방식으로서는, 소정의 통신 규격에 준거한 케이블을 통하여 유선 접속하는 형식이나, 크래들(cradle)로 불리는 충전기와 겸용의 중간 장치를 통하여 접속하는 형식, 근거리 무선 통신을 이용하여 무선 접속하는 형식 등, 여러 가지 방식을 적용할 수 있다.

촬상부(500)는, 임의의 씬의 화상을 촬영 가능하게 구성된 촬상 장치이며, CCD(Charge Coupled Device) 이미지 센서나 CMOS(Complementary MOS) 이미지 센서 등의 촬상 소자를 가져서 구성된다. 촬상부(500)는, 광신호를 전기 신호로 변환하고, 디지털화한 촬영 화상의 데이터를 처리부(100)에 출력한다.

시계부(600)는, 화상 처리 장치(3)의 내부 시계이며, 예를 들면 수정 진동자 및 발진 회로인 수정 발진기를 가져서 구성된다. 시계부(600)의 계시(計時) 시각은, 처리부(100)에 수시로 출력된다.

기억부(800)는, ROM이나 EEPROM, 플래쉬 메모리, RAM 등의 휘발성 또는 비휘발성의 메모리나, 하드 디스크 장치 등을 가져서 구성되는 기억 장치이다. 기억부(800)는, 처리부(100)가 화상 처리 장치(3)를 제어하기 위한 시스템 프로그램이나, 각종 화상 처리를 행하기 위한 프로그램이나 데이터를 기억한다.

본 실시 형태에 있어서, 기억부(800)에는, 처리부(100)에 의해 독출되고, 화상 처리(도 12 및 도 13 참조)로서 실행되는 화상 처리 프로그램(810)이 기억되어 있다. 화상 처리 프로그램(810)은, 최소 차분 맵 데이터 생성 처리(도 5 참조)로서 실행되는 최소 차분 맵 데이터 생성 프로그램(21)과, 배경 화상 생성 처리(도 14 참조)로서 실행되는 배경 화상 생성 프로그램(820)과, 전경 후보 영역 검출 처리(도 15 참조)로서 실행되는 전경 후보 영역 검출 프로그램(830)과, 전경 후보 영역 신뢰도 판정 처리(도 16 참조)로서 실행되는 전경 후보 영역 신뢰도 판정 프로그램(840)과, 화상 수정 처리(도 17 참조)로서 실행되는 화상 수정 프로그램(850)을 써브루틴으로서 포함한다. 이들 처리에 대해서는, 순서도를 이용하여 상세하게 후술한다.

또한, 기억부(800)에는, 복수의 화상 데이터(870)가 기억됨과 함께, 화상 출력용의 버퍼인 출력 버퍼(880)를 포함한다.

도 7은, 화상 데이터(870)의 데이터 구성의 일례를 나타내는 도이다.

화상 데이터(870)에는, 촬영 화상 데이터(871)와, 비기준 최소 차분 맵 데이터(873)와, 배경 화상 데이터(875)와, 전경 후보 영역 데이터(877)와, 수정 화상 데이터(879)가 기억된다.

촬영 화상 데이터(871)는, 촬상부(500)에 의해서 촬영된 촬영 화상의 디지털화된 데이터이며, 촬영 일시(871a)와, 각 촬영 화상(입력 화상)을 유니크하게 식별하기 위한 화상 번호(871b)와, 해당 촬영 화상의 각 화소의 화소값으로 구성되는 화소값 데이터(871c)가 대응되어서 복수 기억된다.

촬영 일시(871a)는, 시계부(600)의 계시 시각에 기초하여 처리부(100)에 의해 촬영 화상 데이터(871)에 기억된다. 또한, 처리부(100)는, 소정의 룰을 따라서 화상 번호(871b)를 설정하고, 촬영 화상 데이터(871)에 대응시켜서 기억한다. 예를 들면, 촬상부(500)가 촬영을 행한 순서대로, 각각의 촬영 화상의 촬영 일시(871a)에 기초하여, 예를 들면 촬영 시각이 빠른 촬영 화상부터 순서대로 1부터 차례로 화상 번호(871b)를 할당한다. 또한, 촬영 시각이 늦은 촬영 화상부터 순서대로 1부터 차례로 화상 번호(871b)를 할당하는 것으로 해도 좋다. 또한, 촬영시에 화상명이 자동적으로 첨부되는 경우(자동적으로 화상 파일명이 첨부되는 경우)에는, 촬영 화상의 화상명(Image1, Image2, Image3, …)의 순서대로 화상 번호(871b)를 할당하는 것으로 해도 좋다.

비기준 최소 차분 맵 데이터(873)는, 비기준 최소 차분 맵 데이터 생성부(119)에 의해서 생성되는 화상 처리용 데이터이다. 이 비기준 최소 차분 맵 데이터(873)에 대해서는 상세하게 후술한다.

배경 화상 데이터(875)는, 배경 화상의 화소값이 화소마다 기억된 데이터이다. 본 실시 형태에 있어서, 배경 화상이란, 이상적으로는, 촬영 대상물이 전경으로서 나타나고 있지만, 다른 불필요한 물체가 전경으로서 나타나지 않은 화상을 말한다. 불필요한 물체는 촬영 씬에 여러 가지 존재할 수 있기 때문에, 불필요한 물체의 전부를 없애는 것은 곤란하다. 여기서, 본 실시 형태에서는, 촬영 대상물 이외의 동체(動體)가 존재하는 영역을 전경 후보 영역으로서 검출하고, 이 전경 후보 영역에 대응하는 화상 영역을 수정하는 것으로, 촬영 대상물 이외의 동체가 제거된 화상을 생성한다. 배경 화상은, 예를 들면, 촬영 대상물을 촬영 씬에 배치하고, 다른 동체가 나타나지 않게 촬영하는 것에 의해서도 취득 가능하지만, 본 실시 형태에서는, 촬상부(500)로부터 입력된 복수의 촬영 화상을 이용하여 배경 화상을 자동 생성하는 것으로 하여 설명한다.

전경 후보 영역 데이터(877)는, 전경 후보 영역에 관한 데이터이며, 그 데이터 구성의 일례를 도 8에 나타낸다. 본 실시 형태에서는, 화상 중의 촬영 대상물 이외의 동체가 차지하는 영역을 전경 후보 영역으로 정의한다.

전경 후보 영역 데이터(877)에는, 검출된 전경 후보 영역을 유니크하게 식별하기 위한 식별 정보인 라벨(877a)과, 해당 전경 후보 영역을 구성하는 화소의 집합인 구성 화소(877b)와, 해당 전경 후보 영역의 전경 후보로서의 신뢰도(877c)와, 해당 전경 후보 영역을 수정 대상으로 할지 말지를 나타내는 수정 플래그(877d)가 대응되어서 기억된다. 수정 플래그(877d)는, 각 전경 후보 영역에 대한 화상 수정이 필요한지 여부를 기억한 화상 수정 필요 여부 데이터에 상당한다. 또한, 전경 후보 영역의 검출 방법이나 전경 후보 영역의 신뢰도의 판정 방법에 대해서는 상세하게 후술한다.

여기서, 상기의 전경 후보 영역 데이터(877)에 있어서, 검출된 전경 후보 영역의 윤곽선을 산출하는 윤곽선 산출 처리를 행하고, 이 윤곽선 산출 처리에서 산출된 윤곽선을, 대응하는 전경 후보 영역의 라벨(877a)과 대응시켜서 기억시키는 것으로 해도 좋다. 구체적으로는, 예를 들면, 전경 후보 영역 중 단부(端部)에 위치하는 화소를 판정하고, 윤곽선을 구성하는 화소로서 산출한다. 그리고, 이들 윤곽선을 구성하는 화소로 이루어지는 하나의 정리된 데이터를, 윤곽선 데이터로서 전경 후보 영역 데이터(877)에 기억시킨다.

또한, 전경 후보 영역의 윤곽선을 산출하여 전경 후보 영역 데이터(877)에 윤곽선 데이터를 기억시키는 타이밍은, 예를 들면, 전경 후보 영역을 검출한 타이밍으로 해도 좋고, 전경 후보 영역의 윤곽선을 표시부(300)에 표시시키는 타이밍으로 해도 좋다. 전경 후보 영역의 검출 후의 타이밍이면, 전경 후보 영역의 데이터에 기초하여, 임의의 타이밍에 윤곽선을 산출하는 것이 가능하다.

수정 화상 데이터(879)는, 화상 수정부(160)가 소정의 수정 대상 화상에 대한 화상 수정 처리를 행하는 것으로 얻어지는 수정 화상의 각 화소의 화소값으로 구성되는 데이터이다. 본 실시 형태에서는, 기준 화상 설정부(120)에 의해서 설정되는 기준 화상을 수정 대상 화상으로 하여 화상 수정 처리를 행하는 것으로 하여 설명한다.

출력 버퍼(880)는, 화상 수정부(160)가 화상 수정 처리를 행할 때에 이용하는 수정 대상 화상의 화소값을 일시적으로 격납하기 위한 버퍼이며, 이 출력 버퍼(880)에서 처리된 수정 화상이, 표시 제어부(170)에 의해서 표시부(300)에 표시 제어된다.

[2-2. 원리]

도 9는, 화상 처리 장치(3)에 있어서, 화상 처리용 데이터 생성부(110)가 비기준 최소 차분 맵 데이터(873)를 생성하는 순서를 설명하기 위한 원리도이다.

최초에, 배경 화상 생성부(113)는, 일련의 입력 화상을 화상마다 설정한 합성 비율(가중치)을 이용하여 가중 평균하는 것으로, 배경 화상을 생성한다. 각 입력 화상의 합성 비율은, 예를 들면, 입력 화상 사이의 유사도에 기초하여 설정할 수 있다. 구체적으로는, 일련의 입력 화상의 유사도를, 소정의 특징(예를 들면, 엣지)에 기초하여 판정하고, 유사도가 높은 입력 화상일수록 큰 합성 비율을 설정하여, 이 설정된 가중치를 이용하여 일련의 입력 화상을 가중 평균한다. 이와 같이 하는 것으로, 입력 화상 사이에서 공통되는 영역, 즉 배경 영역은 합성 비율이 높아지는 한편, 입력 화상 사이에서 다른 영역, 즉 전경 영역의 합성 비율은 낮게 할 수 있기 때문에, 결과적으로 배경 영역이 강조된 화상이 생성된다.

이와 같이 하여 생성된 배경 화상은, 원리적으로는, 촬영 대상물이 나타나고, 다른 불필요한 물체가 전경으로서 나타나지 않는 화상이다. 이 때문에, 하나의 형태로서, 이 배경 화상을 최종적인 출력 화상으로 하는 것도 생각된다.

그러나, 사용자에 의한 촬영이 장치를 고정한 상태 등의 안정된 상태에서의 촬영이 아니라, 촬영자가 손으로 든 상태에서 행해진 경우, 손떨림 등의 영향에 의해 촬영 화상이 보케되어 버리고, 생성되는 배경 화상에도 보케가 생기기 쉽다는 문제가 있다. 또한, 촬영 대상물 이외의 물체가 움직이면서 촬영 씬에 체재하고 있는 경우, 그 물체가 움직이고 있는 영역이 깔끔하게 보정되지 않고, 고스트가 발생해 버릴 우려가 있다. 이러한 영역은, 전경으로서의 신뢰도가 낮은 영역이다. 여기서, 본 실시 형태에서는, 배경 화상을 최종적인 출력 화상으로는 하지 않고, 화상 수정 처리에서 얻어진 수정 화상을 최종적인 출력 화상으로 한다.

그 후, 배경 차분값 산출부(114)가, 복수의 입력 화상 각각과, 배경 화상 생성부(113)에 의해서 생성된 배경 화상과의 상대 관계를 나타내는 상대값으로서, 해당 입력 화상과 배경 화상과의 차분값인 배경 차분값을 화소 단위로 산출한다.

그 후, 기준 화상 설정부(120)가, 복수의 촬영 화상 중에서 기준으로 하는 화상(기준 화상)을 설정한다. 기준 화상의 설정에서는, 예를 들면, 복수의 촬영 화상을 표시부(300)에 각각 표시시켜서 사용자에게 한 장의 촬영 화상을 선택시키고, 선택된 촬영 화상을 기준 화상으로 설정하면 좋다. 또한, 그 밖에도, 최초 또는 마지막에 입력된 촬영 화상을 기준 화상으로 하는 등과 같이, 소정의 룰을 따라서 기준 화상을 설정해도 좋다.

또한, 복수의 촬영 화상의 각각으로부터 특징량을 검출하는 특징량 검출 처리를 행하고, 검출된 특징량에 기초하여 기준 화상을 설정해도 좋다. 이 경우의 특징량으로서는, 예를 들면 화상의 엣지를 들 수 있다. 구체적으로는, 복수의 촬영 화상 각각에 대한 엣지 검출 처리를 행하고, 예를 들면 엣지가 가장 많이 포함되는 촬영 화상을 기준 화상으로서 설정하는 등으로 하면 좋다.

본 실시 형태에서는, 복수의 촬영 화상 중, 기준 화상 이외의 촬영 화상을 비기준 화상으로 칭한다. 또한, 비기준 화상에 대해서 배경 화상과의 차분값을 산출하는 것으로 얻어지는 화상을 비기준 배경 차분 화상으로 칭하고, 기준 화상과 배경 화상과의 차분값을 산출하는 것으로 얻어지는 화상을 기준 배경 차분 화상으로 칭한다.

도 10은, 배경 화상, 촬영 화상 및 배경 차분 화상의 일례를 나타내는 도이다.

도 10의 (1)은, 복수의 촬영 화상 중 한 장의 촬영 화상을 나타내는 도이다. 이 촬영 화상에는, 촬영 대상물인 중앙부의 여성 외에, 통행인의 남성이 나타나고 있다.

도 10의 (2)은, 복수의 촬영 화상을 이용하여 생성한 배경 화상의 일례를 나타내는 도이다. 이 배경 화상을 보면, 화상 중앙부에는 촬영 대상물인 여성이 나타나고 있지만, 도 10의 (1)의 촬영 화상에 나타나고 있던 통행인의 남성이 존재하고 있지 않는 것을 알 수 있다. 이것은, 상술한 배경 화상의 생성에 의해, 촬영 대상물의 여성이 배경으로서 추출된 것에 의한 것이다.

도 10의 (3)은, 상기의 촬영 화상과 배경 화상과의 배경 차분을 취하는 것으로 얻어지는 배경 차분 화상을 나타내는 도이다. 여기에서는, 배경 차분값이 커질수록 계조값이 높아지는 그레이 스케일의 화상으로 배경 차분 화상을 나타내고 있다. 이 배경 차분 화상을 보면, 전경(前景)이 되는 통행인의 남성의 화상 부분의 계조값이 높아져 있는(희어져 있는) 것으로부터, 배경 차분값이 커져 있는 것을 알 수 있다. 즉, 배경 화상과 촬영 화상과의 배경 차분을 취하는 것으로, 촬영 대상물 이외의 동체(動體)의 화상 부분이 전경으로서 부각되는 것을 알 수 있다.

도 9로 돌아와서, 비기준 최소 차분 입력 화상 판정부(117)는, 비기준 배경 차분 화상의 화소값에 기초하여, 비기준 최소 차분값과, 비기준 최소 차분값에 대응하는 입력 화상(이하, 「비기준 최소 차분 입력 화상」으로 칭함.)을 화소마다 판정한다. 그리고, 비기준 최소 차분 맵 데이터 생성부(119)는, 비기준 최소 차분 입력 화상 판정부(117)의 판정 결과에 기초하여, 화소와 해당 화소의 비기준 최소 차분값과 해당 화소의 비기준 최소 차분 입력 화상을 대응시켜서 기억한 비기준 최소 차분 맵 데이터(873)를 생성한다.

도 11은, 전경 후보 영역 검출의 원리 및 전경 후보 영역 신뢰도 판정의 순서를 설명하기 위한 원리도이다.

전경 후보 영역 검출부(140)는, 비기준 최소 차분 맵 데이터(873)로부터 얻어지는 비기준 최소 차분값과, 기준 차분 화상에 대응하는 기준 차분값을 화소마다 비교하는 것으로 전경 후보 영역을 검출한다.

구체적으로는, 각 화소 각각에 대해서, 해당 화소의 기준 차분값과 비기준 최소 차분값과의 차의 절대값을 산출하고, 이 차의 절대값에 대한 임계값 판정을 행한다. 차의 절대값이 임계값보다 큰 경우는, 그 화소를 전경 후보 영역을 구성하는 화소(이하, 「전경 후보 영역 구성 화소」로 칭함.)로 판정한다. 그리고, 전경 후보 영역 구성 화소로 구성되는 1군의 영역을 전경 후보 영역으로 판정하고, 각각의 전경 후보 영역에 라벨을 할당한다. 여기서, 1군의 영역이란, 1화소 이상의 인접하는 전경 후보 영역 구성 화소로 구성되는 영역을 의미한다.

기준 차분 화상은, 기준 화상과 배경 화상과의 차분을 산출하는 것으로 얻어지는 화상이다. 여기서, 배경 화상은, 촬영 대상물이 배경으로서 검출된 화상인 것으로부터, 원리적으로는, 그 이외의 불필요한 동체를 포함하지 않는 화상으로 되어 있을 것이다. 한편, 기준 화상에는 촬영 대상물 이외의 동체가 포함될 수 있기 때문에, 기준 차분값은, 촬영 대상물 이외의 동체의 존재를 반영한 값으로서 산출된다. 따라서, 기준 화상에 촬영 대상물 이외의 동체가 존재하는 경우는, 그 동체가 존재하는 영역의 배경 차분값이 커진다.

한편, 비기준 최소 차분값은, 비기준 화상과 배경 화상과의 차분값 중 최소 차분값인데, 어떤 비기준 화상에 촬영 대상물 이외의 동체가 나타나고 있다고 해도, 그 동체가 동일한 위치에 계속 머물지 않는 이상, 그 동체는 다른 비기준 화상에서는 다른 위치에 나타나고 있거나, 프레임에서 떨어져 있을 것이다. 따라서, 촬영 대상물 이외의 동체가 나타나지 않은 비기준 화상의 차분값이 비기준 최소 차분값으로 판정될 가능성이 높다.

다음에, 전경 후보 영역 신뢰도 판정부(150)가, 전경 후보 영역 검출부(140)에 의해서 검출된 전경 후보 영역의 전경으로서의 신뢰도를 판정한다. 구체적으로는, 전경 후보 영역의 신뢰도 지표값으로서, 예를 들면, 해당 전경 후보 영역의 면적을 산출하고, 이 면적에 대한 임계값 판정을 행한다. 구체적으로는, 산출한 면적이 제1 임계값보다 큰지 아닌지를 판정한다. 면적이 제1 임계값보다 큰 경우는, 해당 전경 후보 영역의 신뢰도가 높다고 판정한다. 면적이 작은 전경 후보 영역은, 기준 차분값과 비기준 최소 차분값과의 차이가 노이즈 등에 기인하여 우발적으로 커진 화소로 구성되는 영역일 가능성이 높은 것으로부터, 이러한 전경 후보 영역은 신용하지 않도록 한다.

또한, 다른 신뢰도 지표값으로서, 예를 들면, 해당 전경 후보 영역에 포함되는 화소의 비기준 최소 차분값에 대한 임계값 판정을 행하여, 전경 후보 영역의 신뢰도를 판정하도록 해도 좋다. 구체적으로는, 예를 들면, 해당 전경 후보 영역의 비기준 최소 차분값이 제2 임계값보다 작은지 아닌지를 판정하고, 제2 임계값보다 작은 경우는, 해당 전경 후보 영역의 신뢰도가 높다고 판정한다. 항상 물체가 움직이고 있는 영역에서는, 비기준 최소 차분값이 커지는 경향이 있다. 이러한 영역에 대해서 화상 수정을 행해 버리면, 과제란에서 기술한 바와 같은 고스트가 발생해 버릴 우려가 있다. 여기서, 비기준 최소 차분값에 기초하여 전경 후보 영역의 전경으로서의 신뢰도를 판정한다.

또한, 구체적인 실시예로서 순서도에서 후술하는 바와 같이, 비기준 최소 차분값에 대한 단계적인 임계값을 설정해 두고, 이들 임계값을 이용한 단계적인 임계값 처리를 행하여, 전경 후보 영역의 신뢰도를 보다 세세하게 판정하도록 해도 좋다.

또한, 상기와 같이 자동적으로 검출된 전경 후보 영역을 사용자에 대해서 제시하는 것에 의해서, 사용자는 기준 화상 내의 어느 영역이 전경으로서 제거할 수 있는지를 알 수 있다. 그것에 의해, 사용자는, 필요에 대응하여 수정 대상의 지정을 행하는 것이 가능해진다.

[2-3. 처리의 흐름]

도 12 및 도 13은, 처리부(100)가, 기억부(800)에 기억되어 있는 화상 처리 프로그램(810)을 따라서 실행하는 화상 처리의 흐름을 나타내는 순서도이다.

최초에, 처리부(100)는, 사용자에 의해 조작부(200)를 통하여 선택된 모드를 판정한다(스텝 B1). 선택된 모드가 「촬영 모드」인 경우는(스텝 B1; 촬영 모드), 처리부(100)는, 사용자의 셔터 조작에 따라서, 동일한 씬에 대해서 복수 장의 화상의 촬영을 촬상부(500)에 행하게 하도록 제어한다(스텝 B3).

그 후, 해석용 화상 생성부(130)가, 해석용 화상 생성 처리를 행한다(스텝 B5). 그리고, 기준 화상 설정부(120)가, 기준 화상 설정 처리를 행한다(스텝 B7). 이 경우에 있어서의 기준 화상의 설정 방법은, 상술한 바와 같다.

또한, 사용자에 의한 촬영이 화상 처리 장치(3)를 고정한 상태 등의 안정된 상태에서의 촬영이 아니라, 촬영자가 손으로 든 상태에서 행해진 경우, 촬영 화상 사이에서 위치 어긋남이 발생할 가능성이 높다. 여기서, 촬영 화상 사이에 손떨림 등에 기인하는 어긋남이 존재하는 것을 고려하여, 기준 화상에 대해서 비기준 화상의 위치 맞춤 처리를 행해도 좋다. 위치 맞춤 처리에는 여러 가지의 수법을 적용 가능하지만, 예를 들면 옵티컬 플로우를 이용한 공지의 위치 맞춤 수법을 적용할 수 있다. 이 수법에는, 블록 매칭법이나 구배법 등의 종래 공지의 수법이 포함된다.

또한, 해석용 화상으로서, 기준 화상 및 비기준 화상의 각각을 소정의 축소 방법을 이용하여 축소하는 축소 처리를 행해도 좋다. 입력 화상을 축소하여 해석용 화상을 생성하는 것은, 촬영 화상은 화상 사이즈가 크기 때문에, 원래의 화상 사이즈로 처리를 행하면 처리 부하가 증대되기 때문이다. 상기의 위치 맞춤 처리 및 축소 처리를 행하는 것으로 얻어진 촬영 화상을 해석용 화상으로 한다. 촬영 화상의 축소는, 다운 샘플링 등의 공지의 수법에 따라서 실현될 수 있다.

다음에, 배경 화상 생성부(113)가, 기억부(800)에 기억되어 있는 배경 화상 생성 프로그램(820)에 따라서 배경 화상 생성 처리를 행한다(스텝 B9).

도 14는, 배경 화상 생성 처리의 흐름을 나타내는 순서도이다.

배경 화상 생성부(113)는, 해석용 화상이 다른 두 장의 조합 각각에 대해서 루프 D의 처리를 행한다(스텝 C1 ~ C11).

루프 D의 처리에서는, 차분값 산출부(111)가, 해당 조합의 해석용 화상에 포함되는 각 화소 각각에 대해서 차분값을 산출하는 차분값 산출 처리를 행한다(C5). 그리고, 합성 비율 설정부(112)가, 해당 조합에 포함되는 해석용 화상의 합성 비율을 설정하는 합성 비율 설정 처리를 행한다(스텝 C7). 모든 해석용 화상의 조합에 대해서 상기의 처리를 행했다면, 배경 화상 생성부(113)는, 루프 D의 처리를 종료한다(스텝 C11).

그 후, 배경 화상 생성부(113)가, 화소마다 설정된 합성 비율을 이용하여 해석용 화상을 합성하여 배경 화상을 생성한다(스텝 C13). 그리고, 배경 화상 생성부(113)는, 배경 화상 생성 처리를 종료한다.

화상 처리로 돌아와서, 배경 화상 생성 처리를 행했다면, 화상 처리용 데이터 생성부(110)는, 해석용 화상을 입력 화상으로 하고, 배경 화상을 참조 화상으로 하여(스텝 B11), 기억부(800)에 기억되어 있는 최소 차분 맵 데이터 생성 프로그램(21)에 따라서 최소 차분 맵 데이터 생성 처리를 행한다(스텝 B15). 이 최소 차분 맵 데이터 생성 처리에서는, 도 5와 동일한 처리를 행하여, 비기준 최소 차분 맵 데이터(873)를 생성한다. 또한, 상술한 바와 같이, 해석용 화상은 축소된 화상이기 때문에, 최소 차분 맵 데이터(873)는, 해석용 화상과 동일한 크기의 축소된 맵 데이터가 된다.

그 후, 전경 후보 영역 검출부(140)가, 기억부(800)에 기억되어 있는 전경 후보 영역 검출 프로그램(830)을 따라서 전경 후보 영역 검출 처리를 행한다(스텝 B17).

도 15는, 전경 후보 영역 검출 처리의 흐름을 나타내는 순서도이다.

전경 후보 영역 검출부(140)는, 각 화소 각각에 대해서 루프 F의 처리를 행한다(스텝 D1 ~ D9). 루프 F의 처리에서는, 전경 후보 영역 검출부(140)는, 해당 화소에 대해서, 기준 차분값과 비기준 최소 차분 맵 데이터(873)에 기억되어 있는 비기준 최소 차분값과의 차분을 산출한다(스텝 D3).

다음에, 전경 후보 영역 검출부(140)는, 스텝 D3에서 산출한 차분이 소정의 임계값보다 큰지 아닌지를 판정하고(스텝 D5), 크다고 판정했다면(스텝 D5; Yes), 해당 화소의 전경 후보 플래그를 「ON」으로 설정한다(스텝 D7). 그리고, 전경 후보 영역 검출부(140)는, 다음의 화소로 처리를 이동한다. 모든 화소에 대해서 상기의 처리를 행했다면, 전경 후보 영역 검출부(140)는, 루프 F의 처리를 종료한다(스텝 D9).

또한, 스텝 D3에 있어서, 기준 차분값과 비기준 최소 차분값과의 차분이 아니라, 기준 차분값과 비기준 최소 차분값과의 비를 산출하는 것으로 하고, 스텝 D5 에 있어서, 기준 차분값과 비기준 최소 차분값과의 비에 대한 임계값 판정을 행하는 것으로 해도 좋다.

그 후, 전경 후보 영역 검출부(140)는, 각 화소의 전경 후보 플래그에 기초하여 전경 후보 영역을 검출한다. 구체적으로는, 전경 후보 플래그가 「ON」으로 설정되어 있는 화소로 구성되는 1군의 영역을 전경 후보 영역으로서 검출한다. 그리고, 전경 후보 영역 검출부(140)는, 검출된 전경 후보 영역에 라벨(877a)을 할당하여 전경 후보 영역 데이터(877)에 기억시키고, 각 전경 후보 영역을 구성하는 화소를 구성 화소(877b)로서 라벨(877a)에 대응시켜서 기억시킨 후(스텝 D15), 전경 후보 영역 검출 처리를 종료한다.

또한, 비기준 최소 차분 맵 데이터(873)는 해석용 화상과 동일한 사이즈의 축소된 맵 데이터이기 때문에, 전경 후보 영역 데이터(877)는, 축소 후의 화상으로부터 전경 후보 영역을 검출한 데이터가 된다.

화상 처리로 돌아와서, 전경 후보 영역 검출 처리를 행한 후, 전경 후보 영역 신뢰도 판정부(150)가, 기억부(800)에 기억되어 있는 전경 후보 영역 신뢰도 판정 프로그램(840)을 따라서, 전경 후보 영역 신뢰도 판정 처리를 행한다(스텝 B19).

도 16은, 전경 후보 영역 신뢰도 판정 처리의 흐름을 나타내는 순서도이다.

전경 후보 영역 신뢰도 판정부(150)는, 전경 후보 영역 데이터(877)에 라벨(877a)이 할당되어 있는 각 전경 후보 영역 각각에 대해서 루프 G의 처리를 행한다(스텝 E1 ~ E21). 루프 G의 처리에서는, 전경 후보 영역 신뢰도 판정부(150)는, 해당 전경 후보 영역의 면적을 산출한다(스텝 E3).

다음에, 전경 후보 영역 신뢰도 판정부(150)는, 스텝 E3에서 산출한 면적이 제1 임계값을 상회하고 있는지 아닌지를 판정한다(스텝 E7). 그리고, 이 조건을 만족한다고 판정했다면(스텝 E7; Yes), 전경 후보 영역 신뢰도 판정부(150)는, 해당 전경 후보 영역 내의 비기준 최소 차분값이, 제2 임계값을 하회하고 있는지 아닌지를 판정한다(스텝 E9).

스텝 E9에서 조건이 성립했다면(스텝 E9; Yes), 전경 후보 영역 신뢰도 판정부(150)는, 해당 전경 후보 영역의 신뢰도를 「높음」(교체 OK)으로 판정하고, 전경 후보 영역 데이터(877)의 신뢰도(877c)에 기억시킨다(스텝 E11).

스텝 E9에서 조건이 성립하지 않았다면(스텝 E9; No), 전경 후보 영역 신뢰도 판정부(150)는, 해당 전경 후보 영역 내의 비기준 최소 차분값이 제2 임계값보다 큰 제3 임계값을 하회하고 있는지 아닌지를 판정하고(스텝 E13), 이 조건을 만족한다고 판정했다면(스텝 E13; Yes), 해당 전경 후보 영역의 신뢰도를 「중간」(교체 주의)으로 판정하고, 전경 후보 영역 데이터(877)의 신뢰도(877c)에 기억시킨다(스텝 E15).

스텝 E13에서 조건이 성립하지 않았다면(스텝 E13; No), 전경 후보 영역 신뢰도 판정부(150)는, 해당 전경 후보 영역의 신뢰도를 「낮음」(교체 불가)으로 판정하고, 전경 후보 영역 데이터(877)의 신뢰도(877c)에 기억시킨다(스텝 E17). 그리고, 전경 후보 영역 신뢰도 판정부(150)는, 다음의 전경 후보 영역으로 처리를 이동한다.

스텝 E7에서 조건이 성립하지 않았다면(스텝 E7; No), 전경 후보 영역 신뢰도 판정부(150)는, 해당 전경 후보 영역을 처리 대상으로부터 제외하고, 해당 전경 후보 영역을 전경 후보 영역 데이터(877)로부터 삭제한다(스텝 E19). 그리고, 전경 후보 영역 신뢰도 판정부(150)는, 다음의 전경 후보 영역으로 처리를 이동한다.

스텝 E11 또는 E15의 후에, 전경 후보 영역 신뢰도 판정부(150)는, 해당 전경 후보 영역을 교체 후보의 영역(이하, 「교체 후보 영역」으로 칭함.)으로 판정한다. 즉, 신뢰도가 「높음」(교체 가능) 또는 「중간」(교체 주의)의 전경 후보 영역을 교체 후보 영역으로 판정한다. 그리고, 전경 후보 영역 신뢰도 판정부(150)는, 다음의 전경 후보 영역으로 처리를 이동한다.

교체 후보 영역은, 해당 영역에 포함되는 화소값을 다른 촬영 화상의 화소값과 교체하는 후보로 하는 영역이다. 교체 가능 영역으로 바꿔 말할 수도 있다. 또한, 해당 영역에 포함되는 화소값을 다른 촬영 화상의 화소값으로 치환한다고 하는 의미에서, 치환 후보 영역이나 치환 가능 영역으로 바꿔 말할 수도 있다.

본 실시 형태에서는, 신뢰도가 「높음」 또는 「중간」으로 판정된 전경 후보 영역을 교체 후보 영역으로 하는 것으로 하여 설명하지만, 이에 한정하지 않고, 예를 들면, 신뢰도가 「낮음」으로 판정된 전경 후보 영역도 교체 후보 영역에 포함하는 것으로 해도 좋다. 이 경우는, 신뢰도 「낮음」의 전경 후보 영역은, 교체 후보로는 되지만, 교체가 위험한 영역(교체 위험), 다시 말하자면 교체의 리스크가 높은 영역으로서 취급하면 좋다.

모든 전경 후보 영역에 대하여 스텝 E3 ~ E19의 처리를 행했다면, 전경 후보 영역 신뢰도 판정부(150)는, 루프 G의 처리를 종료하고(스텝 E21), 전경 후보 영역 신뢰도 판정 처리를 종료한다.

화상 처리로 돌아와서, 전경 후보 영역 신뢰도 판정 처리를 행한 후, 표시 제어부(170)는, 원래의 크기의 기준 화상 상에 교체 후보 영역의 신뢰도에 대응한 마스크를 중첩시켜서 표시부(300)에 오버레이 표시한다(스텝 B23).

구체적으로는, 전경 후보 영역 데이터(877)에 기억되어 있는 전경 후보 영역 중, 신뢰도가 「높음」 또는 「중간」의 전경 후보 영역을 교체 후보 영역으로 하고, 해석용 화상을 생성했을 때의 촬영 화상의 축소율에 기초하여 원래의 사이즈로 확대한 교체 후보 영역을, 기준 화상 상의 대응하는 위치에 표시시킨다. 이 때, 신뢰도에 대응하여 다른 색을 부여한 교체 후보 영역을 기준 화상 상에 오버레이 표시한다. 예를 들면, 신뢰도가 「높음」의 교체 후보 영역은 교체 OK이므로 「녹색」, 신뢰도가 「중간」의 교체 후보 영역은 교체 주의이므로 「황색」으로 표시하는 등으로 할 수 있다. 이러한 표시를 행하는 것으로, 직감적으로 알기 쉬운 신뢰도의 표시를 실현할 수 있다.

또한, 상술한 바와 같이, 신뢰도가 「낮음」의 전경 후보 영역을 교체 후보 영역에 포함하게 하는 것도 가능하다. 이 경우는, 신뢰도가 「낮음」의 교체 후보 영역은 교체 위험이므로 「적색」으로 표시하는 등으로 하면 좋다.

또한, 신뢰도에 대응하여 색분류한 교체 후보 영역을 기준 화상에 중첩 표시하는 것 외에, 예를 들면, 신뢰도에 대응하여 색분류한 교체 후보 영역의 윤곽을 기준 화상에 중첩 표시하는 등으로 해도 좋다. 예를 들면, 신뢰도가 「높음」의 교체 후보 영역은 녹색의 윤곽선, 신뢰도가 「중간」의 교체 후보 영역은 황색 윤곽선, 신뢰도가 「낮음」의 교체 후보 영역은 적색의 윤곽선으로 교체 후보 영역의 윤곽을 각각 표시하는 등으로 해도 좋다.

다음에, 처리부(100)는, 사용자 조작에 따라서 기준 화상을 변경할지 말지를 판정하고(스텝 B25), 변경한다고 판정했다면(스텝 B25; Yes), B7로 처리를 되돌린다. 한편, 변경하지 않는다고 판정했다면(스텝 B25; No), 처리부(100)는, 터치 패널(250)을 통한 사용자의 탭 조작을 검지했는지 아닌지를 판정하고(스텝 B29), 검지하지 않은 경우는(스텝 B29; No), 스텝 B41로 처리를 이동한다.

한편, 탭 조작을 검지했다면(스텝 B29; Yes), 처리부(100)는, 그 탭 위치가 어느 하나의 교체 후보 영역에 포함되는지 아닌지를 판정한다(스텝 B31). 그리고, 포함된다고 판정했다면(스텝 B31; Yes), 처리부(100)는, 전경 후보 영역 데이터(877)의 해당 교체 후보 영역의 수정 플래그(877d)를 「ON」으로 설정한다(스텝 B33).

그 후, 처리부(100)는, 조작부(200)를 통하여 사용자에 의해 수정 실행 조작이 이루어졌는지 아닌지를 판정하고(스텝 B35), 이루어지지 않았다고 판정했다면(스텝 B35; No), 스텝 B41로 처리를 이동한다.

한편, 수정 실행 조작이 이루어졌다고 판정했다면(스텝 B35; Yes), 화상 수정부(160)가, 기억부(800)에 기억되어 있는 화상 수정 프로그램(850)을 따라서 화상 수정 처리를 행한다(스텝 B37).

도 17은, 화상 수정 처리의 흐름을 나타내는 순서도이다.

최초에, 화상 수정부(160)는, 기준 화상을 출력 버퍼(880)에 복사한다(스텝 F1). 그리고, 화상 수정부(160)는, 비기준 화상에 대해서 차례로 움직임 보정(움직임 보상)을 행한다(스텝 F3). 이 경우에 있어서의 움직임 보정은, 예를 들면, 현재의 비기준 화상과 그 전의 비기준 화상과의 사이의 움직임(부분적인 화상의 움직임이나 팬·틸트(PAN/TILT))을 검출하고, 전의 비기준 화상에 대해서, 검출된 움직임량 분의 보정을 행하는 것으로 실현될 수 있다. 움직임량은, 화상 중의 움직임 벡터를 산출하는 등으로 하는 것으로 검출이 가능하다.

그 후, 화상 수정부(160)는, 전경 후보 영역 데이터(877)를 참조하고, 수정 플래그(877d)가 「ON」으로 설정되어 있는 교체 후보 영역을 수정 대상 후보 영역으로 한다(스텝 F5). 그리고, 화상 수정부(160)는, 각 수정 대상 후보 영역 각각에 대해서 루프 H의 처리를 행한다(스텝 F7 ~ F21).

루프 H의 처리에서는, 화상 수정부(160)는, 해당 수정 대상 후보 영역에 포함되는 각 화소 각각에 대해서 루프 J의 처리를 행한다(스텝 F9 ~ F19). 루프 J의 처리에서는, 각 비기준 화상 각각에 대해서 루프 K의 처리를 행한다(스텝 F11 ~ F17).

루프 K의 처리에서는, 화상 수정부(160)는, 해당 비기준 화상의 화상 번호와, 비기준 최소 차분 맵 데이터(873)에 기억되어 있는 비기준 최소 차분 화상의 화상 번호가 일치하는지 아닌지를 판정한다(스텝 F13). 일치하지 않는다고 판정했다면(스텝 F13; No), 스텝 F15의 처리를 스킵한다.

한편, 화상 번호가 일치한다고 판정했다면(스텝 F13; Yes), 화상 수정부(160)는, 해당 화소에 대해서, 해당 비기준 화상의 화소값을 이용하여 기준 화상의 화소값을 수정하는 화소값 수정 처리를 실행한다(스텝 F15). 여기서, 화소값의 수정은, 비기준 화상의 화소값에 의한 치환(교체)에 의해서 행해도 좋고, 소정의 가중치를 이용한 기준 화상과 비기준 화상과의 가중 평균에 의해서 행해도 좋다. 또한, 이 가중치는 화상 전체에서 동일하지 않고, 기준 화상과 비기준 화상의 유사도(화소의 휘도나 명도의 차이) 등을 이용하여 화소마다 산출해도 좋다.

본 실시 형태에서는, 비기준 화상의 화소값을 이용하여 기준 화상의 화소값을 수정하는 것으로, 전경 후보 영역에 포함되는 움직이는 피사체를 소거할 수 있다. 이와 같이 하여 움직이는 피사체를 소거하는 화상 수정 처리를 「교체 처리」로 칭하고, 후술하는 「덮어쓰기 처리」와 구별한다.

모든 비기준 화상에 대해서 스텝 F13 및 F15의 처리를 행했다면, 화상 수정부(160)는, 루프 K의 처리를 종료한다(스텝 F17). 그리고, 모든 화소에 대해서 루프 K의 처리를 행했다면, 화상 수정부(160)는, 루프 J의 처리를 종료한다(스텝 F19). 그리고, 모든 수정 대상 후보 영역에 대해서 상기의 처리를 행했다면, 화상 수정부(160)는, 루프 H의 처리를 종료한다(스텝 F21).

다음에, 화상 수정부(160)는, 출력 버퍼(880)에 기억된 각 화소의 화소값으로 이루어진 데이터를 수정 화상 데이터(879)로서 기억부(800)에 기억시킨다(스텝 F23). 그리고, 화상 수정부(160)는, 화상 수정 처리를 종료한다.

화상 처리로 돌아와서, 화상 수정 처리를 행했다면, 표시 제어부(170)는, 출력 버퍼(880)에 격납되어 있는 화소값으로 이루어진 수정 화상을 표시부(300)에 표시 제어한다(스텝 B39).

다음에, 처리부(100)는, 조작부(200)를 통하여 사용자에 의해 수정 모드의 종료 조작이 이루어졌는지 아닌지를 판정한다(스텝 B41). 수정 모드의 종료 조작이 이루어지지 않았다고 판정했다면(스텝 B41; No), 처리부(100)는, 스텝 B25로 돌아온다. 또한, 수정 모드의 종료 조작이 이루어졌다고 판정했다면(스텝 B41; Yes), 처리부(100)는, 화상 처리를 종료한다.

한편, 스텝 B1에서 사용자에 의해 「화상 열람 모드」가 선택되었다고 판정했다면(스텝 B1; 화상 열람 모드), 표시 제어부(170)는, 기억부(800)에 보존되어 있는 화상의 화상 데이터(870)의 일람을 표시부(300)에 표시 제어한다. 그리고, 처리부(100)는, 조작부(200)로부터의 사용자 조작에 따라서, 일람 표시한 화상 데이터(870)중에서 하나의 화상 데이터(870)를 선택한다(스텝 B45).

그리고, 처리부(100)는, 화상 열람 모드를 종료한 후, 스텝 B5로 처리를 이동한다. 이후의 처리는 동일하고, 사용자에 의해 선택된 화상 데이터(870)에 대해서 기준 화상을 새로이 설정하여, 후단의 화상 처리를 실시한다.

[2-4. 전경 후보 영역의 표시 양태]

전경 후보 영역 검출부(140) 및 전경 후보 영역 신뢰도 판정부(150)에서 구해진 전경 후보 영역에 관한 정보는, 표시부(300)를 통해서 사용자에게 되돌려진다. 이 때, 전경 후보 영역에 관한 정보를 적절히 시각화하는 것에 의해, 사용자는 수정 대상으로 해야 할 후보 영역을 용이하게 파악하는 것이 가능해진다.

교체 후보 영역은, 해당 영역에 포함되는 화소값을 다른 촬영 화상의 화소값과 교체하는 후보로 하는 영역이다. 교체 가능 영역으로 바꿔 말할 수도 있다. 또한, 해당 영역에 포함되는 화소값을 다른 촬영 화상의 화소값으로 치환한다는 의미에서, 치환 후보 영역이나 치환가능 영역으로 바꿔 말할 수도 있다. 또한, 본 실시 형태에서는 신뢰도를 「높음」 「중간」 「낮음」의 3단계로 평가한 경우의 예를 나타낸다.

예를 들면, 전경 후보 영역 데이터(877)에 기억되어 있는 전경 후보 영역을 교체 후보 영역으로 하고, 해석용 화상을 생성했을 때의 촬영 화상의 축소율에 기초하여 원래의 사이즈로 확대한 교체 후보 영역을, 기준 화상 상의 대응하는 위치에 표시시킨다. 기준 화상 상에 오버레이 표시하는 것에 의해, 사용자는, 수정되는 기준 화상의 영역을 직감적으로 파악할 수 있다.

여기서, 상기의 전경 후보 영역 데이터(877)에 기억된 전경 후보 영역의 윤곽선을, 교체 후보 영역과 함께 표시해도 좋다. 윤곽선을 표시하는 것으로, 오버레이 표시하는 교체 후보 영역의 색이 기준 화상의 해당 영역의 색과 유사하다고 해도 시인성을 향상시킬 수 있다. 또한, 후술하는 바와 같이, 전경 후보 영역에 관한 부수 정보의 표시에 이용할 수도 있다.

교체 후보 영역을 기준 화상 상에 오버레이 표시할 때에, 신뢰도에 대응하여 영역에 다른 색을 부여해도 좋다. 예를 들면, 신뢰도가 「높음」의 교체 후보 영역은 교체 OK이므로 「녹색」, 신뢰도가 「중간」의 교체 후보 영역은 교체 주의이므로 「황색」으로 표시하는 등으로 할 수 있다. 또한, 신뢰도가 「낮음」의 교체 후보 영역은 교체 위험이므로 「적색」으로 표시하는 등으로 하면 좋다. 더 바람직하게는, 이 오버레이 표시는, 사용자가 교체 가능한 내용을 용이하게 인식할 수 있도록, 소정의 불투명도(예를 들면 50%)로 설정하면 좋다. 이러한 표시를 행하는 것으로, 직감적으로 알기 쉬운 신뢰도의 표시를 실현할 수 있다.

또한, 신뢰도에 대응하여 색분류한 교체 후보 영역을 기준 화상에 중첩 표시하는 것 외에, 예를 들면, 신뢰도에 대응하여 색분류한 교체 후보 영역의 윤곽을 기준 화상에 중첩 표시하는 등으로 해도 좋다. 예를 들면, 신뢰도가 「높음」의 교체 후보 영역은 녹색의 윤곽선, 신뢰도가 「중간」의 교체 후보 영역은 황색 윤곽선, 신뢰도가 「낮음」의 교체 후보 영역은 적색의 윤곽선으로 교체 후보 영역의 윤곽을 각각 표시하는 등으로 해도 좋다.

또한, 상기의 전경 후보 영역 데이터(877)에 기억된 전경 후보 영역 또는 교체 후보 영역의 무게중심 위치를 중심으로 하는 원 등의 도형이나, 기호, 문자 등을 기준 화상에 중첩 표시해도 좋다. 이와 같이 하는 것에 의해, 사용자는 수정되는 기준 화상의 대상물의 위치를, 직감적으로 파악할 수 있다. 무게중심 위치를 중심으로 하는 원 등의 도형이나, 기호, 문자 등의 표시는, 특히, 복수의 인물이나 물체가 서로 중첩하고 있는 경우 등, 윤곽선만으로는 시각적으로 이해하기 어려운 경우에 유효하다. 무게중심 위치는, 예를 들면, 전경 후보 영역 또는 교체 후보 영역을 사각형으로 근사한 경우의 중심이 되는 위치로 해도 좋고, 전경 후보 영역 또는 교체 후보 영역의 외주의 복수의 점으로부터 해당 영역 내부 방향으로의 거리의 편차가 최소가 되는 위치로 해도 좋다.

또한, 상기의 무게중심 위치를 중심으로 하는 원 등의 도형이나, 기호, 문자 등은, 윤곽선과 동시에 동일 화상 상에 표시해도 좋다. 또한, 당초에는 상기의 무게중심 위치를 중심으로 하는 도형, 기호, 문자 등만을 표시하고, 그 후, 사용자가 상기의 무게중심 위치를 중심으로 하는 도형, 기호, 문자 등을 선택하는 것에 의해서, 상기 무게중심 위치에 대응한 대상물의 윤곽선이 표시되도록 해도 좋다. 또한, 상기의 윤곽선의 경우와 동일하게, 신뢰도에 의해서 색분류 표시로 해도 좋다.

본 실시 형태에서는, 검출된 모든 전경 후보 영역을 교체 후보 영역으로 하는 것으로 하여 설명하지만, 이것에 한정하지 않고, 예를 들면, 신뢰도가 「낮음」으로 판정된 전경 후보 영역은 교체 후보 영역에 포함하지 않고, 사용자가 수정 불가능하게 할 수도 있다. 또한, 신뢰도가 「낮음」의 영역도 표시하고, 사용자가 수정 후보에 선택하는 것도 가능하지만, 선택시에 적절한 수정을 할 수 없다는 취지를 다이얼로그로 표시하는 등으로 하여, 수정을 행하는 것은 리스크가 높고, 적절한 화상 수정이 이루어지지 않을 가능성이 있다는 것을 강조하도록 할 수도 있다.

[2-5. 실험 결과]

도 18은, 교체 후보 영역 표시 화상 및 수정 화상의 일례를 나타내는 도이다.

도 18의 (1)에는, 도 10의 (1)에 나타낸 촬영 화상과 동일한 촬영 화상을 나타내고 있다. 이 촬영 화상을 포함하는 복수의 촬영 화상을 이용하여 전경 후보 영역 검출 처리를 행하고, 전경 후보 영역 신뢰도 판정 처리를 행하는 것으로, 도 18의 (2)에 나타내는 통행인인 남성이 나타나고 있는 전경 후보 영역이 교체 후보 영역(R)으로서 검출된다. 이 교체 후보 영역(R)의 신뢰도가 「높음」인 것으로 한다.

이 경우, 도 18의 (3)에 나타낸 바와 같이, 신뢰도에 대응하여 색분류된 교체 후보 영역(R)이 기준 화상 상에 오버레이 표시된다(도 13의 스텝 B23). 구체적으로는, 교체 후보 영역(R)의 신뢰도는 「높음」이기 때문에, 교체 후보 영역(R)이 녹색으로 표시된다. 또한, 교체 후보 영역(R)을 소정의 불투명도(예를 들면 50%)로 설정하여 기준 화상 상에 오버레이 표시하는 것에 의해, 사용자는, 실제의 수정 처리 실행 전에, 교체를 행한 결과 얻어지는 수정의 효과를 용이하게 파악할 수 있다. 다음에, 사용자가, 표시 화상 중의 교체 후보 영역(R)의 부분을 탭 하는 것으로 교체 후보 영역(R)을 수정 대상으로서 선택하고(도 13의 스텝 B29), 수정 실행 조작의 실행(도 13의 스텝 B35：Yes)을 더 선택하는 것으로, 교체 후보 영역(R)에 대한 화상 수정 처리가 실행된다(도 13의 스텝 B37).

또한, 도 18의 (2)에는, 교체 후보 영역(R)의 윤곽선과 무게중심 위치의 표시예도 함께 나타내고 있다. 윤곽선과 무게중심 위치는, 신뢰도에 대응하여 색분류 해도 좋다. 또한, 사용자가 필요에 대응하여, 각각 화면상으로의 표시와 비표시를 선택 가능하도록 해도 좋다. 또한, 도 18의 (3)의 소정의 불투명도로 설정된 교체 후보 영역(R)에 대해서도, 동일하게 윤곽선과 무게중심 위치의 표시를 행해도 좋다.

이 화상 수정 처리의 결과, 도 18의 (4)에 나타내는 수정 화상이 얻어진다. 이 수정 화상을 보면, 도 18의 (1)의 촬영 화상에서 통행인인 남성이 존재하는 영역의 화소값이, 비기준 최소 차분 화상의 화소값을 이용하여 수정되고, 움직이는 피사체인 통행인인 남성이 소거된 수정 화상이 얻어져 있는 것을 알 수 있다.

도 19는, 교체 후보 영역 표시 화상 및 수정 화상의 다른 예를 나타내는 도이다.

도 19의 (1)에는, 일정한 시간 간격을 두고 촬영한 5매의 촬영 화상이 나타나고 있다. 이들 촬영 화상은, 건물을 촬영 대상물로 하고, 건물의 입구가 중앙 부분에 오도록 촬영을 행한 화상이다. 이들 촬영 화상에는, 촬영 대상물인 건물 외에, 많은 통행인이 전경으로서 나타나고 있는 것을 알 수 있다.

도 19의 (1)의 촬영 화상에 기초하여 비기준 최소 차분값을 산출하는 것으로 얻어진 비기준 최소 차분 화상을 도 19의 (2)에 나타낸다. 이 비기준 최소 차분 화상을 보면, 촬영 화상의 중앙보다 약간 좌측의 영역에 있어서, 비기준 최소 차분값이 크게 산출되어 있는 것을 알 수 있다. 이것은, 해당 영역은 사람이 많이 통행하여, 많은 통행인이 촬영 화상에 나타난 것으로부터, 비기준 최소 차분값으로서 큰 값이 산출된 것에 의한 것이다.

도 19의 (1)의 촬영 화상에 대한 전경 후보 영역의 검출 결과가 도 19의 (3)이다. 이것을 보면, 전경 후보 영역으로서 R1 ~ R6의 6개의 영역이 검출되고 있는 것을 알 수 있다(도 15의 스텝 D11). 이들 전경 후보 영역(R1 ~ R6)에 대해서 신뢰도 판정 처리를 행하여 신뢰도를 판정한 결과, R1의 신뢰도는 「높음」(교체 OK)으로 판정되고(도 16의 스텝 E11), R2 및 R3의 신뢰도는 「중간」(교체 주의)으로 판정되고(도 16의 스텝 E15), R6의 신뢰도는 「낮음」(교체 불가)으로 판정되고 있다(도 16의 스텝 E17). 또한, R4 및 R5에 대해서는 전경 후보 영역의 면적이 작았기 때문에, 신뢰도 판정 처리 대상으로부터 제외된다(도 16의 스텝 E19). 그 결과, 전경 후보 영역(R1 ~ R3)이 교체 후보 영역으로 판정된다.

도 19의 (4)는, 교체 후보 영역의 표시 화상의 일례를 나타내는 도이다. 이것을 보면, 교체 후보 영역(R1 ~ R3)의 신뢰도에 기초하여, R1는 녹색, R2 및 R3는 황색으로 색분류되어서 표시되고 있다(도 13의 스텝 B23). 또한, 전경 후보 영역(R4 ~ R6)은 교체 후보 영역으로 판정되지 않았기 때문에, 표시로부터 제외되어 있다. 사용자가 교체 후보 영역(R1 ~ R3) 중의 어느 하나를 탭 하는 것으로(도 13의 스텝 B29; Yes), 탭 된 교체 후보 영역에 대응하는 화상 부분이 수정되고(도 13의 스텝 B37), 수정 화상이 표시된다(도 13의 스텝 B39).

또한, 상기의 실시형태에서는, 사용자가 교체 후보 영역을 탭 하는 것으로 화상 수정 처리가 실행된다고 했으나, 화상 수정 처리의 실행 전에, 소정의 불투명도(예를 들면 50%)로 설정한 수정 예정의 화상을, 촬영 화상에 중첩 표시한 프리뷰 화면을 표시하는 것도 유효하다.

도 19로 돌아와서, 구체적으로는, 교체 후보 영역(R)이 도 19의 (1)의 촬영 화상에 중첩 표시된 후, 사용자가 교체 후보 영역(R)의 부분에 터치하고 있는 동안(길게 누르는 중)은, 일시적으로 교체 후보 영역(R)의 영역에, 수정 예정의 화상이 표시되도록 한다. 이 때, 수정 예정의 화상을 소정의 불투명도로 설정하는 것으로, 도 19의 (1)의 촬영 화상이 비쳐 보이도록 해도 좋다.

그 후, 예를 들면, 사용자가 화면으로부터 손가락을 떨어뜨리고 나서 일정한 시간이 경과하면, 수정 예정의 화상의 표시는 사라지도록 한다. 그리고, 사용자가 일단 표시 화면으로부터 손가락을 떨어뜨리고 나서 수정 예정의 화상이 표시되고 있는 동안에 교체 후보 영역(R)의 영역을 더블 탭 하는 것으로, 교체 후보 영역(R)에 대한 화상 수정 처리가 실행되도록 한다.

또한, 소정의 불투명도로 설정한 교체 후보 영역(R)에는, 신뢰도에 대응한 색 해칭, 윤곽선 또는 무게중심 위치를 표시시켜도 좋다. 이와 같이 하는 것에 의해, 사용자는, 교체를 행한 결과 얻어지는 수정 화상을, 실제의 수정 처리 실행 전에 용이하게 파악할 수 있다.

또한, 전경 후보의 검출 ~ 교체 후보 영역의 결정에 있어서, 미리 사용자가 지정한 영역에 있어서 검출된 전경 후보 영역은 삭제하지 않게 하는 보호 처리나, 반드시 삭제하는 강제 삭제 처리를 부가해도 좋다.

구체적으로는, 도 19로 돌아와서, 예를 들면 건물의 좌측 안쪽의 R4 ~ R6가 존재하고 있는 부근을, 미리 사용자가 보호 영역으로서 지정해 둔다. 그러면, 그 영역 내에서 검출된 전경 후보 영역은, 그 면적이나 신뢰도에 관계없이, 교체 불가로서 보호되고, 삭제의 대상으로 하지 않도록 해도 좋다. 한편, 예를 들면 건물의 좌측 안쪽의 R4 ~ R6가 존재하고 있는 부근을, 미리 사용자가 강제 삭제 영역으로서 지정해 둔다. 그러면, 그 영역에 있는 검출된 전경 후보 영역은, 신뢰도나 면적에 관계없이, 강제적으로 삭제하도록 해도 좋다.

또한, 보호 영역 및 강제 삭제 영역의 지정의 방법은, 손가락이나 펜 타블렛 등에서, 화면상에 지정하고 싶은 범위를 사각형으로 둘러싸는, PC나 휴대 기기에 미리 준비된 화상 소프트를 이용하는 등, 공지의 방법으로 행하면 좋다. 이러한 기능을 부가하는 것에 의해, 사용자의 희망하는 수정 화상을 더 용이하게 얻는 것이 가능해진다.

[2-6. 작용 효과]

화상 처리 장치(3)에 있어서, 기준 화상 설정부(120)는, 복수의 촬영 화상 중에서 기준 화상을 설정한다. 그리고, 비기준 최소 차분 입력 화상 판정부(117)는, 기준 화상을 제외한 비기준 화상 중, 최소의 차분값인 비기준 최소 차분값 및 해당 비기준 최소 차분값에 대응하는 비기준 화상을 비기준 최소 차분 화상으로 하여 화소별로 판정한다. 그리고, 비기준 최소 차분 맵 생성부(119)는, 비기준 최소 차분 입력 화상 판정부(117)의 판정 결과에 기초하여, 비기준 최소 차분값과 비기준 최소 차분 화상을 대응시켜서 화소마다 기억한 최소 차분 맵 데이터(873)를 생성한다. 즉, 화상 처리 장치(3)는, 화상 처리용 데이터 생성 장치로서도 기능한다.

전경 후보 영역 검출부(140)는, 기준 화상에 대해서 배경 화상과의 배경 차분을 산출하는 것으로 얻어진 기준 차분값과 비기준 최소 차분 맵 데이터(873)에 기억되어 있는 비기준 최소 차분값을 화소마다 비교하고, 기준 차분값과 비기준 최소 차분값이 일정 이상 괴리하고 있는 화소로 이루어지는 영역을 전경 후보 영역으로서 검출한다. 즉, 화상 처리 장치(3)는, 전경 후보 영역을 검출하는 전경 후보 영역 검출 장치로서도 기능한다.

또한, 전경 후보 영역 신뢰도 판정부(150)는, 전경 후보 영역 검출부(140)에 의해서 검출된 전경 후보 영역의 전경으로서의 신뢰도를 판정한다. 그리고, 표시 제어부(170)는, 신뢰도의 판정 결과에 기초하여, 각 전경 후보 영역의 신뢰도를 사용자가 구별 가능한 표시 형태로 표시부(300)에 표시 제어한다. 이것에 의해, 사용자는, 각 전경 후보 영역의 전경으로서의 신뢰도를 한눈에 파악 가능해지고, 수정해야 할 전경 후보 영역을 용이하게 판단하여, 장치에 대해서 전경 후보 영역의 수정을 지시할 수 있다.

또한, 화상 수정부(160)는, 터치 패널(250)에 대한 탭 조작을 검지하고, 그 탭 위치가 전경 후보 영역에 포함되는 경우는, 기준 화상 중 해당 전경 후보 영역에 대응하는 화상 영역을 수정한다. 그리고, 표시 제어부(170)는, 수정 화상을 표시부(300)에 표시 제어한다. 즉, 화상 처리 장치(3)는 화상 수정 장치로서도 기능한다. 이것에 의해, 사용자는, 기준 화상을 확인한 다음, 불필요한 물체가 존재한다고 판단한 경우는, 그 부분을 탭 하는 것으로, 불필요한 물체가 제거된 화상을 취득할 수 있다.

또한, 전경 후보 영역 신뢰도 판정부(150)는, 면적이 소정의 임계값보다 작은 전경 후보 영역을, 처리 대상으로부터 제외한다. 면적이 작은 전경 후보 영역을 교체 후보 영역으로서 모두 표시하는 것으로 해 버리면, 노이즈 등에 기인하여 세세한 전경 후보 영역이 다수 표시되게 되고, 사용자에게 있어서는 번거롭다는 문제가 있다. 또한, 이러한 면적이 작은 전경 후보 영역은, 만일 수정을 행했다고 해도, 그 효과를 알기 힘들다는 문제가 있다. 면적이 작은 전경 후보 영역을 처리 대상으로부터 제외하는 것으로, 이러한 문제를 회피할 수 있다.

또한, 전경 후보 영역 신뢰도 판정부(150)는, 비기준 최소 차분값이 큰 전경 후보 영역의 신뢰도를 「낮음」으로 판정하고, 교체 불가로 한다. 항상 물체가 움직이고 있는 영역에서는, 비기준 최소 차분값이 커지는 경향이 있고, 이러한 영역에 대해서 화상 수정을 행해 버리면, 고스트가 발생해 버릴 우려가 있다. 그러나, 비기준 최소 차분값이 큰 전경 후보 영역의 신뢰도를 「낮음」으로 판정하고, 교체 불가로 하는 것으로, 해당 전경 후보 영역이 교체 후보로부터 제외되기 때문에, 고스트가 발생해 버리는 화상 수정이 행해지는 것을 회피할 수 있다.

[3. 제3 실시형태]

제3 실시형태는, 상기의 실시형태에서 설명한 화상 수정 처리의 일례인 교체 처리와, 다른 화상 수정 처리의 일례인 덮어쓰기 처리(붙여넣기 처리라고도 말한다. )를 조합하여, 촬영 대상물 이외의 움직이는 피사체의 소거를 행하는 실시형태이다.

제2 실시형태에서 설명한 바와 같이, 전경 후보 영역의 신뢰도가 낮은 경우에서도, 사용자의 지정 등에 의해서 교체 처리를 행하는 것은 가능하지만, 그 경우는, 결과적으로 적합한 수정 화상이 얻어지지 않을 가능성이 있다. 이 때문에, 이러한 신뢰도가 낮은 전경 후보 영역에 대해서는, 교체 처리와는 다른 화상 수정 처리로서, 이하에 나타내는 덮어쓰기 처리가 유효하게 된다.

구체적으로는, 기준 화상의 전경 후보 영역중에서, 덮어쓰기의 대상으로 하는 영역(이하, 「덮어쓰기 대상 영역」으로 칭함.)을 설정한다. 그리고, 덮어쓰기 대상 영역 내의 소영역과 유사한 소영역을, (1) 기준 화상 자신, (2) 복수의 입력 화상 중 어느 하나의 입력 화상, (3) 다른 데이타베이스에 보존되어 있는 화상 중의 어느 하나의 화상으로부터 탐색하고, 기준 화상 중의 덮어쓰기 대상 영역 내의 소영역의 화소의 화소값을, 탐색의 결과 얻어진 유사한 소영역의 화소의 화소값으로 치환한다. 즉, 수정용 화상 중에서 해당 전경 후보 영역의 화상 데이터와 유사한 화상 데이터를 탐색하여 수정 대상 화상의 해당 전경 후보 영역에 붙여넣는 처리를 화상 수정 처리로서 실행한다.

이 때, 덮어쓰기 대상 영역의 바깥 가장자리부로부터 해당 영역 내부 방향으로 순서대로 상기의 덮어쓰기 처리를 행하는 것에 의해서, 덮어쓰기 영역과 그 외측의 영역과의 경계 부분의 가시화가 방지된다. 상기 유사한 소영역의 탐색시의, 유사한 판정 기준으로서는, 예를 들면, 화소값(휘도나 명도)의 차이의 제곱을 산출하면 좋다.

또한, 신뢰도가 「높음」 또는 「중간」의 전경 후보 영역에 대해서는 교체 처리를 행하여 화상 수정을 행하고, 신뢰도가 「낮음」의 전경 후보 영역에 대해서는 덮어쓰기 처리를 행하여 화상 수정을 행하는 등, 전경 후보 영역의 신뢰도에 대응하여 화상 수정 처리를 전환하여, 전경 후보 영역에 대응하는 화상 영역의 수정을 행하도록 할 수도 있다.

또한, 사용자가 교체 처리와 덮어쓰기 처리 중의 어느 쪽의 화상 수정 처리를 실행시킬지를 선택 가능하게 하고, 사용자에 의해서 선택된 화상 수정 처리를 실행하여, 화상의 수정을 행하는 것으로 해도 좋다.

[4. 변형예]

본 발명을 적용 가능한 실시예는, 상기의 실시예로 한정되는 일 없이, 본 발명의 취지를 일탈하지 않는 범위에서 적절히 변경 가능한 것은 물론이다. 이하, 변형예에 대해서 설명하지만, 상기의 실시예와 동일한 구성에 대해서는 동일한 부호를 부여하여, 반복 설명을 생략한다.

[4-1. 전자기기]

화상 처리 장치(3)는, 스마트폰이나 카메라, 디지탈 카메라, 타블렛 단말, PDA, PC 등의 전자기기에 구비시킬 수 있다. 촬상부를 구비한 전자기기라면, 여러 가지의 전자기기에 본 발명의 화상 처리 장치(3)를 구비시켜서 이용하는 것이 가능하다.

또한, 사용자가, 화상 처리 장치(3)에 있어서 표시부(300)에 표시된 교체 후보 영역에 대한 탭 조작을 행하고, 화상 처리 장치(3)가 수정한 화상을, 다른 정보 처리 장치의 표시부에 표시시키도록 하는 것도 가능하다. 구체적으로는, 예를 들면 화상 처리 장치(3)를 스마트폰으로 한 경우, 사용자는, 수중의 스마트폰과 PC를 통신 접속한다. 그리고, 사용자는, 스마트폰의 디스플레이에 표시된 교체 후보 영역을 탭 하는 탭 조작을 행한다. 스마트폰의 처리부는, 사용자의 탭 조작을 검지하여 화상 수정 처리를 행하고, 수정 화상을 PC에 송신한다. PC는, 스마트폰으로부터 수신한 수정 화상을 디스플레이에 표시시키고, 사용자는 PC의 표시 화면에서 수정 화상을 확인한다.

또한, 스마트폰 등의 전자기기로부터 화상 데이터 1세트를 PC에 송신하도록 하고, PC가 스마트폰 등의 전자기기로부터 촬영 화상을 입력하도록 해도 좋다. 그리고, PC가, 입력 화상을 이용하여 상기의 실시형태와 동일한 화상 수정을 행하여 수정 화상을 생성하고, PC의 디스플레이에 표시시키도록 해도 좋다. 이 경우는, PC가, 본 발명에 있어서의 화상 처리 장치(3)가 된다.

[4-2. 수정 대상 영역]

상기의 실시형태에서는, 화상 처리 장치(3)가, 복수의 입력 화상과 화상 처리용 데이터를 이용하여, 기준 화상에 대한 전경의 후보가 되는 영역인 전경 후보 영역을 수정 대상 영역으로서 검출하는 것으로 하여 설명했다. 그러나, 수정 대상 영역의 검출 방법은 이것에 한정되지 않는다.

예를 들면, 복수의 입력 화상 각각에 대해서 특징점 검출 처리를 행하여 특징점을 검출하고, 검출된 특징점의 대응 관계에 기초하여, 피사체에 움직임이 생기고 있는 영역인 움직이는 피사체 영역을 수정 대상 영역으로서 검출하도록 해도 좋다. 특징점의 대응 관계는, 블록 매칭법이나 구배법 등의 공지의 수법을 이용하여 구할 수 있다.

구체적으로는, 복수의 입력 화상 사이에서, 특징점의 위치의 변화량(변위량)이 소정의 임계값을 초과하고 있는 화상 영역을 움직이는 피사체 영역으로서 검출한다. 이 경우, 검출된 움직이는 피사체 영역 각각에 대해서, 움직이는 피사체의 움직임의 정도에 기초하는 신뢰도로서 「움직임 정도」를 판정하고, 판정한 움직임 정도에 기초하여, 각 움직이는 피사체 영역의 수정의 적합 여부를 판정한다. 예를 들면, 특징점의 변위량에 따라 움직임 정도를 「높음」, 「중간」, 「낮음」으로 분류하고, 움직임 정도가 「높음」 또는 「중간」인 움직이는 피사체 영역을, 수정을 행해야 할 움직이는 피사체 영역으로 판정한다. 그리고, 이 움직이는 피사체 영역을 수정 대상 영역으로 하고, 상술한 교체 처리를 행하여, 화상 수정을 행하도록 해도 좋다.

또한, 움직임 정도가 「낮음」인 움직이는 피사체 영역도 수정 대상 영역에 포함하는 것으로 하고, 이 움직이는 피사체 영역에 대해서는, 상술한 덮어쓰기 처리를 행하여, 화상 수정을 행하도록 해도 좋다.

또한, 상기 움직이는 피사체 영역뿐만이 아니라, 촬영시의 빛의 변화 등에 의해서, 동일한 피사체가 나타나고 있는 영역임에도 불구하고, 복수의 입력 화상 사이에서 그 영역의 화소값에 변화가 발생하는 경우가 있다. 여기서, 복수의 입력 화상 사이에서 화소값에 일정 이상의 변화가 생기고 있는 영역인 빛영향 영역을 수정 대상 영역으로서 검출하도록 해도 좋다. 구체적으로는, 복수의 입력 화상 사이에서 화소값(상기 영역의 화소값의 평균값 등)의 변화량이 소정의 임계값을 초과하고 있는 화상 영역을 빛영향 영역으로서 검출한다. 그리고, 빛영향 영역의 빛의 영향의 정도에 기초하는 신뢰도로서 「빛영향도」를 판정하고, 판정한 빛영향도에 기초하여, 각 빛영향 영역의 수정의 적합 여부를 판정한다. 예를 들면, 화소값의 변화량에 대응하여 빛영향도를 「높음」, 「중간」, 「낮음」으로 분류하고, 빛영향도가 「높음」 또는 「중간」인 빛영향 영역을, 수정을 행해야 할 빛영향 영역으로 판정한다. 그리고, 이 빛영향 영역을 수정 대상 영역으로 하고, 상술한 교체 처리를 행하여, 화상 수정을 행하도록 해도 좋다.

또한, 빛영향도가 「낮음」인 빛영향 영역도 수정 대상 영역에 포함하는 것으로 하고, 이 빛영향 영역에 대해서는, 상술한 덮어쓰기 처리를 행하여, 화상 수정을 행하도록 해도 좋다.

상기의 움직이는 피사체 영역이나 빛영향 영역은, 복수의 입력 화상 사이에서 피사체의 외관에 변화가 생기고 있는 영역인 외관 변화 영역의 일례이다.

[4-3. 처리 화소 단위]

상기의 실시형태에서는, 처리 화소 단위를 각 화소(1화소)로 하고, 화소 단위로 화상 처리용 데이터의 생성에 대한 각종 처리를 행하는 것으로 하여 설명했지만, 처리 화소 단위는 반드시 1화소 단위로 할 필요는 없고, 복수의 화소로 구성되는 영역을 처리 화소 단위로 하는 것도 가능하다. 예를 들면, 화상을 구성하는 화소를 격자 형상의 영역으로 구분하고, 이 구분된 각 영역을 처리 화소 단위로서 상기의 실시형태와 동일한 처리를 행하여, 화상 처리용 데이터를 생성하도록 해도 좋다.

이 경우에 있어서의 처리 화소 단위는, 예를 들면 10ㅧ10이나 20ㅧ20 등의 정사각형의 영역으로 해도 좋고, 10ㅧ20이나 20ㅧ10 등의 직사각형의 영역으로 해도 좋다.

또한, 처리 화소 단위의 크기는, 입력 화상의 크기에 기초하여 적절히 설정 변경하면 좋다. 예를 들면, 입력 화상의 사이즈의 1% ~ 10%의 범위내에서 각 처리 화소 단위의 크기를 결정하여, 처리 화소 단위별로 처리를 행하면 좋다.

[4-4. 화상 처리용 데이터]

상기의 실시형태에서는, 입력 화상과 참조 화상과의 차분값이 최소가 되는 입력 화상을, 특정 조건을 만족하는 입력 화상으로 판정하고, 최소 차분 입력 화상의 식별 정보와 최소 차분값을 대응시킨 화상 처리용 데이터를 생성하는 것으로 하여 설명했지만, 최소 차분값을 기억하지 않고, 최소 차분 입력 화상의 식별 정보만을 처리 화소 단위마다 기억한 화상 처리용 데이터를 생성하는 것으로 해도 좋다. 또한, 반대로, 최소 차분 입력 화상의 식별 정보를 기억하지 않고, 최소 차분값만을 처리 화소 단위마다 기억한 화상 처리용 데이터를 생성하도록 해도 좋다.

특정 조건으로서 다른 조건을 적용하는 경우도 동일하다. 예를 들면, 상기와 같이 차분값이 최대가 되는 입력 화상을, 특정 조건을 만족하는 입력 화상으로서 판정하는 경우, 최대 차분 입력 화상의 식별 정보만을 처리 화소 단위마다 기억한 화상 처리용 데이터를 생성해도 좋고, 최대 차분값만을 처리 화소 단위마다 기억한 화상 처리용 데이터를 생성해도 좋다.

[4-5. 수정 대상 전경 후보 영역의 자동 결정]

상기의 실시형태의 화상 처리 장치(3)에서는, 사용자 조작에 따라서 수정 대상으로 하는 전경 후보 영역(또는 교체 후보 영역)을 결정하는 것으로 하여 설명했지만, 이 대신에, 화상 처리 장치(3)가 자동적으로 수정 대상으로 하는 영역을 결정하여, 화상 수정을 행하도록 해도 좋다.

또한, 사용자가 터치 패널(250)에 대한 손가락 조작을 행하는 등으로 하여, 우선 수정 영역을 지정하도록 해도 좋다. 이 경우, 예를 들면, 얼굴 검출 처리에서 검출된 복수의 얼굴 검출 영역을 표시부(300)에 표시시키고, 표시된 얼굴 검출 영역중에서 사용자가 우선 수정 영역으로 하는 얼굴 검출 영역을 지정 가능하도록 해도 좋다.

또한, 복수 종류의 우선 수정 영역의 패턴(이하, 「우선 수정 영역 패턴」으로 칭함.)의 데이터를 기억부(800)에 기억시켜 두고, 이 우선 수정 영역 패턴을 표시부(300)에 표시시켜서, 그 중에서 사용자가 우선 수정 영역으로 하는 패턴을 선택하도록 해도 좋다.

도 20은, 우선 수정 영역 패턴의 일례를 나타내는 도이다. 각 도에 있어서, 해칭을 실시한 영역이 우선 수정 영역의 후보로 하는 영역이다.

도 20의 (1)은, 화상의 중앙부에 세로로 긴 띠 형상으로 우선 수정 영역을 마련한 패턴이다. 도 20의 (2)은, 화상의 둘레부에 테두리 형상으로 우선 수정 영역을 마련한 패턴이다. 도 20의 (3)은, 화상의 하부에서 상부에 걸쳐서 삼각 형상의 우선 수정 영역을 마련한 패턴이다.

또한, 이들 우선 수정 영역 패턴은 일례에 지나지 않고, 그 밖에도 여러 가지의 우선 수정 영역 패턴을 정해 두는 것이 가능하다.

상기와 같이 하여 우선 수정 영역을 결정(확정)했다면, 표시 제어부(170)가, 우선 수정 영역을, 전경 후보 영역과 구별 가능한 표시 형태로 표시부(300)에 표시시킨다. 구체적으로는, 예를 들면, 우선 수정 영역을, 전경 후보 영역(또는 교체 후보 영역)과는 다른 색으로 표시시킨다. 이 경우는, 영역에 색을 부여한 것을 표시시켜도 좋고, 영역의 윤곽에 색을 부여한 것을 표시시키도록 해도 좋다. 이와 같이 하는 것으로, 사용자는, 장치가 자동적으로 우선하여 수정해야 할 영역으로서 결정한 영역과, 그 이외의 전경 후보 영역을, 한눈에 파악할 수 있게 된다.

또한, 화상 수정부(160)는, 상기와 같이 결정된 우선 수정 영역을 대상으로 하여, 상기의 실시형태와 동일한 수법으로 화상 수정을 행한다. 그리고, 표시 제어부(170)는, 화상 수정부(160)에 의해서 수정된 화상을 표시부(300)에 표시 제어한다.

또한, 각 전경 후보 영역의 신뢰도에 기초하여, 수정 대상으로 하는 전경 후보 영역(수정 대상 전경 후보 영역)을 결정해도 좋다. 구체적으로는, 예를 들면, 신뢰도가 특히 높은 전경 후보 영역을 수정 대상 전경 후보 영역으로 결정하면 좋다. 예를 들면, 상기의 실시형태에 있어서 신뢰도가 「높음」으로 판정된 전경 후보 영역을 수정 대상 전경 후보 영역으로 결정해도 좋다.

또한, 신뢰도가 특히 높은 전경 후보 영역에 대해서는, 신뢰도가 판정된 후에, 자동적으로 화상 수정부(160)가 상기의 실시형태와 동일한 수법으로 화상 수정을 행하도록 해도 좋다. 계속하여, 해당 화상을 디폴트의 화상으로 하여, 상기의 실시형태의 자동 화상 수정 및 사용자 조작에 의한 전경 후보 영역의 결정과 수정을 더 실시해도 좋다. 이와 같이, 미리 신뢰도가 특히 높은 전경 후보 영역의 자동 수정을 행하는 것에 의해, 그 후의 처리를 보다 용이하고 고속으로 행하는 것이 가능해진다.

[4-6. 기준 화상의 자동 설정]

상기의 실시형태에서는, 복수의 촬영 화상 중에서 기준 화상을 설정하는 방법으로서, 복수의 촬영 화상 중에서 사용자에게 한 장의 촬영 화상을 선택시키거나, 최초 또는 마지막에 입력된 촬영 화상을 기준 화상으로 하는 것으로 설명했지만, 소정의 기준으로 선택된 화상을 자동적으로 기준 화상으로 설정하는 것도 가능하다. 예를 들면, 복수의 인물이 촬영 대상으로서 존재하는 집합 사진에 있어서는, 촬영 대상인 인물의 정면 정도나 웃는 얼굴 정도를 공지의 방법으로 검출하고, 소정의 기준 이상의 정면 정도나 웃는얼굴 정도를 나타낸 입력 화상을 선택하고, 기준 화상으로 해도 좋다. 또한, 손떨림에 의한 화상의 흔들림이 없는 것이나, 역광 상태로 되어 있지 않은 것을 공지의 방법으로 검출하고, 기준 화상이 되는 조건으로서 더해도 좋다.

[4-7. 교체 후보 영역 판정의 다른 형태]

상기의 실시형태에서는, 화상 처리 장치(3)가 전경 후보 영역의 면적 및 비기준 최소 차분값과 임계값의 비교 결과에 기초하여 자동적으로 교체 후보 영역의 신뢰도 판정을 행하고, 신뢰도 「낮음」의 영역은 교체 불가가 된다. 또한, 신뢰도 「낮음」으로 판정된 영역을 교체 가능으로 하기 위해서는, 사용자에 의한 영역 지정 작업 등이 필요한 것으로 하여 설명했지만, 신뢰도 「낮음」의 영역의 면적이 소정수 이상 큰 경우는, 자동적으로 교체 가능해지도록 해도 좋다.

구체적으로는, 상술한 바와 같이, 수정 대상 화상을 구성하는 화소를 소정 형상(예를 들면 사각형)의 처리 화소 단위로 구분하고, 각 처리 화소 단위 각각에 대해서, 전경으로서의 신뢰도를 판정하도록 해도 좋다. 이 경우, 각 처리 화소 단위 각각에 대해서, 상술한 바와 같이, 특징점의 위치의 변위량에 기초하여, 피사체의 움직임의 정도를 판정한다. 그리고, 움직임의 정도가 큰 처리 화소 단위일수록, 전경으로서의 신뢰도가 높고(신뢰도 「높음」), 움직임의 정도가 작은 처리 화소 단위일수록, 전경으로서의 신뢰도가 낮다(신뢰도 「낮음」)고 판정한다. 그리고, 예를 들면, 신뢰도 「높음」인 처리 화소 단위를 연결하여 이루어지는 1군의 영역을 교체 후보 영역으로 한다. 또한, 예를 들면, 1군의 영역이 소정의 화소수 이상 또는 소정의 면적 이상이 되는 조건을 만족하는 경우에, 상기 1군의 영역을 교체 후보 영역으로 하고, 조건을 만족하지 않는 경우에는, 상기 1군의 영역을 교체 후보 영역으로부터 제외해도 좋다.

또한, 상기 1군의 영역은 반드시 연결되어 있지 않아도 좋고, 그 경우에는, 표시 화상의 단위면적 당의 전경 후보 영역의 화소수 또는 면적을 검출하여, 소정의 화소 밀도 또는 면적 밀도 이상의 영역을 교체 후보 영역으로 해도 좋다.

이와 같이 하는 것에 의해, 신뢰도 「낮음」의 영역이 비교적 많이 발생한 경우에서도, 화상 처리 장치(3)에 의해서 자동적 또한 효과적으로 화상의 수정을 행하는 것이 가능해진다.

[4-8. 입력 화상의 갱신]

상기의 화상 처리 장치(3)에 있어서, 전경 후보 영역의 신뢰도에 대한 표시를 촬영 화상 상에 실시간으로 표시시키도록 해도 좋다.

구체적으로는, 처리부(100)는, 입력되는 최신의 소정수의 프레임의 촬영 화상을 기억부(800)에 축적한다. 즉, 기억부(800)는 화상 축적 수단으로서 기능한다. 이 경우는, 예를 들면, 기억부(800)에 소정수의 화상을 축적 가능한 링 버퍼를 구성하고, 항상 최신의 소정수의 프레임의 촬영 화상이 링 버퍼에 축적되도록 하면 좋다.

또한, 기준 화상 설정부(120)는, 기억부(800)에 축적된 최신의 촬영 화상을 기준 화상으로서 설정한다. 그리고, 처리부(100)는, 기억부(800)에 축적된 최신의 소정수의 프레임의 촬영 화상 중, 기준 화상과 비기준 화상을 이용하여, 상기의 실시형태와 동일한 수법으로 비기준 최소 차분 맵 데이터 생성 처리, 전경 후보 영역 결정 처리 및 전경 후보 영역 신뢰도 판정 처리를 행한다.

표시 제어부(170)는, 기준 화상 및 해당 기준 화상 상에 교체 후보 영역을 중첩 표시 또는 윤곽 표시시킨 화상을 표시부(300)에 표시 제어한다. 또한, 교체 후보 영역을 중첩 표시 또는 윤곽 표시할 때에, 표시 제어부(170)는, 해당 교체 후보 영역에 관련지어진 교체 신뢰도를 사용자가 구별 가능한 표시 형태로 표시부(300)에 표시시킨다. 예를 들면, 교체 신뢰도에 대응하여 색분류한 교체 후보 영역을 기준 화상에 중첩 표시시키거나, 교체 신뢰도에 대응하여 색분류한 교체 후보 영역의 윤곽을 기준 화상에 표시시킨다.

상기의 처리를, 새로이 촬영 화상이 입력될 때마다 수시로 행한다. 즉, 처리부(100)는, 신규의 촬영 화상의 입력에 의해 기준 화상을 수시 갱신하고, 교체 후보 영역 및 교체 신뢰도를 재산출한다. 그리고, 표시 제어부(170)는, 해당 재산출의 결과에 기초하여, 표시부(300)에 표시시키는 교체 후보 영역을 수시 갱신함과 함께, 교체 신뢰도에 관한 표시를 수시 갱신한다.

이와 같이, 신규 화상이 입력될 때마다 가장 오래된 화상을 버리고 새로이 계산을 행하는 것으로, 사용자는 실시간으로 교체 가능 영역을 파악할 수 있게 된다. 또한, 사용자는, 교체가 곤란한 영역에 대해서도, 교체가 가능하게 될 때까지 기다려서, 적절한 타이밍에 화상의 수정 지시를 행할 수 있다.

또한, 사용자가, 교체가 곤란한 영역(이하, 「교체 곤란 영역」으로 칭함.)을 사전에 지정해 두고, 새로운 촬영 화상의 입력에 의해, 해당 영역과 적어도 일부가 중복되는 전경 후보 영역의 모든 교체가 가능해진 타이밍에서, 처리부(100)가 해당 영역을 자동적으로 수정하는 것으로 해도 좋다.

또한, 이 경우에 사용자가 교체 곤란 영역을 지정하는 방법은, 「3-4. 수정 대상 전경 후보 영역의 자동 결정」의 항목에서 설명한 우선 수정 영역을 설정하는 방법과 동일한 방법을 적용할 수 있다. 즉, 사용자가 터치 패널(250)에 대한 탭 조작 등에 의해, 화상 중에서 교체 곤란으로 생각되는 영역을 지정하도록 해도 좋고, 복수 종류의 교체 곤란 영역의 패턴(교체 곤란 영역 패턴)의 데이터를 미리 기억부(300)에 기억해 두고, 이들 패턴중에서 교체 곤란 영역으로서 지정하는 패턴을 선택하도록 해도 좋다.

또한, 화상 처리 장치(3)가, 상기의 수정 대상 영역의 자동 수정 처리와, 사용자의 수동 조작에 기초하는 수동 수정 처리의 양쪽 모두를 실행 가능하도록 해도 좋다. 예를 들면, 자동적으로 결정한 수정 대상 영역에 대하여 자동 수정이 실시된 상태에서 화상 수정 모드를 개시하는데, 그 외의 자동 수정이 실시되어 있지 않은 영역에 대해서 사용자가 수동으로 수정 필요 여부를 선택할 수 있도록 해도 좋다. 이 경우는, 자동 수정이 실시된 화상을 표시부(300)에 표시시키고, 그 외의 영역의 수정 필요 여부를 사용자에게 선택시키도록 하면 좋다.

또한, 배경 화상은 파기하지 않고 기억부(800)에 유지한 채로 해도 좋다. 또한, 가장 오래된 촬영 화상은 소거하지 않는 것으로 하여, 신규로 입력되는 촬영 화상을 축적해 나가는 형태로 해도 좋다.

[4-9. 수정 화상의 복원 처리]

화상 수정을 실시한 수정 화상을 표시시킨 후, 사용자 조작에 따라서, 수정 부분을 원래 상태로 되돌리는 복원 처리를 행하고, 그 처리 결과의 화상을 표시부(300)에 표시시키는 것으로 해도 좋다. 수정 화상을 열람한 사용자가, 그 수정 내용에 만족하지 않고, 수정이 실시된 교체 후보 영역 중 일부의 영역의 화상 영역을 원래대로 되돌리고 싶은 경우가 있다. 여기서, 수정 플래그가 ON으로 설정되어 있는 교체 후보 영역 중, 사용자에 의해 원래대로 되돌리는 지시 조작이 이루어진 교체 후보 영역에 대해서는, 원래의 기준 화상의 화상 데이터로 교체하는 처리를 행하고, 그 처리 결과의 화상을 표시부(300)에 표시하도록 하면 적절하다.

[4-10. 기록 매체]

상기의 실시형태에서는, 화상 처리용 데이터의 생성이나 화상 처리에 대한 각종 프로그램이나 데이터가, 화상 처리용 데이터 생성 장치(1)의 기억부(20)나, 화상 처리 장치(3)의 기억부(800)에 기억되어 있고, 처리부가 이들 프로그램을 독출하여 실행하는 것으로, 상기의 각 실시형태에 있어서의 화상 처리가 실현되었다. 이 경우, 각 장치의 기억부는, ROM이나 EEPROM, 플래쉬 메모리, 하드 디스크, RAM 등의 내부 기억 장치 외에, 메모리 카드(SD카드)나 컴팩트플래시(등록상표) 카드, 메모리 스틱, USB 메모리, CD-RW(광학 디스크), MO(광학 자기 디스크) 등의 기록 매체(기록 미디어, 외부 기억 장치)를 가지고 있어도 좋고, 이들 기록 매체에 상기의 각종 프로그램이나 데이터를 기억시키는 것으로 해도 좋다.

도 21은, 이 경우에 있어서의 기록 매체의 일례를 나타내는 도이다.

화상 처리 장치(3)는, 메모리 카드(7)를 삽입하기 위한 카드 슬롯(710)이 마련되어 있고, 카드 슬롯(710)에 삽입된 메모리 카드(7)에 기억된 정보를 읽어내는 또는 메모리 카드(7)에 정보를 쓰기 위한 카드 리더 라이터(R/W)(720)가 마련되어 있다. 카드 리더 라이터(720)는, 처리부(100)의 제어에 따라서, 기억부(800)에 기록된 프로그램이나 데이터를 메모리 카드(7)에 기억된 정보를 읽어내는 또는 쓰는 동작을 행한다. 또한, 메모리 카드(7)에 기록된 프로그램이나 데이터는, 화상 처리 장치(3) 이외의 외부 장치(예를 들면 PC)에서 읽어내고, 처리하는 것으로, 해당 외부 장치에 있어서 상기의 실시형태에 있어서의 화상 처리를 실현하는 것이 가능하게 구성되어 있다.

1: 화상 처리용 데이터 생성 장치
10: 화상 처리용 데이터 생성부
20: 기억부
3: 화상 처리 장치
100: 처리부
200: 조작부
250: 터치 패널
300: 표시부
400: 통신부
500: 촬상부
600: 시계부
710: 카드 슬롯
720: 카드 리더 라이터
800: 기억부
7: 메모리 카드

Claims (30)

1. 복수의 입력 화상에 기초하여 정해지는 수정 대상 화상의 수정 대상 영역을, 상기 복수의 입력 화상 중의 어느 하나의 입력 화상을 수정용 화상으로서 이용하여 수정하는 화상 수정 수단을 구비하고,
   상기 수정 대상 영역의 전경으로서의 신뢰도를 판정하는 신뢰도 판정 수단을 더 구비하고,
   상기 신뢰도 판정 수단은,
   상기 수정 대상 영역의 사이즈에 기초하는 제1 신뢰도 판정 수단과,
   상기 복수의 입력화상 각각과, 상기 복수의 입력화상과 관련지어진 참조 화상과의 상대 관계를 나타내는 상대값에 기초하는 제2 신뢰도 판정 수단을 포함하고,
   상기 화상 수정 수단은, 상기 신뢰도 판정 수단에 의해서 판정된 신뢰도에 기초하여, 상기 수정 대상 영역을 수정하는,
   화상 처리 장치.
2. 청구항 1에 있어서,
   상기 화상 수정 수단은, 상기 수정 대상 영역에 대응하는 영역의 화상 데이터가, 상기 복수의 입력 화상에 관련지어진 상기 참조 화상과 소정의 관계를 만족하는 입력 화상을 상기 수정용 화상으로 하고, 해당 수정용 화상의 상기 수정 대상 영역에 대응하는 영역의 화상 데이터를 이용하여, 상기 수정 대상 화상의 상기 수정 대상 영역을 수정하는,
   화상 처리 장치.
3. 삭제
4. 청구항 1에 있어서,
   상기 복수의 입력 화상 사이에서 피사체의 외관에 변화가 생기고 있는 영역인 외관 변화 영역을 검출하는 외관 변화 영역 검출 수단을 더 구비하고,
   상기 신뢰도 판정 수단은, 상기 외관 변화 영역 검출 수단에 의해서 검출된 외관 변화 영역을 상기 수정 대상 영역으로 하여 상기 신뢰도를 판정하고,
   상기 화상 수정 수단은, 상기 신뢰도 판정 수단에 의해서 판정된 신뢰도에 기초하여, 상기 외관 변화 영역을 수정하는,
   화상 처리 장치.
5. 청구항 1에 있어서,
   상기 신뢰도 판정 수단은, 상기 수정 대상 화상에 있어서의 소정의 처리 화소 단위마다 상기 신뢰도를 판정하고,
   상기 화상 수정 수단은, 상기 신뢰도가 소정 조건을 만족하는 상기 처리 화소 단위를 연결하여 이루어지는 1군의 영역을 상기 수정 대상 영역으로 하여 수정을 행하는,
   화상 처리 장치.
6. 복수의 입력 화상 각각에 대해서, 해당 입력 화상과 상기 복수의 입력 화상과 관련지어진 참조 화상과의 상대 관계를 나타내는 상대값을, 소정의 처리 화소 단위마다 산출하는 상대값 산출 수단과,
   상기 복수의 입력 화상 중, 상기 상대값 산출 수단에 의해서 산출된 상대값이 특정 조건을 만족하는 입력 화상을, 상기 처리 화소 단위마다 판정하는 입력 화상 판정 수단과,
   상기 입력 화상 판정 수단에 의해서 판정된 입력 화상을 식별하기 위한 식별 정보를 상기 처리 화소 단위마다 기억한 화상 처리용 데이터를 생성하는 화상 처리용 데이터 생성 수단과,
   상기 복수의 입력 화상 중의 어느 하나의 입력 화상을 수정용 화상으로 하고, 상기 수정용 화상과 상기 화상 처리용 데이터 생성 수단에 의해서 생성된 화상 처리용 데이터를 이용하여, 상기 복수의 입력 화상에 기초하여 정해지는 수정 대상 화상의 수정 대상 영역의 수정을 행하는 화상 수정 수단을 구비하는,
   화상 처리 장치.
7. 청구항 6에 있어서,
   상기 화상 처리용 데이터 생성 수단은, 상기 특정 조건을 만족하는 상대값을 상기 식별 정보와 대응시켜서 상기 처리 화소 단위마다 상기 화상 처리용 데이터에 기억시키는,
   화상 처리 장치.
8. 청구항 6에 있어서,
   상기 복수의 입력 화상을 각각 축소하는 축소 수단을 더 구비하고,
   상기 상대값 산출 수단은, 상기 축소 수단에 의해서 축소된 상기 복수의 입력 화상 각각에 대해서, 해당 입력 화상과 상기 입력 화상과 동일한 크기의 참조 화상과의 상대 관계를 나타내는 상대값을 상기 처리 화소 단위마다 산출하고,
   상기 화상 처리용 데이터 생성 수단은, 상기 입력 화상과 동일한 크기의 상기 화상 처리용 데이터를 생성하는,
   화상 처리 장치.
9. 청구항 6에 있어서,
   상기 복수의 입력 화상과, 상기 화상 처리용 데이터 생성 수단에 의해서 생성된 화상 처리용 데이터를 이용하여, 상기 참조 화상에 대한 전경의 후보가 되는 영역인 전경 후보 영역을 검출하는 전경 후보 영역 검출 수단을 더 구비하고,
   신뢰도 판정 수단은, 상기 전경 후보 영역 검출 수단에 의해서 검출된 전경 후보 영역을 상기 수정 대상 영역으로 하여 상기 신뢰도를 판정하고,
   상기 화상 수정 수단은, 상기 전경 후보 영역 검출 수단에 의해서 검출된 전경 후보 영역을 상기 수정 대상 영역으로 하여 수정을 행하는,
   화상 처리 장치.
10. 청구항 9에 있어서,
    상기 복수의 입력 화상 중에서 기준 화상을 설정하는 기준 화상 설정 수단을 더 구비하고,
    상기 입력 화상 판정 수단은, 상기 복수의 입력 화상 중에서 상기 기준 화상을 제외한 입력 화상인 비기준 화상 중, 상기 상대값이 상기 특정 조건을 만족하는 비기준 화상을 상기 처리 화소 단위마다 판정하는 비기준 화상 판정 수단을 가지고,
    상기 화상 처리용 데이터 생성 수단은, 상기 비기준 화상 판정 수단에 의해서 판정된 비기준 화상을 식별하기 위한 식별 정보를 상기 처리 화소 단위마다 기억한 비기준 화상 처리용 데이터를 생성하는 비기준 화상 처리용 데이터 생성 수단을 가지고,
    상기 전경 후보 영역 검출 수단은, 상기 기준 화상과 상기 비기준 화상 처리용 데이터 생성 수단에 의해서 생성된 비기준 화상 처리용 데이터를 이용하여, 상기 전경 후보 영역을 검출하고,
    상기 화상 수정 수단은, 상기 기준 화상 설정 수단에 의해서 설정된 기준 화상을 상기 수정 대상 화상으로 하여 수정을 행하는,
    화상 처리 장치.
11. 청구항 9에 있어서,
    상기 화상 수정 수단은, 상기 화상 처리용 데이터에 기억된 식별 정보에 대응하는 입력 화상을 상기 수정용 화상으로 하여, 상기 수정 대상 화상의 상기 전경 후보 영역을 수정하는,
    화상 처리 장치.
12. 청구항 9에 있어서,
    상기 화상 수정 수단은, 상기 수정 대상 화상의 상기 전경 후보 영역의 화상 데이터를, 상기 수정용 화상의 해당 전경 후보 영역에 대응하는 영역의 화상 데이터를 이용하여 수정하는,
    화상 처리 장치.
13. 청구항 9에 있어서,
    상기 화상 수정 수단은, 상기 전경 후보 영역의 신뢰도에 대응하여 실행하는 화상 수정 처리를 전환하여, 상기 수정 대상 화상의 해당 전경 후보 영역을 수정하는,
    화상 처리 장치.
14. 청구항 13에 있어서,
    상기 화상 수정 수단은, 상기 신뢰도가 소정의 고신뢰도 조건을 만족하는 전경 후보 영역에 대해서, 상기 수정용 화상의 해당 전경 후보 영역에 대응하는 영역의 화상 데이터에서 상기 수정 대상 화상의 해당 전경 후보 영역의 화상 데이터를 치환하는 처리를 상기 화상 수정 처리로서 실행하는,
    화상 처리 장치.
15. 청구항 13에 있어서,
    상기 화상 수정 수단은, 상기 신뢰도가 소정의 저신뢰도 조건을 만족하는 전경 후보 영역에 대하여, 상기 수정용 화상 중에서 해당 전경 후보 영역의 화상 데이터와 소정의 관계를 만족하는 화상 데이터를 추출하여 상기 수정 대상 화상의 해당 전경 후보 영역에 붙여넣는 처리를 상기 화상 수정 처리로서 실행하는,
    화상 처리 장치.
16. 청구항 9에 있어서,
    표시 수단과,
    상기 전경 후보 영역의 신뢰도를 상기 표시 수단에 표시 제어하는 표시 제어 수단
    을 더 구비한,
    화상 처리 장치.
17. 청구항 16에 있어서,
    상기 표시 제어 수단은, 각 전경 후보 영역의 신뢰도를 사용자가 구별 가능한 표시 형태로 상기 표시 수단에 표시 제어하는,
    화상 처리 장치.
18. 청구항 9에 있어서,
    상기 수정 대상 화상 중에서 물체를 검출하는 물체 검출 수단과,
    상기 물체 검출 수단에 의한 물체의 검출 영역과 상기 전경 후보 영역과의 위치 관계 및 상기 신뢰도에 기초하여, 상기 수정 대상 화상 중 우선적으로 수정해야 할 영역인 우선 수정 영역을 결정하는 우선 수정 영역 결정 수단
    을 더 구비한,
    화상 처리 장치.
19. 청구항 9에 있어서,
    상기 신뢰도 판정 수단은, 상기 전경 후보 영역의 면적과, 상기 전경 후보 영역에 포함되는 화소에 대해서 상기 화상 처리용 데이터에 기억된 상대값 중 적어도 어느 하나에 기초하여, 해당 전경 후보 영역의 신뢰도를 판정하는,
    화상 처리 장치.
20. 청구항 9에 있어서,
    조작 수단과,
    표시 수단과,
    상기 복수의 입력 화상 중에서 선택한 입력 화상을 상기 표시 수단에 표시 제어하는 표시 제어 수단과,
    상기 표시 수단에 표시되고 있는 화상 상의 위치를 지정하는 사용자 조작을 검지하는 검지 수단과,
    상기 검지 수단의 검지에 대응하여, 상기 사용자 조작에 의해 지정된 위치가 상기 전경 후보 영역에 포함되는지 아닌지를 판정하는 지정 위치 판정 수단
    을 더 구비하고,
    상기 화상 수정 수단은, 상기 지정 위치 판정 수단의 판정 결과가 긍정 판정인 경우에, 상기 수정 대상 화상의 상기 전경 후보 영역을 수정하고,
    상기 표시 제어 수단은, 상기 화상 수정 수단에 의해 수정된 화상을 상기 표시 수단에 표시 제어하는,
    화상 처리 장치.
21. 청구항 20에 있어서,
    상기 지정 위치 판정 수단의 판정 결과에 기초하여, 상기 사용자 조작에 의한 각 전경 후보 영역의 수정의 필요 여부를 기억한 화상 수정 필요 여부 데이터를 생성하는 화상 수정 필요 여부 데이터 생성 수단을 더 구비하고,
    상기 화상 수정 수단은, 상기 화상 수정 필요 여부 데이터 생성 수단에 의해서 생성된 화상 수정 필요 여부 데이터에 기초하여, 각 전경 후보 영역의 수정의 필요 여부를 판정하는,
    화상 처리 장치.
22. 청구항 18에 있어서,
    상기 화상 수정 수단은, 상기 수정 대상 화상의 상기 우선 수정 영역을 수정하고,
    표시 수단과,
    상기 화상 수정 수단에 의해 수정된 화상을 상기 표시 수단에 표시 제어하는 표시 제어 수단
    을 더 구비한,
    화상 처리 장치.
23. 청구항 22에 있어서,
    상기 표시 제어 수단은, 상기 우선 수정 영역을 상기 전경 후보 영역과는 다른 표시 형태로 상기 표시 수단에 표시 제어하는,
    화상 처리 장치.
24. 복수의 입력 화상을 축적하는 화상 축적 수단과,
    상기 축적된 복수의 입력 화상에 기초하여, 화상 중의 교체 후보 영역 및 그에 관련지어진 교체 신뢰도를 산출하는 산출 수단과,
    상기 복수의 입력 화상 중 최신으로 입력된 입력 화상인 기준 화상 및 해당 기준 화상 상에 상기 교체 후보 영역을 중첩 표시 또는 윤곽 표시시킨 화상을 표시하는 표시 수단
    을 구비하고,
    상기 산출 수단은, 상기 기준 화상이 신규 화상 입력에 의해 갱신되었을 때, 상기 교체 후보 영역 및 상기 교체 신뢰도를 재산출하고,
    상기 표시 수단은, 상기 재산출의 결과에 기초하여 상기 표시 수단의 표시를 갱신하는,
    화상 처리 장치.
25. 청구항 24에 있어서,
    상기 표시 수단은, 상기 교체 후보 영역을 중첩 표시 또는 윤곽 표시할 때에, 관련지어진 교체 신뢰도를 반영한 표시를 행하는,
    화상 처리 장치.
26. 청구항 24에 있어서,
    임의의 영역을 지정 가능한 영역 지정 수단과,
    상기 영역 지정 수단에 의해 지정된 영역이, 상기 산출 수단에 의해 산출된 상기 교체 후보 영역에 포함되는 경우에 있어서, 관련지어진 교체 신뢰도가 소정 조건을 만족하는 경우에, 그 취지를 사용자에게 통지하는 통지 수단
    을 더 구비한,
    화상 처리 장치.
27. 청구항 24에 있어서,
    임의의 영역을 지정 가능한 영역 지정 수단과,
    상기 영역 지정 수단에 의해 지정된 영역이, 상기 산출 수단에 의해 산출된 상기 교체 후보 영역에 포함되는 경우에 있어서, 관련지어진 교체 신뢰도가 소정 조건을 만족하는 경우는, 해당 교체 후보 영역에 대응하는 화상 영역을 수정하는 화상 수정 수단
    을 더 구비하고,
    상기 표시 수단은, 상기 화상 수정 수단에 의해 수정된 화상을 표시하는,
    화상 처리 장치.
28. 복수의 입력 화상에 기초하여 정해지는 수정 대상 화상의 수정 대상 영역을, 상기 복수의 입력 화상 중의 어느 하나의 입력 화상을 수정용 화상으로서 이용하여 수정하는 것과,
    상기 수정 대상 영역의 전경으로서의 신뢰도를 판정하는 것과,
    상기 신뢰도 판정은,
    상기 수정 대상 영역의 사이즈에 기초하는 제1 신뢰도 판정과,
    상기 복수의 입력화상 각각과, 상기 복수의 입력화상과 관련지어진 참조 화상과의 상대 관계를 나타내는 상대값에 기초하는 제2 신뢰도 판정을 포함하고,
    판정된 신뢰도에 기초하여, 상기 수정 대상 영역을 수정하는 것
    을 포함하는, 화상 처리 방법.
29. 복수의 입력 화상 각각에 대해서, 해당 입력 화상과 상기 복수의 입력 화상과 관련지어진 참조 화상과의 상대 관계를 나타내는 상대값을, 소정의 처리 화소 단위마다 산출하는 것과,
    상기 복수의 입력 화상 중, 상기 산출된 상대값이 특정 조건을 만족하는 입력 화상을, 상기 처리 화소 단위마다 판정하는 것과,
    상기 판정된 입력 화상을 식별하기 위한 식별 정보를 상기 처리 화소 단위마다 기억한 화상 처리용 데이터를 생성하는 것과,
    상기 복수의 입력 화상 중의 어느 하나의 입력 화상을 수정용 화상으로 하고, 상기 수정용 화상과 상기 화상 처리용 데이터 생성 수단에 의해서 생성된 화상 처리용 데이터를 이용하여, 상기 복수의 입력 화상에 기초하여 정해지는 수정 대상 화상의 수정 대상 영역의 수정을 행하는 것을 포함하는,
    화상 처리 방법.
30. 복수의 입력 화상을 축적하는 것과,
    상기 축적된 복수의 입력 화상에 기초하여, 화상 중의 교체 후보 영역 및 그에 관련지어진 교체 신뢰도를 산출하는 것과,
    상기 복수의 입력 화상 중 최신으로 입력된 입력 화상인 기준 화상 및 해당 기준 화상 상에 상기 교체 후보 영역을 중첩 표시 또는 윤곽 표시시킨 화상을 소정의 표시 수단에 표시시키는 것
    을 포함하고,
    상기 산출하는 것은, 상기 기준 화상이 신규 화상 입력에 의해 갱신되었을 때, 상기 교체 후보 영역 및 상기 교체 신뢰도를 재산출하는 것을 포함하고,
    상기 표시시키는 것은, 상기 재산출의 결과에 기초하여 상기 표시 수단의 표시를 갱신하는 것을 포함하는,
    화상 처리 방법.

Images