KR20120019425A - 화상 처리 장치 및 방법, 및 프로그램 - Google Patents

Abstract

본 발명은, 화상 상의 피사체의 영역을 보다 정확하게 특정할 수 있도록 하는 화상 처리 장치 및 방법, 및 프로그램에 관한 것이다. 피사체 맵 생성부(21)는, 입력 화상으로부터, 입력 화상의 각 영역에 있어서의, 피사체의 영역다움을 나타내는 피사체 맵을 생성한다. 그라디언트 맵 생성부(22)는, 피사체 맵에 있어서의 피사체다움의 변화의 정도를 나타내는 그라디언트 맵을 생성한다. 임계값 처리부(23) 및 임계값 처리부(24)는, 높은 임계값(THh) 및 낮은 임계값(THl)을 사용하여 그라디언트 맵을 2치화하여, 임계값 맵으로 한다. 합성 맵 생성부(25)는, 낮은 임계값(THl)의 임계값 맵에 의해 피사체답다고 특정된 영역 중, 높은 임계값(THh)의 임계값 맵에 의해 피사체답다고 특정된 영역이 포함되는 영역을, 피사체의 영역으로 하여 입력 화상의 각 영역에 있어서의 피사체다움을 나타내는 합성 맵을 생성한다. 본 발명은, 화상 처리 장치에 적용할 수 있다.

Description

화상 처리 장치 및 방법, 및 프로그램{IMAGE PROCESSING DEVICE, METHOD, AND PROGRAM}

본 발명은 화상 처리 장치 및 방법, 및 프로그램에 관한 것으로, 특히 화상 상의 피사체의 영역을 보다 정확하게 특정할 수 있도록 한 화상 처리 장치 및 방법, 및 프로그램에 관한 것이다.

종래, 화상 상의 피사체의 영역을 특정하기 위한 기술로서, 비주얼 어텐션이라고 불리는 기술이 알려져 있다(예를 들어, 비특허문헌 1 참조).

비주얼 어텐션에서는, 입력된 입력 화상으로부터 휘도 정보, 색 정보, 에지 정보가 추출되고, 그들의 추출된 정보에 기초하여 구해진 정보 맵이 추가되어, 1개의 셀리언시 맵(Saliency Map; 이하, 피사체 맵이라고 칭하기로 한다)이 생성된다.

이 피사체 맵은, 입력 화상의 각 영역에 있어서의 피사체의 영역다움을 나타내는 정보이다. 즉, 피사체 맵 상의 화소의 화소값은, 그 화소와 동일한 위치에 있는 입력 화상의 화소(영역)의 피사체의 영역다움을 나타내고 있다. 따라서, 피사체 맵을 사용하면, 입력 화상 상의 어느 영역에 피사체가 포함되어 있는지를 특정할 수 있다.

Laurent Itti, Christof Koch, and Ernst Niebur, "A Model of Saliency-Based Visual Attention for Rapid Scene Analysis"

그러나, 상술한 기술에서는, 입력 화상 상의 피사체의 영역을 보다 정확하게 특정하는 것은 곤란했다. 구체적으로는, 피사체 맵을 사용하여 입력 화상 상의 피사체의 영역을 특정하는 경우, 피사체 맵 상의 화소 중, 미리 정해진 임계값 이상의 화소값을 갖는 화소로 이루어지는 영역이 피사체의 영역으로 된다.

그로 인해, 임계값에 따라서는, 노이즈 등의 요인에 의해 피사체가 아닌 영역까지 피사체의 영역이라고 오검출되거나, 본래 피사체의 영역으로 되어야 할 영역이 피사체의 영역으로 되지 않거나 하는 경우가 있었다. 즉, 보다 정확하게 피사체의 영역을 특정하기 위해서는, 입력 화상마다 적절한 임계값을 정할 필요가 있지만, 적절한 임계값을 정하는 것은 용이하지는 않았다.

본 발명은, 이러한 상황을 감안하여 이루어진 것이며, 화상 상의 피사체의 영역을 보다 정확하게 특정할 수 있도록 하는 것이다.

본 발명의 일측면의 화상 처리 장치는, 입력 화상으로부터, 상기 입력 화상 상의 피사체의 영역이 갖는 특징의 특징량을 추출하여, 상기 입력 화상의 각 영역에 있어서의 상기 피사체의 영역다움을 나타내는 피사체 맵을 생성하는 피사체 맵 생성 수단과, 제1 임계값을 사용한 임계값 처리에 의해 상기 피사체 맵을 2치화하여, 상기 피사체가 포함되는 연결 영역을 특정하기 위한 제1 임계값 맵을 생성하는 제1 임계값 처리 수단과, 제2 임계값을 사용한 임계값 처리에 의해 상기 피사체 맵을 2치화하여, 상기 제1 임계값 맵에 의해 특정되는 상기 연결 영역 내의 영역으로서, 상기 피사체다운 영역을 특정하기 위한 제2 임계값 맵을 생성하는 제2 임계값 처리 수단과, 상기 제1 임계값 맵에 의해 특정된 1개 또는 복수의 상기 연결 영역 중, 상기 제2 임계값 맵에 의해 상기 피사체다운 영역이라고 특정된 영역을 포함하는 상기 연결 영역을, 상기 피사체의 영역으로 하여, 상기 입력 화상 상의 상기 피사체의 영역을 특정하기 위한 합성 맵을 생성하는 합성 맵 생성 수단을 구비한다.

상기 합성 맵 생성 수단에는, 상기 제2 임계값 맵에 의해 상기 피사체다운 영역이라고 특정된 영역을 포함하는 상기 연결 영역 중, 미리 정해진 면적 이상의 상기 연결 영역을 상기 피사체의 영역으로 하여 상기 합성 맵을 생성시킬 수 있다.

상기 합성 맵은, 상기 입력 화상의 영역마다의, 상기 피사체의 영역인지의 여부를 나타내는 2치의 정보가, 상기 입력 화상의 각 영역에 대응하여 배열된 정보로 되고, 상기 합성 맵과 상기 피사체 맵의 논리곱을 구하고, 그 논리곱의 연산 결과를 제3 임계값을 사용한 임계값 처리에 의해 2치화함으로써, 상기 입력 화상 상의 상기 피사체의 영역을 특정하는 피사체 특정 정보를 생성하는 피사체 특정 정보 생성 수단을 더 마련할 수 있다.

상기 피사체 특정 정보 생성 수단에는, 상기 논리곱의 연산 결과에 있어서의, 상기 합성 맵에 의해 상기 피사체의 영역으로 특정된 피사체 영역과 동일한 영역마다, 상기 피사체 맵에 기초하여 상기 제3 임계값을 구하게 할 수 있다.

화상 처리 장치에는, 상기 피사체 맵에 기초하여, 상기 입력 화상의 각 영역에 있어서의, 상기 피사체 맵에 의해 나타나는 상기 피사체의 영역다움의 변화의 정도를 나타내는 그라디언트 맵을 생성하는 그라디언트 맵 생성 수단을 더 마련하고, 상기 제1 임계값 처리 수단 및 상기 제2 임계값 처리 수단에는, 상기 그라디언트 맵에 대하여 임계값 처리를 행하여, 상기 제1 임계값 맵 및 상기 제2 임계값 맵을 생성시킬 수 있다.

상기 제1 임계값 처리 수단 및 상기 제2 임계값 처리 수단에는, 상기 그라디언트 맵에 기초하여, 상기 제1 임계값 및 상기 제2 임계값을 산출시킬 수 있다.

본 발명의 일측면의 화상 처리 방법 또는 프로그램은, 입력 화상으로부터, 상기 입력 화상 상의 피사체의 영역이 갖는 특징의 특징량을 추출하여, 상기 입력 화상의 각 영역에 있어서의 상기 피사체의 영역다움을 나타내는 피사체 맵을 생성하고, 제1 임계값을 사용한 임계값 처리에 의해 상기 피사체 맵을 2치화하여, 상기 피사체가 포함되는 연결 영역을 특정하기 위한 제1 임계값 맵을 생성하고, 제2 임계값을 사용한 임계값 처리에 의해 상기 피사체 맵을 2치화하여, 상기 제1 임계값 맵에 의해 특정되는 상기 연결 영역 내의 영역으로서, 상기 피사체다운 영역을 특정하기 위한 제2 임계값 맵을 생성하고, 상기 제1 임계값 맵에 의해 특정된 1개 또는 복수의 상기 연결 영역 중, 상기 제2 임계값 맵에 의해 상기 피사체다운 영역으로 특정된 영역을 포함하는 상기 연결 영역을, 상기 피사체의 영역으로 하여 상기 입력 화상 상의 상기 피사체의 영역을 특정하기 위한 합성 맵을 생성하는 스텝을 포함한다.

본 발명의 일측면에 있어서는, 입력 화상으로부터 상기 입력 화상 상의 피사체의 영역이 갖는 특징의 특징량이 추출되어, 상기 입력 화상의 각 영역에 있어서의 상기 피사체의 영역다움을 나타내는 피사체 맵이 생성되고, 제1 임계값을 사용한 임계값 처리에 의해 상기 피사체 맵이 2치화되어, 상기 피사체가 포함되는 연결 영역을 특정하기 위한 제1 임계값 맵이 생성되고, 제2 임계값을 사용한 임계값 처리에 의해 상기 피사체 맵이 2치화되어, 상기 제1 임계값 맵에 의해 특정되는 상기 연결 영역 내의 영역으로서, 상기 피사체다운 영역을 특정하기 위한 제2 임계값 맵이 생성되고, 상기 제1 임계값 맵에 의해 특정된 1개 또는 복수의 상기 연결 영역 중, 상기 제2 임계값 맵에 의해 상기 피사체다운 영역이라고 특정된 영역을 포함하는 상기 연결 영역을, 상기 피사체의 영역으로 하여 상기 입력 화상 상의 상기 피사체의 영역을 특정하기 위한 합성 맵이 생성된다.

본 발명의 일측면에 의하면, 화상 상의 피사체의 영역을 보다 정확하게 특정할 수 있다.

도 1은 본 발명을 적용한 화상 처리 장치의 일 실시 형태의 구성예를 도시하는 블록도이다.
도 2는 피사체 맵 생성부의 구성예를 도시하는 도면이다.
도 3은 휘도 정보 추출부의 구성예를 도시하는 도면이다.
도 4는 색 정보 추출부의 구성예를 도시하는 도면이다.
도 5는 에지 정보 추출부의 구성예를 도시하는 도면이다.
도 6은 얼굴 정보 추출부의 구성예를 도시하는 도면이다.
도 7은 움직임 정보 추출부의 구성예를 도시하는 도면이다.
도 8은 피사체 프레임 표시 처리를 설명하는 흐름도이다.
도 9는 피사체 맵 생성 처리를 설명하는 흐름도이다.
도 10은 휘도 정보 추출 처리를 설명하는 흐름도이다.
도 11은 색 정보 추출 처리를 설명하는 흐름도이다.
도 12는 에지 정보 추출 처리를 설명하는 흐름도이다.
도 13은 얼굴 정보 추출 처리를 설명하는 흐름도이다.
도 14는 움직임 정보 추출 처리를 설명하는 흐름도이다.
도 15는 피사체 영역 추출 처리를 설명하는 흐름도이다.
도 16은 그라디언트 맵의 생성에 대하여 설명하는 도면이다.
도 17은 임계값의 산출에 대하여 설명하는 도면이다.
도 18은 합성 맵의 생성에 대하여 설명하는 도면이다.
도 19는 2치화 맵의 생성에 대하여 설명하는 도면이다.
도 20은 피사체 영역 정보의 생성에 대하여 설명하는 도면이다.
도 21은 컴퓨터의 구성예를 도시하는 도면이다.

이하, 도면을 참조하여, 본 발명을 적용한 실시 형태에 대하여 설명한다.

[화상 처리 장치의 구성]

도 1은, 본 발명을 적용한 화상 처리 장치의 일 실시 형태의 구성예를 도시하는 블록도이다.

화상 처리 장치(11)는, 예를 들어 카메라 등의 촬상 장치에 탑재되어, 촬상된 입력 화상으로부터 피사체의 영역을 특정하고, 입력 화상과 함께 피사체의 영역을 둘러싸는 프레임을 표시시킨다. 또한, 이하, 입력 화상 상에 있어서의 피사체의 영역을 피사체 영역이라고도 칭하기로 하고 입력 화상 상에 표시되는 피사체 영역을 둘러싸는 프레임을 피사체 프레임이라고도 칭하기로 한다.

화상 처리 장치(11)는, 피사체 맵 생성부(21), 그라디언트 맵 생성부(22), 임계값 처리부(23), 임계값 처리부(24), 합성 맵 생성부(25), 2치화 맵 생성부(26), 직사각형 정형부(27) 및 표시 제어부(28)로 구성된다. 화상 처리 장치(11)에서는, 촬상된 입력 화상이 피사체 맵 생성부(21) 및 표시 제어부(28)에 공급된다.

피사체 맵 생성부(21)는, 공급된 입력 화상에 기초하여, 입력 화상의 각 영역에 있어서의, 피사체가 포함되는 영역다움을 나타내는 정보인 피사체 맵을 생성하여, 그라디언트 맵 생성부(22)에 공급한다. 여기서, 피사체는 유저가 입력 화상을 일별한 경우에 유저가 주목한다고 추정되는 입력 화상 상의 물체, 즉 유저가 관심을 갖는다고 추정되는 물체로 한다. 따라서, 피사체는 반드시 사람에게 한정되는 것은 아니다.

그라디언트 맵 생성부(22)는, 피사체 맵 생성부(21)로부터 공급된 피사체 맵으로부터 피사체다움의 에지 부분을 추출하여, 그 에지의 크기(에지 강도)를 나타내는 그라디언트 맵을 생성한다. 여기서, 피사체다움의 에지 부분이란, 피사체 맵의 피사체다움을 나타내는 값, 즉 피사체 맵 상의 화소의 화소값이 급준하게 변화하는 영역을 의미한다. 따라서, 그라디언트 맵의 각 화소의 화소값은, 피사체 맵에 있어서의 화소값(피사체다움을 나타내는 값)의 변화의 정도를 나타내고 있다.

그라디언트 맵 생성부(22)는, 생성된 그라디언트 맵을 임계값 처리부(23), 임계값 처리부(24) 및 2치화 맵 생성부(26)에 공급한다.

임계값 처리부(23) 및 임계값 처리부(24)는 그라디언트 맵 생성부(22)로부터 공급된 그라디언트 맵을 사용하여, 그라디언트 맵으로부터 입력 화상 상의 피사체다운 영역을 추출하기 위하여 사용하는 임계값을 구한다. 또한, 임계값 처리부(23) 및 임계값 처리부(24) 각각에 있어서는, 서로 다른 임계값이 구해진다.

또한, 임계값 처리부(23) 및 임계값 처리부(24)는, 구한 임계값을 사용한 임계값 처리에 의해 그라디언트 맵을 2치화하여, 입력 화상에 있어서의 피사체를 포함하는 영역을 나타내는 임계값 맵을 생성하고, 생성된 임계값 맵을 합성 맵 생성부(25)에 공급한다. 여기서, 임계값 맵에 있어서, 입력 화상 상의 피사체를 포함하는 영역이 되는 영역은, 그라디언트 맵의 화소의 화소값이 임계값 이상인 영역이다.

합성 맵 생성부(25)는, 임계값 처리부(23) 및 임계값 처리부(24)로부터 공급된 임계값 맵을 사용하여 합성 맵을 생성하여, 2치화 맵 생성부(26)에 공급한다.

예를 들어, 합성 맵 생성부(25)는, 2개의 임계값 맵 중 어느 1개에 있어서, 피사체를 포함하는 영역이 된, 서로 인접하는 영역(화소)을 연결하여 얻어지는 1개의 영역을 연결 영역으로 한다. 그리고, 합성 맵 생성부(25)는 연결 영역 중, 2개의 임계값 맵에 있어서, 피사체를 포함하는 영역으로 된 영역을 포함하는 연결 영역을 나타내는 정보를 합성 맵으로 한다.

2치화 맵 생성부(26)는, 그라디언트 맵 생성부(22)로부터 공급된 그라디언트 맵과, 합성 맵 생성부(25)로부터 공급된 합성 맵을 사용하여, 2치화 맵을 생성하여, 직사각형 정형부(27)에 공급한다. 여기서, 2치화 맵은, 합성 맵에 의해 나타나는 연결 영역 내의 영역 중, 그 영역에 대응하는 그라디언트 맵의 화소의 화소값이 소정의 임계값 이상인 영역을 나타내는 정보이다.

직사각형 정형부(27)는, 2치화 맵 생성부(26)로부터 공급된 2치화 맵에 의해 나타나는 영역을 포함하는 직사각형의 영역을 피사체가 포함되는 피사체 영역으로 하고, 그 피사체 영역을 나타내는 피사체 영역 정보를 표시 제어부(28)에 공급한다. 표시 제어부(28)는, 공급된 입력 화상과, 직사각형 정형부(27)로부터의 피사체 영역 정보에 기초하여 도시하지 않는 표시부를 제어하여, 표시부에 피사체 프레임이 표시된 입력 화상을 표시시킨다.

또한, 도 1의 피사체 맵 생성부(21)는, 보다 상세하게는 도 2에 도시한 바와 같이 구성된다.

즉, 피사체 맵 생성부(21)는, 휘도 정보 추출부(51), 색 정보 추출부(52), 에지 정보 추출부(53), 얼굴 정보 추출부(54), 움직임 정보 추출부(55) 및 맵 생성부(56)로 구성된다.

휘도 정보 추출부(51)는, 공급된 입력 화상에 기초하여, 입력 화상의 각 영역에 있어서의, 휘도에 관한 정보를 나타내는 휘도 정보 맵을 생성하여, 맵 생성부(56)에 공급한다. 색 정보 추출부(52)는, 공급된 입력 화상에 기초하여, 입력 화상의 각 영역에 있어서의, 색에 관한 정보를 나타내는 색 정보 맵을 생성하여, 맵 생성부(56)에 공급한다.

에지 정보 추출부(53)는, 공급된 입력 화상에 기초하여, 입력 화상의 각 영역에 있어서의, 에지에 관한 정보를 나타내는 에지 정보 맵을 생성하여, 맵 생성부(56)에 공급한다. 얼굴 정보 추출부(54)는, 공급된 입력 화상에 기초하여, 입력 화상의 각 영역에 있어서의, 피사체로서의 사람의 얼굴에 관한 정보를 나타내는 얼굴 정보 맵을 생성하여, 맵 생성부(56)에 공급한다. 움직임 정보 추출부(55)는, 공급된 입력 화상에 기초하여, 입력 화상의 각 영역에 있어서의, 움직임에 관한 정보를 나타내는 움직임 정보 맵을 생성하여, 맵 생성부(56)에 공급한다.

또한, 이하, 휘도 정보 추출부(51) 내지 움직임 정보 추출부(55)로부터 출력되는 휘도 정보 맵 내지 움직임 정보 맵 각각을 개별적으로 구별할 필요가 없는 경우, 간단히 정보 맵이라고도 칭한다. 이들 정보 맵에 포함되는 정보는, 피사체가 포함되는 영역에 보다 많이 포함되는 특징의 특징량을 나타내는 정보로 하고, 그 정보가 입력 화상의 각 영역에 대응시켜 배열된 것이 정보 맵으로 한다.

즉, 휘도 정보 추출부(51) 내지 움직임 정보 추출부(55)는, 입력 화상으로부터 피사체의 영역이 보다 많이 갖는 특징의 특징량을 추출하여, 입력 화상의 각 영역에 있어서의 특징량을 나타내는 정보인 정보 맵을 생성한다. 따라서, 각 정보 맵에 있어서의, 보다 정보량이 많은 영역, 즉 특징량이 많은 영역에 대응하는 입력 화상 상의 영역은, 보다 피사체가 포함될 가능성이 높은 영역이 되어, 각 정보 맵에 의해 입력 화상에 있어서의 피사체가 포함되는 영역을 특정할 수 있다.

맵 생성부(56)는, 휘도 정보 추출부(51) 내지 움직임 정보 추출부(55)로부터 공급된 휘도 정보 맵, 색 정보 맵, 에지 정보 맵, 얼굴 정보 맵 및 움직임 정보 맵을 선형 결합하여, 피사체 맵을 생성한다. 즉, 휘도 정보 맵 내지 움직임 정보 맵의 각 영역의 정보(특징량)가, 동일 위치에 있는 영역마다 가중치 부여 가산되어 피사체 맵이 생성된다. 맵 생성부(56)는, 생성된 피사체 맵을 그라디언트 맵 생성부(22)에 공급한다.

이어서, 도 3 내지 도 7을 참조하여, 도 2의 휘도 정보 추출부(51) 내지 움직임 정보 추출부(55)의 보다 상세한 구성에 대하여 설명한다.

도 3은, 휘도 정보 추출부(51)의 보다 상세한 구성예를 도시하는 도면이다.

휘도 정보 추출부(51)는, 휘도 화상 생성부(81), 피라미드 화상 생성부(82), 차분 산출부(83) 및 휘도 정보 맵 생성부(84)로 구성된다.

휘도 화상 생성부(81)는, 공급된 입력 화상을 사용하여, 입력 화상의 화소의 휘도값을, 화소의 화소값으로 하는 휘도 화상을 생성하여, 피라미드 화상 생성부(82)에 공급한다. 여기서, 휘도 화상의 임의의 화소의 화소값은, 그 화소와 동일한 위치에 있는 입력 화상의 화소의 휘도값을 나타내고 있다.

피라미드 화상 생성부(82)는, 휘도 화상 생성부(81)로부터 공급된 휘도 화상을 사용하여, 서로 해상도가 상이한 복수의 휘도 화상을 생성하고, 그들의 휘도 화상을 휘도의 피라미드 화상으로서 차분 산출부(83)에 공급한다.

예를 들어, 레벨 L1부터 레벨 L8까지의 8개의 해상도의 계층의 피라미드 화상이 생성되며, 레벨 L1의 피라미드 화상이 가장 해상도가 높고, 레벨 L1부터 레벨 L8까지 순서대로 피라미드 화상의 해상도가 낮아지는 것으로 한다.

이 경우, 휘도 화상 생성부(81)에 의해 생성된 휘도 화상이 레벨 L1의 피라미드 화상으로 된다. 또한, 레벨 Li(단, 1≤i≤7)의 피라미드 화상에 있어서의, 서로 인접하는 4개의 화소의 화소값의 평균값이, 그들의 화소와 대응하는 레벨 L(i+1)의 피라미드 화상의 1개의 화소의 화소값으로 된다. 따라서, 레벨 L(i+1)의 피라미드 화상은, 레벨 Li의 피라미드 화상에 대하여 종횡 절반(정확히 나누어지지 않는 경우에는 잘라 버림)의 화상이 된다.

차분 산출부(83)는, 피라미드 화상 생성부(82)로부터 공급된 복수의 피라미드 화상 중, 서로 계층이 상이한 2개의 피라미드 화상을 선택하고, 선택한 피라미드 화상의 차분을 구하여 휘도의 차분 화상을 생성한다. 또한, 각 계층의 피라미드 화상은, 각각 크기(화소수)가 상이하므로, 차분 화상의 생성 시에는 보다 작은 쪽의 피라미드 화상이 보다 큰 피라미드 화상에 맞추어 업 컨버트된다.

차분 산출부(83)는, 미리 정해진 수만큼 휘도의 차분 화상을 생성하면, 생성된 그들의 차분 화상을 정규화하여, 휘도 정보 맵 생성부(84)에 공급한다. 휘도 정보 맵 생성부(84)는, 차분 산출부(83)로부터 공급된 차분 화상에 기초하여 휘도 정보 맵을 생성하여, 맵 생성부(56)에 공급한다.

도 4는, 도 2의 색 정보 추출부(52)의 보다 상세한 구성예를 도시하는 도면이다.

색 정보 추출부(52)는, RG 차분 화상 생성부(111), BY 차분 화상 생성부(112), 피라미드 화상 생성부(113), 피라미드 화상 생성부(114), 차분 산출부(115), 차분 산출부(116), 색 정보 맵 생성부(117) 및 색 정보 맵 생성부(118)로 구성된다.

RG 차분 화상 생성부(111)는, 공급된 입력 화상을 사용하여, 입력 화상의 화소의 R(적) 성분과 G(녹) 성분의 차분을, 화소의 화소값으로 하는 RG 차분 화상을 생성하여, 피라미드 화상 생성부(113)에 공급한다. RG 차분 화상의 임의의 화소의 화소값은, 그 화소와 동일한 위치에 있는 입력 화상의 화소의 R의 성분과, G의 성분의 차분의 값을 나타내고 있다.

BY 차분 화상 생성부(112)는, 공급된 입력 화상을 사용하여, 입력 화상의 화소의 B(청) 성분과 Y(황) 성분의 차분을, 화소의 화소값으로 하는 BY 차분 화상을 생성하여, 피라미드 화상 생성부(114)에 공급한다. BY 차분 화상의 임의의 화소의 화소값은, 그 화소와 동일한 위치에 있는 입력 화상의 화소의 B(청) 성분과, Y(황) 성분의 차분의 값을 나타내고 있다.

피라미드 화상 생성부(113) 및 피라미드 화상 생성부(114)는, RG 차분 화상 생성부(111) 및 BY 차분 화상 생성부(112)로부터 공급된 RG 차분 화상 및 BY 차분 화상을 사용하여, 서로 해상도가 상이한 복수의 RG 차분 화상 및 BY 차분 화상을 생성한다. 그리고, 피라미드 화상 생성부(113) 및 피라미드 화상 생성부(114)는, 생성된 그들의 RG 차분 화상 및 BY 차분 화상을, RG의 차분의 피라미드 화상 및 BY의 차분의 피라미드 화상으로서 차분 산출부(115) 및 차분 산출부(116)에 공급한다.

예를 들어, RG의 차분의 피라미드 화상 및 BY의 차분의 피라미드 화상으로서, 휘도의 피라미드 화상의 경우와 마찬가지로, 각각 레벨 L1부터 레벨 L8까지의 8개의 해상도의 계층의 피라미드 화상이 생성된다.

차분 산출부(115) 및 차분 산출부(116)는, 피라미드 화상 생성부(113) 및 피라미드 화상 생성부(114)로부터 공급된 복수의 피라미드 화상 중, 서로 계층이 상이한 2개의 피라미드 화상을 선택하고, 선택한 피라미드 화상의 차분을 구하여 RG의 차분의 차분 화상 및 BY의 차분의 차분 화상을 생성한다. 또한, 각 계층의 피라미드 화상은 각각 크기가 상이하므로, 차분 화상의 생성 시에는 보다 작은 쪽의 피라미드 화상이 업 컨버트되어, 보다 큰 쪽의 피라미드 화상과 동일한 크기로 된다.

차분 산출부(115) 및 차분 산출부(116)는, 미리 정해진 수만큼 RG의 차분의 차분 화상 및 BY의 차분의 차분 화상을 생성하면, 생성된 그들의 차분 화상을 정규화하여, 색 정보 맵 생성부(117) 및 색 정보 맵 생성부(118)에 공급한다. 색 정보 맵 생성부(117) 및 색 정보 맵 생성부(118)는, 차분 산출부(115) 및 차분 산출부(116)로부터 공급된 차분 화상에 기초하여 색 정보 맵을 생성하여, 맵 생성부(56)에 공급한다. 색 정보 맵 생성부(117)에서는 RG의 차분의 색 정보 맵이 생성되고, 색 정보 맵 생성부(118)에서는 BY의 차분의 색 정보 맵이 생성된다.

도 5는, 도 2의 에지 정보 추출부(53)의 보다 상세한 구성예를 도시하는 도면이다.

에지 정보 추출부(53)는, 에지 화상 생성부(141) 내지 에지 화상 생성부(144), 피라미드 화상 생성부(145) 내지 피라미드 화상 생성부(148), 차분 산출부(149) 내지 차분 산출부(152) 및 에지 정보 맵 생성부(153) 내지 에지 정보 맵 생성부(156)로 구성된다.

에지 화상 생성부(141) 내지 에지 화상 생성부(144)는, 공급된 입력 화상에 대하여, 가버 필터를 사용한 필터 처리를 실시하여, 예를 들어 0도, 45도, 90도 및 135도 방향의 에지 강도를 화소의 화소값으로 하는 에지 화상을 생성하여, 피라미드 화상 생성부(145) 내지 피라미드 화상 생성부(148)에 공급한다.

예를 들어, 에지 화상 생성부(141)에 의해 생성되는 에지 화상의 임의의 화소의 화소값은, 그 화소와 동일한 위치에 있는 입력 화상의 화소에 있어서의 0도 방향의 에지 강도를 나타내고 있다. 또한, 각 에지의 방향이란, 가버 필터를 구성하는 가버 함수에 있어서의 각도 성분에 의해 나타나는 방향을 의미한다.

피라미드 화상 생성부(145) 내지 피라미드 화상 생성부(148)는, 에지 화상 생성부(141) 내지 에지 화상 생성부(144)로부터 공급된 각 방향의 에지 화상을 사용하여, 서로 해상도가 상이한 복수의 에지 화상을 생성한다. 그리고, 피라미드 화상 생성부(145) 내지 피라미드 화상 생성부(148)는, 생성된 그들 각 방향의 에지 화상을, 에지의 각 방향의 피라미드 화상으로서 차분 산출부(149) 내지 차분 산출부(152)에 공급한다.

예를 들어, 에지의 각 방향의 피라미드 화상으로서, 휘도의 피라미드 화상의 경우와 마찬가지로, 각각 레벨 L1부터 레벨 L8까지의 8개의 계층의 피라미드 화상이 생성된다.

차분 산출부(149) 내지 차분 산출부(152)는, 피라미드 화상 생성부(145) 내지 피라미드 화상 생성부(148)로부터 공급된, 복수의 피라미드 화상 중, 서로 계층이 상이한 2개의 피라미드 화상을 선택하고, 선택한 피라미드 화상의 차분을 구하여 에지의 각 방향의 차분 화상을 생성한다. 또한, 각 계층의 피라미드 화상은, 각각 크기가 상이하므로, 차분 화상의 생성 시에는 보다 작은 쪽의 피라미드 화상이 업 컨버트된다.

차분 산출부(149) 내지 차분 산출부(152)는, 미리 정해진 수만큼 에지의 각 방향의 차분 화상을 생성하면, 생성된 그들의 차분 화상을 정규화하여 에지 정보 맵 생성부(153) 내지 에지 정보 맵 생성부(156)에 공급한다. 에지 정보 맵 생성부(153) 내지 에지 정보 맵 생성부(156)는, 차분 산출부(149) 내지 차분 산출부(152)로부터 공급된 차분 화상에 기초하여, 각 방향의 에지 정보 맵을 생성하여, 맵 생성부(56)에 공급한다.

도 6은, 도 2의 얼굴 정보 추출부(54)의 보다 상세한 구성예를 도시하는 도면이다.

얼굴 정보 추출부(54)는, 얼굴 검출부(181) 및 얼굴 정보 맵 생성부(182)로 구성된다.

얼굴 검출부(181)는, 공급된 입력 화상으로부터 피사체로서의 사람의 얼굴의 영역을 검출하고, 그 검출 결과를 얼굴 정보 맵 생성부(182)에 공급한다. 얼굴 정보 맵 생성부(182)는, 얼굴 검출부(181)로부터의 검출 결과에 기초하여 얼굴 정보 맵을 생성하여, 맵 생성부(56)에 공급한다.

도 7은, 도 2의 움직임 정보 추출부(55)의 보다 상세한 구성예를 도시하는 도면이다.

움직임 정보 추출부(55)는, 로컬 모션 벡터 추출부(211), 글로벌 모션 벡터 추출부(212), 차분 산출부(213) 및 움직임 정보 맵 생성부(214)로 구성된다.

로컬 모션 벡터 추출부(211)는, 공급된 입력 화상과, 그 입력 화상과는 촬상 시각이 상이한 다른 입력 화상을 사용하여, 입력 화상의 각 화소의 움직임 벡터를 로컬 모션 벡터로서 검출하여, 차분 산출부(213)에 공급한다. 글로벌 모션 벡터 추출부(212)는, 공급된 입력 화상과, 그 입력 화상과는 촬상 시각이 상이한 다른 입력 화상을 사용하여, 입력 화상의 각 화소의 움직임 벡터를 구하고, 또한 예를 들어, 그들의 각 화소의 움직임 벡터의 평균값을 글로벌 모션 벡터로 하여 차분 산출부(213)에 공급한다. 이 글로벌 모션 벡터는, 입력 화상 전체의 움직임의 방향을 나타내고 있다.

차분 산출부(213)는, 로컬 모션 벡터 추출부(211)로부터의 로컬 모션 벡터와, 글로벌 모션 벡터 추출부(212)로부터의 글로벌 모션 벡터의 차분의 절대값을 구하여 움직임의 차분 화상을 생성하여, 움직임 정보 맵 생성부(214)에 공급한다. 여기서, 움직임의 차분 화상에 있어서의 임의의 화소의 화소값은, 그 화소와 동일한 위치에 있는 입력 화상의 화소의 로컬 모션 벡터와, 입력 화상 전체의 글로벌 모션 벡터의 차분의 절대값을 나타내고 있다. 따라서, 움직임의 차분 화상의 화소의 화소값은, 입력 화상의 화소에 표시되는 물체(또는 배경)의 입력 화상 전체에 대한, 즉 배경에 대한 상대적인 움직임량을 나타내고 있다.

움직임 정보 맵 생성부(214)는, 차분 산출부(213)로부터의 움직임의 차분 화상에 기초하여 움직임 정보 맵을 생성하여, 맵 생성부(56)에 공급한다. 또한, 보다 상세하게는, 움직임 정보 맵의 생성은, 입력 화상으로서 시간적으로 연속하여 촬상된 것이 공급된 경우, 예를 들어 입력 화상이 연사된 것이나, 동화상인 경우에 행해진다.

[화상 처리 장치의 동작]

그런데, 화상 처리 장치(11)에 입력 화상이 공급되면, 화상 처리 장치(11)는 입력 화상의 피사체 영역을 특정하고, 입력 화상 상에 피사체 프레임을 표시시키는 피사체 프레임 표시 처리를 개시한다. 이하, 도 8의 흐름도를 참조하여, 화상 처리 장치(11)에 의한 피사체 프레임 표시 처리에 대하여 설명한다.

스텝 S11에 있어서, 피사체 맵 생성부(21)는, 피사체 맵 생성 처리를 행하여, 공급된 입력 화상으로부터 피사체 맵을 생성한다. 또한, 스텝 S12에 있어서, 화상 처리 장치(11)는, 피사체 영역 추출 처리를 행하여, 생성된 피사체 맵으로부터 피사체 영역을 특정한다. 피사체 영역이 특정되면, 직사각형 정형부(27)는, 그 피사체 영역을 나타내는 피사체 영역 정보를 표시 제어부(28)에 공급한다.

또한, 피사체 맵 생성 처리 및 피사체 영역 추출 처리의 상세는 후술한다.

스텝 S13에 있어서, 표시 제어부(28)는, 공급된 입력 화상과, 직사각형 정형부(27)로부터의 피사체 영역 정보에 기초하여, 입력 화상 상에 피사체 프레임을 표시시키고, 피사체 프레임 표시 처리는 종료한다. 즉, 표시 제어부(28)는, 도시하지 않은 표시부에 입력 화상을 공급하여 표시시키고, 피사체 영역 정보에 기초하여, 입력 화상 상에 피사체 프레임을 더 표시시킨다.

이와 같이 하여, 화상 처리 장치(11)는, 입력 화상으로부터 피사체 맵을 생성하고, 또한 피사체 맵으로부터 피사체 영역을 특정하여, 입력 화상 상에 피사체 프레임을 표시시킨다.

이어서, 도 9의 흐름도를 참조하여, 도 8의 스텝 S11의 처리에 대응하는 피사체 맵 생성 처리에 대하여 설명한다.

스텝 S41에 있어서, 휘도 정보 추출부(51)는, 휘도 정보 추출 처리를 행하여, 공급된 입력 화상에 기초하여 휘도 정보 맵을 생성하여, 맵 생성부(56)에 공급한다. 그리고, 스텝 S42에 있어서, 색 정보 추출부(52)는 색 정보 추출 처리를 행하여, 공급된 입력 화상에 기초하여 색 정보 맵을 생성하여, 맵 생성부(56)에 공급한다.

스텝 S43에 있어서, 에지 정보 추출부(53)는, 에지 정보 추출 처리를 행하여, 공급된 입력 화상에 기초하여 에지 정보 맵을 생성하여, 맵 생성부(56)에 공급한다. 또한, 스텝 S44에 있어서, 얼굴 정보 추출부(54)는, 얼굴 정보 추출 처리를 행하여, 공급된 입력 화상에 기초하여 얼굴 정보 맵을 생성하여, 맵 생성부(56)에 공급한다. 또한, 스텝 S45에 있어서, 움직임 정보 추출부(55)는, 움직임 정보 추출 처리를 행하여, 공급된 입력 화상에 기초하여 움직임 정보 맵을 생성하여, 맵 생성부(56)에 공급한다.

또한, 이들의 휘도 정보 추출 처리, 색 정보 추출 처리, 에지 정보 추출 처리, 얼굴 정보 추출 처리 및 움직임 정보 추출 처리의 상세는 후술한다. 또한, 보다 상세하게는, 움직임 정보 추출 처리는 시간적으로 연속하여 촬상된 입력 화상이 피사체 맵 생성부(21)에 공급되지 않은 경우에는 행해지지 않는다.

스텝 S46에 있어서, 맵 생성부(56)는, 휘도 정보 추출부(51) 내지 움직임 정보 추출부(55)로부터 공급된 휘도 정보 맵 내지 움직임 정보 맵을 사용하여, 피사체 맵을 생성하여, 그라디언트 맵 생성부(22)에 공급한다.

예를 들어, 맵 생성부(56)는, 정보 맵마다 미리 구해져 있는 가중치인, 정보 가중치 Wb를 사용하여 각 정보 맵을 선형 결합하고, 또한, 그 결과 얻어진 맵의 화소값에, 미리 구해진 가중치인, 피사체 가중치 Wc를 승산하여 정규화하여, 피사체 맵으로 한다.

즉, 앞으로 구하고자 하는 피사체 맵 상의 주목할 화소를 주목 화소로 하면, 각 정보 맵의 주목 화소와 동일 위치의 화소의 화소값에, 정보 맵마다의 정보 가중치 Wb가 승산되고, 정보 가중치 Wb가 승산된 화소값의 총합이, 주목 화소의 화소값으로 된다. 또한, 이와 같이 하여 구해진 피사체 맵의 각 화소의 화소값에, 피사체 맵에 대하여 미리 구해진 피사체 가중치 Wc가 승산되어 정규화되어, 최종적인 피사체 맵으로 된다.

또한, 보다 상세하게는, 색 정보 맵으로서, RG의 차분의 색 정보 맵과, BY의 차분의 색 정보 맵이 사용되고, 에지 정보 맵으로서, 0도, 45도, 90도, 135도 각각의 방향의 에지 정보 맵이 사용되어, 피사체 맵이 생성된다. 또한, 피사체 가중치 Wc는 미리 학습에 의해 구해지고, 정규화는, 피사체 맵의 각 화소의 화소값이 0부터 1까지 사이의 값으로 되도록 이루어진다.

이와 같이 하여 피사체 맵이 생성되면, 피사체 맵 생성 처리는 종료하고, 그 후 처리는 도 8의 스텝 S12로 진행된다.

이상과 같이, 피사체 맵 생성부(21)는, 공급된 입력 화상으로부터 각 특징의 특징량을 추출하여, 정보 맵을 생성한다. 그리고, 피사체 맵 생성부(21)는, 생성된 각 정보 맵으로부터 피사체 맵을 생성한다.

이어서, 도 10 내지 도 14의 흐름도를 참조하여, 도 9의 스텝 S41 내지 스텝 S45의 처리 각각에 대응하는 처리에 대하여 설명한다

우선, 도 10의 흐름도를 참조하여, 도 9의 스텝 S41의 처리에 대응하는 휘도 정보 추출 처리에 대하여 설명한다.

스텝 S71에 있어서, 휘도 화상 생성부(81)는, 공급된 입력 화상을 사용하여 휘도 화상을 생성하여, 피라미드 화상 생성부(82)에 공급한다. 예를 들어, 휘도 화상 생성부(81)는, 입력 화상의 화소의 R, G 및 B의 각 성분의 값에 성분마다 미리 정해진 계수를 승산하고, 계수가 승산된 각 성분의 값의 합을, 입력 화상의 화소와 동일 위치에 있는 휘도 화상의 화소의 화소값으로 한다. 즉, 휘도 성분(Y) 및 색차 성분(Cb, Cr)으로 이루어지는 컴포넌트 신호의 휘도 성분이 구해진다. 또한, 화소의 R, G 및 B의 각 성분의 값의 평균값이 휘도 화상의 화소의 화소값으로 되어도 좋다.

스텝 S72에 있어서, 피라미드 화상 생성부(82)는, 휘도 화상 생성부(81)로부터 공급된 휘도 화상에 기초하여, 레벨 L1 내지 레벨 L8의 각 계층의 피라미드 화상을 생성하여, 차분 산출부(83)에 공급한다.

스텝 S73에 있어서, 차분 산출부(83)는, 피라미드 화상 생성부(82)로부터 공급된 피라미드 화상을 사용하여 차분 화상을 생성하고 정규화하여, 휘도 정보 맵 생성부(84)에 공급한다. 정규화는, 차분 화상의 화소의 화소값이, 예를 들어 0 내지 255 사이의 값으로 되도록 행해진다.

구체적으로는, 차분 산출부(83)는 각 계층의 휘도의 피라미드 화상 중, 레벨 L6 및 레벨 L3, 레벨 L7 및 레벨 L3, 레벨 L7 및 레벨 L4, 레벨 L8 및 레벨 L4, 및 레벨 L8 및 레벨 L5의 각 계층의 조합의 피라미드 화상의 차분을 구한다. 이에 의해, 합계 5개의 휘도의 차분 화상이 얻어진다.

예를 들어, 레벨 L6 및 레벨 L3의 조합의 차분 화상이 생성되는 경우, 레벨 L6의 피라미드 화상이, 레벨 L3의 피라미드 화상의 크기에 맞추어 업 컨버트된다. 즉, 업 컨버트 전의 레벨 L6의 피라미드 화상의 1개의 화소의 화소값이, 그 화소에 대응하는, 업 컨버트 후의 레벨 L6의 피라미드 화상의 서로 인접하는 몇 개의 화소의 화소값으로 된다. 그리고, 레벨 L6의 피라미드 화상의 화소의 화소값과, 그 화소와 동일한 위치에 있는 레벨 L3의 피라미드 화상의 화소의 화소값의 차분이 구해지고, 그 차분이 차분 화상의 화소의 화소값으로 된다.

이들의 차분 화상을 생성하는 처리는, 휘도 화상에 밴드패스 필터를 사용한 필터 처리를 실시하여, 휘도 화상으로부터 소정의 주파수 성분을 추출하는 것과 등가이다. 이와 같이 하여 얻어진 차분 화상의 화소의 화소값은, 각 레벨의 피라미드 화상의 휘도값의 차, 즉 입력 화상에 있어서의 소정의 화소에 있어서의 휘도와, 그 화소 주위의 평균적인 휘도의 차분을 나타내고 있다.

일반적으로, 화상에 있어서 주위와의 휘도의 차분이 큰 영역은, 그 화상을 보는 사람의 눈을 끄는 영역이므로, 그 영역은 피사체의 영역일 가능성이 높다. 따라서, 각 차분 화상에 있어서, 보다 화소값이 큰 화소가, 보다 피사체의 영역일 가능성이 높은 영역인 것을 나타내고 있다고 할 수 있다.

스텝 S74에 있어서, 휘도 정보 맵 생성부(84)는, 차분 산출부(83)로부터 공급된 차분 화상에 기초하여 휘도 정보 맵을 생성하여, 맵 생성부(56)에 공급한다. 휘도 정보 맵이 휘도 정보 맵 생성부(84)로부터 맵 생성부(56)에 공급되면, 휘도 정보 추출 처리는 종료하고, 처리는 도 9의 스텝 S42로 진행된다.

예를 들어, 휘도 정보 맵 생성부(84)는, 공급된 5개의 차분 화상을, 미리 구해진 차분 화상마다의 가중치인 차분 가중치 Wa에 의해 가중치 부여 가산하여, 1개의 화상을 구한다. 즉, 각 차분 화상의 동일 위치에 있는 화소의 화소값 각각에 차분 가중치 Wa가 승산되어, 차분 가중치 Wa가 승산된 화소값의 총합이 구해진다.

또한, 휘도 정보 맵의 생성 시에 있어서, 각 차분 화상이 동일한 크기로 되도록 차분 화상의 업 컨버트가 행해진다.

이와 같이 하여, 휘도 정보 추출부(51)는, 입력 화상으로부터 휘도 화상을 구하여, 그 휘도 화상으로부터 휘도 정보 맵을 생성한다. 이와 같이 하여 얻어진 휘도 정보 맵에 의하면, 입력 화상에 있어서, 휘도의 차가 큰 영역, 즉 입력 화상을 일별한 관찰자의 눈에 뜨이기 쉬운 영역을 간단하게 검출할 수 있다.

이어서, 도 11의 흐름도를 참조하여, 도 9의 스텝 S42의 처리에 대응하는 색 정보 추출 처리에 대하여 설명한다.

스텝 S101에 있어서, RG 차분 화상 생성부(111)는, 공급된 입력 화상을 사용하여, RG 차분 화상을 생성하여, 피라미드 화상 생성부(113)에 공급한다.

스텝 S102에 있어서, BY 차분 화상 생성부(112)는, 공급된 입력 화상을 사용하여 BY 차분 화상을 생성하여, 피라미드 화상 생성부(114)에 공급한다.

스텝 S103에 있어서, 피라미드 화상 생성부(113) 및 피라미드 화상 생성부(114)는, RG 차분 화상 생성부(111)로부터의 RG 차분 화상 및 BY 차분 화상 생성부(112)로부터의 BY 차분 화상을 사용하여, 피라미드 화상을 생성한다.

예를 들어, 피라미드 화상 생성부(113)는, 해상도가 상이한 복수의 RG 차분 화상을 생성함으로써, 레벨 L1 내지 레벨 L8의 각 계층의 피라미드 화상을 생성하여, 차분 산출부(115)에 공급한다. 마찬가지로, 피라미드 화상 생성부(114)는, 해상도가 상이한 복수의 BY 차분 화상을 생성함으로써, 레벨 L1 내지 레벨 L8의 각 계층의 피라미드 화상을 생성하여, 차분 산출부(116)에 공급한다.

스텝 S104에 있어서, 차분 산출부(115) 및 차분 산출부(116)는, 피라미드 화상 생성부(113) 및 피라미드 화상 생성부(114)로부터 공급된 피라미드 화상에 기초하여 차분 화상을 생성하고 정규화하여, 색 정보 맵 생성부(117) 및 색 정보 맵 생성부(118)에 공급한다. 차분 화상의 정규화에서는, 예를 들어 화소의 화소값이 0 내지 255 사이의 값으로 되도록 한다.

예를 들어, 차분 산출부(115)는, 각 계층의 RG의 차분의 피라미드 화상 중, 레벨 L6 및 레벨 L3, 레벨 L7 및 레벨 L3, 레벨 L7 및 레벨 L4, 레벨 L8 및 레벨 L4, 및 레벨 L8 및 레벨 L5의 각 계층의 조합의 피라미드 화상의 차분을 구한다. 이에 의해, 합계 5개의 RG의 차분의 차분 화상이 얻어진다.

마찬가지로, 차분 산출부(116)는, 각 계층의 BY의 차분의 피라미드 화상 중, 레벨 L6 및 레벨 L3, 레벨 L7 및 레벨 L3, 레벨 L7 및 레벨 L4, 레벨 L8 및 레벨 L4, 및 레벨 L8 및 레벨 L5의 각 계층의 조합의 피라미드 화상의 차분을 구한다. 이에 의해, 합계 5개의 BY의 차분의 차분 화상이 얻어진다.

이들의 차분 화상을 생성하는 처리는, RG 차분 화상 또는 BY 차분 화상에 밴드패스 필터를 사용한 필터 처리를 실시하여, RG 차분 화상 또는 BY 차분 화상으로부터 소정의 주파수 성분을 추출하는 것과 등가이다. 이와 같이 하여 얻어진 차분 화상의 화소의 화소값은, 각 레벨의 피라미드 화상의 특정한 색 성분의 차, 즉 입력 화상의 화소에 있어서의 특정한 색의 성분과, 그 화소 주위의 평균적인 특정한 색의 성분의 차분을 나타내고 있다.

일반적으로, 화상에 있어서 주위와 비교하여 두드러지는 색의 영역, 즉 특정한 색 성분 주위와의 차분이 큰 영역은, 그 화상을 보는 사람의 눈을 끄는 영역이므로, 그 영역은 피사체의 영역일 가능성이 높다. 따라서, 각 차분 화상에 있어서, 보다 화소값이 큰 화소가, 보다 피사체의 영역일 가능성이 높은 영역인 것을 나타내고 있다고 할 수 있다.

스텝 S105에 있어서, 색 정보 맵 생성부(117) 및 색 정보 맵 생성부(118)는, 차분 산출부(115)로부터의 차분 화상 및 차분 산출부(116)로부터의 차분 화상을 사용하여 색 정보 맵을 생성하여, 맵 생성부(56)에 공급한다.

예를 들어, 색 정보 맵 생성부(117)는, 차분 산출부(115)로부터 공급된 RG의 차분의 차분 화상을, 미리 구해진 차분 화상마다의 차분 가중치 Wa에 의해 가중치 부여 가산하여, 1개의 RG의 차분의 색 정보 맵으로 한다.

마찬가지로, 색 정보 맵 생성부(118)는, 차분 산출부(116)로부터 공급된 BY의 차분의 차분 화상을, 미리 구해진 차분 가중치 Wa에 의해 가중치 부여 가산하여, 1개의 BY의 차분의 색 정보 맵으로 한다. 또한, 색 정보 맵의 생성 시에 있어서, 각 차분 화상이 동일한 크기로 되도록, 차분 화상의 업 컨버트가 행해진다.

색 정보 맵 생성부(117) 및 색 정보 맵 생성부(118)가, 이와 같이 하여 얻어진 RG의 차분의 색 정보 맵 및 BY의 차분의 색 정보 맵을 맵 생성부(56)에 공급하면, 색 정보 추출 처리는 종료하고, 처리는 도 9의 스텝 S43으로 진행된다.

이와 같이 하여, 색 정보 추출부(52)는, 입력 화상으로부터 특정한 색의 성분의 차분의 화상을 구하여, 그 화상으로부터 색 정보 맵을 생성한다. 이와 같이 하여 얻어진 색 정보 맵에 의하면, 입력 화상에 있어서, 특정한 색 성분의 차가 큰 영역, 즉 입력 화상을 일별한 관찰자의 눈에 뜨이기 쉬운 영역을 간단하게 검출할 수 있다.

또한, 색 정보 추출부(52)에서는, 입력 화상으로부터 추출되는 색의 정보로서, R(적)의 성분과, G(녹)의 성분의 차분 및 B(청)의 성분과, Y(황)의 성분의 차분이 추출된다고 설명했지만, 색차 성분 Cr과 색차 성분 Cb 등이 추출되도록 해도 좋다. 여기서, 색차 성분 Cr은, R 성분과 휘도 성분의 차분이며, 색차 성분 Cb는, B 성분과 휘도 성분의 차분이다.

도 12는, 도 9의 스텝 S43의 처리에 대응하는 에지 정보 추출 처리를 설명하는 흐름도이다. 이하, 이 에지 정보 추출 처리에 대하여 설명한다.

스텝 S131에 있어서, 에지 화상 생성부(141) 내지 에지 화상 생성부(144)는, 공급된 입력 화상에 대하여, 가버 필터를 사용한 필터 처리를 실시하여, 0도, 45도, 90도 및 135도 방향의 에지 강도를 화소의 화소값으로 하는 에지 화상을 생성한다. 그리고, 에지 화상 생성부(141) 내지 에지 화상 생성부(144)는, 생성된 에지 화상을 피라미드 화상 생성부(145) 내지 피라미드 화상 생성부(148)에 공급한다.

스텝 S132에 있어서, 피라미드 화상 생성부(145) 내지 피라미드 화상 생성부(148)는, 에지 화상 생성부(141) 내지 에지 화상 생성부(144)로부터의 에지 화상을 사용하여, 피라미드 화상을 생성하여, 차분 산출부(149) 내지 차분 산출부(152)에 공급한다.

예를 들어, 피라미드 화상 생성부(145)는, 해상도가 상이한 복수의 0도 방향의 에지 화상을 생성함으로써, 레벨 L1 내지 레벨 L8의 각 계층의 피라미드 화상을 생성하여, 차분 산출부(149)에 공급한다. 마찬가지로, 피라미드 화상 생성부(146) 내지 피라미드 화상 생성부(148)는, 레벨 L1 내지 레벨 L8의 각 계층의 피라미드 화상을 생성하여 차분 산출부(150) 내지 차분 산출부(152)에 공급한다.

스텝 S133에 있어서, 차분 산출부(149) 내지 차분 산출부(152)는, 피라미드 화상 생성부(145) 내지 피라미드 화상 생성부(148)로부터의 피라미드 화상을 사용하여 차분 화상을 생성하고 정규화하여, 에지 정보 맵 생성부(153) 내지 에지 정보 맵 생성부(156)에 공급한다. 차분 화상의 정규화에서는, 예를 들어 화소의 화소값이 0 내지 255 사이의 값으로 되도록 한다.

예를 들어, 차분 산출부(149)는, 피라미드 화상 생성부(145)로부터 공급된, 각 계층의 0도 방향의 에지의 피라미드 화상 중, 레벨 L6 및 레벨 L3, 레벨 L7 및 레벨 L3, 레벨 L7 및 레벨 L4, 레벨 L8 및 레벨 L4, 및 레벨 L8 및 레벨 L5의 조합의 피라미드 화상의 차분을 구한다. 이에 의해, 합계 5개의 에지의 차분 화상이 얻어진다.

마찬가지로, 차분 산출부(150) 내지 차분 산출부(152)는, 각 계층의 피라미드 화상 중, 레벨 L6 및 레벨 L3, 레벨 L7 및 레벨 L3, 레벨 L7 및 레벨 L4, 레벨 L8 및 레벨 L4, 및 레벨 L8 및 레벨 L5의 각 계층의 조합의 피라미드 화상의 차분을 구한다. 이에 의해, 각 방향의 에지에 대해, 각각 합계 5개의 차분 화상이 얻어진다.

이들의 차분 화상을 생성하는 처리는, 에지 화상에 밴드패스 필터를 사용한 필터 처리를 실시하여, 에지 화상으로부터 소정의 주파수 성분을 추출하는 것과 등가이다. 이와 같이 하여 얻어진 차분 화상의 화소의 화소값은, 각 레벨의 피라미드 화상의 에지 강도의 차, 즉 입력 화상의 소정의 위치의 에지 강도와, 그 위치 주위의 평균적인 에지 강도의 차를 나타내고 있다.

일반적으로, 화상에 있어서 주위에 비하여 에지 강도가 강한 영역은 그 화상을 보는 사람의 눈을 끄는 영역이므로, 그 영역은 피사체의 영역일 가능성이 높다. 따라서, 각 차분 화상에 있어서, 보다 화소값이 큰 화소가, 보다 피사체의 영역일 가능성이 높은 영역인 것을 나타내고 있다고 할 수 있다.

스텝 S134에 있어서, 에지 정보 맵 생성부(153) 내지 에지 정보 맵 생성부(156)는, 차분 산출부(149) 내지 차분 산출부(152)로부터의 차분 화상을 사용하여 각 방향의 에지 정보 맵을 생성하여, 맵 생성부(56)에 공급한다.

예를 들어, 에지 정보 맵 생성부(153)는, 차분 산출부(149)로부터 공급된 차분 화상을, 미리 구해진 차분 가중치 Wa에 의해 가중치 부여 가산하여 0도 방향의 에지 정보 맵으로 한다.

마찬가지로, 에지 정보 맵 생성부(154) 내지 에지 정보 맵 생성부(156)는, 차분 산출부(150) 내지 차분 산출부(152)로부터의 차분 화상을 차분 가중치 Wa에 의해 가중치 부여 가산한다. 이에 의해, 45도, 90도 및 135도의 각 방향의 에지 정보 맵이 얻어진다. 또한, 에지 정보 맵의 생성 시에 있어서, 각 차분 화상이 동일한 크기로 되도록, 차분 화상의 업 컨버트가 행해진다.

에지 정보 맵 생성부(153) 내지 에지 정보 맵 생성부(156)가 이와 같이 하여 얻어진 각 방향의 합계 4개의 에지 정보 맵을 맵 생성부(56)에 공급하면, 에지 정보 추출 처리는 종료하고, 처리는 도 9의 스텝 S44로 진행된다.

이와 같이 하여, 에지 정보 추출부(53)는, 입력 화상으로부터 특정한 방향의 에지의 차분 화상을 구하고, 그 차분 화상으로부터 에지 정보 맵을 생성한다. 이와 같이 하여 얻어진 방향마다의 에지 정보 맵에 의하면, 입력 화상에 있어서, 주위의 영역에 비하여, 특정한 방향으로의 에지 강도가 큰 영역, 즉 입력 화상을 일별한 관찰자의 눈에 뜨이기 쉬운 영역을 간단하게 검출할 수 있다.

또한, 에지 정보 추출 처리에서는, 에지의 추출에 가버 필터가 사용된다고 설명했지만, 그 외에 소벨(Sobel) 필터나, 로버츠(Roberts) 필터 등의 에지 추출 필터가 사용되도록 해도 좋다.

이어서, 도 13의 흐름도를 참조하여, 도 9의 스텝 S44의 처리에 대응하는 얼굴 정보 추출 처리에 대하여 설명한다.

스텝 S161에 있어서, 얼굴 검출부(181)는, 공급된 입력 화상으로부터 사람의 얼굴의 영역을 검출하고, 그 검출 결과를 얼굴 정보 맵 생성부(182)에 공급한다. 예를 들어, 얼굴 검출부(181)는, 입력 화상에 대하여 가버 필터를 사용한 필터 처리를 실시하여, 입력 화상으로부터 사람의 눈, 입, 코 등의 특징적인 영역을 추출함으로써 입력 화상에 있어서의 얼굴의 영역을 검출한다.

스텝 S162에 있어서, 얼굴 정보 맵 생성부(182)는, 얼굴 검출부(181)로부터의 검출 결과를 사용하여 얼굴 정보 맵을 생성하여, 맵 생성부(56)에 공급한다.

예를 들어, 입력 화상으로부터의 얼굴의 검출 결과로서, 얼굴이 포함된다고 추정되는 입력 화상 상의 직사각형의 영역(이하, 후보 영역이라고 칭한다)이 복수 검출되었다고 하자. 여기서, 입력 화상 상의 소정의 위치 근방에 복수의 후보 영역이 검출되고, 그들의 후보 영역의 일부가 서로 겹치는 경우도 있는 것으로 하자. 즉, 예를 들어 입력 화상 상의 1개의 얼굴의 영역에 대하여, 그 얼굴을 포함하는 복수의 영역이 후보 영역으로서 얻어진 경우에는 그들의 후보 영역의 일부가 서로 겹치게 된다.

얼굴 정보 맵 생성부(182)는, 얼굴의 검출에 의해 얻어진 후보 영역에 대하여, 후보 영역마다 입력 화상과 동일한 크기의 검출 화상을 생성한다. 이 검출 화상은, 검출 화상 상에 있어서의 처리 대상의 후보 영역과 동일한 영역 내의 화소의 화소값이, 후보 영역과는 상이한 영역 내의 화소의 화소값보다 큰 값으로 된다.

또한, 검출 화상 상의 화소의 화소값은, 보다 사람의 얼굴이 포함될 가능성이 높다고 추정된 후보 영역의 화소와 동일 위치의 화소일수록 화소값이 커진다. 얼굴 정보 맵 생성부(182)는, 이와 같이 하여 얻어진 검출 화상을 추가하여, 1개의 화상을 생성하고 정규화하여, 얼굴 정보 맵으로 한다. 따라서, 얼굴 정보 맵 상에 있어서, 입력 화상 상의 복수의 후보 영역의 일부가 겹치는 영역과 동일한 영역의 화소의 화소값은 커져, 보다 얼굴이 포함될 가능성이 높아진다. 또한, 정규화는, 얼굴 정보 맵의 화소의 화소값이, 예를 들어 0 내지 255 사이의 값으로 되도록 한다.

얼굴 정보 맵이 생성되면, 얼굴 정보 추출 처리는 종료하고, 처리는 도 9의 스텝 S45로 진행된다.

이와 같이 하여, 얼굴 정보 추출부(54)는, 입력 화상으로부터 얼굴을 검출하고, 그 검출 결과로부터 얼굴 정보 맵을 생성한다. 이와 같이 하여 얻어진 얼굴 정보 맵에 의하면, 입력 화상에 있어서의 피사체로서의 사람의 얼굴의 영역을 간단하게 검출할 수 있다.

또한, 도 14의 흐름도를 참조하여, 도 9의 스텝 S45의 처리에 대응하는 움직임 정보 추출 처리에 대하여 설명한다.

스텝 S191에 있어서, 로컬 모션 벡터 추출부(211)는, 공급된 입력 화상을 사용하여, 구배법 등에 의해 입력 화상의 각 화소의 로컬 모션 벡터를 검출하여, 차분 산출부(213)에 공급한다.

스텝 S192에 있어서, 글로벌 모션 벡터 추출부(212)는, 공급된 입력 화상을 사용하여 글로벌 모션 벡터를 검출하여, 차분 산출부(213)에 공급한다.

스텝 S193에 있어서, 차분 산출부(213)는, 로컬 모션 벡터 추출부(211)로부터의 로컬 모션 벡터와, 글로벌 모션 벡터 추출부(212)로부터의 글로벌 모션 벡터의 차분의 절대값을 구하여 움직임의 차분 화상을 생성한다. 그리고, 차분 산출부(213)는, 생성된 움직임의 차분 화상을 움직임 정보 맵 생성부(214)에 공급한다.

스텝 S194에 있어서, 움직임 정보 맵 생성부(214)는, 차분 산출부(213)로부터 공급된 차분 화상을 정규화하여 움직임 정보 맵으로 하여 맵 생성부(56)에 공급한다. 여기서, 차분 화상의 정규화는, 각 화소의 화소값이, 예를 들어 0 내지 255 사이의 값으로 되도록 한다. 움직임 정보 맵이 생성되면, 움직임 정보 추출 처리는 종료하고, 처리는 도 9의 스텝 S46으로 진행된다.

이와 같이 하여, 움직임 정보 추출부(55)는, 입력 화상으로부터 움직임을 검출하고, 그 검출 결과로부터 움직임 정보 맵을 생성한다. 이와 같이 하여 얻어진 움직임 정보 맵에 의하면, 입력 화상에 있어서의 움직임이 있는 물체의 영역을 간단하게 검출할 수 있다. 입력 화상에 있어서, 움직임이 있는 물체의 영역은, 입력 화상을 일별한 관찰자의 눈에 뜨이기 쉬운 영역이며, 피사체일 가능성이 높다.

이상에 있어서 설명한 휘도 정보 추출 처리 내지 움직임 정보 추출 처리에 의해, 각 정보 맵이 얻어지고, 이들 정보 맵으로부터 피사체 맵이 생성된다.

이어서, 도 15의 흐름도를 참조하여, 도 8의 스텝 S12의 처리에 대응하는 피사체 영역 추출 처리에 대하여 설명한다.

스텝 S221에 있어서, 그라디언트 맵 생성부(22)는, 피사체 맵 생성부(21)의 맵 생성부(56)로부터 공급된 피사체 맵을 사용하여 그라디언트 맵을 생성하여, 임계값 처리부(23), 임계값 처리부(24) 및 2치화 맵 생성부(26)에 공급한다.

예를 들어, 피사체 맵 상의 서로 직교하는 방향을 x 방향 및 y 방향으로 하면, 그라디언트 맵 생성부(22)는, 피사체 맵의 x 방향의 화소값의 변화를 나타내는 x 방향 구배 맵과, 피사체 맵의 y 방향의 화소값의 변화를 나타내는 y 방향 구배 맵을 생성한다. 그리고, 그라디언트 맵 생성부(22)는, 생성된 x 방향 구배 맵 및 y 방향 구배 맵의 합을 그라디언트 맵으로 한다.

구체적으로는, 도 16의 좌측 상단에 도시한 바와 같이, 피사체 맵(SM) 상의 도면 중, 상하 방향으로 배열되는 라인 L1 및 라인 L2에 주목하면, 라인 L1의 화소의 화소값과, 라인 L2의 화소의 화소값의 차분의 절대값이, 라인 L1의 화소와 동일 위치에 있는 y 방향 구배 맵의 화소의 화소값으로 된다.

또한, 도 16에 있어서, 도면 중 세로 방향이 y 방향이고 도면 중 가로 방향이 x 방향인 것으로 한다. 또한, 라인 L1 및 라인 L2는, x 방향으로 배열되는 피사체 맵(SM)의 화소의 열이다. 또한, 도 16에서는, 라인 L1의 2화소만 도면 중 하측에 있는 화소의 열이 라인 L2로 되어 있다.

예를 들어, 피사체 맵(SM)의 라인 L1의 좌측 단부의 화소의 화소값과, 라인 L2의 좌측 단부의 화소의 화소값의 차분의 절대값이, 라인 L1의 좌측 단부의 화소와 동일 위치에 있는 y 방향 구배 맵의 화소의 화소값으로 된다. 이와 같이 하여 구해진 y 방향 구배 맵은, 피사체 맵(SM)의 y 방향으로의 화소의 화소값의 변화의 정도, 즉 피사체다움의 에지의 강도를 나타내고 있다.

여기서, 라인 L1과 라인 L2가 서로 인접한 라인으로 되지 않는 것은, 입력 화상의 각 위치와, 그 위치에 대한 피사체다움의 변화의 정도, 즉 구한 차분의 절대값에 위치의 어긋남이 발생하는 것을 방지하기 위해서이다. 또한, 라인 L2는, 라인 L1에 대하여 2화소분만, 도면 중 하측에 있는 라인에 한하지 않고, 라인 L1에 대하여 2화소 이상, 하측에 있는 라인이면 된다.

마찬가지로, 도 16의 좌측 하방에 도시한 바와 같이, 피사체 맵(SM) 상의 도면 중, 좌우 방향으로 배열되는 라인 L3 및 라인 L4에 주목하면, 라인 L3의 화소의 화소값과, 라인 L4의 화소의 화소값의 차분의 절대값이, 라인 L3의 화소와 동일 위치에 있는 x 방향 구배 맵의 화소의 화소값으로 된다.

또한, 라인 L3 및 라인 L4는, y 방향으로 배열되는 피사체 맵(SM)의 화소의 열이다. 또한, 도 16에서는, 라인 L3의 2화소만 도면 중, 우측에 있는 화소의 열이 라인 L4로 되어 있다.

예를 들어, 피사체 맵(SM)의 라인 L3의 상단부의 화소의 화소값과, 라인 L4의 상단부의 화소의 화소값의 차분의 절대값이, 라인 L3의 상단부의 화소와 동일 위치에 있는 x 방향 구배 맵의 화소의 화소값으로 된다. 이와 같이 하여 구해진 x 방향 구배 맵은, 피사체 맵(SM)의 x 방향으로의 화소의 화소값의 변화의 정도, 즉 피사체다움의 에지의 강도를 나타내고 있다.

또한, 라인 L4도, 라인 L3에 대하여 2화소분만, 도면 중 우측에 있는 라인에 한하지 않고, 라인 L3에 대하여 2화소 이상, 우측에 있는 라인이면 된다.

그라디언트 맵 생성부(22)는, 이와 같이 하여 구한 x 방향 구배 맵과 y 방향 구배 맵을 가산하여, 그라디언트 맵(GM)으로 한다. 즉, 그라디언트 맵(GM)의 주목할 화소를 주목 화소로 하면, 주목 화소와 동일 위치에 있는 x 방향 구배 맵의 화소의 화소값과, 주목 화소와 동일 위치에 있는 y 방향 구배 맵의 화소의 화소값의 합이, 주목 화소의 화소값으로 된다. 또한, 그라디언트 맵의 화소의 화소값이 클수록, 그 화소와 동일한 위치에 있는 입력 화상의 화소는, 피사체 영역을 구성하는 화소일 가능성이 높은 것을 나타내고 있다.

이와 같이 하여 얻어진 그라디언트 맵을 사용하면, 피사체 맵에 비하여, 보다 확실하게 화상 상의 피사체의 위치를 특정할 수 있게 된다.

예를 들어, 피사체 맵의 피사체의 영역의 화소의 화소값은, 그 화소가 피사체의 중심 영역에 가까울수록 커지고, 피사체의 중심으로부터 떨어질수록 작아지는 경우가 많다. 현재, 피사체 맵의 피사체의 영역의 화소값이, 피사체의 윤곽 부분부터 중심 부분까지 동일한 구배로 변화하는 것으로 한다.

이 경우, 피사체 맵에 있어서, 화소값이 미리 정해진 임계값 이상의 화소로 이루어지는 영역을, 피사체의 영역이라고 할 때에는 임계값의 값에 의해 피사체로 되는 영역의 크기가 변화하기 때문에, 입력 화상으로부터 정확하게 피사체의 영역을 추출하는 것이 곤란해진다. 구체적으로는, 임계값이 커질수록 피사체로 되는 영역이 작아져 버린다. 또한, 임계값을 지나치게 작게 하면, 노이즈의 영향에 의해 피사체가 아닌 영역까지 피사체의 영역으로 되어 버리게 된다.

이에 대해, 그라디언트 맵의 화소의 화소값은, 피사체다움의, 변화의 정도, 즉 피사체 맵의 화소값의 구배를 나타내고 있다. 따라서, 피사체 맵의 피사체의 영역의 화소값이, 피사체의 윤곽 부분부터 중심 부분까지 동일한 구배로 변화한다고 한 경우, 그라디언트 맵에서는, 피사체의 영역 내의 화소의 화소값은, 모든 화소가 거의 동일한 값이 된다. 따라서, 그라디언트 맵을 사용하여 입력 화상으로부터 추출된 피사체의 영역은, 임계값에 의해 거의 크기가 변화하지 않아, 보다 정확하게 피사체의 영역을 추출할 수 있다.

도 15의 흐름도의 설명으로 되돌아가, 스텝 S222에 있어서, 임계값 처리부(23)는, 그라디언트 맵 생성부(22)로부터 공급된 그라디언트 맵을 사용하여, 피사체를 추출하기 위한 높은 임계값(THh)을 산출한다.

예를 들어, 임계값 처리부(23)는, 도 17에 도시한 바와 같이 그라디언트 맵(GM)으로부터, 그 그라디언트 맵(GM)의 화소값의 범위를 빈으로 한 히스토그램(HS)을 생성한다.

구체적으로는, 그라디언트 맵(GM)의 화소의 화소값이 취할 수 있는 값의 범위가 0부터 1인 경우, 100개의 빈으로 이루어지고, 횡축을 빈의 값, 종축을 각 빈에 속하는 그라디언트 맵(GM)의 화소의 수, 즉 화소의 빈도값으로 하는 히스토그램(HS)이 생성된다. 예를 들어, 1개의 빈에는, 화소값이 0 내지 0.01인 그라디언트 맵(GM)의 화소가 속하게 되고, 이 빈의 중앙값은 0.005로 된다.

이어서, 임계값 처리부(23)는, 생성된 히스토그램(HS)의 각 빈의 빈도값을 2치화하고, 2치화 후의 빈의 값을, 빈의 중앙값이 작은 순서대로 배열하여 얻어지는 정보를 히스토그램 빈 정보(HBI)로서 생성한다. 여기서, 빈의 빈도값의 2치화는, 빈도값이 0인 경우에 2치화 후의 값을 0으로 하고 빈도값이 0 이외의 양의 값인 경우에 2치화 후의 값을 1로 함으로써 행해진다. 따라서, 예를 들어 중앙값의 가장 작은 빈의 빈도값이 5인 경우, 히스토그램 빈 정보(HBI)의 선두의 값은 1이 된다.

또한, 임계값 처리부(23)는, 히스토그램 빈 정보(HBI)의 최후미부터, 2치화 후의 값이 1인, 미리 정해진 a번째(예를 들어, 18번째 등)의 빈의 중앙값을, 높은 임계값(THh)으로 한다. 예를 들어, 히스토그램 빈 정보(HBI)의 값이, 최후미부터 순서대로 「1」, 「0」, 「1」, 「1」이며, 상술한 a의 값을 「3」으로 한다. 이 경우, 최후미부터, 2치화 후의 값이 1인 3번째의 빈은, 히스토그램 빈 정보(HBI)의 최후미부터 4번째의 값에 대응하는 빈이므로, 그 빈의 중앙값이 높은 임계값(THh)으로 된다.

도 15의 흐름도의 설명으로 되돌아가, 스텝 S223에 있어서 임계값 처리부(24)는, 그라디언트 맵 생성부(22)로부터 공급된 그라디언트 맵을 사용하여, 피사체를 추출하기 위한 낮은 임계값(THl)을 산출한다.

예를 들어, 임계값 처리부(24)는, 임계값 처리부(23)가 생성하는 히스토그램과 동일한 히스토그램을 생성함과 함께, 그라디언트 맵 전체의 화소수의 미리 정해진 b퍼센트(예를 들어, 12퍼센트)에 상당하는 화소수 B를 구한다. 그리고, 임계값 처리부(24)는, 그라디언트 맵의 화소 중, B번째로 화소값이 큰 화소가 속하는 히스토그램의 빈의 중앙값을 낮은 임계값(THl)으로 한다.

즉, 그라디언트 맵 전체에 있어서, 화소값이 큰 상위 b퍼센트의 화소 중, 가장 화소값이 작은 화소가 선택되고, 그 화소가 속하는 히스토그램의 빈의 중앙값이, 낮은 임계값(THl)으로 된다.

이상과 같이 하여 구해진, 낮은 임계값(THl)과 높은 임계값(THh)은, 그라디언트 맵을 사용하여, 입력 화상으로부터 피사체 영역을 추출하기 위하여 사용된다.

낮은 임계값(THl)은, 입력 화상으로부터, 피사체가 포함되어 있을 가능성이 있다고 되는 영역을 추출하기 위한 임계값이다. 즉, 그라디언트 맵에 있어서, 화소값이 낮은 임계값(THl) 이상인 화소로 이루어지는 영역과 동일 위치에 있는 입력 화상의 영역 중에는 확실하게 피사체가 포함되어 있는 영역도 있지만, 피사체는 포함되어 있지 않고, 노이즈가 포함되어 있는 영역도 있게 된다.

또한, 높은 임계값(THh)은, 입력 화상으로부터, 확실하게 피사체가 포함되어 있을 가능성이 높다고 된 영역, 즉 피사체다운 영역을 추출하기 위한 임계값이다. 즉, 그라디언트 맵에 있어서, 화소값이 높은 임계값(THh) 이상인 화소로 이루어지는 영역과 동일 위치에 있는 입력 화상의 영역에는, 확실하게 피사체가 포함되어 있을 가능성이 높지만, 그 영역은, 실제의 피사체의 영역보다 좁을 가능성이 있다. 따라서, 입력 화상 상에는, 피사체 영역으로 된 영역 이외에도, 실제로는 피사체가 포함되는 영역이 있을 가능성이 있다.

여기서, 높은 임계값(THh)과 낮은 임계값(THl)은, 낮은 임계값(THl)보다 높은 임계값(THh)이, 보다 큰 값이 되도록, 이들의 임계값을 구하기 위한 상수 a 및 b가, 미리 통계적으로 구해져 있다.

따라서, 낮은 임계값(THl)에 의해 피사체의 영역이라고 특정된 입력 화상 상의 영역에는, 높은 임계값(THh)에 의해 피사체의 영역이라고 특정된 입력 화상 상의 영역이 반드시 포함되도록 한다. 즉, 높은 임계값(THh)은, 낮은 임계값(THl)을 사용하여 검출되는 피사체다운 영역보다, 더 확실하게 피사체다운 영역을 검출하기 위한 임계값이라고 할 수 있다.

또한, 높은 임계값(THh)보다 낮은 임계값(THl)이 커져 버린 경우에는, 구해진 낮은 임계값(THl)이 높은 임계값(THh)으로서 사용되고, 구해진 높은 임계값(THh)이 낮은 임계값(THl)으로서 사용되도록 해도 좋다. 또한, 상수 a 및 b가, 미리 구해져 있는 다른 값으로 변경되어, 다시 높은 임계값(THh) 및 낮은 임계값(THl)이 구해지도록 해도 좋다.

또한, 높은 임계값(THh) 및 낮은 임계값(THl)은, 그라디언트 맵으로부터 구한다고 설명했지만, 높은 임계값(THh) 및 낮은 임계값(THl)이 미리 정해져 있어도 된다.

스텝 S224에 있어서, 임계값 처리부(23) 및 임계값 처리부(24)는, 구한 높은 임계값(THh) 및 낮은 임계값(THl)을 사용하여 그라디언트 맵을 임계값 처리하여, 임계값 맵을 생성한다.

즉, 임계값 처리부(23)는, 생성하고자 하는 임계값 맵의 주목할 화소를 주목 화소로 하여, 주목 화소와 동일 위치에 있는 그라디언트 맵의 화소의 화소값이, 높은 임계값(THh) 이상인 경우, 주목 화소의 화소값을 1로 한다. 또한, 임계값 처리부(23)는, 주목 화소와 동일 위치에 있는 그라디언트 맵의 화소의 화소값이, 높은 임계값(THh) 미만인 경우, 주목 화소의 화소값을 0으로 한다. 임계값 처리부(23)는, 이와 같이 하여 구한 임계값 맵을 합성 맵 생성부(25)에 공급한다.

마찬가지로, 임계값 처리부(24)는, 생성하고자 하는 임계값 맵의 주목할 화소를 주목 화소로 하여, 주목 화소와 동일 위치에 있는 그라디언트 맵의 화소의 화소값이, 낮은 임계값(THl) 이상인 경우, 주목 화소의 화소값을 1로 한다. 또한, 임계값 처리부(24)는, 주목 화소와 동일 위치에 있는 그라디언트 맵의 화소의 화소값이, 낮은 임계값(THl) 미만인 경우, 주목 화소의 화소값을 0으로 한다. 임계값 처리부(24)는, 이와 같이 하여 구한 임계값 맵을 합성 맵 생성부(25)에 공급한다.

스텝 S225에 있어서, 합성 맵 생성부(25)는, 임계값 처리부(23) 및 임계값 처리부(24)로부터 공급된 임계값 맵에 기초하여, 합성 맵을 생성한다.

구체적으로는, 합성 맵 생성부(25)는, 임계값 처리부(23)로부터 공급된 임계값 맵과, 임계값 처리부(24)로부터 공급된 임계값 맵을 가산하여, 새로운 1개의 맵을 생성한다. 즉, 새롭게 생성되는 맵의 주목할 화소를 주목 화소로 하면, 그 주목 화소와 동일 위치에 있는 2개의 임계값 맵의 각각의 화소의 화소값의 합이, 주목 화소로 된다. 따라서, 새롭게 생성되는 맵의 화소의 화소값은 0, 1, 2 중 어느 하나의 값을 취하게 된다.

이에 의해, 예를 들어 도 18의 도면 중, 좌측에 나타내는 맵(M)이 얻어진다. 또한, 도 18에 있어서, 1개의 사각형은 맵 상의 1개의 화소를 나타내고 있으며, 사각형 내의 수치는, 그 사각형에 의해 나타나는 화소의 화소값을 나타내고 있다. 또한, 수치의 기재가 없는 사각형은, 화소값이 0인 화소를 나타내고 있다.

도면 중, 좌측의 맵(M)에서는, 화소값이 1 또는 2인 화소가 서로 인접하고 있는 영역이 복수 있고, 그들의 영역은, 피사체가 포함되어 있을 가능성이 있는 영역으로 된다.

이어서, 합성 맵 생성부(25)는, 도면 중 중앙에 도시한 바와 같이, 화소값이 1 또는 2인 화소로 이루어지는 영역이며, 서로 인접하는 화소로 이루어지는 영역을 연결 영역으로 한다. 예를 들어, 도면의 중앙의 예에서는, 4개의 영역 CR1 내지 영역 CR4가 연결 영역으로 된다.

또한, 합성 맵 생성부(25)는, 맵(M)의 연결 영역 중, 화소값이 2인 화소를 포함하고, 또한 면적이 3화소 이상인 연결 영역을 선택한다. 그리고 합성 맵 생성부(25)는, 선택한 연결 영역 내의 화소의 화소값을 1로 하고 그 밖의 화소의 화소값을 0으로 하고, 그 결과 얻어진 맵을 합성 맵으로 한다.

예를 들어, 도 18의 예에서는, 영역 CR1 내지 영역 CR4 중, 면적이 3화소 미만인 연결 영역 CR3과, 화소값이 2인 화소가 포함되지 않은 연결 영역 CR4가 제외되고, 도면 중 우측에 도시한 바와 같이 영역 CR1 및 영역 CR2가 선택된다. 이 영역 CR1 및 영역 CR2는 화소값이 2인 화소를 포함하고, 면적도 3화소 이상의 영역이다.

그리고, 선택된 영역 CR1 및 영역 CR2 내의 화소의 화소값이 1로 되고, 그 이외의 화소의 화소값이 0으로 되어 합성 맵으로 된다. 합성 맵에 있어서, 화소값이 1인 화소는 피사체 영역을 구성한다고 된 화소이며, 화소값이 0인 화소는 피사체 영역을 구성하지 않는다고 된 화소이다.

여기서, 합성 맵 생성 전의 맵(M)에 있어서, 연결 영역으로 된 영역은, 그라디언트 맵에 있어서, 높은 임계값(THh) 또는 낮은 임계값(THl) 중 적어도 어느 하나의 임계값 이상의 화소값을 갖는 화소로 이루어지는 영역이다. 따라서, 맵(M)의 연결 영역은 피사체 영역의 후보를 나타낸다고 할 수 있다.

합성 맵을 생성하는데 있어서, 맵(M)의 연결 영역으로부터, 화소값이 2인 화소를 포함하지 않은 연결 영역과, 면적이 3화소 미만인 연결 영역이 제외되는 것은, 다음과 같은 이유 때문이다.

즉, 맵(M)의 화소값이 2인 화소는, 그 화소와 동일한 위치의 그라디언트 맵의 화소의 화소값이, 높은 임계값(THh) 및 낮은 임계값(THl)의 어느 것보다 큰 것을 나타내고 있다. 즉, 그 화소와 동일한 위치의 입력 화상의 영역은, 피사체 영역일 가능성이 높은 것을 나타내고 있다.

이에 대해, 맵(M)의 화소값이 1인 화소는, 그 화소와 동일한 위치의 그라디언트 맵의 화소의 화소값이, 낮은 임계값(THl)보다는 크지만, 높은 임계값(THh)보다는 작은 것을 나타내고 있다. 즉, 그 화소와 동일한 위치의 입력 화상의 영역은, 확실하다고는 할 수 없지만 피사체 영역일 가능성이 있는 것을 나타내고 있다.

따라서, 맵(M)에 있어서, 화소값이 2인 화소를 보다 많이 포함하는 연결 영역일수록 보다 피사체 영역일 가능성이 높아지고, 화소값이 1인 화소만으로 이루어지는 연결 영역은, 피사체 영역일 가능성은 있지만, 그 가능성은 그 정도로 높지는 않게 된다. 따라서, 화소값이 1인 화소만으로 이루어지는 연결 영역을, 피사체 영역의 후보로부터 제외함으로써, 보다 높은 정밀도로 입력 화상으로부터 피사체 영역을 추출할 수 있게 된다.

또한, 일반적으로 면적이 작은 영역은 피사체 영역이 아니고, 노이즈의 영역일 가능성이 매우 높으므로, 미리 정해진 소정의 면적 미만의 연결 영역, 예를 들어 3화소 미만의 연결 영역은, 피사체 영역의 후보로부터 제외된다. 이에 의해, 보다 높은 정밀도로 입력 화상으로부터 피사체 영역을 추출할 수 있게 된다.

합성 맵 생성부(25)는, 이상과 같이 하여 합성 맵을 생성하면, 생성된 합성 맵을 2치화 맵 생성부(26)에 공급한다.

도 15의 흐름도의 설명으로 되돌아가, 스텝 S226에 있어서, 2치화 맵 생성부(26)는, 그라디언트 맵 생성부(22)로부터의 그라디언트 맵을 사용하여, 합성 맵 생성부(25)로부터의 합성 맵의 연결 영역마다 임계값을 구한다.

스텝 S227에 있어서, 2치화 맵 생성부(26)는, 구한 임계값을 사용하여 연결 영역마다 임계값 처리를 행하여, 2치화 맵을 생성한다.

예를 들어, 도 19에 도시한 바와 같이, 2치화 맵 생성부(26)는, 그라디언트 맵(GM)과, 합성 맵(CM)의 논리곱을 구한다. 또한, 도 19에 있어서, 1개의 사각형은 맵 상의 1개의 화소를 나타내고 있으며, 사각형 내의 수치는, 그 사각형에 의해 나타나는 화소의 화소값을 나타내고 있다.

논리곱에 의해 얻어지는 맵을 맵(AM)으로 하고 맵(AM)의 주목할 화소를 주목 화소로 한다. 이 경우, 2치화 맵 생성부(26)는, 주목 화소와 동일 위치에 있는 그라디언트 맵(GM)의 화소의 화소값과, 주목 화소와 동일 위치에 있는 합성 맵(CM)의 화소의 화소값의 곱을 구하고, 그 결과 얻어진 값을 주목 화소의 화소값으로 한다.

합성 맵(CM)에서는, 연결 영역으로 된 영역 CR1 및 영역 CR2의 화소의 화소값만이 1이므로, 맵(AM)에 있어서, 영역 CR1' 및 영역 CR2' 내의 화소의 화소값은, 그 화소와 동일한 위치에 있는 그라디언트 맵(GM)의 화소의 화소값이 된다. 또한, 맵(AM)에 있어서, 영역 CR1' 및 영역 CR2'에 포함되지 않은 화소의 화소값은 모두 0으로 된다.

또한, 맵(AM)의 영역 CR1' 및 영역 CR2'는, 합성 맵(CM)에 있어서의 영역 CR1 및 영역 CR2와 동일 위치에 있는 영역이다. 이하, 이들의 영역 CR1' 및 영역 CR2'에 대해서도 연결 영역으로 칭하기로 한다.

이어서, 2치화 맵 생성부(26)는, 얻어진 맵(AM)의 연결 영역마다 임계값을 구한다. 예를 들어, 2치화 맵 생성부(26)는, 맵(AM)의 연결 영역 내의 화소의 화소값 중 최대의 값을 구하고, 그 값에 대하여 미리 정해져 있는 값을 그 연결 영역의 임계값으로 한다.

예를 들어, 연결 영역 내의 화소값의 최대값이 4 이상인 경우, 그 연결 영역의 임계값이 4로 되고, 연결 영역 내의 화소값의 최대값이 4 미만인 경우, 그 연결 영역의 임계값이 1로 되는 것으로 한다.

이 경우, 맵(AM)의 영역 CR1' 내의 화소의 화소값의 최대값은 9이므로, 2치화 맵 생성부(26)는, 영역 CR1'의 임계값을 4로 한다. 마찬가지로, 맵(AM)의 영역 CR2' 내의 화소의 화소값의 최대값은 3이므로, 2치화 맵 생성부(26)는 영역 CR2'의 임계값을 1로 한다.

또한, 연결 영역에 대한 임계값은 미리 통계적으로 구해진다. 또한, 보다 상세하게는, 그라디언트 맵의 화소의 화소값은 0부터 1까지의 사이의 값으로 되기 때문에, 예를 들어 연결 영역 내의 화소값의 최대값이 0.4 이상이면 임계값은 0.33으로 되고, 연결 영역 내의 화소값의 최대값이 0.4 미만이면 임계값은 0.08 등으로 된다.

또한, 연결 영역에 대한 임계값은, 예를 들어 연결 영역 내의 화소값의 최대값이 커질수록 임계값도 커지도록 설정된다. 이것은, 연결 영역 내에, 보다 화소값이 큰 화소가 포함될수록, 그 연결 영역에 있어서, 정말 피사체 영역인 부분을 구성하는 화소의 화소값, 즉 그 화소와 동일한 위치의 그라디언트 맵(GM)의 화소값도 보다 커진다고 추정되기 때문이다.

따라서, 피사체 영역의 후보로 된 연결 영역으로부터, 그 연결 영역에 대하여 정해진 임계값 이상의 화소값을 갖는 화소만으로 이루어지는 영역을 추출하면, 정말 피사체 영역이라고 추정되는 영역을 추출할 수 있는 것이다.

따라서, 2치화 맵 생성부(26)는, 영역 CR1' 및 영역 CR2' 각각에 대하여 구한 임계값에 의해, 맵(AM)을 2치화하여 2치화 맵(TM)으로 한다.

구체적으로는, 2치화 맵 생성부(26)는, 맵(AM)의 영역 CR1' 내의 화소 중, 화소값이 영역 CR1'의 임계값 4 이상인 화소의 화소값을 1로 하고, 화소값이 영역 CR1'의 임계값 4 미만인 화소의 화소값을 0으로 한다. 또한, 2치화 맵 생성부(26)는, 맵(AM)의 영역 CR2' 내의 화소 중 화소값이 영역 CR2'의 임계값 1 이상인 화소의 화소값을 1로 하고 화소값이 영역 CR2'의 임계값 1 미만인 화소의 화소값을 0으로 한다.

예를 들어, 도 19의 도면 중, 우측의 예에서는, 얻어진 2치화 맵(TM)에서는, 2개의 영역 SR1 및 영역 SR2 내의 화소의 화소값이 1로 되고, 다른 화소의 화소값은 0으로 된다.

즉, 연결 영역으로 된 영역 CR1' 중, 영역 SR1 내의 화소의 화소값만이 1로 되고, 다른 영역 CR1' 내의 화소의 화소값은 0으로 되어 있다. 또한, 연결 영역으로 된 영역 CR2'에서는, 영역 CR2' 내의 화소의 화소값은 모두 1로 되어 있다.

이와 같이 하여 얻어진 2치화 맵(TM)에 있어서, 화소값이 1인 화소로 이루어지는 영역은, 정말 피사체 영역이라고 추정되는 영역이다. 따라서, 예를 들어 입력 화상에 있어서, 2치화 맵(TM)의 영역 SR1 및 영역 SR2와 동일 위치에 있는 영역이 피사체 영역으로 된다.

2치화 맵 생성부(26)는, 2치화 맵을 생성하면, 생성된 2치화맵을 직사각형 정형부(27)에 공급한다.

도 15의 흐름도의 설명으로 되돌아가, 스텝 S228에 있어서, 직사각형 정형부(27)는 2치화 맵 생성부(26)로부터 공급된 2치화 맵으로부터, 피사체 영역을 특정하여, 피사체 영역을 나타내는 피사체 영역 정보를 표시 제어부(28)에 공급한다.

예를 들어, 도 20의 좌측에 도시한 2치화 맵(TM)이 직사각형 정형부(27)에 공급된 경우, 직사각형 정형부(27)는 2치화 맵(TM)에 있어서, 화소값이 1인 화소로 이루어지는 영역이며, 서로 인접하는 화소로 이루어지는 영역을 연결 영역으로 한다. 예를 들어, 도면 중앙의 예에서는, 2개의 영역 SR1 및 영역 SR2가 연결된 영역으로 된다.

그리고, 직사각형 정형부(27)는, 도면 중 우측에 도시한 바와 같이, 연결 영역으로 된 영역 SR1 및 영역 SR2를 둘러싸는 직사각형의 프레임 W1 및 프레임 W2를, 피사체 영역을 둘러싸는 피사체 프레임의 위치로 하고, 프레임 W1 및 프레임 W2의 위치를 나타내는 정보를 피사체 영역 정보로서 생성한다. 그리고, 직사각형 정형부(27)는, 생성된 피사체 영역 정보를 표시 제어부(28)에 공급한다.

도 20의 예와 같이, 피사체 영역을 나타내는 영역을 직사각형화하여, 프레임 W1 및 프레임 W2로 하고, 이들의 프레임의 영역의 위치를 나타내는 피사체 영역 정보를 생성함으로써, 후단의 어플리케이션 프로그램에 있어서, 용이하게 피사체 프레임을 표시시킬 수 있다. 즉, 특정된 피사체의 영역에 기초하여, 피사체를 둘러싸는 프레임을 결정하는 처리가 불필요하게 된다.

이와 같이 하여 직사각형 정형부(27)로부터, 표시 제어부(28)에 피사체 영역 정보가 공급되면, 피사체 영역 추출 처리는 종료하고, 처리는 도 8의 스텝 S13으로 진행된다.

이상과 같이 하여, 화상 처리 장치(11)는, 피사체 맵으로부터 그라디언트 맵을 생성하고, 또한 그라디언트 맵에 대하여 2개의 임계값을 사용한 임계값 처리를 행하여 얻어진 맵으로부터 피사체 영역을 특정한다.

이와 같이, 피사체 맵으로부터 그라디언트 맵을 생성하고, 또한 그라디언트 맵에 대하여 2개의 임계값을 사용한 임계값 처리를 행하여 얻어진 맵으로부터 피사체 영역을 특정함으로써, 화상 상의 피사체의 영역을 보다 정확하게 특정할 수 있다.

즉, 그라디언트 맵의 화소의 화소값은, 피사체다움을 나타내는 값의 변화의 정도를 나타내는 값으로 되므로, 상술한 바와 같이, 피사체 맵에 비하여, 보다 확실하게 화상으로부터 피사체 영역을 추출할 수 있다.

또한, 그라디언트 맵에 대하여, 서로 크기가 다른 2개의 임계값 각각을 사용하여 임계값 처리하여 얻어진 임계값 맵을 가산하고, 그 결과 얻어진 맵의 화소를, 특정한 조건을 만족하는지의 여부에 따라 2치화함으로써, 노이즈의 영역을 제외하고, 피사체로 되어야 할 영역을 보다 정확하게 추출할 수 있다.

상술한 일련의 처리는, 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용의 하드웨어에 내장되어 있는 컴퓨터 또는 각종 프로그램을 인스톨함으로써 각종 기능을 실행하는 것이 가능한, 예를 들어 범용의 퍼스널 컴퓨터 등에 프로그램 기록 매체로부터 인스톨된다.

도 21은, 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어의 구성예를 도시하는 블록도이다.

컴퓨터에 있어서, CPU(Central Processing Unit)(301), ROM(Read Only Memory)(302), RAM(Random Access Memory)(303)은, 버스(304)에 의해 서로 접속되어 있다.

버스(304)에는, 또한 입출력 인터페이스(305)가 접속되어 있다. 입출력 인터페이스(305)에는, 키보드, 마우스, 마이크로폰 등으로 이루어지는 입력부(306), 디스플레이, 스피커 등으로 이루어지는 출력부(307), 하드 디스크나 불휘발성의 메모리 등으로 이루어지는 기록부(308), 네트워크 인터페이스 등으로 이루어지는 통신부(309), 자기 디스크, 광 디스크, 광자기 디스크, 혹은 반도체 메모리 등의 리무버블 미디어(311)를 구동하는 드라이브(310)가 접속되어 있다.

이상과 같이 구성되는 컴퓨터에서는, CPU(301)가, 예를 들어 기록부(308)에 기록되어 있는 프로그램을, 입출력 인터페이스(305) 및 버스(304)를 통하여, RAM(303)에 로드하여 실행함으로써, 상술한 일련의 처리가 행해진다.

컴퓨터(CPU(301))가 실행하는 프로그램은, 예를 들어 자기 디스크(플렉시블 디스크를 포함한다), 광디스크(CD-ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Disc) 등), 광자기 디스크, 혹은 반도체 메모리 등으로 이루어지는 패키지 미디어인 리무버블 미디어(311)에 기록하거나, 혹은 근거리 네트워크, 인터넷, 디지털 위성 방송이라고 한, 유선 또는 무선의 전송 매체를 통하여 제공된다.

그리고, 프로그램은, 리무버블 미디어(311)를 드라이브(310)에 장착함으로써, 입출력 인터페이스(305)를 통하여 기록부(308)에 인스톨할 수 있다. 또한, 프로그램은, 유선 또는 무선의 전송 매체를 통하여, 통신부(309)로 수신하여, 기록부(308)에 인스톨할 수 있다. 그 외, 프로그램은, ROM(302)이나 기록부(308)에 미리 인스톨해 둘 수 있다.

또한, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서를 따라 시계열로 처리가 행해지는 프로그램이어도 좋고, 병렬로, 혹은 호출이 행해졌을 때 등의 필요한 타이밍에 처리가 행해지는 프로그램이어도 좋다.

또한, 본 발명의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니며, 본 발명의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.

11 : 화상 처리 장치
21 : 피사체 맵 생성부
22 : 그라디언트 맵 생성부
23, 24 : 임계값 처리부
25 : 합성 맵 생성부
26 : 2치화 맵 생성부
27 : 직사각형 정형부
28 : 표시 제어부

Claims (8)

1. 화상 처리 장치로서,
   입력 화상으로부터, 상기 입력 화상 상의 피사체의 영역이 갖는 특징의 특징량을 추출하여, 상기 입력 화상의 각 영역에 있어서의 상기 피사체의 영역다움을 나타내는 피사체 맵을 생성하는 피사체 맵 생성 수단과,
   제1 임계값을 사용한 임계값 처리에 의해 상기 피사체 맵을 2치화하여, 상기 피사체가 포함되는 연결 영역을 특정하기 위한 제1 임계값 맵을 생성하는 제1 임계값 처리 수단과,
   제2 임계값을 사용한 임계값 처리에 의해 상기 피사체 맵을 2치화하여, 상기 제1 임계값 맵에 의해 특정되는 상기 연결 영역 내의 영역으로서, 상기 피사체다운 영역을 특정하기 위한 제2 임계값 맵을 생성하는 제2 임계값 처리 수단과,
   상기 제1 임계값 맵에 의해 특정된 1개 또는 복수의 상기 연결 영역 중, 상기 제2 임계값 맵에 의해 상기 피사체다운 영역이라고 특정된 영역을 포함하는 상기 연결 영역을, 상기 피사체의 영역으로 하여 상기 입력 화상 상의 상기 피사체의 영역을 특정하기 위한 합성 맵을 생성하는 합성 맵 생성 수단을 구비하는, 화상 처리 장치.
2. 제1항에 있어서, 상기 합성 맵 생성 수단은, 상기 제2 임계값 맵에 의해 상기 피사체다운 영역이라고 특정된 영역을 포함하는 상기 연결 영역 중, 미리 정해진 면적 이상의 상기 연결 영역을 상기 피사체의 영역으로 하여 상기 합성 맵을 생성하는, 화상 처리 장치.
3. 제1항에 있어서, 상기 합성 맵은, 상기 입력 화상의 영역마다의, 상기 피사체의 영역인지의 여부를 나타내는 2치의 정보가, 상기 입력 화상의 각 영역에 대응하여 배열된 정보로 되고,
   상기 합성 맵과 상기 피사체 맵의 논리곱을 구하고, 그 논리곱의 연산 결과를 제3 임계값을 사용한 임계값 처리에 의해 2치화함으로써, 상기 입력 화상 상의 상기 피사체의 영역을 특정하는 피사체 특정 정보를 생성하는 피사체 특정 정보 생성 수단을 더 구비하는, 화상 처리 장치.
4. 제3항에 있어서, 상기 피사체 특정 정보 생성 수단은, 상기 논리곱의 연산 결과에 있어서의, 상기 합성 맵에 의해 상기 피사체의 영역으로 특정된 피사체 영역과 동일한 영역마다, 상기 피사체 맵에 기초하여 상기 제3 임계값을 구하는, 화상 처리 장치.
5. 제1항에 있어서, 상기 피사체 맵에 기초하여, 상기 입력 화상의 각 영역에 있어서의, 상기 피사체 맵에 의해 나타나는 상기 피사체의 영역다움의 변화의 정도를 나타내는 그라디언트 맵을 생성하는 그라디언트 맵 생성 수단을 더 구비하고,
   상기 제1 임계값 처리 수단 및 상기 제2 임계값 처리 수단은, 상기 그라디언트 맵에 대하여 임계값 처리를 행하여, 상기 제1 임계값 맵 및 상기 제2 임계값 맵을 생성하는, 화상 처리 장치.
6. 제5항에 있어서, 상기 제1 임계값 처리 수단 및 상기 제2 임계값 처리 수단은, 상기 그라디언트 맵에 기초하여, 상기 제1 임계값 및 상기 제2 임계값을 산출하는, 화상 처리 장치.
7. 입력 화상으로부터, 상기 입력 화상 상의 피사체의 영역이 갖는 특징의 특징량을 추출하여, 상기 입력 화상의 각 영역에 있어서의 상기 피사체의 영역다움을 나타내는 피사체 맵을 생성하는 피사체 맵 생성 수단과,
   제1 임계값을 사용한 임계값 처리에 의해 상기 피사체 맵을 2치화하여, 상기 피사체가 포함되는 연결 영역을 특정하기 위한 제1 임계값 맵을 생성하는 제1 임계값 처리 수단과,
   제2 임계값을 사용한 임계값 처리에 의해 상기 피사체 맵을 2치화하여, 상기 제1 임계값 맵에 의해 특정되는 상기 연결 영역 내의 영역으로서, 상기 피사체다운 영역을 특정하기 위한 제2 임계값 맵을 생성하는 제2 임계값 처리 수단과,
   상기 제1 임계값 맵에 의해 특정된 1개 또는 복수의 상기 연결 영역 중, 상기 제2 임계값 맵에 의해 상기 피사체다운 영역이라고 특정된 영역을 포함하는 상기 연결 영역을, 상기 피사체의 영역으로 하여 상기 입력 화상 상의 상기 피사체의 영역을 특정하기 위한 합성 맵을 생성하는 합성 맵 생성 수단을 구비하는 화상 처리 장치의 화상 처리 방법으로서,
   상기 피사체 맵 생성 수단이, 상기 입력 화상으로부터 상기 피사체 맵을 생성하고,
   상기 제1 임계값 처리 수단이, 상기 제1 임계값을 사용한 임계값 처리에 의해 상기 제1 임계값 맵을 생성하고,
   상기 제2 임계값 처리 수단이, 상기 제2 임계값을 사용한 임계값 처리에 의해 상기 제2 임계값 맵을 생성하고,
   상기 합성 맵 생성 수단이, 상기 제1 임계값 맵 및 상기 제2 임계값 맵으로부터 상기 합성 맵을 생성하는 스텝을 포함하는, 화상 처리 방법.
8. 컴퓨터에 실행시키는 프로그램으로서,
   입력 화상으로부터, 상기 입력 화상 상의 피사체의 영역이 갖는 특징의 특징량을 추출하여, 상기 입력 화상의 각 영역에 있어서의 상기 피사체의 영역다움을 나타내는 피사체 맵을 생성하고,
   제1 임계값을 사용한 임계값 처리에 의해 상기 피사체 맵을 2치화하여, 상기 피사체가 포함되는 연결 영역을 특정하기 위한 제1 임계값 맵을 생성하고,
   제2 임계값을 사용한 임계값 처리에 의해 상기 피사체 맵을 2치화하여, 상기 제1 임계값 맵에 의해 특정되는 상기 연결 영역 내의 영역으로서, 상기 피사체다운 영역을 특정하기 위한 제2 임계값 맵을 생성하고,
   상기 제1 임계값 맵에 의해 특정된 1개 또는 복수의 상기 연결 영역 중, 상기 제2 임계값 맵에 의해 상기 피사체다운 영역이라고 특정된 영역을 포함하는 상기 연결 영역을, 상기 피사체의 영역으로 하여 상기 입력 화상 상의 상기 피사체의 영역을 특정하기 위한 합성 맵을 생성하는 스텝을 포함하는 처리를 컴퓨터에 실행시키는 프로그램.
   
   

Images