KR20080095787A - 유사 화상 판정 장치 및 유사 화상 판정 방법 - Google Patents

Abstract

유사 화상을 판정하는 장치는, 입력 화상으로부터 피사체 영역을 검출하는 피사체 영역 검출부, 피사체 영역 검출부에 의해 검출된 피사체 영역에 포함된 화소의 화소값 분포를 생성하는 화소값 분포 생성부, 화소값 분포 생성부에서 생성된 화소값 분포와 미리 등록되어 있는 피사체 화상의 등록 화소값 분포에 기초하여, 피사체 영역의 화상과 등록 피사체 화상의 유사 여부 판정을 행하는 판정부를 포함한다.

유사 화상 판정 장치, 피사체 영역 검출부, 화소값 분포 생성부, 판정부

Description

유사 화상 판정 장치 및 유사 화상 판정 방법{APPARATUS AND METHOD OF DETERMINING SIMILAR IMAGE}

<관련 출원의 상호 참조>

본 발명은 2007년 4월 24일 일본특허청에 제출된 일본특허출원 제2007-114305호에 관한 기술 내용을 포함하며, 그 전체 내용은 참조로서 본 명세서에 포함된다.

본 발명은, 유사 화상 판정 장치 및 유사 화상 판정 방법과, 그 프로그램 제품 및 프로그램 제품을 기록하는 기록 매체에 관한 것이다.

디지털화된 화상 데이터는, 하드 디스크, 광 디스크, 메모리 카드와 같은 기억 매체의 대용량화 및 가격하락에 수반하여 쉽게 저장된다. 그러나, 기억 매체에 저장된 화상 데이터의 양이 많으면 화상 검색을 용이하게 행할 수 없다. 예를 들면, 다수의 화상 중에서 유사한 피사체의 화상을 검색하거나, 동화상으로부터 유사한 피사체의 씬을 검색하는 것이 용이하게 행할 수 없게 된다.

화상에 관련된 데이터베이스로부터 유사한 화상을 검색할 수 있도록, 일본특허 공개 공보 제2005-327065호는 화상을 블록으로 분할하여, 블록마다 매칭 연산을 행하고, 이들 연산 결과는 유사 화상이 검색될 수 있도록 통합된다. 일본 특허공개 공보 제2006-58959호는 화상들 간의 차분을 연산하고, 차분의 값을 히스토그램으로 도시함으로써, 히스토그램에 기초한 유사 화상인지를 판정한다.

그런데, 일본특허공개공보 제2005-327065호에 개시된 바와 같이, 화상을 블록으로 분할하고, 블록마다 매칭 연산을 행하는 것으로 한 경우, 피사체의 화상 사이즈가 변하거나, 블록으로 분할했을 때의 블록 내에서의 위상의 상태에 따라서는, 유사 화상을 올바르게 판정하기 어렵다. 일본특허공개공보 제2006-58959호에 개시된 바와 같이, 화상들간의 차분을 이용하여 판정을 행하는 경우에는, 피사체 화상의 위상이 어느 정도 일치하고 있지 않으면 차분의 값이 커지게 되어 유사 화상을 올바르게 판정할 수 없는 경우가 있다.

유사한 피사체 화상을 올바르게 판정할 수 있는 유사 화상 판정 장치, 유사 화상 판정 방법, 프로그램 제품, 및 프로그램 제품을 기록하는 기록 매체를 제공하는 것이 요구된다.

본 발명의 일 실시예에 따르면, 유사 화상을 판정하는 장치가 제공된다. 장치는 입력 화상으로부터 피사체 영역을 검출하는 피사체 영역 검출부(subject-region-detecting unit), 피사체 영역 검출부에 의해 검출된 피사체 영역에 포함된 화소의 화소값 분포를 생성하는 화소값 분포 생성부, 및 화소값 분포 생성부에서 생성된 화소값 분포와 미리 등록되어 있는 피사체 화상의 등록 화소값 분포에 기초하여, 피사체 영역의 화상과 등록 피사체 화상의 유사 여부 판정을 행하는 판정부를 포함한다.

본 발명의 일 실시예로서 유사 화상을 판정하는 장치에 의하면, 피사체가 상이한 크기 및/또는 위상을 갖는 경우에도 입력 화상으로부터 피사체 영역을 검출함으로써 피사체의 화상을 추출가능하다. 또한, 피사체 영역에 포함되는 화소의 화소값 분포와 미리 등록되어 있는 등록 피사체 화상의 화소값 분포를 비교함으로써, 피사체 영역의 화상과 등록 피사체 화상의 유사 여부 판정할 수 있다.

본 발명의 다른 실시예에 따르면, 유사 화상을 판정하는 방법이 제공된다. 방법은 입력 화상으로부터 피사체 영역을 검출하는 피사체 영역 검출 단계, 피사체 영역 검출 단계에서 검출된 피사체 영역에 포함되는 화소의 화소값 분포를 생성하는 화소값 분포 생성 단계, 및 화소값 분포 생성 단계에서 생성된 화소값 분포와 미리 등록되어 있는 등록 피사체 화상의 등록 화소값 분포에 기초하여, 피사체 영역의 화상이 미리 등록된 피사체 화상과 유사한지를 판정하는 판정 단계를 포함한다.

본 발명의 또 다른 실시예에 따르면, 컴퓨터에 유사 화상을 판정하는 방법을 실행시키는 프로그램 제품 및 프로그램 제품을 기록하는 기록 매체가 제공된다.

본 발명의 실시예에 의하면, 피사체 영역은 입력 화상으로부터 검출되고, 피사체 영역에 포함되는 화소들의 화소값 분포가 미리 등록된 피사체 화상의 등록된 화소값 분포와 유사한지를 판정함으로써, 피사체 영역의 화상과 등록된 피사체 화상의 유사여부를 판정할 수 있다.

따라서, 입력 화상 내에서 피사체 화상의 위치가 서로 다른 경우에도, 위치 차에 의한 영향을 가능한 적게 하여 입력 화상의 피사체 화상과 등록 피사체 화상의 유사여부를 판정할 수 있다.

본 명세서의 결론부는 특히 본 발명의 기술 요지를 언급하며 직접 주장한다. 그러나, 당업자라면 첨부된 도면(들)을 봐서 명세서의 나머지 부분을 읽어봄으로써 추가 이점 및 목적으로 본 발명의 구성 및 동작 방법을 가장 잘 이해할 수 있을 것이다.

이하, 도면을 참조하면서, 본 발명의 실시의 일 형태에 대해서 설명한다. 도 1은, 본 발명에서의 유사 화상 판정 장치(10)의 구성예를 도시하고 있다.

유사 화상 판정 장치(10)는 피사체 영역 검출부(11), 화소값 분포 생성부(12), 및 판정부를 포함한다. 피사체 영역 검출부(11)와 화소값 분포 생성부(12)는 각각 입력 화상의 화상 신호 SDin을 수신한다. 피사체 영역 검출부(11)는, 화상 신호 SDin을 이용하여 피사체 영역의 검출을 행하고, 검출한 피사체 영역을 나타내는 영역 신호 SE를 생성해서 화소값 분포 생성부(12)에 공급한다. 화소값 분포 생성부(12)는, 영역 신호 SE에 의해 나타내진 피사체 영역의 화소 신호를 화상 신호 SDin으로부터 추출하고, 이 추출한 신호에 기초하여 화소값 분포를 생성해서 판정부(13)에 공급한다.

판정부(13)는, 화소값 분포 생성부(12)로부터 수신된 화소값 분포와 등록된 피사체 화상의 등록 화소값 분포를 이용함으로써, 검출된 피사체 영역과 미리 등록된 피사체 화상의 유사여부를 판정하여, 판정 결과 신호 SDc를 출력한다.

다음으로, 각 부의 구성 및 동작에 대해서 순차적으로 설명한다. 도 2는, 피사체 영역 검출부(11)의 구성예를 도시하고 있다. 피사체 영역 검출부(11)는 윤곽 추출부(111), 라벨링부(115a), 및 영역 정보 생성부(116)를 포함한다.

피사체 영역 검출부(11) 내의 윤곽 추출부(111)는, 입력 화상의 윤곽을 추출하고, 입력 화상의 화상 신호 SDin으로부터 윤곽을 나타내는 화상(이하 "미분 화상"으로 지칭)의 화상 신호 SDdf를 생성한다. 윤곽 추출부(111)는 각 화소에 대해서 현재 화소와 인접 화소와의 화소값 차분 연산을 행하여, 그 연산 결과를 임계값과 비교하여 피사체의 윤곽을 추출한다.

주목 화소의 특징량 V는, 예를 들면 수학식 1에 기초하여 산출된다.

여기서 Lo는 주목 화소의 화소값, La는 그 좌측 인접의 화소의 화소값, Lb는 그 우측 인접의 화소의 화소값, Lc는 그 상측 인접 화소의 화소값, 및 Ld는 그 하측 인접의 화소의 화소값이다.

윤곽 추출부(111)는, 이 산출된 특징량 V를 소정의 임계값과 비교하여, 특징량 V가 임계값보다 클 때에는, 주목 화소의 화소값을 제1 식별값, 예를 들면 미분 화상의 화상 신호를 8비트의 신호로서 나타낼 때 "255"로 한다. 한편, 특징량 V가 임계값 이하일 때, 주목 화소의 화소값을 제2 식별값 "0"으로 한다. 이러한 처리를 화소마다 행함으로써 얻어진 2진 신호는, 윤곽을 나타내는 화상 신호에 상당하 는 것이며, 미분 화상의 화상 신호 SDdf로서 사용된다. 화상 신호 SDdf에서, 제1 식별값의 화소는 윤곽 부분의 화소에 상당하고, 제2 식별값의 화소는 윤곽 부분이 아닌 화소에 상당한다.

라벨링부(115a)는, 윤곽 추출부(111)에서 생성된 미분 화상의 화상 신호 SDdf를 이용하여 라벨링 처리를 행한다. 미분 화상이 제1 식별값 "255"의 화소를 포함하는 경우, 라벨링부(115a)는 그 화소에 대하여 라벨 번호를 부여한다. 또한，라벨링부(115a)는, 라벨 번호를 부여한 화소의 상하 좌우 비스듬한 방향으로 인접하는 화소중에서, 라벨링이 행해지고 있지 않은 제1 식별값 "255"의 화소를 검출하고, 검출한 화소(들)에 동일한 라벨 번호를 부여한다. 그 후, 동일한 라벨 번호를 부여할 수 있는 화소가 검출되지 않게 되었을 때, 라벨링부(115a)는, 라벨 번호를 변경해서(예를 들면, 라벨 번호를 카운트 업해서) 새로운 라벨을 설정하고, 라벨링이 행해지고 있지 않은 제1 식별값 "255"의 화소를 검출한다. 라벨링이 행해지고 있지 않은 제1 식별값 "255"의 화소가 검출되었을 때, 라벨링부(115a)는 검출된 화소에 대하여 새로운 라벨 번호를 부여한다. 또한, 라벨링부(115a)는, 라벨 번호를 부여한 화소의 상하 좌우 비스듬한 방향으로 인접하는 화소에서, 라벨링이 행해지고 있지 않은 제1 식별값 "255"의 화소에 대하여 새로운 라벨 번호를 부여한다. 마찬가지로, 동일한 라벨 번호를 부여할 수 있는 화소가 검출되지 않게 되었을 때, 라벨 번호를 변경해서 전술한 처리를 반복하면, 제1 식별값 "255"인 모든 화소에 대하여 라벨 번호를 부여하는 것을 행할 수 있다. 이렇게 라벨 번호의 부여를 행하는 것으로 하면, 연속하는 윤곽에 대하여 1개의 라벨 번호가 부여되게 된 다.

다음으로, 라벨링부(115a)는, 각 라벨 번호에 속하는 화소수를 카운트하고, 가장 화소수가 많은 라벨 번호를 갖는 화소만을 남기고, 연속하는 최대 길이의 윤곽을 남기고, 그 밖의 라벨 번호를 갖는 화소의 화소값을 제1 식별값 "255"로부터 제2 식별값 "0"으로 변경하여, 라벨링 처리 후의 라벨링 처리 신호 SDla를 영역 정보 생성부(116)에 공급한다.

영역 정보 생성부(116)에서는, 라벨링부(115a)에서 라벨링 처리가 완료한 라벨링 처리 신호 SDla로부터 피사체 영역을 나타내는 영역 신호 SE를 생성한다. 영역 정보 생성부(116)는, 연속하는 최대 길이의 윤곽으로 둘러싸인 영역, 즉 제1 식별값 "255"인 화소에 의해 둘러싸인 영역을 피사체 영역으로서 추출하고, 이 피사체 영역 내의 제2 식별값 "0"의 화소를 제1 식별값 "255"로 변경해서 영역 신호 SE를 제공한다. 화소가 피사체 영역 내 포함되는지의 여부의 판정은, 예를 들면 제2 식별값 "0"인 화소에 대하여, 상하 좌우 비스듬한 모든 방향에서 제1 식별값 "255"인 화소가 존재하는지의 여부를 검출하면 된다. 모든 방향에서 제1 식별값 "255"인 화소가 존재하는 것을 검출하면, 화소는 피사체 영역 내의 화소로 설정된다. 영역 신호 SE에서, 제1 식별값의 화소는 피사체 영역 내의 화소, 제2 식별값의 화소는 피사체 영역 외의 화소로 된다.

도 3a 내지 도 3e는, 피사체 영역 검출부(11)의 동작을 도시한다. 도 3a는, 입력 화상을 예시한 것으로, 즉, 이 입력 화상의 화상 신호 SDin이 피사체 영역 검출부(11)에 입력되면, 윤곽 추출부(111)는 주목 화소에 대한 특징량 V의 산출이나 산출한 특징량 V와 소정의 임계값과 비교 등을 화소마다 행한다. 따라서, 윤곽 추출부(111)로부터 라벨링부(115a)에 공급되는 화상 신호 SDdf는, 도 3b에 도시하는 미분 화상을 나타낸다. 도 3b에서, 제2 식별값 "0"의 화소는 "흑", 제1 식별값 "255"의 화소는 "백"으로 표시하고 있다.

라벨링부(115a)는, 미분 화상의 화상 신호 SDdf를 이용하여 라벨링 처리를 행한다. 제1 식별값 "255"의 화소에 대하여 라벨 번호의 부여를 행하면, 예를 들면 도 3c에 도시하는 바와 같이 라벨 번호 LB1∼LB5가 부여된다. 그 후, 라벨링부(115a)는, 가장 화소수가 많은 라벨 번호 LB1을 갖는 화소만을 남기고, 그 밖의 라벨 번호 LB2∼LB5의 제1 식별값 "255"를 제2 식별값 "0"으로 변경해서 라벨링 처리 신호 SDla로 한다. 따라서, 라벨링부(115a)로부터 영역 정보 생성부(116)에 공급되는 라벨링 처리 신호 SDla는, 연속하는 최대 길이의 윤곽(라벨 번호 LB1을 갖는 화소)만이 나타난 도 3d에 도시하는 화상으로 된다.

영역 정보 생성부(116)는, 라벨링 처리 신호 SDla로부터 피사체 영역을 나타내는 영역 신호 SE를 생성한다. 영역 정보 생성부(116)는, 제1 식별값 "255"인 화소에 의해 둘러싸인 영역을 피사체의 영역으로서 추출하고, 이 영역 내의 제2 식별값 "0"을 제1 식별값 "255"로 변경한다. 따라서, 영역 정보 생성부(116)로부터 출력되는 영역 신호 SE는, 도 3e에 도시하는 바와 같이, 제1 식별값 "255"의 영역인 피사체 영역을 나타낸다.

도 2에 도시하는 피사체 영역 검출부(11)는, 윤곽 추출을 행함으로써 얻어진 미분 화상에 기초하여 피사체 영역을 나타내는 영역 신호 SE를 생성했지만, 피사체 영역의 검출은 윤곽 추출을 행하는 경우에 한정되지 않는다. 도 4는, 피사체 영역 검출부의 다른 구성으로서, 움직임 벡터를 이용하여 피사체 영역의 검출을 행하는 경우를 나타내고 있다.

피사체 영역 검출부(11a)는 지연부(112), 움직임 벡터 검출부(113), 움직임 영역 추출부(114), 라벨링부(115b), 및 영역 정보 생성부(116)를 포함한다. 지연부(112)와 움직임 벡터 검출부(113)는 각각 입력 화상의 화상 신호 SDin를 수신한다.

지연부(112)는 화상 신호 SDa를 1프레임 지연시켜서, 지연된 화상 신호 SDa를 움직임 벡터 검출부(113)에 공급한다.

움직임 벡터 검출부(113)는 화상 신호 SDin과 지연 화상 신호 SDa로부터 움직임 벡터 MV를 검출한다. 움직임 벡터 검출부(113)는 화상 신호 SDin을, 예를 들면 화상 신호 SDin을 64(=8×8) 블록으로 분할하고, 지연 화상 신호 SDa의 소정의 탐색 범위에서, 차분 절대값 합이 최소로 되는 위치를 검출함으로써 블록마다 움직임 벡터 MV를 검출한다.

움직임 영역 추출부(114)는, 움직임 벡터 검출부(113)에서 검출된 움직임 벡터 MV에 기초하여, 움직임 벡터마다 화소수에 따라서 움직임 벡터를 랭킹(ranking)했을 때에 소정 순위범위로 되는 움직임 벡터의 화상 영역을 움직임 영역으로서 추출한다. 예를 들면, 움직임 영역 추출부(114)는, 움직임 벡터마다 화소수를 나타내는 히스토그램을 생성한다. 움직임 영역 추출부(114)는, 가장 화소수가 많은 움직임 벡터를 배경의 움직임으로서, 화소수가 소정 순위 범위 예를 들면 2번째로부 터 15번째로 많은 움직임 벡터의 화상 영역을 피사체의 움직임의 영역으로서 추출한다. 이후, 움직임 영역 추출부(114)는, 화소수가 예를 들면 2번째로부터 15번째까지 많은 움직임 벡터를 피사체 움직임 벡터 범위로서, 이 피사체 움직임 벡터 범위에 속하는 각 화소를 제1 식별값 "255"로 설정한다. 움직임 영역 추출부(114)는 또한 피사체 움직임 벡터 범위에 속해 있지 않은 각 화소를 제2 식별값 "0"으로 한다. 이러한 처리를 행함으로써 얻어진 2진 신호를 움직임 영역 추출 신호 SDeg로 한다. 움직임 영역 추출 신호 SDeg에서, 제1 식별값의 화소는 피사체의 움직임에 대응하는 화소, 제2 식별값의 화소는 피사체의 움직임에 대응하고 있지 않은 화소로 됨에 유의한다.

라벨링부(115b)는, 움직임 영역 추출부(114)로부터 공급된 움직임 영역 추출 신호 SDeg에 대하여, 전술한 라벨링부(115a)에서 행해지는 화상 신호 SDdf에 대한 라벨링 처리와 마찬가지의 처리를 행하여, 라벨링 처리 신호 SDla를 생성한다. 또한, 영역 정보 생성부(116)는, 전술한 바와 같이 라벨링 처리 신호 SDla로부터 피사체 영역을 나타내는 영역 신호 SE를 생성하는 처리를 행한다.

도 5a 내지 도 5e는, 피사체 영역 검출부의 다른 동작으로서, 피사체 영역 검출부(11a)의 동작을 도시한다. 도 5a는, 입력 화상을 예시한 것이다. 도 5a에서, 파선은 1프레임 전의 피사체(인물)의 화상 위치를 나타내고 있다. 이 입력 화상의 화상 신호 SDin이 움직임 벡터 검출부(113)에 공급되면, 화상 신호 SDin과 지연 화상 신호 SDa로부터 움직임 벡터가 검출되어 움직임 영역 추출부(114)에 공급된다.

공급된 움직임 벡터 MV에 기초하여, 움직임 영역 추출부(114)는 피사체 움직임 벡터 범위에 속하는 움직임 벡터의 화소와 피사체 움직임 벡터 범위에 속하지 않는 움직임 벡터의 화소가 구분되어 있는 도 5b에 도시하는 화상을 생성하고, 이 화상을 나타내는 움직임 영역 추출 신호 SDeg를 라벨링부(115b)에 공급한다.

라벨링부(115b)는, 움직임 영역 추출부(114)로부터의 움직임 영역 추출 신호 SDeg를 이용하여 전술한 바와 같이 라벨링 처리를 행한다. 제1 식별값 "255"의 화소에 대하여, 예를 들면 도 5c에 도시하는 바와 같이 라벨 번호 LB1, LB2이 부여된다. 그 후, 라벨링부(115b)는, 가장 화소수가 많은 라벨 번호를 갖는 화소만을 남기고, 그 밖의 라벨 번호를 갖는 화소를 제1 식별값 "255"로부터 제2 식별값 "0"으로 변경한다. 따라서, 라벨 번호 LB2의 화소는, 제1 식별값 "255"로부터 제2 식별값 "0"으로 변경되고, 라벨링부(115b)로부터 영역 정보 생성부(116)에 공급되는 라벨링 처리 신호 SDla는, 도 5d에 도시하는 라벨링 처리 후의 화상을 나타내는 것으로 된다.

영역 정보 생성부(116)는, 피사체 영역을 나타내는 영역 신호 SE를 생성한다. 영역 정보 생성부(116)는, 전술한 바와 같이 제1 식별값 "255"의 화소에 의해 둘러싸인 영역을 피사체 영역으로서 추출하고, 이 영역 내에 위치하는 제2 식별값 "0"의 화소를 제1 식별값 "255"로 변경한다. 따라서, 영역 정보 생성부(116)로부터 출력되는 영역 신호 SE는, 도 5e에 도시하는 바와 같이, 제1 식별값 "255"의 영역인 피사체 영역을 나타내는 것으로 된다.

또한, 피사체 영역 검출부에서는, 윤곽 추출에 의해 얻어진 화상에 기초한 영역 검출 결과와 움직임 벡터에 기초한 영역 검출 결과의 쌍방을 이용하여 피사체 영역을 결정하면, 보다 확실하고 정밀하게 피사체 영역을 검출하는 것이 가능하게 된다.

도 6은, 피사체 영역 검출부의 다른 구성으로서, 윤곽 추출에 의해 얻어진 화상에 기초한 영역 검출 결과와 움직임 벡터에 기초한 영역 검출 결과의 쌍방을 이용하여 피사체 영역을 결정하는 경우를 나타내고 있다. 도 6에 도시하는 피사체 영역 검출부(11b)에서, 도 2 및 도 4와 대응하는 부분에 대해서는 동일 부호를 붙이고, 그 상세한 설명은 생략함에 유의한다.

도 6의 영역 정보 생성부(117)는, 라벨링부(115a)로부터 공급된 라벨링 처리 신호 SDla-a에서, 제1 식별값 "255"인 화소에 의해 둘러싸인 영역을 추출하고, 이 피사체 영역 내의 제2 식별값 "0"의 화소를 제1 식별값 "255"로 변경해서 제1 영역 검출 결과로 한다. 또한, 영역 정보 생성부(117)는 라벨링부(115b)로부터 공급된 라벨링 처리 신호 SDla-b에서, 제1 식별값 "255"인 화소에 의해 둘러싸인 영역을 추출하고, 이 피사체 영역 내의 제2 식별값 "0"의 화소를 제1 식별값 "255"로 변경해서 제2 영역 검출 결과로 한다. 제1 영역 검출 결과와 제2 영역 검출 결과에서, 제1 식별값 "255"로 되어 있는 화소 영역이 중복하는 경우에는, 제2 영역 검출 결과로 나타내져 있는 제1 식별값 "255"의 영역을 피사체 영역으로 한다. 한편, 제1 식별값 "255"로 되어 있는 화소 영역이 중복하고 있지 않은 경우에는, 각각의 화소 영역을 피사체 영역으로서, 이 피사체 영역을 나타내는 영역 신호 SE를 생성한다.

이렇게, 윤곽 추출에 의해 얻어진 화상에 기초한 영역 검출 결과와 움직임 벡터에 기초한 영역 검출 결과의 쌍방을 이용하여 피사체 영역을 결정하면, 피사체가 움직임을 갖고 있거나 혹은 정지하고 있는 경우라도, 이 피사체가 포함되는 피사체 영역을 검출하는 것이 가능하게 된다. 또한, 움직임 벡터에 기초하여 검출된 영역을 우선해서 이용함으로써, 움직임이 있는 피사체의 영역을 정밀하게 검출할 수 있게 된다.

또한, 피사체 영역 검출부가 입력 화상을 미리 움직임이 있는 화상 영역과 정지 화상 영역으로 구분하고, 정지 화상 영역의 경우에는 윤곽 추출에 의해 얻어진 화상에 기초하여 피사체 영역을 검출하고, 움직임이 있는 영역의 경우에는 움직임 벡터에 기초하여 피사체 영역을 검출하더라도, 거의 동일한 효과가 얻어질 수 있다.

다음으로, 도 1에 도시하는 화소값 분포 생성부(12)는, 피사체 영역 검출부(11)로부터 공급된 영역 신호 SE에 기초하여, 화상 신호 SDin으로부터 피사체 영역의 화소 신호를 추출하고, 추출한 화소 신호에 기초하여 피사체 영역의 화소의 화소값 분포를 생성한다.

도 7a 내지 도 7c는, 화소값 분포 생성부(12)의 동작을 도시한다. 도 7a 내지 도 7c에서는, 화소값 분포로서 피사체 영역의 화소의 화소값을 화소값 순으로 재배열한 소트 파형을 생성하는 경우에 대해서 나타내고 있다. 도 7a는, 화상 신호 SDin에 기초하는 입력 화상과 피사체 영역 검출부(11)에서 검출된 피사체 영역을 합쳐서 나타낸 것이며, 피사체 영역 검출부(11)에서 검출된 피사체 영역에는, 입력 화상 내의 피사체 화상이 포함되는 것임에 유의한다. 또한, 도 7a에서는, 도 5e에 도시하는 피사체 영역을 이용한 경우를 나타내고 있음에 유의한다.

화소값 분포 생성부(12)는, 래스터 스캔(raster scan) 순으로, 피사체 영역의 화소 신호를 화상 신호 SDin으로부터 추출한다. 여기에서, 종축을 화소값, 횡축을 추출한 화소의 화소 순서로 하면, 분포는 도 7b에 도시될 것이다. 또한, 화소값 분포 생성부(12)는, 추출한 각 화소를 화소값이 큰 순서로 재배열한다. 이 경우에서, 도 7b에 도시하는 분포는 도 7c의 분포로 변환된다. 화소값 분포 생성부(12)는, 신호 재배열 후의 도 7c의 분포(이하 "소트 파형"이라고 함)를 화소값 분포로서, 이 화소값 분포를 나타내는 정보 신호 JA를, 도 1에 도시하는 바와 같이 판정부(13)에 공급한다.

판정부(13)는, 화소값 분포 생성부(12)로부터 공급된 정보 신호 JA에 의해 나타내진 화소값 분포와, 미리 등록되어 있는 피사체 화상의 등록 화소값 분포로부터, 피사체 영역의 화상과 미리 등록되어 있는 피사체 화상이 유사한지의 여부의 판정을 행하고, 판정 결과 신호 SDc를 출력한다. 예를 들면, 판정부(13)는, 정보 신호 JA에 의해 나타내진 화소값 분포와 등록 화소값 분포가 소트 파형을 나타내는 경우, 정보 신호 JA에 의해 나타내진 화소값 분포인 소트 파형과 등록 화소값 분포인 소트 파형의 차분 절대값 총합을 산출한다. 또한, 피사체 화상의 등록 화소값 분포가 복수 등록되어 있을 때에는, 등록되어 있는 소트 파형마다 차분 절대값 총합을 산출한다.

도 8a 및 도 8b는, 판정부의 동작이다. 도 8a는, 화소값 분포 생성부(12)로부터 공급된 정보 신호 JA에 의해 나타내진 화소값 분포인 소트 파형, 도 8b는, 판 정부(13)에 등록되어 있는 등록 화소값 분포인 소트 파형을 예시하고 있다. 판정부(13)는, 정보 신호 JA로 나타내진 소트 파형과 등록 화소값 분포의 소트 파형과의 차분 절대값 총합을 산출한다.

이 경우에, 피사체 영역의 화상과 등록되어 있는 피사체 화상이 유사한 경우에는 소트 파형도 유사한 것으로 되기 때문에 차분 절대값 총합이 작아진다. 따라서, 판정부(13)는, 차분 절대값 총합에 기초하여 피사체 영역의 화상과 미리 등록되어 있는 피사체 화상이 유사한지의 여부의 판정을 행할 수 있다. 또한, 차분 절대값 총합이 가장 작아지는 소트 파형을 판별하면, 미리 등록되어 있는 복수의 피사체 화상으로부터, 피사체 영역의 화상과 가장 유사한 피사체 화상을 선택할 수 있다.

또한, 차분 절대값 총합이 가장 작아질 뿐만 아니라, 차분 절대값 총합이 미리 설정한 임계값보다도 작은 소트 파형을 판정하면, 동일 피사체의 식별 정밀도를 높일 수 있다. 예를 들면, 입력 화상에서의 피사체 영역의 화상과 유사한 피사체 화상으로부터 생성한 소트 파형이 등록되어 있지 않은 경우, 차분 절대값 총합이 가장 작아진다고 하는 조건만으로 소트 파형의 판정을 행하면, 입력 화상에서의 피사체 영역의 화상과 서로 다른 피사체 화상이어도, 차분 절대값 총합이 가장 작아지는 소트 파형에 대응하는 피사체 화상이 가장 유사하다고 판정되게 된다. 따라서, 차분 절대값 총합이 미리 설정한 임계값보다도 작아진다고 하는 조건을 설정하면, 입력 화상에서의 피사체 영역의 화상과는 서로 다른 피사체 화상의 소트 파형과의 차분 절대값 총합보다도 임계값을 작게 설정해 둠으로써, 서로 다른 피사체 화상이 가장 유사하다고 판정되지 않고, 판정 정밀도를 높일 수 있다.

판정부(13)로부터 출력되는 판정 결과 신호 SDc는, 피사체 영역의 화상과 미리 등록되어 있는 피사체 화상이 유사한지의 여부의 판정 결과를 나타내는 정보를 나타내는 것으로 해도 되고, 가장 유사한 피사체 화상의 화상 신호를 나타내는 것으로 하여도 된다. 또한, 유사한 피사체 화상의 기록 위치나 유사한 피사체 화상과 관련지어진 정보, 예를 들면 피사체 화상이 인물의 얼굴일 때에는 인물의 이름이나 주소 등의 정보를 나타내도록 하면, 피사체 영역의 화상이 나타내는 인물에 관한 정보를 신속하게 얻을 수 있다. 또한, 동화상이 기억 수단에 기억되어 있을 때에는, 동화상을 재생할 때에, 이 유사한 피사체 화상이 프레임 화상 내에 포함되는 재생 개시 타이밍을 나타냄으로써, 예를 들면 피사체 영역의 화상이 나타내는 인물의 등장 씬을 신속하게 재생할 수 있다. 또한, 유사한 피사체 화상이 포함되는 동화상의 정보, 예를 들면 타이틀이나 기록 일시 등의 정보를 나타내는 것으로 하면, 예를 들면 피사체 영역의 화상이 나타내는 인물의 등장 프로그램 등을 용이하게 검색할 수 있다.

피사체 영역의 화상과 미리 등록되어 있는 피사체 화상의 화상 사이즈가 서로 다른 경우, 동일한 피사체라도 소트 파형은 서로 다른 것으로 된다. 도 9a 내지 도 9d는 화상 사이즈와 소트 파형의 관계를 나타내고 있다. 여기에서, 도 9a의 피사체 영역의 화상에 대한 소트 파형을, 도 9b에 도시하는 파형으로 한다. 등록되어 있는 피사체 화상의 화상 사이즈가 도 9a에 비하여 도 9c에 도시하는 바와 같이 작은 것으로 되어 있는 경우, 화소수가 적어지기 때문에, 소트 파형은 도 9b에 도시하는 소트 파형을 횡축 방향으로 단축한 도 9d에 도시하는 소트 파형이 되게 된다. 따라서, 판정부(13)에 다양한 화상 사이즈의 피사체 화상으로부터 생성한 소트 파형을 등록하지 않으면, 소트 파형끼리의 차분 절대값을 산출할 수 없는 화소가 존재하게 된다. 그러나, 화상 사이즈가 서로 다른 피사체 화상의 소트 파형을 판정부(13)에 미리 등록해 두면, 등록하는 소트 파형이 많아져 대용량의 기억 장치가 필요하게 된다. 또한 유사한 소트 파형의 판정에 필요로 하는 시간도 길어지게 된다.

따라서, 피사체 영역의 화상의 화소값 분포에서의 화소수와 등록 화소값 분포의 화소수가 서로 다른 경우, 화소수가 동일해지도록 화소값 분포를 보정하는 보정 처리를 행한다. 즉, 정보 신호 JA로 나타내진 소트 파형을, 미리 등록되어 있는 등록 화소값 분포의 소트 파형과 동일한 화소수로 하는 화소수 보정 처리를 행하고, 화소수 보정 처리 후의 소트 파형과 미리 등록되어 있는 등록 화소값 분포의 소트 파형을 비교하면, 피사체 영역의 화상의 화상 사이즈에 관계없이, 유사한 소트 파형의 판정을 올바르게 행할 수 있다. 정규화 처리는, 화소값 분포 생성부(12) 혹은 판정부(13) 중 어느 것으로 행하여도 됨에 유의한다.

도 10a 내지 도 10c는, 소트 파형의 화소수 보정 처리를 나타내고 있다. 예를 들면, 도 10a에 도시하는 바와 같이, 소트 파형의 화소수가 미리 설정되어 있는 화소수 RCT보다도 큰 경우에는, 소트 파형의 화소수가 화소수 RCT로 되도록, 일정 간격으로 화소 신호의 씨닝(thining)을 행하고, 도 10c에 도시하는 바와 같이 화소수 RCT의 소트 파형으로 변환한다. 한편, 도 10b에 도시하는 바와 같이, 소트 파 형의 화소수가 미리 설정되어 있는 화소수 RCT보다도 작은 경우에는, 소트 파형의 화소수가 화소수 RCT로 되도록, 일정 간격으로 화소 신호의 보간(interpolation)을 행하고, 도 10c에 도시하는 바와 같이 화소수 RCT의 소트 파형으로 변환한다. 또한, 도 10a의 화살표는, 일정 간격으로 화소 신호의 씨닝을 행하는 것을 나타내고 있고, 도 10b의 화살표는, 일정 간격으로 화소 신호의 보간을 행하는 것을 나타내고 있다. 또한, 화소 신호의 보간에서는，보간하는 화소 위치에 대하여, 예를 들면 인접의 2화소로 보간을 행하는 것으로 한다.

이렇게 소트 파형에 대하여 일정 간격으로 씨닝이나 보간을 행하면, 소트 파형은 급준한 변화가 적은 파형이기 때문에, 파형 전체의 특징을 크게 변화시키지 않고, 소트 파형의 화소수를 소정의 화소수로 조정할 수 있다.

다음으로, 화소값 분포 생성부(12)에서는, 피사체 영역의 화소를 화소값에 따라서 클래스로 분류한 히스토그램을 화소값 분포로 하는 경우에 대해서, 도 11a 내지 도 11c를 참조하여 설명한다.

도 11a는, 화상 신호 SDin에 기초하는 입력 화상과 피사체 영역 검출부(11)에서 검출된 피사체 영역을 결합해서 나타낸 것이다. 또한, 도 11a에서는, 도 5e에 도시하는 피사체 영역을 이용한 경우를 도시함에 유의한다.

화소값 분포 생성부(12)는, 래스터 스캔 순으로, 피사체 영역의 화소 신호를 화상 신호 SDin으로부터 추출한다. 또한, 추출한 화소 신호의 신호 레벨이 포함되는 클래스를 판별하고, 신호 레벨이 포함되는 클래스의 횟수를 카운트 업함으로써, 도 11b에 도시하는 바와 같이 히스토그램을 생성할 수 있다. 또한, 히스토그램은, 도 11c에 도시하는 소트 파형으로부터 생성하는 것으로 하여도 된다. 이 경우, 소트 파형에서는 화소값이 큰 순서로 화소가 배열되어 있기 때문에, 히스토그램의 생성을 용이하게 행할 수 있다.

판정부(13)는, 화소값 분포 생성부(12)로부터 공급된 정보 신호 JA에 의해 나타내진 화소값 분포인 히스토그램과, 미리 등록되어 있는 피사체 화상의 등록 화소값 분포인 히스토그램으로부터, 피사체 영역의 화상과 미리 등록되어 있는 피사체 화상이 유사한지의 여부의 판정을 행하고, 판정 결과 신호 SDc를 출력한다.

판정부(13)는, 2개의 히스토그램의 논리합(OR) 영역에 대한 논리곱(AND) 영역이 차지하는 비율에 기초하여, 피사체 영역의 화상과 미리 등록되어 있는 피사체 화상이 유사한지의 여부의 판정을 행한다.

도 12a 내지 도 12c는, 판정부(13)의 다른 동작을 도시한다. 도 12a는 화소값 분포 생성부(12)로부터 공급된 정보 신호 JA에 의해 나타내진 화소값 분포인 히스토그램이고, 도 12b는 판정부(13)에 등록되어 있는 등록 화소값 분포이다. 이 두 히스토그램의 클래스를 일치시켜서 서로 겹치게 하면, 도 12c에 도시하는 것으로 된다. 이 도 12c에서, 해칭으로 나타내는 영역은, 화소값 분포로 나타내진 히스토그램의 영역이고 또한 등록 정보로 나타내진 히스토그램의 영역인 AND 영역이며, 해칭의 영역과 해칭이 없는 영역은, 화소값 분포로 나타내진 히스토그램의 영역 혹은 등록 정보로 나타내진 히스토그램의 영역인 OR 영역이다.

이 경우, 피사체 영역의 화상과 등록되어 있는 피사체 화상이 유사할 때에는 히스토그램도 유사한 것으로 된다. 따라서, 판정부(13)는, OR 영역에 대한 AND 영 역이 차지하는 비율에 기초하여, 피사체 영역의 화상과 미리 등록되어 있는 피사체 화상이 유사한지의 여부의 판정을 행할 수 있다. 또한, 판정부(13)는, OR 영역에 대한 AND 영역이 차지하는 비율이 가장 커지는 히스토그램을 판별하면, 미리 등록되어 있는 복수의 피사체 화상으로부터, 피사체 영역의 화상과 가장 유사한 피사체 화상을 선택할 수 있다. 또한, 판정부(13)는, 소트 파형을 이용하는 경우와 마찬가지로 임계값을 설정하고, OR 영역에 대한 AND 영역이 차지하는 비율이 임계값보다도 큰 히스토그램을 판정하면, 동일 피사체의 식별 정밀도를 높일 수 있다.

또한, 화소값 분포로서 히스토그램을 이용하는 경우, 화상 사이즈가 서로 다를 때에는 소트 파형에 대하여 화소수 보정 처리한 후, 화소수 보정 처리 후의 소트 파형으로부터 히스토그램을 생성하면 된다. 소트 파형에 대하여 화소수 보정 처리를 행할 때에는, 전술한 바와 같이 파형 전체의 특징을 크게 변화시켜게 되는 일이 없다. 따라서, 화소수 보정 처리 후의 히스토그램은, 화소수 보정 처리 전의 화소값 분포를 크게 변화시켜게 되는 일이 없다. 또한, 화소값 분포로서 히스토그램을 이용하는 경우, 화소값 분포의 화소수의 차에 따른 계수를 각 클래스의 횟수에 승산해서 화소값 분포의 화소수가 소정의 화소수로 되도록 보정해도 된다.

이상과 같이, 유사 화상 판정 장치(10)에서는, 입력 화상으로부터 피사체 영역의 화소를 추출하고, 추출한 화소의 화소값에 기초하는 소트 파형이나 히스토그램 등의 화소값 분포와, 판정부(13)에 미리 등록되어 있는 등록 화소값 분포로부터, 유사한 피사체 화상의 판정이 행해진다. 따라서, 프레임 화상 내에서 피사체 화상의 위치가 서로 다른 경우, 즉 피사체의 위상이 변화되어도, 검출한 피사체 영 역으로부터 화소를 추출함으로써 피사체 화상을 올바르게 추출할 수 있기 때문에, 유사의 피사체 화상의 판정을 올바르게 행할 수 있다. 더욱이, 화상 사이즈가 서로 다른 경우에도, 화소값 분포에 대하여 화소수 보정 처리가 행해지기 때문에, 화상 사이즈의 차이에 의한 영향을 적게 하여, 유사한 피사체 화상의 판정을 올바르게 행할 수 있다.

전술한 처리는 하드웨어뿐만 아니라 소프트웨어로 실현하는 것으로 하여도 된다. 이 경우의 구성을 도 13에 도시한다. 컴퓨터는, CPU(Central Processing Unit)(301)를 내장하고 있고, 이 CPU(301)에는 버스(320)를 통해서 ROM(Read Only Memory)(302), RAM(Random Access Memory)(303), 하드디스크 드라이브(HDD)(304), 입출력 인터페이스(305)가 접속되어 있다. 또한, 입출력 인터페이스(305)에는 입력부(311)나 기록 매체 드라이브(312), 통신부(313), 화상 신호 입력부(314), 출력부(315)가 접속되어 있다.

외부 장치로부터 명령이 입력되거나, 키보드나 마우스 등의 조작 수단 혹은 마이크 등의 음성 입력 수단 등을 이용하여 구성된 입력부(311)로부터 명령이 입력되면, 이 명령이 입출력 인터페이스(305)를 통해서 CPU(301)에 공급된다.

CPU(301)는, ROM(302)이나 RAM(303) 혹은 하드디스크 드라이브(304)에 기억되어 있는 프로그램을 실행하고, 공급된 명령에 따른 처리를 행한다. 또한, ROM(302)이나 RAM(303) 혹은 HDD(304)에는, 전술한 유사 화상 판정 장치와 마찬가지의 처리를 컴퓨터로 실행시키기 위한 화상 처리 프로그램과 화상 데이터베이스를 미리 기억시킨다. 이후, CPU는, 화상 신호 입력부(314)에 입력된 화상 신호 SDin 에 기초하여, 목적으로 하는 피사체 화상에 대하여 유사한 피사체 화상의 화상 신호나, 유사한 피사체 화상과 관련지어진 정보 등을, 판정 결과 신호 SDc로서 출력부(315)로부터 출력한다. 또한, 판정 결과 신호 SDc를 통신부(313) 등으로부터 출력하는 것으로 하여도 된다. 또한, 동화상이 HDD(304)에 기억되어 있을 때에는, 이 유사한 피사체 화상이 프레임 화상 내에 포함되는 동화상을 재생해서 출력부(315)로부터 출력하는 것으로 하여도 된다. 또한, 화상이 다른 기억 수단에 기억되어 있을 때에는, 유사한 피사체 화상의 기록 위치나 피사체 화상과 관련지어진 정보, 유사한 피사체 화상이 프레임 화상 내에 포함되는 재생 개시 타이밍 등을 판정 결과 신호 SDc로서 통신부(313)나 출력부(315) 등으로부터 다른 기억 수단에 공급하여, 유사한 피사체 화상의 재생 등을 행하게 하여도 된다.

또한, 화상 처리 프로그램과 화상 데이터베이스를 기록 매체에 기록해 두고, 기록 매체 드라이브(312)에 의해, 화상 처리 프로그램을 기록 매체로부터 읽어내어 컴퓨터로 실행하고, 기록 매체에 기록되어 있는 화상 데이터베이스의 등록 정보를 이용하여 유사한 피사체 화상의 판정을 행하는 것으로 하여도 된다. 또한, 통신부(313)에 의해, 전송로를 통해서 화상 처리 프로그램과 화상 데이터베이스의 통신을 행하는 것으로 하고, 수신한 화상 처리 프로그램을 컴퓨터로 실행하는 것으로 하여도 된다.

도 14는, CPU(301)로 실행하는 유사 화상 판정 동작을 나타내는 플로우차트이다. 단계 ST1에서 CPU(301)는, 피사체 영역의 검출을 행하고, 영역 정보를 생성한다.

도 15는, 피사체 영역 검출을 나타내는 플로우차트이다. 단계 ST111에서 CPU(301)는 미분 화상의 생성을 행한다. CPU(301)는, 전술한 바와 같이 화상 신호 SDin을 이용하여 특징량 V의 산출을 행하고, 이 특징량 V와 소정의 임계값과 비교하여, 비교 결과에 기초하여 윤곽 화소를 나타내는 미분 화상을 생성한다.

단계 ST115에서 CPU(301)는, 라벨링을 행한다. CPU(301)는, 미분 화상의 윤곽 화소에 대하여 라벨 번호를 부여하고, 이 라벨 번호를 부여한 화소의 상하 좌우 비스듬한 방향으로 인접하는 윤곽 화소에 동일한 라벨 번호를 부여한다. 또한，동일한 라벨 번호를 부여할 수 있는 화소가 검출되지 않게 되었을 때, CPU(301)는 라벨 번호를 변경해서 새로운 라벨 번호의 부여를 행한다. 그 후, CPU(301)는, 라벨 번호의 부여가 완료한 후, 동일한 라벨 번호에 속하는 화소수를 카운트하고, 가장 화소수가 많은 라벨 번호를 갖는 화소만을 남긴 화상을 생성한다.

단계 ST116에서 CPU는, 영역 정보의 생성을 행한다. CPU(301)는, 가장 화소수가 많은 라벨 번호로 둘러싸인 영역을 피사체 영역으로서, 이 피사체 영역을 나타내는 영역 정보를 생성한다.

도 16은, 피사체 영역 검출의 다른 동작을 나타내는 플로우차트를 도시한다. 단계 ST113에서, CPU(301)는 움직임 벡터의 검출한다. CPU(301)는, 화상 신호 SDin과 1프레임 지연시킨 지연 화상 신호 SDa 사이에서, 예를 들면 블록 매칭에 의해, 움직임 벡터를 검출한다.

단계 ST114에서, CPU(301)는 움직임 벡터의 추출을 행한다. CPU(301)는, 단계 ST113에서 검출한 움직임 벡터로부터, 해당 움직임 벡터마다 화소수에 따라서 랭킹했을 때에 소정 순위 범위, 예를 들면 2번째로부터 15번째로 화소수가 많은 움직임 벡터를 추출하고, 해당하는 움직임 벡터를 갖는 화소를 움직임 영역의 화소로 설정한다.

다음으로, 단계 ST115에서, CPU(301)는 라벨링을 행하고, 전술한 바와 같이 움직임 영역의 화소에 대한 라벨 번호의 부여나, 가장 화소수가 많은 라벨 번호의 화소만을 남긴 화상을 생성한다. 다음, 단계 ST116에서 CPU(301)는, 전술한 바와 같이 영역 정보 생성을 행하여, 피사체 영역을 나타내는 영역 정보를 생성한다.

도 14로 되돌아가, 단계 ST2에서 CPU(301)는, 화소값 분포의 생성을 행한다. CPU(301)는, 단계 ST1에서 얻어진 영역 정보에 의해 나타내진 피사체 영역의 화소를 추출하고, 추출한 화소의 화소값에 기초하는 소트 파형이나 히스토그램 등의 화소값 분포를 생성한다.

단계 ST3에서 CPU(301)는, 판정 처리를 행한다. 이 판정 처리에서，CPU(301)는, 미리 데이터베이스에 등록되어 있는 등록 화소값 분포를 읽어내고, 이 읽어낸 등록 화소값 분포와 단계 ST2에서 생성한 화소값 분포와의 유사 여부 상태를 나타내는 판정 정보를 생성한다. 예를 들면, 화소값 분포로서 소트 파형을 이용하는 경우, 등록 화소값 분포로 나타내진 소트 정보와 피사체 영역의 화소에 기초하는 소트 파형의 예를 들면 차분 절대값 총합의 연산을 행하고, 연산 결과를 판정 정보로 한다. 또한, 화소값 분포로서 히스토그램을 이용하는 경우, 등록 화소 분포의 히스토그램과 피사체 영역의 화소에 기초하는 히스토그램의 예를 들면 OR 영역에 대한 AND 영역이 차지하는 비율을 산출하여, 이 비율을 판정 정보로 설정한 다.

단계 ST4에서, CPU(301)는, 모든 등록 화소값 분포와의 판정 처리가 완료하였는지의 여부를 판정한다. 이 경우, 피사체 영역의 화소에 기초하는 화소값 분포와 모든 등록 화소값 분포와의 판정 정보의 생성이 행해졌을 때에는 단계 ST5로 진행한다. 또한, 모든 등록 화소값 분포와의 판정 정보의 생성이 행해지고 있지 않을 때에는 단계 ST3으로 되돌아가, 새로운 등록 화소값 분포를 읽어내어 판정 정보의 생성을 행한다.

단계 ST5에서, CPU(301)는, 피사체 화상의 판정을 행한다. CPU(301)는, 단계 ST3과 단계 ST4의 처리를 행함으로써 얻어진 판정 정보로부터, 피사체 영역의 화소에 기초하는 화소값 분포와 가장 유사한 등록 화소값 분포를 검출하고, 이 등록 화소값 분포에 대응하는 화상을 피사체 영역의 화상과 가장 유사한 피사체 화상으로 결정한다. 예를 들면, CPU(301)는, 차분 절대값 총합이 "0" 혹은 최소로 되는 등록 정보나, AND 영역이 차지하는 비율이 가장 커지는 등록 화소값 분포에 대응하는 피사체 화상을, 피사체 영역의 화상과 가장 유사한 피사체 화상으로 결정한다.

또한，CPU(301)는, 판정 정보와 미리 설정되어 있는 임계값을 비교하여, 이 비교 결과에 기초하여 가장 유사한 피사체 화상을 결정하는 것으로 하여도 된다. 예를 들면, CPU(301)는 차분 절대값 총합이 임계값보다도 작아지는 등록 정보에 대응하는 화상이나, AND 영역이 차지하는 비율이 임계값보다도 커지는 등록 정보에 대응하는 화상을 피사체 화상으로 결정한다.

전술한 실시 형태에서는, 입력 화상에 대하여, 노이즈 제거, 휘도 조정 등, 일반적인 외란 요소를 제거하는 처리를 행한 후에, 실시하여도 된다. 또한, 추출된 복수의 피사체 영역이 있는 경우에는, 가장 큰 피사체 영역만으로 처리를 행하여도 되고, 복수의 피사체가 있기 때문에, 피사체의 수도 포함시켜서 처리를 행해도 된다.

그 밖의, 본 발명의 내용을 크게 일탈하지 않는 범위에서, 다양한 변경을 행해도 된다.

당업자라면, 첨부된 청구항이나 그 균등물의 범위를 벗어나지 않고 설계 요구 및 다른 팩터에 따라서 다양한 변경, 조합, 부조합 및 수정이 가능함을 이해할 것이다.

도 1은 유사 화상 판정 장치의 구성예를 도시하는 블록도이다.

도 2는 피사체 영역 검출부의 구성예를 도시하는 블록도이다.

도 3a 내지 도 3e는 각각 피사체 영역 검출부의 동작을 도시하는 도면이다.

도 4는 피사체 영역 검출부의 다른 구성예를 도시하는 블록도이다.

도 5a 내지 도 5e는 각각 피사체 영역 검출부의 다른 동작을 도시하는 도면이다.

도 6은 피사체 영역 검출부의 또 다른 구성예를 도시하는 블록도이다.

도 7a 내지 도 7c는 각각 화소값 분포 생성부의 동작을 도시하는 도면이다.

도 8a 내지 도 8b는 각각 판정부의 동작을 도시하는 도면이다.

도 9a 내지 도 9d는 화상 사이즈와 소트 파형(sort waveform)의 관계를 도시하는 도면이다.

도 10a 내지 도 10c는 각각 소트 파형의 화소수 보정 처리를 설명하는 도면이다.

도 11a 내지 도 11c는 각각 화소값 분포 생성부의 다른 동작을 도시하는 도면이다.

도 12a 내지 도 12c는 각각 판정부의 다른 동작을 도시하는 도면이다.

도 13은 유사 화상 판정이 소프트웨어에 의해 실행되는 경우의 구성예를 도시하는 도면이다.

도 14는 유사 화상 판정 동작을 도시하는 플로우차트이다.

도 15는 피사체 영역 검출 동작을 도시하는 플로우차트이다.

도 16은 다른 피사체 영역 검출 동작을 도시하는 플로우차트이다.

[도면의 주요 부분에 대한 부호의 설명]

10: 유사 화상 판정 장치

11(11a, 11b): 피사체 영역 검출부

12: 화소값 분포 생성부

13: 판정부

111: 윤곽 추출부

112: 지연부

113: 움직임 벡터 검출부

114: 움직임 영역 추출부

115a, 115b: 라벨링부

116, 117: 영역 정보 생성부

301: CPU

302: ROM

303: RAM

304: 하드디스크 드라이브(HDD)

305: 입출력 인터페이스

311: 입력부

312: 기록 매체 드라이브

313: 통신부

314: 화상 신호 입력부

315: 출력부

320: 버스

Claims (15)

1. 입력 화상으로부터 피사체 영역을 검출하는 피사체 영역 검출부(subject-region-detecting unit)와,

   상기 피사체 영역 검출부에 의해 검출된 피사체 영역에 포함된 화소의 화소값 분포를 생성하는 화소값 분포 생성부와,

   상기 화소값 분포 생성부에서 생성된 화소값 분포와 미리 등록되어 있는 피사체 화상의 등록 화소값 분포에 기초하여, 상기 피사체 영역의 화상과 상기 등록 피사체 화상의 유사 여부 판정을 행하는 판정부

   를 포함하는 유사 화상 판정 장치.
2. 제1항에 있어서,

   상기 피사체 영역 검출부는 상기 입력 화상으로부터 피사체의 윤곽을 추출하는 윤곽 추출부를 포함하고,

   상기 피사체 영역 검출부는 연속하는 최대 길이의 윤곽으로 둘러싸인 영역을 상기 피사체 영역으로서 검출하는 유사 화상 판정 장치.
3. 제2항에 있어서,

   상기 윤곽 검출부는, 화소마다 주목 화소와 인접 화소간의 화소값 차분 연산을 실행하고, 그 연산 결과와 임계값을 비교하여 상기 피사체의 윤곽을 추출하는 유사 화상 판정 장치.
4. 제1항에 있어서,

   상기 피사체 영역 검출부는, 상기 입력 화상의 움직임 벡터를 검출하는 움직임 벡터 검출부와, 상기 움직임 벡터마다의 화소수에 따라서 움직임 벡터를 랭킹(ranking)할 때에 소정 순위 범위로 되는 움직임 벡터에 관한 화상 영역을 추출하는 움직임 영역 추출부를 포함하고,

   상기 피사체 영역 검출부는 연속하는 최대 길이의 움직임 영역에 의해 둘러싸인 영역을 상기 피사체 영역으로서 검출하는 유사 화상 판정 장치.
5. 제1항에 있어서,

   상기 화소값 분포 생성부는, 상기 화소값 분포로서, 상기 피사체 영역에 포함되는 화소의 화소값을 화소값 순서로 재배열한 소트 파형(sort waveforms)을 생성하는 유사 화상 판정 장치.
6. 제5항에 있어서,

   상기 판정부는, 상기 화소값 분포 생성부에 의한 화소값 분포로서 생성된 상기 소트 파형과, 등록된 화소값 분포에 관한 소트 파형 간의 차분 절대값의 합을 이용하여, 상기 피사체 영역에 관한 화상이 미리 등록된 피사체 화상과 유사한지를 판정하는 유사 화상 판정 장치.
7. 제5항에 있어서,

   상기 화소값 분포 생성부는, 상기 소트 파형에 대한 씨닝(thinning-out) 및 보간 중의 하나를 실행하여, 상기 화소값 분포 생성부에 의한 화소값 분포로서 생성된 소트 파형 내의 화소의 수를 상기 등록된 화소값 분포에 관한 소트 파형의 화소의 수와 동일하게 하는 유사 화상 판정 장치.
8. 제5항에 있어서,

   상기 판정부는 상기 소트 파형에 대한 씨닝 및 보간 중의 하나를 실행하여, 상기 화소값 분포 생성부에 의한 화소값 분포로서 생성된 소트 파형 내의 화소의 수를 상기 등록된 화소값 분포에 관한 소트 파형의 화소의 수와 동일하게 하는 유사 화상 판정 장치.
9. 제1항에 있어서,

   상기 화소값 분포 생성부는, 상기 화소값 분포로서, 상기 피사체 영역에 포함되는 화소를 화소값에 대응하는 클래스로 분류한 히스토그램을 생성하는 유사 화상 판정 장치.
10. 제9항에 있어서,

    상기 판정부는, 상기 화소값 분포 생성부에 의한 화소값 분포로서 생성된 히 스토그램과 등록된 화소값 분포에 관한 히스토그램의 논리곱 영역과, 상기 화소값 분포 생성부에 의한 화소값 분포로서 생성된 히스토그램과 상기 등록된 화소값 분포에 관한 히스토그램의 논리합 영역에 대한 비율을 이용하여, 상기 피사체 영역에 관한 화상이, 미리 등록된 피사체 화상과 유사한지를 판정하는 유사 화상 판정 장치.
11. 제10항에 있어서,

    상기 화소값 분포 생성부는, 상기 화소값 분포 생성부에 의해 상기 화소값 분포로서 생성된 상기 히스토그램에서의 화소수를, 상기 등록된 화소값 분포에 관한 히스토그램의 화소수와 동일하게 보정하는 유사 화상 판정 장치.
12. 제10항에 있어서,

    상기 판정부는, 상기 화소값 분포 생성부에 의해 화소값 분포로서 생성된 히스토그램에서의 화소수를, 상기 등록된 화소값 분포에 관한 히스토그램의 화소수와 동일하게 보정하는 유사 화상 판정 장치.
13. 유사 화상을 판정하는 방법으로서,

    입력 화상으로부터 피사체 영역을 검출하는 피사체 영역 검출 단계와,

    상기 피사체 영역 검출 단계에서 검출된 피사체 영역에 포함되는 화소의 화소값 분포를 생성하는 화소값 분포 생성 단계와,

    상기 화소값 분포 생성 단계에서 생성된 화소값 분포와 미리 등록되어 있는 등록 피사체 화상의 등록 화소값 분포에 기초하여, 상기 피사체 영역의 화상이 미리 등록된 피사체 화상과 유사한지를 판정하는 판정 단계

    를 포함하는 유사 화상 판정 방법.
14. 컴퓨터에 유사 화상을 판정하는 방법을 실행시키는 프로그램 제품으로서,

    상기 방법은,

    입력 화상으로부터 피사체 영역을 검출하는 피사체 영역 검출 단계와,

    상기 피사체 영역 검출 단계에서 검출된 피사체 영역에 포함되는 화소의 화소값 분포를 생성하는 화소값 분포 생성 단계와,

    상기 화소값 분포 생성 단계에서 생성된 화소값 분포와 미리 등록되어 있는 등록 피사체 화상의 등록 화소값 분포에 기초하여, 상기 피사체 영역의 화상이 미리 등록된 피사체 화상과 유사한지를 판정하는 판정 단계

    를 포함하는 프로그램 제품.
15. 컴퓨터에 유사 화상을 판정하는 방법을 실행시키는 프로그램 제품을 기록하는 기록 매체로서,

    상기 방법은,

    입력 화상으로부터 피사체 영역을 검출하는 피사체 영역 검출 단계와,

    상기 피사체 영역 검출 단계에서 검출된 피사체 영역에 포함되는 화소의 화 소값 분포를 생성하는 화소값 분포 생성 단계와,

    상기 화소값 분포 생성 단계에서 생성된 화소값 분포와 미리 등록되어 있는 등록 피사체 화상의 등록 화소값 분포에 기초하여, 상기 피사체 영역의 화상이 미리 등록된 피사체 화상과 유사한지를 판정하는 판정 단계

    를 포함하는 기록 매체.

Images