KR20060129332A

KR20060129332A - 화상중의 인물 후보 영역 추출 방법 및 인물 후보 영역 추출 시스템, 인물 후보 영역 추출 프로그램이 기록된 기록 매체, 및 인물 이미지의 상하 판정 방법 및 상하 판정 시스템, 상하 판정 프로그램이 기록된 기록 매체

Info

Publication number: KR20060129332A
Application number: KR1020067015241A
Authority: KR
Inventors: 도시노리 나가하시; 다카시 휴가
Original assignee: 세이코 엡슨 가부시키가이샤
Priority date: 2004-01-27
Filing date: 2005-01-27
Publication date: 2006-12-15
Also published as: US20050196044A1; WO2005071611A1; JP2005215760A; EP1710747A1; EP1710747A4; CN1910613A; JP3714350B2

Abstract

인물 이미지가 포함되는 화상의 상하 방향을 판별하고, 그 판별 결과에 근거하여 상기 화상을 실제의 상하 방향으로 수정한 후, 당해 화상을 구성하는 세로 가로의 화소열로 이루어지는 세로 라인 및 가로 라인에 대해 각각의 화상 특징량의 분산값을 구하는 동시에, 상기 세로 라인 방향 및 가로 라인 방향에 대해 각각의 화상 특징량의 분산값이 임계값을 넘는 영역을 각각 선택하고, 선택된 각 라인 방향의 영역끼리 겹치는 화상중의 영역을 추출하는 것에 의해서, 화상 내의 인물 이미지가 존재하는 영역을 확실하고 또한 고속으로 추출할 수 있다.

Description

화상중의 인물 후보 영역 추출 방법 및 인물 후보 영역 추출 시스템, 인물 후보 영역 추출 프로그램, 및 인물 이미지의 상하 판정 방법 및 상하 판정 시스템, 상하 판정 프로그램{METHOD FOR EXTRACTING PERSON CANDIDATE AREA IN IMAGE, PERSON CANDIDATE AREA EXTRACTION SYSTEM, PERSON CANDIDATE AREA EXTRACTION PROGRAM, METHOD FOR JUDGING TOP AND BOTTOM OF PERSON IMAGE, SYSTEM FOR JUDGING TOP AND BOTTOM, AND PROGRAM FOR JUDGING TOP AND BOTTOM}

본 발명은, 패턴 인식(pattern recognition)이나 오브젝트 인식 기술에 관한 것으로서, 특히 인물 이미지가 포함되는 화상의 상하 판정 및 당해 화상 내에서 인물이 존재할 가능성이 높은 영역을 추출하는 것을 목적으로 한 화상중의 인물 후보 영역 추출 방법 및 인물 후보 영역 추출 시스템, 인물 후보 영역 추출 프로그램, 및 인물 이미지의 상하 판정 방법 및 상하 판정 시스템, 상하 판정 프로그램에 관한 것이다.

최근의 패턴 인식 기술이나 컴퓨터 등의 정보 처리 장치의 고성능화에 따라 기계에 의한 문자나 음성의 인식 정밀도는 비약적으로 향상되어 오고 있지만, 인물 이나 물체·경치 등이 포함되어 있는 화상, 예컨대, 디지털 스틸 카메라 등에 의해서 찍힌 화상의 패턴 인식중, 특히 그 화상 내에 사람의 얼굴이 포함되어 있는지의 여부를 정확하고 또한 고속으로 식별한다는 점에 관해서는 아직도 매우 어려운 작업으로 알려져 있다.

그러나, 이와 같이 화상 내에 사람의 얼굴이 포함되어 있는지의 여부, 더욱이 그 인물이 누구인지를 컴퓨터 등에 의해서 자동적으로 정확히 식별하는 것은, 생체 인식 기술의 확립이나 안전의 향상, 범죄 수사의 신속화, 화상 데이터의 정리·검색 작업의 고속화 등을 실현하는 데에 있어서 매우 중요한 테마로 되고 있다.

이와 같이 장래 매우 유용성이 높은 얼굴 인식 기술을 확립하기 위해서는, 우선, 검출 대상으로 되는 화상 내의 인물 얼굴이 존재하는 영역을 가능한한 신속하고 또한 정확하게 검출하여 특정하는 기술이 필요하다.

예컨대, 일본국 특허 공개 평성 제9-50528호 공보에서는, 우선 화상 내의 살색 영역을 추출하고, 추출한 영역에 맞춰 모자이크 데이터를 작성하여, 이것을 화상 사전과 비교하여 그 일치도를 계산해 얼굴 화상 영역을 검출하도록 하고 있다.

그러나, 살색 영역은 반드시 인간의 얼굴 영역과 일치하는 것이 아니고, 살색 영역을 넓게 정의하면 불필요한 영역을 추출하고, 반대로 좁게 정의하면 추출 누설을 일으킨다는 문제가 있다.

한편, 얼굴 화상의 검출 대상 화상 내에서 인물 얼굴을 고속으로 탐색하는 경우에는, 그 화상 내의 탐색 영역을 될 수 있는 한 좁히는 것이 중요하다.

그래서, 본 발명은 이러한 과제를 유효하게 해결하기 위해서 안출된 것으로 서, 그 주된 목적은, 인물 이미지가 포함되는 화상의 상하 판별 및 당해 화상 내의 인물 이미지가 존재하는 영역을 확실하고(robust) 또한 고속으로 추출할 수 있는 신규한 화상 내의 인물 후보 영역 추출 방법 및 인물 후보 영역 추출 시스템, 인물 후보 영역 추출 프로그램, 및 인물 이미지의 상하 판정 방법 및 상하 판정 시스템, 상하 판정 프로그램을 제공하는 것이다.

발명의 개시

상기 과제를 해결하기 위해서 발명 1의 화상 내의 인물 후보 영역 추출 방법은, 인물 이미지가 포함되는 화상 내에서 당해 인물 이미지가 존재하는 영역을 추출하는 방법으로서, 상기 화상을 구성하는 세로 가로의 화소열로 이루어지는 세로 라인 및 가로 라인에 대하여 각각의 화상 특징량의 분산값을 구하는 동시에, 상기 세로 라인 방향 및 가로 라인 방향에 대하여 각각의 화상 특징량의 분산값이 임계값을 넘는 영역을 각각 선택하고, 선택된 각 라인 방향의 영역끼리 겹치는 화상 내의 영역을 상기 인물이 존재하는 영역으로서 추출하도록 한 것을 특징으로 하는 것이다.

이와 같이 화상을 구성하는 세로 방향의 화소열로 이루어지는 세로 라인 및 가로 방향의 화소열로 이루어지는 가로 라인에 대하여 각각의 화상 특징량의 분산값을 구하는 것은, 일반적으로 이 화상 특징량의 분산값은, 증명 사진을 촬영하기 위한, 균일, 또는 일정한 패턴으로 구성되는 배경인 경우, 후에 상술하는 바와 같이 인물이 존재하고 있는 영역에서는 높아지고, 인물이 존재하지 않는 배경 영역 등에서는 낮아지는 경향이 있는 때문이다.

따라서, 상기 세로 라인 방향 및 가로 라인 방향에 대하여 각각 얻어진 화상 특징량의 분산값에 대해 임계값을 설정하고, 그 임계값을 넘는 영역을 각각 선택하고, 선택된 각 라인 방향의 영역끼리 겹치는 화상 내의 영역을 특정하도록 하면, 화상 내의 인물 이미지가 존재하는 영역을 확실하고(robust) 또한 고속으로 추출할 수 있다.

상기 과제를 해결하기 위해서 발명 2의 화상 내의 인물 후보 영역 추출 방법은, 인물 이미지가 포함되는 화상 내에서 당해 인물 이미지가 존재하는 영역을 추출하는 방법으로서, 상기 화상 내의 인물 이미지의 상하 방향을 판별하고, 그 판별 결과에 근거하여 상기 화상을 회전시켜 상기 인물 이미지를 실제의 상하 방향으로 수정하고, 그 후, 당해 화상을 구성하는 세로 가로의 화소열로 이루어지는 세로 라인 및 가로 라인에 대해 각각의 화상 특징량의 분산값을 구하는 동시에, 상기 세로 라인 방향 및 가로 라인 방향에 대하여 각각의 화상 특징량의 분산값이 임계값을 넘는 영역을 각각 선택하고, 선택된 각 라인 방향의 영역끼리 겹치는 화상 내의 영역을 추출하도록 한 것을 특징으로 하는 것이다.

즉, 발명 1과 같이 화상 특징량의 분산값을 이용하여 인물 이미지가 존재하는 영역을 확실하고 또한 고속으로 추출하기 위해서는, 그 전제로서, 대상으로 되는 화상의 상하 방향과 실제의 상하 방향이 일치해야 된다. 그 때문에, 본 발명에서는, 우선, 그 화상 내의 인물 이미지의 상하 방향을 판별하여 그 인물 이미지를 실제의 상하 방향으로 수정하는 것에 의해 인물 얼굴을 본래의 상하 방향으로 일치시키도록 한 것이다.

그리고, 이렇게 하여 인물 얼굴의 위치의 수정이 종료했으면, 그 후에는 발명 1과 같이 그 화상을 구성하는 세로 방향의 화소열로 이루어지는 세로 라인 및 가로 방향의 화소열로 이루어지는 가로 라인에 대하여 각각의 화상 특징량의 분산값을 구한 후, 상기 세로 라인 방향 및 가로 라인 방향에 대하여 각각 얻어진 화상 특징량의 분산값에 대하여 임계값을 설정하고, 그 임계값을 넘는 영역을 각각 선택하여, 선택된 각 라인 방향의 영역끼리 겹치는 화상 내의 영역을 특정한다.

이것에 의해서, 발명 1과 같이 화상 내의 인물 이미지가 존재하는 영역을 확실하고 또한 고속으로 추출할 수 있는 것에 더하여, 그 화상 내의 인물 이미지의 상하 방향의 판별 및 그 수정을 자동적으로 실행하는 것이 가능해지기 때문에, 보다 용이하게 인물 이미지가 존재하는 영역을 추출할 수 있다.

발명 3의 화상 내의 인물 후보 영역 추출 방법은, 발명 2에 기재된 화상 내의 인물 후보 영역 추출 방법에 있어서, 상기 화상 내의 인물 이미지의 상하 방향의 판별은, 상기 화상이 삼각형 이상의 다각형의 테두리로 둘러싸여 있고, 또한 당해 화상 내에 포함되는 인물 이미지가 상반신 또는 두부를 중심으로 한 일부일 때는, 당해 화상 테두리의 각 변 또는 각 변 근방의 라인을 구성하는 화소열에 대하여 화상 특징량의 분산값을 구하고, 그 분산값이 가장 큰 변 또는 라인 근방의 변쪽을 아래 방향으로 하도록 한 것을 특징으로 하는 것이다.

즉, 대상으로 되는 화상 내에 포함되는 인물 이미지가 상반신 또는 두부를 중심으로 한 일부일 때는, 그 인물 이미지의 일부가 화상 테두리중 어느 한 변에서 끊어져 있는 것이 보통이다.

따라서, 그 화상 테두리의 각 변 또는 각 변 근방의 라인을 구성하는 화소열에 대하여 화상 특징량의 분산값을 구하고, 그 분산값이 가장 큰 변 또는 라인 근방의 변쪽을 당해 인물 이미지가 끊어져 있는 부분이라고 간주할 수 있기 때문에, 그 변쪽을 아래 방향으로 함으로써 화상의 인물 이미지의 상하 판정을 확실하고 또한 용이하게 실행할 수 있다.

발명 4의 화상 내의 인물 후보 영역 추출 방법은, 발명 3에 기재된 화상 내의 인물 후보 영역 추출 방법에 있어서, 상기 화상의 각 라인을 복수개 근접하여 선택하고, 당해 각 라인에 대한 화상 특징량의 분산값의 평균값을 이용하도록 한 것을 특징으로 하는 것이다.

이것에 의해서, 화상의 변 근방에 노이즈나 오염이 존재하더라도, 그 영향으로 인한 오류 검출을 피하여 각 변마다 적확한 분산값을 구할 수 있다.

발명 5의 화상 내의 인물 후보 영역 추출 방법은, 발명 1∼4중 어느 하나에 기재된 화상 내의 인물 후보 영역 추출 방법에 있어서, 상기 세로 라인 및 가로 라인은, 상기 화상의 폭 방향 및 높이 방향으로 일정 간격마다의 라인을 이용하도록 한 것을 특징으로 하는 것이다.

상기 화상 특정량의 분산값은, 그 화상의 폭 방향 및 높이 방향의 전체 라인을 이용하여 산출하더라도 좋지만, 본 발명과 같이 일정 간격마다의 라인을 이용하면, 분산값을 얻기 위한 정보 처리량이 대폭 삭감되기 때문에, 보다 고속으로 인물 이미지가 존재하는 영역을 추출할 수 있다.

발명 6의 화상 내의 인물 후보 영역 추출 방법은, 발명 1∼6 중 어느 하나에 기재된 화상 내의 인물 후보 영역 추출 방법에 있어서, 상기 화상 특징량은, 상기 각 라인을 구성하는 화소열의 각 화소의 에지 강도 또는 색상각 중 어느 하나, 또는 양쪽에 근거하여 산출하도록 한 것을 특징으로 하는 것이다.

즉, 화상의 에지는 공지의 에지 검출 오퍼레이터를 이용함으로써 고속으로 산출할 수 있는 데 더하여, 조명의 영향 등을 경감할 수 있으므로, 이것을 화상 특징량으로서 채용하면, 그 분산값을 정확하고 또한 고속으로 산출하는 것이 가능해진다.

한편, 배경과 인물 이미지의 에지 강도의 차이가 작은 경우 등에는, 색상각을 이용하는 것에 의해, 그 분산값을 정확하고 또한 고속으로 산출하는 것이 가능해진다.

또한, 화상의 종류 등, 필요에 따라서 이들 양쪽을 화상 특징량으로서 채용하면, 그 분산값을 보다 정확하고 또한 고속으로 산출하는 것이 가능해진다.

발명 7의 화상 내의 인물 후보 영역 추출 방법은, 발명 6에 기재된 화상 내의 인물 후보 영역 추출 방법에 있어서, 상기 에지 강도는, 소벨(Sobel)의 에지 검출 오퍼레이터를 이용하도록 한 것을 특징으로 하는 것이다.

즉, 화상 내의 급격한 농담 변화를 검출하는 가장 대표적인 방법은 농담에 관한 미분을 구하는 것이다. 그리고, 디지털 화상의 미분은 차분으로 대용되기 때문에는 상기 얼굴 검출 범위 내의 화상을 일차 미분함으로써 당해 화상 내의 농담이 급격히 변화하고 있는 에지 부분을 효과적으로 검출할 수 있다.

그리고, 본 발명은, 이 일차 미분형의 에지 검출 오퍼레이터(필터)로서, 검출 성능에 우수한 공지의 소벨의 에지 검출 오퍼레이터를 이용하도록 한 것이며, 이것에 의해서 상기 화상 내의 인물 이미지의 에지를 확실히 검출할 수 있다.

발명 8의 화상 내의 인물 후보 영역 추출 시스템은, 인물 이미지가 포함되는 화상 내에서 당해 인물 이미지가 존재하는 영역을 추출하는 시스템으로서, 상기 화상을 판독하는 화상 판독 수단과, 당해 화상 판독 수단에서 판독된 화상을 구성하는 화소열로 이루어지는 세로 라인 및 가로 라인에 대하여 각각의 화상 특징량을 산출하는 화상 특징량 산출 수단과, 당해 화상 특징량 산출 수단에서 얻어진 세로 라인 방향 및 가로 라인 방향에 대하여 각각의 화상 특징량의 분산값을 구하는 분산값 산출 수단과, 당해 분산값 산출 수단에서 얻어진 화상 특징량의 분산값이 세로 라인 방향 및 가로 라인 방향에서 각각 임계값을 넘는 각 라인 방향의 영역에서 상기 인물이 존재하는 영역을 검출하는 인물 후보 영역 검출 수단을 구비한 것을 특징으로 하는 것이다.

이것에 의해서, 발명 1과 같이, 화상 내의 인물 이미지가 존재하는 영역을 확실하고(robust) 또한 고속으로 추출할 수 있다.

또한, 이들 각 수단을 전용의 회로나 컴퓨터 시스템을 이용하여 실현 함으로써, 이들의 작용·효과를 자동적으로 발휘하는 것이 가능해진다.

발명 9의 화상 내의 인물 후보 영역 추출 시스템은, 인물 이미지가 포함되는 화상 내에서 당해 인물 이미지가 존재하는 영역을 추출하는 시스템으로서, 상기 화상을 판독하는 화상 판독 수단과, 당해 화상 판독 수단에서 판독한 화상 내의 인물 이미지의 상하 방향을 판별하는 상하 판별 수단과, 당해 상하 판별 수단의 결과에 근거하여 상기 화상을 회전시켜 상기 인물 이미지를 실제의 상하 방향으로 수정하는 상하 수정 수단과, 당해 상하 수정 수단에서 상하 방향이 수정된 후의 당해 화상을 구성하는 화소열로 이루어지는 세로 라인 및 가로 라인에 대해 각각의 화상 특징량을 산출하는 화상 특징량 산출 수단과, 당해 화상 특징량 산출 수단에서 얻어진 세로 라인 방향 및 가로 라인 방향에 대하여 각각의 화상 특징량의 분산값을 구하는 분산값 산출 수단과, 당해 분산값 산출 수단에서 얻어진 화상 특징량의 분산값이 세로 라인 방향 및 가로 라인 방향에서 각각 임계값을 넘는 각 라인 방향의 영역에서 상기 인물이 존재하는 영역을 검출하는 인물 후보 영역 검출 수단을 구비한 것을 특징으로 하는 것이다.

이것에 의해서, 발명 2와 같이, 화상 내의 인물 이미지가 존재하는 영역을 확실하고 또한 고속으로 추출할 수 있다.

또한, 발명 8과 같이 이들 각 수단을 전용의 회로나 컴퓨터 시스템을 이용하여 실현함으로써, 이들의 작용·효과를 자동적으로 발휘하는 것이 가능해진다.

발명 10의 화상 내의 인물 후보 영역 추출 시스템은, 발명 9에 기재된 화상 내의 인물 후보 영역 추출 시스템에 있어서, 상기 화상 내의 인물 이미지의 상하 방향을 판별하는 상하 판별 수단은, 상기 화상이 삼각형 이상의 다각형의 테두리로 둘러싸여 있고, 또한 당해 화상 내에 포함되는 인물 이미지가 상반신 또는 두부를 중심으로 한 일부일 때는, 당해 화상의 각 변 또는 각 변 근방의 라인에 대하여 화상 특징량의 분산값을 구하고, 그 분산값이 가장 큰 변 또는 라인 근방의 변쪽을 아래 방향으로 하도록 되어 있는 것을 특징으로 하는 것이다.

이것에 의해서, 발명 3과 같이, 화상 테두리의 인물 이미지가 끊어져 있는 변을 검출할 수 있으므로, 상기 화상의 인물 이미지의 상하 판정을 확실하고 또한 용이하게 실행할 수 있다.

발명 11의 화상 내의 인물 후보 영역 추출 시스템은, 발명 10에 기재된 화상 내의 인물 후보 영역 추출쪽 시스템에 있어서, 상기 화상 내의 인물 이미지의 상하 방향을 판별하는 상하 판별 수단은, 상기 화상의 각 라인을 복수개 근접하여 선택하고, 당해 각 라인에 대한 화상 특징량의 분산값의 평균값을 이용하게 되어 있는 것을 특징으로 하는 것이다.

이것에 의해서, 발명 4와 같이 화상의 변 근방에 노이즈나 오염이 존재하고 있더라도, 그 영향에 의한 오류 검출을 피하여 각 변마다 적확한 분산값을 구할 수 있다.

발명 12의 화상 내의 인물 후보 영역 추출 시스템은, 발명 9∼11 중 어느 하나에 기재된 화상 내의 인물 후보 영역 추출 시스템에 있어서, 화상 특징량 산출 수단은, 상기 세로 라인 및 가로 라인으로서, 상기 화상의 폭 방향 및 높이 방향으로 일정 간격마다의 라인을 이용하게 되어 있는 것을 특징으로 하는 것이다.

이것에 의해서, 발명 5와 같이 분산값을 얻기 위한 정보 처리량이 대폭 삭감되기 때문에, 보다 고속으로 인물 이미지가 존재하는 영역을 추출할 수 있다.

발명 13의 화상 내의 인물 후보 영역 추출 시스템은, 발명 9∼12 중 어느 하나에 기재된 화상 내의 인물 후보 영역 추출 시스템에 있어서, 화상 특징량 산출 수단은, 상기 화상 특징량을, 상기 각 라인을 구성하는 화소열의 각 화소의 에지 강도 또는 색상각 중 어느 하나, 또는 양쪽에 근거하여 산출하게 되어 있는 것을 특징으로 하는 것이다.

이것에 의해서, 발명 5와 같이 화상 특징량의 분산값을 보다 정확하고 또한 고속으로 산출하는 것이 가능해진다.

발명 14의 화상 내의 인물 후보 영역 추출 시스템은, 발명 13에 기재된 화상 내의 인물 후보 영역 추출 시스템에 있어서, 화상 특징량 산출 수단은, 상기 에지 강도를, 소벨의 에지 검출 오퍼레이터를 이용하여 산출하게 되어 있는 것을 특징으로 하는 것이다.

이것에 의해서, 발명 7과 같이 화상의 에지 부분을 확실히 검출할 수 있다.

발명 15의 화상 내의 인물 후보 영역 추출 프로그램은, 인물 이미지가 포함되는 화상 내에서 당해 인물이 존재하는 영역을 추출하는 프로그램으로서, 상기 화상을 구성하는 화소열로 이루어지는 세로 라인 및 가로 라인에 대하여 각각의 화상 특징량을 산출하는 화상 특징량 산출 수단과, 당해 화상 특징량 산출 수단에서 얻어진 세로 라인 방향 및 가로 라인 방향에 대하여 각각의 화상 특징량의 분산값을 구하는 분산값 산출 수단과, 당해 분산값 산출 수단에서 얻어진 화상 특징량의 분산값이 세로 라인 방향 및 가로 라인 방향에서 각각 임계값을 넘는 각 라인 방향의 영역에서 상기 인물이 존재하는 영역을 검출하는 인물 후보 영역 검출 수단을 컴퓨터에 기능시키는 것을 특징으로 하는 것이다.

이것에 의해서, 발명 1과 마찬가지의 효과를 얻을 수 있는 동시에, 퍼스널 컴퓨터(PC) 등의 범용의 컴퓨터(하드웨어)를 이용하여 소프트웨어 상에서 그 기능을 실현하는 것이 가능해지기 때문에, 전용의 장치를 제조하여 실현하는 경우에 비해 경제적이고 또한 용이하게 실현할 수 있다. 또한, 대부분의 경우 프로그램의 재기입만으로 그 기능의 변경, 개량 등의 버전 업을 용이하게 달성하는 것이 가능해진다.

발명 16의 화상 내의 인물 후보 영역 추출 프로그램은, 인물 이미지가 포함되는 화상 내에서 당해 인물이 존재하는 영역을 추출하는 프로그램으로서, 상기 화상 내의 인물 이미지의 상하 방향을 판별하는 상하 판별 수단과, 당해 상하 판별 수단의 결과에 근거하여 상기 화상을 회전시켜 상기 인물 이미지를 실제의 상하 방향으로 수정하는 상하 수정 수단과, 당해 상하 수정 수단에서 상하 방향이 수정된 후의 당해 화상을 구성하는 화소열로 이루어지는 세로 라인 및 가로 라인에 대하여 각각의 화상 특징량을 산출하는 화상 특징량 산출 수단과, 당해 화상 특징량 산출 수단에서 얻어진 세로 라인 방향 및 가로 라인 방향에 대하여 각각의 화상 특징량의 분산값을 구하는 분산값 산출 수단과, 당해 분산값 산출 수단에서 얻어진 화상 특징량의 분산값이 세로 라인 방향 및 가로 라인 방향에서 각각 임계값을 넘는 각 라인 방향의 영역에서 상기 인물이 존재하는 영역을 검출하는 인물 후보 영역 검출 수단을 컴퓨터에 기능시키는 것을 특징으로 하는 것이다.

이것에 의해서, 발명 2와 마찬가지의 효과를 얻을 수 있는 동시에, 발명 15와 같이 퍼스널 컴퓨터(PC) 등의 범용의 컴퓨터(하드웨어)를 이용하여 소프트웨어 상에서 그 기능을 실현하는 것이 가능해지기 때문에, 전용의 장치를 제작하여 실현하는 경우에 비해 경제적이고 또한 용이하게 실현할 수 있다. 또한, 대부분의 경우 프로그램의 재기입만으로 그 기능의 변경, 개량 등의 버전 업을 용이하게 달성하는 것이 가능해진다.

발명 17의 화상 내의 인물 후보 영역 추출 프로그램은, 발명 16에 기재된 화상 내의 인물 후보 영역 추출 프로그램에 있어서, 상기 화상 내의 인물 이미지의 상하 방향을 판별하는 상하 판별 수단은, 상기 화상이 삼각형 이상의 다각형의 테두리로 둘러싸여 있고, 또한 당해 화상 내에 포함되는 인물 이미지가 상반신 또는 두부를 중심으로 한 일부일 때는, 당해 화상의 각 변 또는 각 변 근방의 라인에 대하여 화상 특징량의 분산값을 구하고, 그 분산값이 가장 큰 변 또는 라인 근방의 변쪽을 아래 방향으로 하게 되어 있는 것을 특징으로 하는 것이다.

이것에 의해서, 발명 3과 마찬가지의 효과를 얻을 수 있는 동시에, 발명 15와 같이, 보다 경제적이고 또한 용이하게 실현하는 것이 가능해진다.

발명 18의 화상 내의 인물 후보 영역 추출 프로그램은, 발명 17에 기재된 화상 내의 인물 후보 영역 추출쪽 프로그램에 있어서, 상기 화상 내의 인물 이미지의 상하 방향을 판별하는 상하 판별 수단은, 상기 화상의 각 라인을 복수개 근접하여 선택하여, 당해 각 라인에 대한 화상 특징량의 분산값의 평균값을 이용하게 되어 있는 것을 특징으로 하는 것이다.

이것에 의해서, 발명 4와 같이 적확한 분산값을 구할 수 있는 동시에, 발명 15와 같이 보다 경제적이고 또한 용이하게 실현하는 것이 가능해진다.

발명 19의 화상 내의 인물 후보 영역 추출 프로그램은, 발명 15∼18 중 어느 하나에 기재된 화상 내의 인물 후보 영역 추출 프로그램에 있어서, 화상 특징량 산출 수단은, 상기 세로 라인 및 가로 라인으로서, 상기 화상의 폭 방향 및 높이 방향으로 일정 간격마다의 라인을 이용하게 되어 있는 것을 특징으로 하는 것이다.

이것에 의해서, 발명 5와 같이 보다 고속으로 인물 이미지가 존재하는 영역을 추출할 수 있는 동시에, 발명 15와 같이 보다 경제적이고 또한 용이하게 실현하는 것이 가능해진다.

발명 20의 화상 내의 인물 후보 영역 추출 프로그램은, 발명 15∼19중 어느 하나에 기재된 화상 내의 인물 후보 영역 추출 프로그램에 있어서, 화상 특징량 산출 수단은, 상기 화상 특징량을, 상기 각 라인을 구성하는 화소열의 각 화소의 에지 강도 또는 색상각 중 어느 하나, 또는 양쪽에 근거하여 산출하게 되어 있는 것을 특징으로 하는 것이다.

이것에 의해서, 발명 6과 같이 화상 특징량의 분산값을 보다 정확하고 또한 고속으로 산출하는 것이 가능해지는 동시에, 발명 15와 같이 보다 경제적이고 또한 용이하게 실현하는 것이 가능해진다.

발명 21의 화상 내의 인물 후보 영역 추출 프로그램은, 발명 20에 기재된 화상 내의 인물 후보 영역 추출 프로그램에 있어서, 화상 특징량 산출 수단은, 상기 에지 강도를 소벨의 에지 검출 오퍼레이터를 이용하여 산출하게 되어 있는 것을 특징으로 하는 것이다.

이것에 의해서, 발명 7과 같이 화상의 에지 부분을 확실히 검출할 수 있는 동시에, 발명 15와 같이 보다 경제적이고 또한 용이하게 실현하는 것이 가능해진다.

발명 22의 인물 이미지의 상하 판정 방법은, 삼각형 이상의 다각형의 범위 내에 상반신 또는 두부를 중심으로 한 인물 이미지가 존재하는 화상 내의 당해 인물 이미지의 상하 방향을 판별하는 방법으로서, 상기 화상의 각 변 또는 각 변 근방의 라인을 구성하는 화소열의 화상 특징량의 분산값을 구하고, 그 분산값이 가장 큰 변 또는 라인 근방의 변쪽을 아래 방향으로 판별하도록 한 것을 특징으로 하는 것이다.

즉, 삼각형 이상의 다각형의 범위 내에 상반신 또는 두부를 중심으로 한 인물 이미지가 존재하는 화상의 경우에는, 그 인물 이미지의 일부가 화상 테두리 중 어느 한 변에서 끊어져 있는 것이 보통이다.

그 때문에, 그 화상 테두리의 각 변 또는 각 변 근방의 라인을 구성하는 화소열에 대하여 화상 특징량의 분산값을 구하고, 그 분산값이 가장 큰 변 또는 라인 근방의 변쪽을 당해 인물 이미지가 끊어져 있는 부분이라고 간주할 수 있다.

따라서, 그 인물 이미지가 끊어져 있는 변쪽을 아래 방향으로 함으로써 인물 이미지의 상하 판정을 확실하고 또한 용이하게 실행할 수 있다.

발명 23의 인물 이미지의 상하 판정 시스템은, 삼각형 이상의 다각형의 범위 내에 상반신 또는 두부를 중심으로 한 인물 이미지가 존재하는 화상 내의 당해 인물 이미지의 상하 방향을 판별하는 시스템으로서, 상기 화상의 각 변 또는 각 변 근방의 라인을 구성하는 화소열의 화상 특징량의 분산값을 산출하는 분산값 산출 수단과, 당해 분산값 산출 수단에서 얻어진 분산값이 가장 큰 변 또는 라인 근방의 변쪽을 아래 방향으로 판별하는 상하 판별 수단을 구비한 것을 특징으로 하는 것이다.

이것에 의해서, 발명 22와 같이 인물 이미지의 상하 판정을 확실하고 또한 용이하게 실행할 수 있는 동시에, 이들 처리를 전용의 회로나 컴퓨터 시스템을 이용하여 실현함으로써, 그 판정을 자동적으로 실행하는 것이 가능해진다.

발명 24의 인물 이미지의 상하 판정 프로그램은, 삼각형 이상의 다각형의 범위 내에 상반신 또는 두부를 중심으로 한 인물 이미지가 존재하는 화상 내의 당해 인물 이미지의 상하 방향을 판별하는 프로그램으로서, 컴퓨터를, 상기 화상의 각 변 또는 각 변 근방의 라인을 구성하는 화소열의 화상 특징량의 분산값을 산출하는 분산값 산출 수단과, 당해 분산값 산출 수단에서 얻어진 분산값이 가장 큰 변 또는 라인 근방의 변쪽을 아래 방향으로 판별하는 상하 판별 수단으로서 기능시키는 것을 특징으로 하는 것이다.

이것에 의해서, 발명 22와 같이 인물 이미지의 상하 판정을 확실하고 또한 용이하게 실행할 수 있는 동시에, 퍼스널 컴퓨터(PC) 등의 범용의 컴퓨터(하드웨어)를 이용하여 소프트웨어 상에서 그 기능을 실현하는 것이 가능해지기 때문에, 전용의 장치를 제작하여 실현하는 경우에 비해 경제적이고 또한 용이하게 실현할 수 있다. 또한, 대부분의 경우 프로그램의 재기입만으로 그 기능의 변경, 개량 등의 버전 업을 용이하게 달성하는 것이 가능해진다.

도 1은 본 발명의 인물 후보 영역 추출 시스템의 일 실시 형태를 나타내는 블록도,

도 2는 본 발명 시스템에서 이용할 수 있는 하드웨어를 나타내는 구성도,

도 3은 본 발명의 인물 후보 영역 추출 방법의 처리의 흐름을 나타내는 플로우차트,

도 4는 인물 후보 영역 추출 대상으로 되는 화상의 일례를 나타내는 도면,

도 5는 소벨의 오퍼레이터를 나타내는 도면,

도 6은 수직 및 수평 방향의 각 라인마다의 화상 특징량 분산값의 변화를 나타낸 도면,

도 7은 분산값이 임계값을 넘는 영역끼리 겹친 상태를 나타내는 개념도이다.

이하, 본 발명을 실시하기 위한 최선의 형태를 첨부 도면을 참조하면서 상술한다.

도 1은 본 발명에 관한 화상 내의 인물 후보 영역 추출 시스템(100)의 일 실시 형태를 나타낸 것이다.

도시하는 바와 같이, 이 인물 후보 영역 추출 시스템(100)은, 인물 후보 영역 추출이 대상으로 되는 화상(G)을 판독하는 화상 판독 수단(10)과, 이 화상 판독 수단(10)에서 판독한 화상(G) 내의 인물 이미지의 상하 방향을 판별하는 상하 판별 수단(11)과, 이 상하 판별 수단(11)의 결과에 근거하여 그 인물 이미지를 실제의 상하 방향으로 수정하는 상하 수정 수단(12)과, 이 상하 수정 수단(12)에서 상하 방향이 수정된 후의 화상(G)의 화상 특징량을 산출하는 화상 특징량 산출 수단(13)과, 이 화상 특징량 산출 수단(13)에서 얻어진 화상 특징량의 분산값을 구하는 분산값 산출 수단(14)과, 이 분산값 산출 수단(14)으로 얻어진 화상 특징량의 분산값에 근거하여 인물이 존재하는 영역을 검출하는 인물 후보 영역 검출 수단(15)으로 주로 구성되어 있다.

우선, 화상 판독 수단(10)은, 여권이나 운전 면허증 등의 신분 증명서용의 사진이나 일부 스냅 사진 등과 같이, 배경이 같거나, 또는 복잡한 변화가 없다, 직사각형 형상의 테두리(둘레) 내에 상반신 또는 두부를 중심으로 한 인물 이미지가 포함되는 화상(G)을, CCD(Charge Coupled Device : 전하 결합 소자)나, CM0S(Complementary Metal Oxide Semiconductor) 등의 촬상 센서를 이용하여, R(적색), G(녹색), B(청색)의 각각의 화소 데이터로 이루어지는 디지털 화상 데이터로서 판독하여 취입하기 위한 기능을 제공하게 되어 있다.

구체적으로는, 디지털 스틸 카메라나 디지털 비디오 카메라 등의 CCD, CM0S 카메라나 비디콘 카메라, 이미지 스캐너, 드럼 스캐너 등이며, 상기 촬상 센서가 광학적으로 판독한 얼굴 화상(G)을 A/D 변환하여 그 디지털 화상 데이터를 상하 판별 수단(11)으로 순차적으로 보내는 기능을 제공하게 되어 있다.

또, 이 화상 판독 수단(10)에는 데이터 보존 기능이 구비되어 있고, 판독한 얼굴 화상 데이터를 하드 디스크 드라이브 장치(HDD) 등의 기억 장치나 DVD-ROM 등 의 기억 매체 등에 적절히 보존 가능하게 되어 있다. 또한, 화상(G)이 네트워크나 기억 매체 등을 거쳐서 디지털 화상 데이터로서 공급되는 경우에는, 이 화상 판독 수단(10)은 불필요해지거나, 또는, DCE(Data Circuit Terminating Equipment)나 CCU(Communication Control Unit), CCP(Communication Control Processor) 등의 통신 수단이나 인터페이스(I/F) 등으로서 기능하게 된다.

다음에, 상하 판별 수단(11)은, 삼각형 이상의 다각형의 화상 범위 내에 상반신 또는 두부를 중심으로 한 인물 이미지가 존재하는 화상(G)의 상하 방향을 판별하는 기능을 제공하는 것이며, 그 인물 이미지가 빠져 있는 화상 테두리 중 하나의 변을 검출하여, 이변을 아래 방향으로서 그 화상(G)의 상하 방향을 판별하게 되어 있다.

즉, 예컨대, 화상 판독 수단(10)에서 판독된 화상(G)이, 도 4에 나타내는 바와 같은 직사각형 형상의 화상 테두리(F) 내에 거의 흉부보다 위의 상반신의 인물 이미지가 존재하고 있는 등의 경우, 그 화상 테두리(F)의 4개의 변 f1, f2, f3, f4, 또는 그 근방으로 설정된 4개의 라인 L1, L2, L3, L4를 구성하는 화소열로부터 얻어지는 화상 특징량의 분산값에 근거하여 그 인물 이미지의 상하 방향을 판별하게 되어 있다. 또, 이 화상 테두리(F)의 각 변 또는 그 근방으로 설정된 각 라인을 구성하는 화소열로부터 얻어지는 화상 특징량의 분산값의 구체적인 산출 방법 등에 대해서는 이후에 상술한다.

다음에, 상하 수정 수단(12)은, 이 상하 판별 수단(11)의 결과에 근거하여 그 인물 이미지를 실제의 상하 방향으로 수정하는 기능을 제공하는 것이며, 예컨 대, 도 4의 예에서는, 도면 중 좌측의 변, 즉, 인물 이미지가 끊어져 있는 쪽의 변 f4가 아래 방향이 되도록 화상(G) 전체를 반시계 회전으로 90°(또는 시계 회전으로 270°) 회전시켜 그 상하 방향을 실제의 상하 방향과 일치하도록 수정하게 되어 있다.

화상 특징량 산출 수단(13)은, 상기 상하 수정 수단(12)으로 상하 방향이 수정된 후의 화상(G)을 구성하는 화소의 화상 특징량을 산출하는 기능을 제공하는 것이며, 구체적으로는 에지 산출부(20) 또는 색상각 산출부(21)에 의해서 세로 가로의 화소열로 이루어지는 세로 라인 및 가로 라인을 구성하는 화소열의 각 화소의 에지 강도 또는 색상각 중 어느 하나, 또는 양쪽을 검출하여, 검출된 값에 근거하여 각 화소의 화상 특징량을 산출하게 되어 있다.

또한, 분산값 산출 수단(14)은, 이 화상 특징량 산출 수단(13)에서 얻어진 화상 특징량의 분산값을 구하는 기능을 제공하게 되어 있고, 그 구체예에 대해서는 후술한다.

인물 후보 영역 검출 수단(15)은, 이 분산값 산출 수단(14)에서 얻어진 화상 특징량의 분산값에 근거하여 인물이 존재하는 영역을 검출하는 기능을 제공하는 것이며, 상기 세로 라인 방향 및 가로 라인 방향에 대하여 각각의 화상 특징량의 분산값이 임계값을 넘는 영역을 각각 선택하고, 선택된 각 라인 방향의 영역끼리 겹치는 화상 내의 영역을 상기 인물이 존재하는 영역으로서 추출하게 되어 있다.

또, 이러한 본 발명의 인물 후보 영역 추출 시스템(100)을 구성하는 각 수단(10, 11, 12, 13, 14, 15) 등은, 실제로는, 도 2에 도시하는 바와 같이 CPU나 RAM 등으로 이루어지는 하드웨어와, 도 3 등에 나타내는 바와 같은 알고리즘을 기술한 전용의 컴퓨터 프로그램(소프트웨어)으로 이루어지는 퍼스널 컴퓨터(PC) 등의 컴퓨터 시스템에 의해서 실현되게 되어 있다.

즉, 이 인물 후보 영역 추출 시스템(100)을 실현하기 위한 하드웨어는, 도 2에 나타낸 바와 같이, 각종 제어나 연산 처리를 담당하는 중앙 연산 처리 장치인 CPU(Central Processing Unit)(40)와, 주 기억 장치(Main Storage)에 이용되는 RAM(Random Access Memory)(41)과, 판독 전용의 기억 장치인 ROM(Read Only Memory)(42)과, 하드 디스크 드라이브 장치(HDD)나 반도체 메모리 등의 보조 기억 장치(Secondary Storage)(43), 및 모니터(LCD(액정 모니터)나 CRT(음극 선관)) 등으로 이루어지는 출력 장치(44), 이미지 스캐너나 키보드, 마우스, CCD(Charge Coupled Device)나 CMOS(Complementary Metal Oxide Semiconductor) 등의 촬상 센서 등으로 이루어지는 입력 장치(45)와, 이들의 입출력 인터페이스(I/F)(46) 등과의 사이를, PCI(Peripheral Component Interconnect) 버스나 ISA(Industrial Standard Architecture : 아이사) 버스 등으로 이루어지는 프로세서 버스, 메모리 버스, 시스템 버스, 입출력 버스 등의 각종 내외 버스(47)에 의해서 버스 접속한 것이다.

그리고, 예컨대, CD-ROM이나 DVD-ROM, FD(flexible disk) 등의 기억 매체, 또는 통신 네트워크(LAN, WAN, 인터넷 등)(N)을 거쳐서 공급되는 각종 제어용 프로그램이나 데이터를 보조 기억 장치(43) 등에 인스톨하는 동시에 그 프로그램이나 데이터를 필요에 따라서 주 기억 장치(41)에 로드하고, 그 주 기억 장치(41)에 로 드된 프로그램에 따라서 CPU(40)가 각종 자원을 구사하여 소정의 제어 및 연산 처리를 행하고, 그 처리 결과(처리 데이터)를 버스(47)를 거쳐서 출력 장치(44)에 출력하여 표시하는 동시에, 그 데이터를 필요에 따라서 보조 기억 장치(43)에 의해서 형성되는 데이터베이스에 적절히 기억, 보존(갱신) 처리하도록 한 것이다.

다음에, 이러한 구성을 한 본 발명의 인물 후보 영역 추출 시스템(100)을 이용한 인물 후보 영역 추출 방법의 일례를 도 4∼도 7을 이용하여 설명한다.

도 3은 본 발명의 인물 후보 영역 추출에 관한 처리의 흐름의 일례를 나타낸 플로우차트이다.

우선, 화상 판독 수단(11)에 의해서 대상으로 되는 화상(G)을 판독하였으면, 최초의 단계 S100에 도시하는 바와 같이 그 화상(G)의 화상 테두리를 구성하는 각 변, 또는 각 변에 가까운 라인을 구성하는 화소마다의 화상 특징량을 산출하는 동시에 그 화상 특징량의 분산값을 산출한다. 예컨대, 화상 판독 수단(11)에 의해서 판독된 화상(G)이 도 4에 나타내는 바와 같은 직사각형 형상의 화상 테두리(F)를 갖는 것인 경우, 그 화상 테두리(F)는 4개의 변 f1, f2, f3, f4로 이루어져 있으므로, 그 4개의 변 fl, f2, f3, f4를 각각 구성하는 각 화소, 또는, 이들 각 변 fl, f2, f3, f4의 근방으로서 각각 각 변 fl, f2, f3, f4와 평행하게 연장되는 라인 Ll, L2, L3, L4를 구성하는 각 화소에 대하여, 에지 강도 또는 색상각, 또는 양쪽에 근거하는 화상 특징량을 산출한다.

여기서, 본 발명에서 말하는 「에지 강도」 및 「색상각」은 화상 처리분야에서 일반적으로 정의되어 있는 의미와 같은 의미이다.

즉, 에지 강도는, 예컨대, 미리 각 화소의 휘도(Y)를 산출하여, 그 휘도값을 기초로 「소벨의 에지 검출 오퍼레이터」 등으로 대표되는 공지의 일차 미분형(차분형)의 에지 검출 오퍼레이터를 이용함으로써 용이하게 산출할 수 있다.

도 9(a), 도 9(b)는, 이 「소벨의 에지 검출 오퍼레이터」를 나타낸 것이며, 동 도면 (a)에 나타내는 오퍼레이터(필터)는, 주목 화소를 둘러싸는 8개의 화소값 중, 왼쪽 열 및 오른쪽 열에 위치하는 각각 3개의 화소값을 조정함으로써 가로 방향의 에지를 강조하고, 동 도면(b)에 나타내는 오퍼레이터는, 주목 화소를 둘러싸는 8개의 화소값 중, 위족 행 및 아래쪽 열에 위치하는 각각 3개의 화소값을 조정하여 세로 방향의 에지를 강조함으로써 세로 가로의 에지를 검출하는 것이다. 그리고, 이러한 오퍼레이터로 생성한 결과를 제곱을 합한 후, 평방근을 취함으로써 에지의 강도를 구할 수 있게 되어 있다. 또한, 이「소벨의 오퍼레이터」 대신에 「로버트(Roberts)」나 「프리윗(Prewitt)」 등의 다른 일차 미분형의 에지 검출 오퍼레이터 등을 적용하는 것도 가능하다.

한편, 색상각은, 색의 차이를 나타내는 속성이며, 「색상각」이라는 것은, 「먼셀(Munsell)의 색상환」이나 「먼셀의 색입체」 등의 색 지표도를 이용하여, 그 배경색을 기준으로 했을 때의 두발의 색의 위치까지의 각도를 말하는 것이다. 예컨대, 「먼셀의 색상환」에 의하면, 기준이 되는 배경색을 「청색」으로 한 경우, 두발의 색이 「녹색」보다도 「황색」이나「적색」 쪽이 색상각이 큰(화상 특징량이 큰) 것으로 된다.

그리고, 이렇게 하여 각 변 fl, f2, f3, f4 또는 그 근방의 라인 L1, L2, L3, L4를 구성하는 각 화소에 대하여 화상 특징량이 산출되었으면, 그 각 변 f1, f2, f3, f4 또는 그 근방의 라인 L1, L2, L3, L4마다의 화상 특징량의 분산값을 산출한다.

다음에, 단계 S102로 이행하여, 각 변 f1, f2, f3, f4 또는 그 근방의 라인 Ll, L2, L3, L4 중에서 산출된 화상 특징량의 분산값이 가장 큰 것을 선택하여, 그 변 또는 라인이 있는 부분을 아래 방향이라고 간주한다.

도 4의 예에서는, 각 변 fl, f2, f3, f4 또는 그 근방의 라인 Ll, L2, L3, L4 중, 변 f4 또는 라인 L4를 제외한 부분이 균일 또는 변화가 적은 배경만으로 구성되고, 변 f4 또는 라인 L4 부분에 인물의 일부(흉부)가 걸쳐 있기 때문에, 변 f4 또는 라인 L4의 화상 특징량의 분산값이 가장 커진다. 그 결과, 도면 중 좌측의 변 f4 또는 라인 L4쪽이 아래 방향으로 간주되게 된다.

그리고, 이렇게 하여 인물 후보 영역 추출 대상으로 되는 화상(G)의 상하 방향이 판별되었으면, 단계 S104로 이행하여 그 화상(G)을 상하 방향에 맞춰 회전시킨다.

도 4의 예에서는 변 f4 또는 라인 L4쪽이 아래 방향으로 간주되었기 때문에, 변 f4 또는 라인 L4측이 도면 중 화살표로 나타내는 바와 같은 실제의 아래 방향으로 향하도록, 그 화상(G)을 반시계 회전으로 90°, 또는 시계 회전으로 270° 회전시킨다.

다음에, 이렇게 하여 화상(G)을 회전시켜 그 상하 방향을 실제의 상하 방향에 일치시켰으면, 다음 단계 S106로 이행하여 모든 수직 라인에 대하여 그 화상 특 징량의 분산값을 구한다.

예컨대, 도 6에 도시하는 바와 같이 있는 화상(G)이, 세로(도면 중 Y 방향) 300 화소×가로(도면 중 X 방향) 500 화소로 이루어지는 것인 경우에는, 세로(수직) 방향으로 나열된 300개의 화소열로 이루어지는 하나의 수직 라인마다 각각의 화상 특징량의 분산값을 산출하는 것이 되기 때문에, 합계 500개의 수직 라인에 대하여 각각의 분산값을 구하는 것으로 된다.

그리고, 이렇게 하여 모든 수직 라인마다의 화상 특징량의 분산값을 산출했으면, 다음 단계 S108로 이행하여, 그 분산값에 임계값을 설정하고, 임계값을 넘는 수직 라인을 화상(G)의 좌변(왼쪽 테두리) 및 우변(오른쪽 테두리)으로부터 순서대로 안쪽으로 탐색하고, 임계값을 넘는 영역을 인물 후보 영역으로 간주하는 동시에, 각각의 수평 위치의 중심을 인물 후보 영역의 중심으로 한다.

도 6의 예에서는, 좌변(왼쪽 테두리) 및 우변(오른쪽 테두리)으로부터 순서대로 안쪽으로 탐색한 결과, 점 a 및 점 b의 부분에서 임계값을 넘었기 때문에, 수직 방향에서는 점 a 및 점 b 사이가 인물 후보 영역이라고 특정되고, 또한, 점 a 및 점 b 사이의 중점이 인물 이미지의 중심이라고 특정되게 된다.

다음에, 이렇게 하여 수직 방향의 인물 후보 영역이 특정되었으면, 다음 단계 S110으로 이행하여, 상기와 마찬가지로 이번에는 모든 수평 라인에 대하여 각각의 분산값을 구한다. 도 6의 예에서는, 화소가 세로(수직) 방향으로 300개가 나열되어 있기 때문에, 합계 500개의 수직 라인에 대하여 각각의 분산값을 구하게 된다.

이렇게 하여 모든 수평 라인마다의 분산값을 구했으면, 상기 단계 S108과 같이, 그 분산값에 임계값을 설정하고, 다음 단계 S112로 이행하여, 임계값을 넘는 수평 라인을 화상(G)의 상변(위쪽 테두리)으로부터 순서대로 아래쪽 방향으로 탐색하여, 임계값을 넘는 그 하부의 영역을 인물 후보 영역으로 간주한다.

도 6의 예로서는, 상변(위쪽 테두리)으로부터 순서대로 아래쪽으로 탐색한 결과, 점 c의 부분에서 임계값을 넘었기 때문에, 수평 방향에서는 점 c 이하의 영역이 인물 후보 영역으로 특정되고, 또한, 점 c 부근이 인물 이미지의 정점, 즉, 꼭대기부라고 특정되게 된다. 또, 상술한 바와 같이, 이 화상(G)은 그 인물의 일부가 걸친 영역이 반드시 아래 방향에 위치하고 있기 때문에, 하변으로부터의 탐색은 불필요하다.

그리고, 다음 단계 S114로 이행하여, 수직 방향 및 수평 방향에서 각각 분산값을 넘는 영역이 특정되었으면, 그들 각 영역이 겹친 영역을 특정하는 것에 의해, 그 영역을 인물 후보 영역으로서 추출할 수 있다.

도 6의 예에서는 도 7에 도시하는 바와 같이 a-b 영역과 c 이하 영역과의 겹친 영역이 인물 후보 영역으로서 추출되게 된다.

이와 같이 본 발명은, 화상 특징량의 분산값이 인물이 존재하고 있는 영역에서는 높아지고, 인물이 존재하지 않는 배경 영역 등에서는 낮아지는 경향이 있는 것을 이용하여 화상의 상하 방향을 판별하는 동시에, 그 분산값이 임계값을 넘는 영역을 각각 선택하고, 선택된 각 라인 방향의 영역끼리 겹치는 화상 내의 영역을 인물 후보 영역으로서 추출하도록 했기 때문에, 화상(G)의 상하 방향의 수정은 물 론, 그 화상(G) 내의 인물 이미지가 존재하는 영역을 확실하고(robust) 또한 고속으로 추출할 수 있다.

또, 본 실시예에서는, 직사각형 형상의 화상 테두리(F)의 화상(G)의 경우로 설명했지만, 3각형의 화상 테두리(F)나 그 이상의 다각형의 화상 테두리의 경우라도 마찬가지의 수법에 의해서 용이하게 그 상하 방향의 판별 및 인물 후보 영역의 추출을 행할 수 있다. 또한, 원형이나 타원형의 화상 테두리(F)에서도 그 외곽 가장자리를 일정한 거리마다 분할하여 판단하면, 다각형의 화상 테두리(F)와 같이 그 상하 방향의 판별 및 인물 후보 영역의 추출을 행할 수 있게 된다.

또한, 임계값의 구체적인 설정 방법도 특별히 한정되는 것이 아니지만, 도 6에 도시하는 바와 같이 배경 부분과 인물 부분에서 화상 특징량의 분산값에 현저한 차이가 보이는 경우에는, 그 임계값을 낮게 설정하면 인물 후보 영역을 보다 정확히 추출하는 것이 가능해지지만, 배경에 인물이외의 것이 찍혀 있는 등의 이유로 인해 현저한 차이가 보이지 않는 경우에는 그 임계값은 보다 높게 설정해야 한다. 통상의 임계값은, 화상 테두리 부근의 분산값에, 최대 분산값의 1/4정도를 더한 부근이 적당하다고 생각된다.

또한, 화상 특징량으로서 에지의 강도를 이용하면, 고속으로 산출할 수 있는데 더하여 조명의 영향을 경감할 수 있다는 효과를 얻을 수 있는 반면, 배경에 인물 이외의 것이 찍혀 있어 배경과 인물의 에지 강도의 차이가 작은 등의 경우에는 에지 강도를 이용하는 것이 적당하지 않기 때문에, 이러한 경우에는, 색상각을 이용하면 보다 확실히 인물 후보 영역의 추출에 기여할 수 있다.

또한, 상하 판정에 이용하는 라인은, 각 변마다 1개씩이라면 상하 판정이 가능하지만, 화상(G)의 노이즈나 오염 등을 고려하여 복수 라인 선택하고, 각 라인의 분산값의 평균값을 이용하도록 하더라도 좋고, 또한, 인물 후보 영역을 추출하는 경우에는 모든 라인을 이용하는 것 외에, 적절히 일정 간격마다의 일부의 라인을 이용하도록 하면, 정확성은 약간 떨어지지만, 그 만큼 분산값 등의 계산량이 대폭 감소되기 때문에, 보다 신속히 인물 후보 영역을 추출하는 것이 가능해진다.

또한, 본 실시예에서는, 인물 영역의 추출전에 화상 내의 인물 이미지의 상하 방향의 판정 및 그 수정을 행하도록 했지만, 대상으로 되는 화상 내의 인물 이미지의 상하 방향이 모두 실제의 상하 방향과 일치하고 있는 등의 경우에는, 이들의 판정 및 수정 처리를 생략할 수 있는 것은 물론이다.

Claims

인물 이미지가 포함되는 화상중으로부터 당해 인물 이미지가 존재하는 영역을 추출하는 방법으로서,

상기 화상을 구성하는 세로 가로의 화소열로 이루어지는 세로 라인 및 가로 라인에 대해 각각의 화상 특징량의 분산값을 구하고, 또한, 상기 세로 라인 방향 및 가로 라인 방향에 대해 각각의 화상 특징량의 분산값이 임계값을 넘는 영역을 각각 선택하고,

선택된 각 라인 방향의 영역끼리 겹치는 화상중의 영역을 상기 인물이 존재하는 영역으로서 추출하도록 한 것

을 특징으로 하는 화상중의 인물 후보 영역 추출 방법.
인물 이미지가 포함되는 화상중으로부터 당해 인물 이미지가 존재하는 영역을 추출하는 방법으로서,

상기 화상중의 인물 이미지의 상하 방향을 판별하고,

그 판별 결과에 근거하여 상기 화상을 회전시켜 상기 인물 이미지를 실제의 상하 방향으로 수정하고,

그 후, 당해 화상을 구성하는 세로 가로의 화소열로 이루어지는 세로 라인 및 가로 라인에 대해 각각의 화상 특징량의 분산값을 구하고, 또한 상기 세로 라인 방향 및 가로 라인 방향에 대해 각각의 화상 특징량의 분산값이 임계값을 넘는 영역을 각각 선택하고,

선택된 각 라인 방향의 영역끼리 겹치는 화상중의 영역을 상기 인물이 존재하는 영역으로서 추출하도록 한 것

을 특징으로 하는 화상중의 인물 후보 영역 추출 방법.
제 2 항에 있어서,

상기 화상중의 인물 이미지의 상하 방향의 판별은, 상기 화상이 삼각형 이상의 다각형의 테두리로 둘러싸여 있고, 또한 당해 화상중에 포함되는 인물 이미지가 상반신 또는 두부를 중심으로 한 일부일 때는, 당해 화상 테두리의 각 변 또는 각 변 근방의 라인을 구성하는 화소열에 대해 화상 특징량의 분산값을 구하고, 그 분산값이 가장 큰 변 또는 라인 근방의 변쪽을 아래 방향으로 하도록 한 것을 특징으로 하는 화상중의 인물 후보 영역 추출 방법.
제 3 항에 있어서,

상기 화상의 각 라인을 복수개 근접하여 선택하고, 당해 각 라인에 대한 화상 특징량의 분산값의 평균값을 이용하도록 한 것을 특징으로 하는 화상중의 인물 후보 영역 추출 방법.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,

상기 세로 라인 및 가로 라인은, 상기 화상의 폭 방향 및 높이 방향으로 일정 간격마다의 라인을 이용하도록 한 것을 특징으로 하는 화상중의 인물 후보 영역 추출 방법.
제 1 항 내지 제 5 항 중 어느 한 항에 있어서,

상기 화상 특징량은, 상기 각 라인을 구성하는 화소열의 각 화소의 에지 강도 또는 색상각 중 어느 하나, 또는 양쪽에 근거하여 산출하도록 한 것을 특징으로 하는 화상중의 인물 후보 영역 추출 방법.
제 6 항에 있어서,

상기 에지 강도는, 소벨의 에지 검출 오퍼레이터를 이용하도록 한 것을 특징으로 하는 화상중의 인물 후보 영역 추출 방법.
인물 이미지가 포함되는 화상중으로부터 당해 인물 이미지가 존재하는 영역을 추출하는 시스템으로서,

상기 화상을 판독하는 화상 판독 수단과,

당해 화상 판독 수단에서 판독된 화상을 구성하는 화소열로 이루어지는 세로 라인 및 가로 라인에 대해 각각의 화상 특징량을 산출하는 화상 특징량 산출 수단과,

당해 화상 특징량 산출 수단에서 얻어진 세로 라인 방향 및 가로 라인 방향에 대해 각각의 화상 특징량의 분산값을 구하는 분산값 산출 수단과,

당해 분산값 산출 수단에서 얻어진 화상 특징량의 분산값이 세로 라인 방향 및 가로 라인 방향에서 각각 임계값을 넘는 각 라인 방향의 영역으로부터 상기 인물이 존재하는 영역을 검출하는 인물 후보 영역 검출 수단

을 구비한 것을 특징으로 하는 화상중의 인물 후보 영역 추출 시스템.
인물 이미지가 포함되는 화상중으로부터 당해 인물 이미지가 존재하는 영역을 추출하는 시스템으로서,

상기 화상을 판독하는 화상 판독 수단과,

당해 화상 판독 수단에서 판독한 화상중의 인물 이미지의 상하 방향을 판별하는 상하 판별 수단과,

당해 상하 판별 수단의 결과에 근거하여 상기 화상을 회전시켜 상기 인물 이미지를 실제의 상하 방향으로 수정하는 상하 수정 수단과,

당해 상하 수정 수단에서 상하 방향이 수정된 후의 당해 화상을 구성하는 화 소열로 이루어지는 세로 라인 및 가로 라인에 대해 각각의 화상 특징량을 산출하는 화상 특징량 산출 수단과,

당해 화상 특징량 산출 수단에서 얻어진 세로 라인 방향 및 가로 라인 방향에 대해 각각의 화상 특징량의 분산값을 구하는 분산값 산출 수단과,

당해 분산값 산출 수단에서 얻어진 화상 특징량의 분산값이 세로 라인 방향 및 가로 라인 방향에서 각각 임계값을 넘는 각 라인 방향의 영역에서, 상기 인물이 존재하는 영역을 검출하는 인물 후보 영역 검출 수단

을 구비한 것을 특징으로 하는 화상중의 인물 후보 영역 추출 시스템.
제 9 항에 있어서,

상기 화상중의 인물 이미지의 상하 방향을 판별하는 상하 판별 수단은, 상기 화상이 삼각형 이상의 다각형의 테두리로 둘러싸여 있고, 또한 당해 화상중에 포함되는 인물 이미지가 상반신 또는 두부를 중심으로 한 일부일 때는, 당해 화상의 각 변 또는 각 변 근방의 라인에 대해 화상 특징량의 분산값을 구하고, 그 분산값이 가장 큰 변 또는 라인 근방의 변쪽을 아래 방향으로 하게 되어 있는 것을 특징으로 하는 화상중의 인물 후보 영역 추출 시스템.
인물 이미지가 포함되는 화상중으로부터 당해 인물이 존재하는 영역을 추출 하는 프로그램으로서,

상기 화상중의 인물 이미지의 상하 방향을 판별하는 상하 판별 수단과,

당해 상하 판별 수단의 결과에 근거하여 상기 화상을 회전시켜 상기 인물 이미지를 실제의 상하 방향으로 수정하는 상하 수정 수단과,

당해 상하 수정 수단에서 상하 방향이 수정된 후의 당해 화상을 구성하는 화소열로 이루어지는 세로 라인 및 가로 라인에 대해 각각의 화상 특징량을 산출하는 화상 특징량 산출 수단과,

당해 화상 특징량 산출 수단에서 얻어진 세로 라인 방향 및 가로 라인 방향에 대해 각각의 화상 특징량의 분산값을 구하는 분산값 산출 수단과,

당해 분산값 산출 수단에서 얻어진 화상 특징량의 분산값이 세로 라인 방향 및 가로 라인 방향에서 각각 임계값을 넘는 각 라인 방향의 영역에서, 상기 인물이 존재하는 영역을 검출하는 인물 후보 영역 검출 수단

을 컴퓨터에 기능시키는 것

을 특징으로 하는 화상중의 인물 후보 영역 추출 프로그램.
제 11 항에 있어서,

상기 화상중의 인물 이미지의 상하 방향을 판별하는 상하 판별 수단은, 상기 화상이 삼각형 이상의 다각형의 테두리로 둘러싸여 있고, 또한 당해 화상중에 포함되는 인물 이미지가 상반신 또는 두부를 중심으로 한 일부일 때는, 당해 화상의 각 변 또는 각 변 근방의 라인에 대해 화상 특징량의 분산값을 구하고, 그 분산값이 가장 큰 변 또는 라인 근방의 변쪽을 아래 방향으로 하게 되어 있는 것을 특징으로 하는 화상중의 인물 후보 영역 추출 프로그램.
삼각형 이상의 다각형의 범위 내에 상반신 또는 두부를 중심으로 한 인물 이미지가 존재하는 화상중의 당해 인물 이미지의 상하 방향을 판별하는 방법으로서,

상기 화상의 각 변 또는 각 변 근방의 라인을 구성하는 화소열의 화상 특징량의 분산값을 구하고, 그 분산값이 가장 큰 변 또는 라인 근방의 변쪽을 아래 방향으로 판별하도록 한 것을 특징으로 하는 인물 이미지의 상하 판정 방법.
삼각형 이상의 다각형의 범위 내에 상반신 또는 두부를 중심으로 한 인물 이미지가 존재하는 화상중의 당해 인물 이미지의 상하 방향을 판별하는 시스템으로서, 상기 화상의 각 변 또는 각 변 근방의 라인을 구성하는 화소열의 화상 특징량의 분산값을 산출하는 분산값 산출 수단과,

당해 분산값 산출 수단에서 얻어진 분산값이 가장 큰 변 또는 라인 근방의 변쪽을 아래 방향으로 판별하는 상하 판별 수단

을 구비한 것을 특징으로 하는 인물 이미지의 상하 판정 시스템.
삼각형 이상의 다각형의 범위 내에 상반신 또는 두부를 중심으로 한 인물 이미지가 존재하는 화상중의 당해 인물 이미지의 상하 방향을 판별하는 프로그램으로서,

컴퓨터를,

상기 화상의 각 변 또는 각 변 근방의 라인을 구성하는 화소열의 화상 특징량의 분산값을 산출하는 분산값 산출 수단과,

당해 분산값 산출 수단에서 얻어진 분산값이 가장 큰 변 또는 라인 근방의 변쪽을 아래 방향으로 판별하는 상하 판별 수단

으로서 기능시키는 것

을 특징으로 하는 인물 이미지의 상하 판정 프로그램.