KR20010080219A - 화상 처리 장치 및 화상 처리 방법 및, 기록 매체 - Google Patents

화상 처리 장치 및 화상 처리 방법 및, 기록 매체 Download PDF

Info

Publication number
KR20010080219A
KR20010080219A KR1020017004840A KR20017004840A KR20010080219A KR 20010080219 A KR20010080219 A KR 20010080219A KR 1020017004840 A KR1020017004840 A KR 1020017004840A KR 20017004840 A KR20017004840 A KR 20017004840A KR 20010080219 A KR20010080219 A KR 20010080219A
Authority
KR
South Korea
Prior art keywords
center
frequency distribution
correlation value
pixel
class
Prior art date
Application number
KR1020017004840A
Other languages
English (en)
Other versions
KR100730500B1 (ko
Inventor
이시바시준이치
콘도테츠지로
Original Assignee
이데이 노부유끼
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이데이 노부유끼, 소니 가부시끼 가이샤 filed Critical 이데이 노부유끼
Publication of KR20010080219A publication Critical patent/KR20010080219A/ko
Application granted granted Critical
Publication of KR100730500B1 publication Critical patent/KR100730500B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Abstract

본 발명은 화상 처리 장치 및 방법 및 매체에 관한 것이며, 특히 용이하고 또한 확실하게 대상물의 자세를 검출할 수 있도록 한 화상 처리 장치 및 화상 처리 방법 및, 기록 매체에 관한 것이다. 상기 화상 처리 장치는 화상 데이터 내의 대상물의 화상 영역으로부터 상기 대상물의 화상 영역 내의 주목 화소 근방의 화소의 휘도 분포에 근거하여, 특징 영역을 추출하는 추출 수단과, 상기 특징 영역 중심과 상기 대상물의 화상 영역 중심과의 상관을 중심 상관치로서 산출하는 중심 상관치 산출 수단 및, 상기 중심 상관치에 근거하여, 상기 대상물의 방향을 판정하는 방향 판정 수단을 갖는다.

Description

화상 처리 장치 및 화상 처리 방법 및, 기록 매체{IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND RECORDING MEDIUM}
대상물의 자세 예를 들면, 대상물의 소정의 면(이하, 대상면이라 한다)이 향하고 있는 방향을 검출할 경우, 대상물(대상면)을 촬상하고, 그 촬상 결과로부터 얻어진 화상 데이터를 인식하여 대상면의 방향을 검출하는 방법이 있다. 이 경우에 이용되는 화상 인식 방법의 하나로서 템플릿 매칭법이 있다. 이 방법에 의하면, 미리 촬상되어 보존되어 있는 각 방향을 향한 대상면의 화상, 이른바, 템플릿과, 이번에 촬상되어 얻어진 대상면의 화상의 유사도가 검출된다. 즉, 유사도가 더욱 높은 템플릿에 대응하는 방향이 대상면이 향하고 있는 방향이 된다.
그러나, 상술한 템플릿 매칭법에 있어서는 촬상된 화상의 상태(예를 들면, 위치, 회전, 또는 크기)가 변화하면, 대상면의 방향(예를 들면, 각도)이 실질적으로 같은 경우에도 검출되는 유사도가 달라서 결국 최종적으로 얻어지는 대상면의 방향(각도)이 다른 경우가 있었다. 즉, 촬상된 화상의 상태의 변화에 대한 로버스트성이 나쁘다는 문제점이 있었다.
그래서, 대상면 상에 서치 영역을 설정하고, 그 서치 영역을 촬상 장치를 평행 이동, 축, 또는 줌(zoom) 등을 하면서 촬상하고, 그 촬상 결과로부터 얻어진 화상 데이터를 이용하여 유사도를 검출하는 방법이 있다. 이로써, 촬상된 화상의 상태가 어느 정도 변화해도 정확한 방향(각도)이 검출된다. 그러나, 이 방법에서는 처리해야 할 화상 데이터가 늘어나기 때문에, 그에 따라 연산량이 증가하여, 대상면의 방향이 최종적으로 검출될 때까지 시간이 걸리는 등의 문제점이 있었다. 또한, 그 서치 영역 이외 부분의 표시 상태가 변화한 경우, 정확한 각도가 검출되지 않는다는 문제점이 있었다.
또한, 대상면이 인물의 얼굴일 경우, 이 템플릿 매칭법에서는 특히, 화상 전체의 휘도가 낮을 때, 얻어진 대상면의 화상 상의 1화소의 휘도치만으로는 같은 색의 부분을 구별(분류)하는 것이 곤란했다. 예를 들면, 모두 흑색인 머리카락과 눈동자를 구별하는 것이 곤란했다. 그 때문에, 머리카락 부분에 비교하여, 더욱 얼굴의 특징을 나타내는 눈의 부분을 추출하고, 그 부분에 근거하여 얼굴의 방향을 검출할 수 없다는 문제점이 있었다. 더욱이, 피부가 검은 사람의 피부색과 눈동자 색의 차이가 피부가 흰 사람의 경우와 비교하여 가까운 것 등, 방향이 검출되는 얼굴마다 따라, 구별되는 부분(눈동자)의 화소치와 그 주위의 부분(피부)의 화소치의 차이가 다르기 때문에, 모든 얼굴에 있어서, 정확하게, 예를 들면, 눈의 부분을 추출할 수 없다는 문제점이 있었다. 즉, 대상면의 변화에 대한 로버스트성이 나쁘다는 문제점이 있었다.
본 발명은 화상 처리 장치 및 방법 및 매체에 관한 것이며, 특히 용이하고 또한 확실하게 대상물의 자세를 검출할 수 있도록 한 화상 처리 장치 및 화상 처리 방법 및, 기록 매체에 관한 것이다.
도 1은 본 발명을 적용한 화상 처리 장치의 이용예를 도시하는 도면.
도 2a, 도 2b, 도 2c 및 도 2d는 이용자의 얼굴의 위치를 도시하는 도면.
도 3은 화상 처리 장치의 구성예를 도시하는 블록도.
도 4a, 도 4b 및 도 4c는 도 2a, 도 2b 및 도 2c에 대응하는 특징 영역 분류 화상을 도시하는 도면.
도 5는 관계 정보를 도시하는 도면.
도 6은 본 발명의 제 1 실시예에 있어서의 각도 검출 처리를 설명하기 위한 플로 차트.
도 7은 DR 탭을 설명하는 도면.
도 8은 차이(D)와 얼굴이 향하고 있는 방향을 도시하는 도면.
도 9는 화상 처리 장치의 다른 이용예를 도시하는 도면.
도 10a 및 도면 10b는 관계 정보의 생성 방법을 설명하는 도면.
도 11a 및 도 11b는 마찬가지로 관계 정보의 생성 방법을 설명하는 다른 도면.
도 12a 및 도 12b는 마찬가지로 관계 정보의 생성 방법을 설명하는 다른 도면.
도 13은 본 발명의 제 1 실시예에 있어서의 관계 정보를 생성하기 위한 학습 처리의 순서를 설명하는 플로 차트.
도 14는 본 발명의 제 2 실시예에 있어서 생성된 히스토그램(T)을 도시하는 도면.
도 15는 마찬가지로 히스토그램(R1)을 도시하는 도면.
도 16은 마찬가지로 히스토그램(R2)을 도시하는 도면.
도 17은 마찬가지로 히스토그램(R3)을 도시하는 도면.
도 18은 본 발명의 제 2 실시예에 있어서의 각도 검출 처리를 설명하는 플로 차트.
도 19는 클래스 번호 할당 처리를 설명하는 플로 차트.
도 20은 클래스 탭을 설명하는 도면.
도 21은 클래스 번호를 설명하는 도면.
도 22a, 도 22b 및 도 22c는 도 2a, 도 2b 및 도 2c에 대응하는 것으로, 분류된 특징 영역을 설명하는 도면.
도 23은 상관치(W1, W2, W3)를 설명하는 도면.
도 24는 본 발명의 제 2 실시예에 있어서의 관계 정보를 생성하기 위한 학습 처리의 순서를 설명하는 플로 차트.
도 25는 본 발명의 제 3 실시예에 있어서의 관계 정보를 도시하는 도면.
도 26은 본 발명의 제 3 실시예에 있어서의 각도 검출 처리를 설명하기 위한 플로 차트.
도 27a 및 도 27b는 차이(D)와 각도(V)의 상관 관계의 강도를 설명하는 도면.
도 28은 본 발명의 제 2 실시예에 있어서의 관계 정보를 생성하기 위한 학습 처리의 순서를 설명하는 플로 차트.
도 30은 상관법을 이용하여 무게 계수를 결정하는 방법을 설명하기 위한 플로 차트.
도 31은 최소 제곱법을 이용하여 무게 계수를 결정하는 방법을 설명하기 위한 플로 차트.
도 31a, 도 31b 및 도 31c는 기록 매체를 설명하는 도면.
도 32는 컴퓨터의 구성예를 도시하는 도면.
그래서, 본 발명은 상술한 바와 같은 종래의 상황에 비추어 이루어진 것으로, 대상물의 촬상 상태 등이 변화해도, 용이하고 또한 확실하게, 대상물의 자세를 검출할 수 있도록 한 화상 처리 장치 및 화상 처리 방법 및, 기록 매체의 제공을 목적으로 한다.
본 발명에 따른 화상 처리 장치는 화상 데이터 내의 대상물의 화상 영역으로부터, 상기 대상물의 화상 영역 내의 주목 화소 근방의 화소의 휘도 분포에 근거하여, 특징 영역을 추출하는 추출 수단과, 상기 특징 영역의 중심과 상기 대상물의 화상 영역의 중심의 상관을 중심 상관치로서 산출하는 중심 상관치 산출 수단과, 상기 중심 상관치에 근거하여, 상기 대상물의 방향을 판정하는 방향 판정 수단을 갖는 것을 특징으로 한다.
또한, 본 발명에 따른 화상 처리 장치는 화상 데이터 내의 대상물의 화상 영역으로부터, 상기 대상물의 화상 영역 내의 주목 화소 근방 화소의 휘도 분포에 근거하여, 화상 데이터 내의 대상물의 화상 영역으로부터 특징 영역을 추출하는 추출 수단과, 상기 특징 영역 내의 각 화소를 복수의 클래스 1개로 분류하는 클래스 분류 수단과, 상기 클래스 분류 수단으로 분류된 각 클래스에 있어서의 화소의 도수 분포를 대상물 도수 분포로서 생성하는 도수 분포 생성 수단과, 상기 대상물 도수분포에 근거하여, 상기 대상물의 방향을 판정하는 방향 판정 수단을 갖는 것을 특징으로 한다.
또한, 본 발명에 따른 화상 처리 장치는 대상물의 방향을 검출하는 방향 검출 수단과, 상기 대상물의 각 방향에 대응하는 화상 데이터 내의 상기 대상물의 화상 영역으로부터 상기 화상 데이터 내의 주목 화소 근방의 화소의 휘도 분포에 근거하여 특징 영역을 추출하는 추출 수단과, 상기 특징 영역의 중심과 상기 대상물의 화상 영역의 중심의 상관을 중심 상관치로서 산출하는 중심 상관치 산출 수단과, 상기 중심 상관치와 상기 대상물의 방향을 대응지은 관계 정보를 생성하는 관계 정보 생성 수단을 갖는 것을 특징으로 한다.
또한, 본 발명에 따른 화상 처리 장치는 대상물의 방향을 검출하는 방향 검출 수단과, 상기 대상물의 각 방향에 대응하는 화상 데이터 내의 주목 화소 근방 화소의 휘도 분포에 근거하여, 상기 화상 데이터 내의 대상물의 화상 영역으로부터 특징 영역을 추출하는 추출 수단과, 상기 특징 영역 내의 각 화소를 복수의 클래스 1개로 분류하는 클래스 분류 수단과, 상기 클래스 분류 수단으로 분류된 각 클래스에 있어서의 화소의 도수 분포를 판정 도수 분포로서 생성하는 도수 분포 생성 수단과, 상기 클래스 분류 수단으로 분류된 각 클래스마다, 각 클래스 내의 화소로 이루어지는 영역의 중심을 각 클래스마다 산출하는 중심 산출 수단과, 상기 대상물의 화상 영역의 중심을 산출하는 대상물 중심 산출 수단과, 각 클래스마다 상기 특징 영역의 중심과 상기 대상물의 중심의 상관을 중심 상관치로서 산출하는 중심 상관치 산출 수단과, 상기 각 클래스마다의 중심 상관과 상기 판정 도수 분포와 상기대상물의 방향에 근거하여, 관계 정보치를 산출하는 산출 수단을 갖는 것을 특징으로 한다.
더욱이, 본 발명에 따른 화상 처리 장치는 복수의 방향에서 촬상하여 얻은 화상 데이터를 방향 정보와 관련지어 취득하는 화상 취득 수단과, 상기 방향 정보마다 상기 화상 데이터 내의 주목 화소 근방의 화소의 휘도 분포에 근거하여, 상기 화상 데이터 중의 대상물의 화상 영역으로부터 특징 영역을 추출하는 추출 수단과, 상기 추출 수단으로 추출된 상기 특징 영역 내의 각 화소를 복수의 클래스 1개로 분류하는 클래스 분류 수단과, 상기 클래스 분류 수단으로 분류된 화소의 각 클래스에 있어서의 도수를 나타내는 도수 분포를 생성하는 도수 분포 생성 수단과, 상기 생성 수단으로 생성된 도수 분포 중 적어도 하나인 참조 히스토그램과, 적어도 일부의 대상물 히스토그램의 상관을 도수 분포 상관치로서 나타내는 도수 분포 상관치 도출 수단과, 상기 도수 분포 상관치와 상기 각도 정보를 대응지은 관계 정보를 생성하는 관계 정보 생성 수단을 갖는 것을 특징으로 한다.
본 발명에 따른 화상 처리 방법은 화상 데이터 내의 대상물의 화상 영역으로부터, 상기 대상물의 화상 영역 내의 주목 화소 근방의 화소의 휘도 분포에 근거하여 특징 영역을 추출하는 추출 스텝과, 상기 특징 영역의 중심과 상기 대상물의 화상 영역의 중심의 상관을 중심 상관치로서 산출하는 중심 상관치 산출 스텝과, 상기 중심 상관치에 근거하여, 상기 대상물의 방향을 판정하는 방향 판정 스텝을 갖는 것을 특징으로 한다.
또한, 본 발명에 따른 화상 처리 방법은 주목 화소 근방의 화소의 휘도 분포에 근거하여, 화상 데이터 내의 대상물의 화상 영역으로부터, 특징 영역을 추출하는 추출 스텝과, 상기 특징 영역 내의 각 화소를 복수의 클래스 1개로 분류하는 클래스 분류 스텝과, 상기 클래스 분류 스텝에서 분류된 각 클래스에 있어서의 화소의 도수 분포를 대상물 도수 분포로서 생성하는 도수 분포 생성 스텝과, 상기 대상물 도수 분포에 근거하여, 상기 대상물의 방향을 판정하는 방향 판정 스텝을 갖는 것을 특징으로 한다.
또한, 본 발명에 따른 화상 처리 방법은 대상물의 방향을 검출하는 방향 검출 스텝과, 상기 대상물의 각 방향에 대응하는 화상 데이터 내의 상기 대상물의 화상 영역으로부터 상기 화상 데이터 내의 주목 화소 근방의 화소의 휘도 분포에 근거하여 특징 영역을 추출하는 추출 스텝과, 상기 특징 영역의 중심과 상기 대상물의 화상 영역의 중심의 상관을 중심 상관치로서 산출하는 중심 상관치 산출 스텝과, 상기 중심 상관치와 상기 대상물의 방향을 대응지은 관계 정보를 생성하는 관계 정보 생성 스텝을 갖는 것을 특징으로 한다.
또한, 본 발명에 따른 화상 처리 방법은 대상물의 방향을 검출하는 방향 검출 스텝과, 상기 대상물의 각 방향에 대응하는 화상 데이터 내의 주목 화소 근방의 휘도 분포에 근거하여, 상기 화상 데이터 내의 대상물의 화상 영역으로부터 특징 영역을 추출하는 추출 스텝과, 상기 특징 영역 내의 각 화소를 복수의 클래스 1개로 분류하는 클래스 분류 스텝과, 상기 클래스 분류 스텝에서 분류된 각 클래스에 있어서의 화소의 도수 분포를 판정 도수 분포로서 생성하는 도수 분포 생성 스텝과, 상기 클래스 분류 스텝에서 분류된 각 클래스마다, 각 클래스 내의 화소로 이루어지는 영역의 중심을 각 클래스마다 산출하는 중심 산출 스텝과, 상기 대상물의 화상 영역의 중심을 산출하는 대상물 중심 산출 스텝과, 각 클래스마다 상기 특징 영역의 중심과 상기 대상물의 중심의 상관을 중심 상관치로서 산출하는 중심 상관치 산출 스텝과, 상기 각 클래스마다의 중심 상관과 상기 판정 도수 분포에 근거하여 관계 정보치를 산출하는 산출 스텝과, 상기 관계 정보치와 상기 대상물의 방향을 대응지은 관계 정보를 생성하는 관계 정보 생성 스텝을 갖는 것을 특징으로 한다.
더욱이, 본 발명에 따른 화상 처리 방법은 복수의 방향에서 촬상하여 얻은 화상 데이터를 방향 정보와 관련지어 취득하는 화상 취득 스텝과, 상기 방향 정보마다 상기 화상 데이터 내의 주목 화소 근방의 화소의 휘도 분포에 근거하여, 상기 화상 데이터 중의 대상물의 화상 영역으로부터 특징 영역을 추출하는 추출 스텝과, 상기 추출 스텝에서 추출된 상기 특징 영역 내의 각 화소를 복수의 클래스 1개로 분류하는 클래스 분류 스텝과, 상기 클래스 분류 스텝에서 분류된 화소의 각 클래스에 있어서의 도수를 나타내는 도수 분포를 생성하는 도수 분포 생성 스텝과, 상기 생성 스텝에서 생성된 도수 분포 중 적어도 하나인 참조 히스토그램과, 적어도 일부의 대상물 히스토그램의 상관을 도수 분포 상관치로서 도출하는 도수 분포 상관치 도출 스텝과, 상기 도수 분포 상관치와 상기 각도 정보를 대응지은 관계 정보를 생성하는 관계 정보 생성 스텝을 갖는 것을 특징으로 한다.
본 발명에 따른 기록 매체는 화상 데이터 내의 대상물의 화상 영역으로부터, 상기 대상물의 화상 영역 내의 주목 화소 근방의 화소의 도수 분포에 근거하여, 특징 영역을 추출하는 추출 스텝과, 상기 특징 영역의 중심과 상기 대상물의 화상 영역의 중심의 상관을 중심 상관치로서 산출하는 중심 상관치 산출 스텝과, 상기 중심 상관치에 근거하여, 상기 대상물의 방향을 판정하는 방향 판정 스텝을 갖는 것을 특징으로 하는 컴퓨터 제어 가능한 화상 처리 프로그램이 기록되어 이루어진다.
또한, 본 발명에 따른 기록 매체는 주목 화소 근방의 화소의 휘도 분포에 근거하여, 화상 데이터 내의 대상물의 화상 영역으로부터 특징 영역을 추출하는 추출 스텝과, 상기 특징 영역 내의 각 화소를 복수의 클래스 1개로 분류하는 클래스 분류 스텝과, 상기 클래스 분류 스텝에서 분류된 각 클래스에 있어서의 화소의 도수 분포를 대상물 도수 분포로서 생성하는 도수 분포 생성 스텝과, 상기 대상물 도수 분포에 근거하여, 상기 대상물의 방향을 판정하는 방향 판정 스텝을 갖는 것을 특징으로 하는 컴퓨터 제어 가능한 화상 처리 프로그램이 기록되어 이루어진다.
또한, 본 발명에 따른 기록 매체는 대상물의 방향을 검출하는 방향 검출 스텝과, 상기 대상물의 방향에 대응하는 화상 데이터가 입력되는 입력 스텝과, 상기 화상 데이터 내의 상기 대상물의 화상 영역으로부터, 상기 화상 데이터 내의 주목 화소 근방의 화소의 휘도 분포에 근거하여 특징 영역을 추출하는 추출 스텝과, 상기 특징 영역의 중심과 상기 대상물의 화상 영역의 중심의 상관을 중심 상관치로서 산출하는 중심 상관치 산출 스텝과, 상기 중심 상관치와 상기 대상물의 방향을 대응지은 관계 정보를 생성하는 관계 정보 생성 스텝을 갖는 것을 특징으로 하는 컴퓨터 제어 가능한 화상 처리 프로그램이 기록되어 이루어진다.
또한, 본 발명에 따른 기록 매체는 대상물의 방향을 검출하는 방향 검출 스텝과, 상기 대상물의 방향에 대응하는 화상 데이터가 입력되는 입력 스텝과, 상기 화상 데이터 내의 대상물의 화상 영역으로부터 상기 화상 데이터 내의 주목 화소 근방의 휘도 분포에 근거하여, 특징 영역을 추출하는 추출 스텝과, 상기 특징 영역 내의 각 화소를 복수의 클래스 1개로 분류하는 클래스 분류 스텝과, 상기 클래스 분류 스텝에서 분류된 각 클래스에 있어서의 화소의 도수 분포를 판정 도수 분포로서 생성하는 도수 분포 생성 스텝과, 상기 클래스 분류 스텝에서 분류된 각 클래스마다, 각 클래스 내의 화소로 이루어지는 영역의 중심을 각 클래스마다 산출하는 중심 산출 스텝과, 상기 대상물의 화상 영역의 중심을 산출하는 대상물 중심 산출 스텝과, 각 클래스마다, 상기 특징 영역의 중심과 상기 대상물의 중심의 상관을 중심 상관치로서 산출하는 중심 상관치 산출 스텝과, 상기 각 클래스마다의 중심 상관과 상기 판정 도수 분포에 근거하여 관계 정보치를 산출하는 산출 스텝과, 상기 관계 정보치와 상기 대상물의 방향을 대응지은 관계 정보를 생성하는 관계 정보 생성 스텝을 갖는 것을 특징으로 하는 컴퓨터 제어 가능한 화상 처리 프로그램이 기록되어 이루어진다.
더욱이, 본 발명에 따른 기록 매체는 복수의 방향에서 촬상하여 얻은 화상 데이터를 방향 정보와 관련지어 취득하는 화상 취득 스텝과, 상기 방향 정보마다, 상기 화상 데이터 내의 주목 화소 근방의 화소의 휘도 분포에 근거하여 상기 화상 데이터 중의 대상물의 화상 영역으로부터 특징 영역을 추출하는 추출 스텝과, 상기 추출 스텝에서 추출된 상기 특징 영역 내의 각 화소를 복수의 클래스 1개로 분류하는 클래스 분류 스텝과, 상기 클래스 분류 스텝에서 분류된 화소의 각 클래스에 있어서의 도수를 나타내는 도수 분포를 생성하는 도수 분포 생성 스텝과, 상기 생성 스텝에서 생성된 도수 분포 중 적어도 하나인 참조 히스토그램과, 적어도 일부의 대상물 히스토그램의 상관을 도수 분포 상관치로서 도출하는 도수 분포 상관치 도출 스텝과, 상기 도수 분포 상관치와 상기 각도 정보를 대응지은 관계 정보를 생성하는 관계 정보 생성 스텝을 갖는 것을 특징으로 하는 컴퓨터 제어 가능한 화상 처리 프로그램이 기록되어 이루어진다.
이하, 본 발명을 실시하기 위한 실시예에 대해서 도면을 참조하면서 상세하게 설명한다.
도 1은 본 발명을 적용한 화상 처리 장치(1)의 이용 예를 도시하고 있다.화상 처리 장치(1)는 이용자의 전방(도면 중, 상측)에, 이용자와 대면하도록 배치되며, 도 2에 도시하는 바와 같이, 이용자의 얼굴 부분을 촬상하고, 촬상된 화상 데이터에 근거하여, 이용자의 얼굴의 방향(각도)을 검출한다.
또한, 도 2a는 화상 처리 장치(1)와 대면하는 방향(도 2d 중 a방향)을 정면으로 하면, 정면에 대해, 이용자의 얼굴이 약간 좌측(도 2d 중 b방향)을 향하고 있는 상태, 도 2b는 정면을 향하고 있는 상태, 그리고 도 2c는 정면에 대해 약간 우측(도 2d 중 c방향)을 향하고 있는 상태를 도시하고 있다.
도 3은 화상 처리 장치(1)의 구성예를 도시하고 있다. 촬상부(11)는 비디오 카메라 등으로 구성되며, 예를 들면, 소정의 방향을 향하고 있는 이용자의 얼굴을 촬상하고, 그 촬상 결과에 의해 얻어지는 도 2의 표시에 대응하는 화상 데이터(이하, 분류 전 화상 데이터라 한다)를 클래스 분류부(12)로 출력한다.
클래스 분류부(12)는 촬상부(11)에 의해 촬상된 화상 데이터를 도 4에 도시하는 바와 같이, 특징 영역(도면 중, 흰 부분) 및 일반 영역(도면 중, 음영으로 되어 있는 부분)으로 분류한다(이하, 특징 영역 및 일반 영역으로 분류된 분류 전 화상 데이터를 특징 영역 분류 화상 데이터라 한다). 그리고, 클래스 분류부(12)는 특징 영역 분류 화상 데이터를 촬상부(11)로부터의 분류 전 화상 데이터와 함께 연산부(13)에 공급한다.
또한, 특징 영역으로서 분류되는 영역은 얼굴의 윤곽, 눈, 코나 입 등, 도 2에 도시하는 바와 같이, 얼굴의 방향이 변함으로써, 평면 상의 그 위치나 형상이 크게 변화하는 얼굴의 부분이다. 한편, 일반 영역으로서 분류되는 영역은 머리 부분이나 이마 등, 얼굴의 방향이 변해도 평면 상의 그 위치나 형상이 그다지 변화하지 않는 얼굴의 부분과, 배경 부분이다.
도 4a는 도 2a가 촬상된 경우에 분류 전 화상 데이터에 근거하여 생성된 특징 영역 분류 화상 데이터의 표시(이하, 특징 영역 분류 화상이라 한다)를 도시하고 있다. 도 4b는 도 2b에 대응하는 분류 전 화상 데이터에 근거하여 생성된 특징 영역 분류 화상 데이터에 의한 특징 영역 분류 화상을 도시하고, 도 4c는 도 2c에 대응하는 분류 전 화상 데이터에 근거하여 생성된 특징 영역 분류 화상 데이터에 의한 특징 영역 분류 화상을 도시하고 있다.
연산부(13)는 클래스 분류부(12)로부터의 분류 전 화상 데이터로부터, 얼굴의 중심점(P1)의 X축 상의 값(X1; 예를 들면, 프레임의 좌측 단으로부터의 화소수)을 결정한다. 또한, 연산부(13)는 클래스 분류부(12)에서의 특징 영역 분류 화상의 특징 영역(도 4 중, 흰 부분)의 중심점(P2)의 X축상의 값(X2)을 결정한다. 더욱이, 연산부(13)는 검출한 값(X1) 및 값(X2)의 차이(D)를 산출하고, 미리 학습 처리에 의해 기억부(14)에 기억되어 있는 도 5에 도시하는 관계 정보 등에 근거하여, 이용자의 얼굴의 방향(각도)을 검출한다. 이 관계 정보의 상세한 것에 대해서는 후술한다.
다음으로, 각도 검출 처리의 처리 순서를 도 6의 플로 차트를 참조하여 설명한다.
화상 처리 장치(1)의 촬상부(11)에 의해, 이용자의 얼굴이 촬상되고, 그 촬상된 화상 데이터가 클래스 분류부(12)에 공급되면, 각도 검출 처리가 시작된다.
스텝(S1)에 있어서, 클래스 분류부(12)는 촬상부(11)로부터 공급된 화상 데이터(1프레임의 화상 데이터)로부터, 도 7에 도시하는 바와 같이, 예를 들면 61화소×61화소의 영역으로 이루어지는 다이내믹 레인지 탭(이하, DR 탭이라 한다)을 추출한다. 스텝(S2)에 있어서, 클래스 분류부(12)는 스텝(S1)에서 추출한 DR 탭 중의 화소의 화소치를 검출하고, 검출한 화소치의 최대치와 최소치를 하기의 식에 대입하여 다이내믹 레인지를 산출한다.
다이내믹 레인지=화소치의 최대치-화소치의 최소치
다음으로, 스텝(S3)에 있어서, 클래스 분류부(12)는 스텝(S2)에서 산출한 다이내믹 레인지가 문턱값(A; 예를 들면, 50)보다 큰지의 여부를 판정한다. 그리고, 큰 경우에는 스텝(S4)으로 진행하여, DR 탭 중의 화소를 특징 영역(도 4 중의 흰 부분)으로 분류하는 한편, 다이내믹 레인지가 문턱값(A)보다 작을 경우에는 클래스 분류부(12)는 스텝(S5)으로 진행하여, DR 탭을 일반 영역(도 4 중, 음영으로 된 부분)으로 분류한다.
스텝(S4)에서 특징 영역으로 또는 스텝(S5)에서 일반 영역으로 DR 탭 중의 화소가 분류된 후, 스텝(S6)으로 진행하여, 클래스 분류부(12)는 분류 전 화상 데이터 중에, DR 탭으로 추출되지 않은 부분 즉 일반 영역 또는 특징 영역으로 분류되어 있지 않지만 그 데이터가 존재하는지의 여부를 판정하고, 존재한다고 판정한 경우, 스텝(S11)으로 돌아가, DR 탭을 새롭게 추출하여, 그 이후의 처리를 실행한다.
스텝(S6)에 있어서, 주목 화소 처리되지 않은 부분이 존재하지 않는다고 판정된 경우, 즉, 촬상부(11)로부터의 분류 전 화상 데이터가 도 4에 도시하는 바와 같이, 특징 영역과 일반 영역으로 분류된 경우, 스텝(S7)으로 진행하여, 클래스 분류부(12)는 그 특징 영역 분류 화상 데이터를 분류 전 화상 데이터와 함께 연산부(13)로 출력한다.
다음으로, 스텝(S8)에 있어서, 연산부(13)는 클래스 분류부(12)로부터 공급된 특징 영역 분류 화상 데이터에 있어서의 특징 영역의 중심점(P2)을 결정하고, 중심점(Pa)의 X좌표(X2)를 구한다. 도 4a의 경우, 값(X2a)이 도 4b의 경우, 값(X2b)이 그리고 도 4c의 경우, 값(X2c)이 검출된다. 또한, 연산부(13)는 클래스 분류부(12)로부터 공급된 분류 전 화상 데이터에 있어서의 이용자의 얼굴의 영역의 중심점(P1)을 결정하여, 중심점(P1)의 X좌표(X1)를 구한다. 도 4a의 경우는 값(X1a)이 도 4b의 경우는 값(X1b)이 그리고 도 4c의 경우는 값(X1c)이 산출된다.
다음으로, 스텝(S9)에 있어서, 연산부(13)는 하기의 식에 따라서, 값(X1)과 값(X2)의 차이(D; 예를 들면, 화소의 수)를 각(X1, X2)의 세트마다 산출한다. 도 4a의 경우는 차이(Da)가 도 4b의 경우는 차이(Db) 값이 그리고 도 4c의 경우는 차이(Dc)가 각각 산출된다.
다음으로, 스텝(S10)에 있어서, 연산부(13)는 기억부(14)에 기억되어 있는각도(V)와 차이(D)의 대응 관계를 도시하는 도 5의 관계 정보를 참조하여, 차이(D)에 대응하는 각도(V)를 검출한다. 도 4a의 경우는 차이(Da)에 대응하는 각도(Va)가, 도 4b의 경우는 차이(Db)에 대응하는 각도(Vb)가 그리고 도 4c의 경우는 차이(Dc)에 대응하는 각도(Vc)가 각각 검출된다. 또한, 도 5 예의 경우, 각도(V)가 양의 값일 때, 얼굴의 방향이 정면에 대해 그 각도분만큼 좌측 방향인 것을 도시하고, 음의 값일 때, 얼굴의 방향이 정면에 대해 그 각도분 만큼 우측 방향인 것을 도시하는 바와 같이 이루어져 있다. 즉, 도 4a의 경우는 이용자의 얼굴이 정면에 대해 각도 │Va│만큼 좌측을 향하고 있는 것이 도 4b의 경우는 이용자의 얼굴이 정면에 대해 각도 │Vb│만큼 좌측을 향하고 있는 것(단, 이 경우, 각도(Vb)는 거의 0도이기 때문에, 거의 정면을 향하고 있는 것이), 또한, 도 4c의 경우는 이용자의 얼굴이 정면에 대해 각도 │Vc│만큼 우측을 향하고 있는 것이 검출되어, 도 2 경우의 이용자의 얼굴의 방향과 일치한다.
여기서, 도 5의 관계 정보는 미리 촬상된 소정 방향을 향하고 있는 이용자의 얼굴의 화상 데이터에 근거하는 차이(D)와, 이용자의 얼굴의 방향(각도)의 대응 관계에 근거하여 생성되어 있다. 도 8은 정면에 대해 약 60도만큼 우측을 향하고 있는 상태에서 정면에 대해 약 40도만큼 좌측을 향하고 있는 상태가 되도록 이동하는 이용자의 얼굴이 소정의 각도마다 촬상되고, 그 촬상에 의해 얻어진 합계 45개의 화상 데이터마다의 차이(D; ○표시)와, 이용자의 얼굴의 방향(각도; △표시)이 도시되어 있다. 즉, 차이(D)와, 얼굴의 방향의 각도가 상관 관계에 있다.
또한, 도 8의 예에서는 화상 데이터 점(Q)은 이용자의 얼굴이 거의 정면을향하고 있는 상태(정면에 대한 각도가 0도인 상태)가 촬상된 경우의 데이터이고, 이 때의 얼굴의 화상의 중심점(P1) 값(X1)은 이 때의 특징 영역의 중심점(P2) 값(X2)과 거의 같은 값이므로, 차이(D)는 거의 0이 되어 있다.
이상과 같이 하여, 본 발명의 제 1 실시예에서는 이용자의 얼굴의 방향의 각도가 검출된다.
눈동자(흑색)의 부분은 그 주위가 흰 동자(백색)나 피부(살색)의 영역이기 때문에, 화소치가 크게 변화하고 있어, 그 다이내믹 레인지는 크다. 즉, 눈동자의 부분은 특징 영역으로 분류된다. 한편, 머리카락 부분은 그 부분(흑색)에 있어서 화소치의 변화가 적어 그 다이내믹 레인지는 작다. 즉, 머리카락 부분은 일반 영역으로 분류된다. 즉, 이와 같이, 소정의 범위(61화소×61화소)의 DR 탭의 다이내믹 레인지를 산출하고, 그 산출 결과에 근거하여 화상 데이터를 분류하도록 했기 때문에, 예를 들면, 모두 흑색인 눈동자의 부분을 특징 영역으로, 머리카락의 부분을 일반 영역으로 분류하는 것이 가능해지고, 특징 영역을 이용한 방향의 검출이 가능해진다.
또한, 이용자의 피부가 검은 경우에도, 눈동자의 부분은 그 주위는 흰 동자의 부분이기 때문에, 이용자의 피부가 흰 경우와 같이, 그 부분은 특징 영역으로 분류된다. 즉, 이용자가 변해도(예를 들면, 피부의 색이 변해도), 눈이나 입 등의 부분은 휘도의 다이내믹 레인지를 검출함으로써 특징 영역으로 분류하는 것이 가능해지고, 이 결과, 이 경우에 있어서도 정확한 얼굴의 방향이 검출된다.
또한, 이상에 있어서는 문턱값(A)를 50으로 한 경우를 예로서 설명했지만,그 값을 예를 들면, 40, 60, 70 또는 80으로 해도, 같은 얼굴의 부분이 특징 영역이 되기 때문에, 얼굴의 화상의 휘도가 전체적으로 작은 경우, 또는 큰 경우에 있어서도, 같은 부분을 특징 영역으로서 추출할 수 있다.
또한, 이상에 있어서는 도 5에 도시한 관계 정보가 참조되어, 차이(D)에 대응하는 각도(V)가 검출되는 경우를 예로서 설명했지만, 차이(D) 및 각도(V)의 관계를 나타내는 식을 이용하여 이용자의 얼굴의 방향을 검출할 수도 있다. 또한, 이상에 있어서는 중심점의 X축 방향의 값(X)을 이용하여, 얼굴의 방향을 검출하는 경우를 예로서 설명했지만, Y축 방향의 값을 이용할 수도 있다. 또한, 이상에 있어서는 이용자의 얼굴의 방향을 검출하는 경우를 예로서 설명했지만, 얼굴의 방향 이외에도, 다른 것(예를 들면 인형 등)의 방향이나 자세를 검출하는 경우에도 적용된다.
여기서, 이 제 1 실시예에 있어서의 화상 처리 장치(1)의 기억부(14)에 기억되어 있는 관계 정보의 학습 처리 방법에 대해서 설명한다.
관계 정보의 생성은 이용자의 방향 정보(각도)와, 이용자의 화상 데이터에 근거하여 행해진다. 방향 정보 화상 데이터를 취득하는 것에 있어서는 이용자와의 위치 관계(각도)가 미리 정해져 있는 화상 처리 장치(1)를 복수개 설치함으로써 효율적이 된다.
그리고, 관계 정보의 생성은 도 13의 플로 차트에 도시하는 순서에 따른 학습 처리에 의해 실행된다.
관계 정보를 생성하기 위한 학습 처리에서는 스텝(S11)에 있어서 각 각도(V)에 대응하는 복수의 화상을 각도(V)와 함께 취득한다.
다음 스텝(S12)에서는 처리하는 화상을 선택한다.
그리고, 선택한 화상에 대해서, 스텝(S13) 내지 스텝(S21)에 있어서, 상술한 도 6의 플로 차트의 스텝(S1 내지 S9)과 같은 처리를 실행한다.
다음 스텝(22)에서는 각도(V)와 상관치(차이; D)를 대응지은 관계 정보를 생성한다.
다음 스텝(S23)에서는 충분한 수의 각도(V)와 상관치(D)의 대응을 취할 수 있는지의 여부를 판정한다. 충분하지 않은 경우에는 상기 스텝(S1)으로 돌아가, 스텝(S11) 내지 S22)의 처리를 반복하여 행한다. 그리고, 충분한 수의 각도(V)와 상관치(D)의 대응을 취할 수 있으면, 관계 정보의 생성을 위한 학습 처리를 종료한다.
관계 정보의 교정은 이용자와의 위치 관계(각도)가 미리 결정되어 있는 화상 처리 장치(1)를 복수 개 설치함으로써 가능해진다.
도 9에 도시하는 예에서는 3개의 화상 처리 장치(1-1 내지 1-3)가 설치되어 있다. 화상 처리 장치(1-2)는 도 10 내지 도 12에 도시하는 바와 같이, 이용자와 대면하는 방향, 이른바, 정면에 배치되어 있다. 화상 처리 장치(1-1)는 이용자의 정면에 대해, 좌측 45도 방향에 배치되어 있다. 화상 처리 장치(1-3)는 이용자의 정면에 대해, 우측 45도 방향에 배치되어 있다.
이로서, 예를 들면, 도 10b에 도시하는 바와 같이, 이용자가 정면을 향하고 있을 때(화상 처리 장치(1-2)와 대면하고 있을 때), 화상 처리 장치(1-1, 1-2, 1-3)의 각각이 스텝(S1 내지 S9)의 처리를 실행하면, 도 10a에 도시하는 바와 같이,화상 처리 장치(1-1)에서는 차이(D1)가 화상 처리 장치(1-2)에서는 차이(D=0)가 그리고 화상 처리 장치(1-3)에서는 차이(D2)가 각각 산출된다. 또한, 화상 처리 장치(1-1)에서는 차이(D1)와 각도(V=45)에 의해 특정되는 점이, 화상 처리 장치(1-2)에서는 차이(D=0)와 각도(V=0)에 의해 특정되는 점이, 또한, 화상 처리 장치(1-3)에서는 차이(D2)와 각도(V=-45)에 의해 특정되는 점이 각각 검출된다. 또한, 이하에 있어서, 이 때 각 화상 처리 장치(1)에서 검출된 점을, 점(P1)으로 기술한다.
다음으로, 도 11b에 도시하는 바와 같이, 이용자가 정면에 대해 좌측 45도 방향을 향하고 있을 때(화상 처리 장치(1-1)와 대면하고 있을 때), 화상 처리 장치(1-1, 1-2, 1-3) 각각이 스텝(S1 내지 S9)의 처리를 실행하면, 도 11a에 도시하는 바와 같이, 화상 장치(1-1)에서는 차이(D=0)가 화상 처리 장치(1-2)에서는 차이(D11)가 그리고 화상 처리 장치(1-3)에서는 차이(D12)가 각각 산출된다. 또한, 화상 처리 장치(1-1)에서는 차이(D=0)와 각도(V=0)에 의해 특정되는 점이, 화상 처리 장치(1-2)에서는 차이(D11)와 각도(V=-45)에 의해 특정되는 점이, 또한, 화상 처리 장치(1-3)에서는 차이(D12)와 각도(V=-90)에 의해 특정되는 점이 각각 검출된다. 또한, 이하에 있어서, 이 때 각 화상 처리 장치(1)에서 검출된 점을, 점(P2)로 기술한다.
다음으로, 도 12b에 도시하는 바와 같이, 이용자가 정면에 대해 우측 45도 방향을 향하고 있을 때(화상 처리 장치(1-3)와 대면하고 있을 때), 화상 처리 장치(1-1, 1-2, 1-3)의 각각이 스텝(S1 내지 S9) 처리를 실행하면, 도 12a에 도시하는 바와 같이, 화상 처리 장치(1-1)에서는 차이(D21)가, 화상 처리 장치(1-2)에서는 차이(D21)가 그리고 화상 처리 장치(1-3)에서는 차이(D=0)가 각각 산출된다. 또한, 화상 처리 장치(1-1)에서는 차이(D21)와 각도(V=-90)에 의해 특정되는 점, 화상 처리 장치(1-2)에서는 차이(D22)와 각도(V=45)에 의해 특정되는 점, 그리고 화상 처리 장치(1-3)에서는 차이(D=0)와 각도(V=0)에 의해 특정되는 점이 각각 검출된다. 또한, 이하에 있어서, 이 때 각 화상 처리 장치(1)에서 검출된 점을 점(P3)으로 기술한다.
이상과 같이 하여, 각 화상 처리 장치(1)에 있어서, 점(P1), 점(P2) 및 점(P3)이 검출되면, 각 화상 처리 장치(1)에 있어서, 그 3점에 근거하여 선형 근사 처리가 실행되고, 그 처리 결과에 의해 관계 정보가 갱신됨으로써, 관계 정보가 교정된다.
또한, 본 발명을 적용한 화상 처리 장치(1)에서는 클래스 분류부(12), 연산부(13) 및 기억부(14)에 의해 다음과 같은 처리를 행하도록 할 수도 있다.
제 2 실시예에 있어서, 클래스 분류부(12)는 화상 처리 장치(1)의 클래스 분류부(12)와 마찬가지로 촬상부(11)로부터의 분류 전 화상 데이터로부터 특징 영역 분류 화상 데이터를 생성한다. 또한, 클래스 분류부(12)는 후술하는 클래스 번호 할당하여 처리를 실행하고, 추출한 특징 영역을 복수의 클래스(이 예의 경우, 16개의 클래스)로 분류한다. 더욱이, 클래스 분류부(12)는 특징 영역의 분류 결과에 근거하여, 도 14에 도시하는 바와 같이, 분류한 클래스의 번호(이 예의 경우, 0번 내지 15번의 클래스 번호)를 구분하여, 그 클래스로 분류된 영역(DR 탭)의 수를 도수로 하는 히스토그램(T)을 생성한다.
기억부(14)에는 이용자의 얼굴이 정면에 대해 우측 90도를 향하고 있는 상태, 정면을 향하고 있는 상태, 그리고 정면에 대해 좌측 90도를 향하고 있는 상태가 각각 촬상되었을 때의 화상 데이터에 대응하는 참조용의 히스토그램(합계 3개의 히스토그램(R1, R2, R3))이 미리 생성되어 기억되어 있다. 도 15는 이용자의 얼굴이 정면에 대해 우측 90도를 향하고 있는 상태가 촬상되었을 때의 화상 데이터에 근거하는 히스토그램(R1)을 도시하고 있다. 도 16은 이용자의 얼굴이 정면을 향하고 있는 상태가 촬상된 경우의 화상 데이터에 근거하는 히스토그램(R2), 그리고 도 17은 이용자의 얼굴이 정면에 대해 좌측 90도를 향하고 있는 상태가 촬상된 경우의 화상 데이터에 근거하는 히스토그램(R3)이 도시되어 있다.
연산부(13)는 클래스 분류부(12)로부터 공급된 히스토그램(T)과, 기억부(14)에 기억되어 있는 각 참조용의 히스토그램(R1, R2, R3)의 상관치를 산출하고, 산출한 상관치에 근거하여 이용자의 얼굴의 방향(각도)을 검출한다.
다음으로, 이 제 2 실시예에 있어서의 각도 검출 처리의 처리 순서를, 도 18의 플로 차트를 참조하여 설명한다.
촬상부(11)에 의해 촬상된 화상 데이터가 클래스 분류부(12)에 공급되었을 때, 스텝(S31)에 있어서, 클래스 분류부(12)는 서술한 제 1 실시예에 있어서의 도6의 스텝(S1 내지 S6)과 동일한 처리를 실행하여, 특징 영역 분류 화상 데이터를 생성한다. 즉, 다이내믹 레인지가 큰 특징 영역(이용자의 얼굴을 특징을 나타내는 부분)이 추출된다.
다음으로, 스텝(S32)에 있어서, 클래스 분류부(12)는 스텝(S21)에서 생성한 특징 영역 분류 화상 데이터의 특징 영역으로부터, 상술한 도 7에 도시한 DR 탭을 추출하고, 스텝(S33)에 있어서, 추출한 DR 탭에 클래스 번호를 할당한다. 이 클래스 번호 할당 처리의 상세한 것은 도 19의 플로 차트에 도시되어 있다.
즉, 스텝(S41)에 있어서, 클래스 분류부(12)는 도 18의 스텝(S22)에서 추출한 DR 탭의 다이내믹 레인지를 도출하고, 스텝(S42)에 있어서, 도출한 다이내믹 레인지를 하기의 식에 대입하여, 문턱값(B)를 산출한다. 또한, DR 탭은 특징 영역 추출시의 DR 탭이어도 된다.
문턱값B=최소치+다이내믹 레인지/K
최소치는 스텝(S22)에서 추출된 DR 탭 내의 화소치의 최소치이고, K는 정수이다.
다음으로, 스텝(S43)에 있어서, 클래스 분류부(12)는 스텝(S32)에서 추출한 DR 탭의 중의, 도 20에 나타내는 클래스 탭에 대응하는 화소의 화소치를 취득한다. 즉, 스텝(S32)에서 추출한 DR 탭의 중심의 화소(C)로부터 상측 방향으로 16화소만큼 떨어져 위치하는 화소(1), 화소(C)로부터 우측 방향으로 16화소만큼 떨어져 위치하는 화소(2), 화소(C)로부터 하측 방향으로 16화소만큼 떨어져 위치하는 화소(3), 그리고 화소(C)로부터 좌측 방향으로 16화소만큼 위치하는 화소(4)를 검출하고, 검출한 4개의 화소(1) 내지 화소(4)의 화소치(휘도)가 취득된다.
스텝(S44)에 있어서, 클래스 분류부(12)는 스텝(S43)에서 취득한 4개의 화소(1) 내지 화소(4)의 각각의 화소치(휘도)에 근거하여, DR 탭에 할당하는 클래스 번호를 결정한다. 이 예에서는 클래스 번호는 도 21에 도시하는 바와 같이, 화소(1)에 대응하는 값이 LSB, 화소(4)에 대응하는 값이 MSB가 되도록 화소(1), 화소(2), 화소(3) 및 화소(4)에 대응하는 값이 배열되어 구성되어 있다. 여기서의 화소에 대응하는 값은 그 화소의 화소치(휘도)가 스텝(S42)에서 산출된 문턱값(B)보다 큰 경우, 1이 되고, 또한 문턱값(B) 이하인 경우, 0이 되는 값이다. 즉, 1개의 화소에 대응하는 값은 0 또는 1인 1비트의 데이터이고, 클래스 번호는 4비트의 데이터가 된다. 즉, ”0000”, 내지 ”1111"의 16개의 데이터가 클래스 번호(0번 내지 15번)가 된다. 또한, 이 예의 경우, 이 DR 탭에는 이 중, 1번 내지 14번의 클래스 번호가 할당된다.
즉, 클래스 분류부(12)는 스텝(S44)에 있어서, 스텝(S43)에서 취득한 화소치(휘도)가 문턱값(B)보다 큰지의 여부를 판정하고, 크다고 판정한 경우, 그 화소에 대응하는 값을 1로, 또한 크지 않다(작다)고 판정한 경우는 그 화소에 대응하는 값을 0으로 설정하며, 최종적으로 4비트의 데이터 (”0000”, 내지 "1111” 중의 1개의 데이터)를 생성하여, 그것을 클래스 번호로 결정한다. 스텝(S45)에 있어서, 클래스 분류부(12)는 스텝(S44)에서 결정한 클래스 번호를 DR 탭에 할당한다.
이렇게, 클래스 탭의 화소치(휘도)의 변화(구배)량에 근거하여 클래스 번호를 설정하도록 했기 때문에, 동일한 화소치(휘도)의 변화(구배)량이 산출된 클래스탭(DR 탭)은 동일한 클래스가 할당된다.
DR 탭에 클래스 번호가 할당되면, 클래스 번호 할당 처리는 완료하여, 도 18의 스텝(S34)으로 진행한다.
스텝(S34)에 있어서, 클래스 분류부(12)는 특징 영역에, 주목 화소로서 처리되지 않은 부분이 존재하는지의 여부를 판정하고, 존재한다고 판정한 경우, 스텝(S32)으로 돌아가, 새로운 DR 탭을 추출하고, 그 이후의 처리를 실행한다.
스텝(S34)에 있어서, 주목 화소로서 처리되지 않은 부분이 존재하지 않는 경우, 즉, 특징 영역으로부터 추출되어야 할 모든 주목 화소에 소정의 클래스 번호가 할당되어, 특징 영역의 각 블록의 분류가 완료한 경우, 스텝(S35)으로 진행한다. 도 22a, b, c는 이와 같이 하여 분류된 특징 영역을 도시하고 있다. 또한, 도 22a는 도 4a에, 도 22b는 도 4b에, 그리고 도 22c는 도 4c에 대응하는 특징 영역 분류 화상 데이터에 근거하여 생성된 특징 영역 분류 화상 데이터의 표시이지만, 이와 같이, 얼굴의 방향이 변하면, 클래스 분류된 특징 영역의 영역(A; A번의 클래스 번호가 할당되는 영역), 영역(B; B번의 클래스 번호가 할당되는 영역), 영역(C; C번의 클래스 번호가 할당되고 영역)의 범위가 변화하고 있는 것을 알 수 있다. 또한, 도 22는 간단함을 위해서, 특징 영역이 3개의 클래스로 분류된 경우의 표시이지만, 이와 같이, 얼굴의 방향이 다름으로써, 얼굴의 같은 위치(얼굴의 어떤 부분)의 화소가 분류되는 클래스가 변화한다.
스텝(S35)에 있어서, 클래스 분류부(12)는 스텝(S33)에서의 특징 영역의 분류 결과에 근거하여, 도 14에 도시한 바와 같은 히스토그램(T)을 생성하여,연산부(13)에 공급한다. 이 히스토그램(T)에서는 1번(”0001") 내지 15번 (”11 10")의 14개의 클래스 번호마다, 그 클래스 번호가 할당된 DR 탭의 수가 도수로서 나타내지고 있다.
스텝(S36)에 있어서, 연산부(13)는 스텝(S35)에서 생성한 히스토그램(T)과 기억부(14)에 기억되어 있는 히스토그램(R1, R2, R3)의 상관치를, 하기의 정규 상관식에 따라서 각각 산출한다. 즉, 이 예의 경우, 3개의 상관치(W1, W2, W3)가 다음 식(2)에 의해 산출된다.
i(=1, 2, 3···14)는 클래스 번호를 나타내고, Ti는 스텝(S35)에서 생성된 히스토그램(T)의 i번의 클래스 번호의 도수를 나타내고, 평균치(T)는 특징 영역의 화소수를 클래스 수로 나눈 값이고, 히스토그램(T)의 도수의 평균치를 나타낸다. Ni는 히스토그램(T)의 상관치가 구해지는 기억부(14)에 기억되어 있는 히스토그램(R)의 i번의 클래스 번호의 도수를 나타내고, 평균치(N)는 그 히스토그램(R)의 도수의 평균을 나타낸다.
스텝(S37)에 있어서, 연산부(13)는 스텝(S36)에서 산출한 3개의 상관치(W1, W2, W3)에 근거하여 이용자의 얼굴의 방향(각도)을 검출한다. 예를 들면, 도 23에 도시하는 바와 같이, 소정의 방향을 향하고 있는 이용자의 얼굴을 촬상하고, 그 화상 데이터로부터 생성된 히스토그램(T)과, 히스토그램(R1, R2, R3)의 상관치(W1, W2, W3; 3개의 상관치)를 미리 산출하고 두고, 스텝(S36)에서 산출된 3개의 상관치(W1, W2, W3)와 각각 비교함으로써, 이용자의 얼굴의 방향(각도)을 검출할 수 있다. 비교 방법으로는 예를 들면, 히스토그램(Ri,)과의 상관치(Wi)와 스텝(S36)에서 산출된 상관치(Wi')로부터 Σ│Wi-Wi'│의 식에 의해 구해지는 값이 최소가 되는 각도를 선택한다. 도 23은 정면에 대해 약 90도만큼 우측을 향하고 있는 상태에서 정면에 대해 약 90도만큼 좌측을 향하고 있는 상태로, 이용자의 얼굴을 이동시키고, 소정의 각도마다 촬상하여 얻어진 합계 45개의 화상 데이터마다, 그 때의 상관치(W1, W2, W3)를 플롯한 것이다.
이상과 같이 하여, 이용자의 얼굴의 방향(각도)이 검출되지만, 이 히스토그램(T)은 예를 들면, 촬상부(11)에 대한 얼굴의 위치(얼굴의 화상의 프레임 상의 위치)가 달라도 또는 얼굴의 화상의 프레임상의 각도가 달라도(예를 들면, 상하가 반대이어도), 촬상되는 이용자의 얼굴의 방향이 같으면, 동일한 히스토그램(T)이 생성되고, 결국, 검출되는 이용자의 얼굴의 방향(각도)은 동일해진다. 또한, 이용자의 얼굴과 촬상 장치(11)의 거리가 다른 경우에 있어서도, 즉, 촬상 결과에 의해 얻어진 화상이 작은 경우나 큰 경우에 있어서도, 이용자의 얼굴의 방향이 동일하면, 생성되는 히스토그램(T)은 각 구분의 도수가 균일하게 많아지거나 적어지거나 할 뿐이고, 같은 형태의 도수 분포 상태를 보이기 때문에, 이 경우에 있어서도, 정규 상관식에 의해 산출되는 상관치는 같은 값이 되어, 결국, 검출되는 이용자의 얼굴의 방향(각도)은 동일하다. 즉, 템플릿 매칭법의 경우와 같이, 특별한 서치 영역을 설치하여 그 부분을 상세하게 서치하는 처리가 필요 없어, 방향(각도)을 용이하게 검출할 수 있다.
또한, 이 예의 경우, DR 탭과 클래스 탭이 다른 패턴인 경우를 예로서 설명하였지만, 같은 패턴으로 할 수도 있다.
여기서, 이 제 2 실시예에 있어서의 화상 처리 장치(1)의 기억부(14)에 기억되어 있는 관계 정보를 생성하기 위한 학습 처리 방법에 대해서 설명한다.
관계 정보 생성은 이용자의 방향 정보(각도)와, 이용자의 화상 데이터에 근거하여 행해진다. 방향 정보 화상 데이터를 취득하는 것에 있어서는 이용자와의 위치 관계(각도)가 미리 정해져 있는 화상 처리 장치(1)를 복수개 설치함으로써 효율적이 된다.
그리고, 관계 정보의 생성은 도 24의 플로 차트에 나타내는 순서에 따른 학습 처리에 의해 실행된다.
관계 정보를 생성하기 위한 학습 처리에서는 스텝(S51)에 있어서 각 각도(V)에 대응하는 복수의 화상을 각도(V)와 함께 취득한다.
다음 스텝(S52)에서는 처리하는 화상을 선택한다.
그리고, 선택한 화상에 대해서, 스텝(S53) 내지 S57)에 있어서, 상술한 도 18의 플로 차트의 스텝(S31 내지 S35)과 동일한 처리를 실행하여, 히스토그램(T)을 생성한다.
다음 스텝(S59)에서는 모든 화상에 대해 히스토그램을 작성했는지의 여부를 판정한다. 미처리 화상이 있는 경우에는 상기 스텝(S51)으로 돌아가, 스텝(S51) 내지 S58)의 처리를 반복하여 행한다. 그리고, 모든 화상에 대해서 히스토그램을 작성하면 다음 스텝(S59)으로 진행한다.
스텝(S59)에서는 대표적인 각도의 화상의 히스토그램을 Ri, 각 각도마다 취득한 히스토그램을 Tj로 하여, 각 히스토그램(Ri)과 모든 히스토그램(Tj)의 상관치(Wij)를 산출한다.
다음 스텝(S60)에서는 각도(V)와 상관치의 대응을 나타내는 관계 정보를 각 히스토그램(Ri)마다 생성한다.
그리고, 다음 스텝(S61)에서는 각 히스토그램(Ri)마다, 모든 각도(V)에서 관계 정보를 생성했는지의 여부를 판정한다. 생성하지 않은 관계 정보가 있는 경우에는 상기 스텝(S60)으로 돌아가, 스텝(S60) 및 스텝(S61)의 처리를 반복하여 행한다. 그리고, 모든 각도(V)에서 관계 정보를 생성하면, 학습 처리를 종료한다.
이렇게 가중 계수(Wi)를 설정하여 학습 처리를 종료한다.
또한, 본 발명을 적용한 화상 처리 장치(1)에서는 클래스 분류부(12), 연산부(13) 및 기억부(14)에 의해, 다음과 같은 처리를 행하도록 할 수도 있다.
이 제 3 실시예에 있어서, 클래스 분류부(12)는 상술한 제 1 실시예에 있어서의 화상 처리 장치(1)의 클래스 분류부(12)와 마찬가지로 촬상부(11)로부터의 분류 전 화상 데이터로부터 특징 영역 분류 화상 데이터를 생성한다.
또한, 클래스 분류부(12)는 생성한 특징 영역 분류 화상 데이터에 대해 클래스 번호 할당 처리를 실행하여, 특징 영역 분류 화상 데이터의 특징 영역을 도 22에 도시하는 바와 같이 더욱 복수의 클래스로 분류한다. 또한, 이 예의 경우, 특징 영역은 0번 내지 15번의 16개 클래스로 분류되지만, 도 22에는 간단함을 위해 특징 영역이 영역(A 내지 C)의 3개 영역으로 분류되어 있을 경우의 특징 영역 분류 화상 데이터 표시가 도시되어 있다.
더욱이, 클래스 분류부(12)는 이 특징 영역 분류 화상 데이터에 근거하여 분류한 클래스 번호(이 예의 경우, 0번 내지 15번)마다를 구분으로 하여, 그 클래스로 분류된 부분(DR 탭 영역)의 수(빈도)를 도수로 하는 상술한 도 14에 도시한 히스토그램과 동일한 히스토그램(T)을 생성한다. 클래스 분류부(12)는 특징 영역 분류 화상 데이터, 히스토그램(T) 및 분류 전 화상 데이터를 연산부(13)에 공급한다.
연산부(13)는 클래스 분류부(12)로부터 공급된 특징 영역 분류 화상 데이터, 히스토그램(T) 및 분류 전 화상 데이터에 근거하여 후술하는 얼굴 방향과의 대응치를 산출함과 함께 기억부(14)에 기억되어 있는 예를 들면 도 25에 도시하는 바와 같은 관계 정보에 근거하여 이용자의 얼굴 방향(정면에 대한 각도)을 검출한다. 또한, 관계 정보 생성에 대해서는 후술한다.
다음으로, 이 제 3 실시예에 있어서의 각도 검출 처리의 처리 순서를 도 26의 플로 차트를 참조하여 설명한다.
촬상부(11)에 의해 이용자의 얼굴 부분이 촬상된 화상 데이터가 클래스 분류부(12)에 공급되면, 스텝(S71 내지 S75)에 있어서, 클래스 분류부(12)는 상술한 제 2 실시예에 있어서의 도 18의 스텝(S31 내지 S35)에 있어서의 경우와 동일한 처리를 실행하여, 상술한 도 14에 도시한 바와 같은 히스토그램(T)을 생성한다. 이 히스토그램(T)에는 1번("0001") 내지 14번("1110")의 14개 클래스 번호마다 그 클래스 번호가 할당된 DR 탭의 수(빈도)가 도수로서 나타나 있다. 또한, 이 예의 경우, 후술하는 스텝(S77)에 있어서의 대응치 산출에는 이 0번과 15번의 도수는 이용되지 않는다.
스텝(S76)에 있어서, 클래스 분류부(12)는 분류 전 화상 데이터, 스텝(S74)에서 생성한 특징 영역 분류 화상 데이터 및 스텝(S75)에서 생성한 히스토그램(T)을 연산부(13)에 공급한다.
다음으로, 스텝(S77)에 있어서, 연산부(13)는 분류 전 화상 데이터로부터 얼굴 화상의 중심점의 X축 상의 값(X1)을 산출하여(도 2), 식 (3)에 근거하여 각도(V)를 산출한다.
식 (3) 중, 값(Di)(i=1, 2, 3, ···15)은 얼굴 화상의 중심점 값(X1)과, i번의 클래스 번호가 할당된 영역의 중심점의 X축 상의 값(X2i)과의 차이이다. Ci는 히스토그램(T)에 있어서의 i번의 클래스 번호 구분에 대응하는 도수이다. Wi는 각 클래스 번호마다 미리 설정된 가중 계수이다.
가중 계수(Wi)에 대해서 부가로 설명하면, 가중 계수(Wi)는 클래스 번호가 할당된 영역의 값(X2i)과 얼굴 화상 상의 값(X1)과의 차이(D2)와, Ci×Di와, 얼굴 방향 각도(V)(후술하는 학습 처리에 의해 얻은 얼굴 방향 각도)의 상관 관계 강도에 의해 설정되는 값으로, 그 상관 관계가 강한 경우, 가중 계수(Wi)에는 큰 값(예를 들면, 1)이 설정되며, 상관 관계가 약한 경우, 작은 값(예를 들면, 0)이 설정된다.
얼굴 방향의 변화에 따라 그 범위가 변화하는 영역(예를 들면, 도 22 중의 영역(A))에 있어서의 중심점 값(X2)과 얼굴의 중심점 값(X2)의 차이(D)와 도수(C)와 각도(V)로 정해지는 점의 분포를 생각한다. 도 27a에 도시하는 바와 같이, (차이(D)×도수(C))와 각도(V)로 정해지는 점의 분포가 직선 상에 놓일 경우, (차이(D)×도수(C))와 각도(V)는 강한 상관 관계에 있다. 이렇게 (차이(D)×도수(C))와 각도(V)가 강한 상관 관계에 있을 경우, 그 영역에 할당된 클래스 번호의 가중 계수(W)에는 큰 값이 설정된다. 한편, 도 27b에 도시하는 바와 같이, (차이(D)×도수(C))와 각도(V)로 정해지는 점이 크게 분산하고 있을 경우, (차이(D)×도수(C))와 각도(V)는 약한 상관 관계에 있다. 이렇게 (차이(D)×도수(C))와 각도(V)가 약한 상관 관계에 있을 경우, 그 영역에 할당된 클래스 번호의 가중 계수(W)에는 작은 값이 설정된다.
또한, 도 27은 정면에 대해 약 60도만큼 우측을 향하고 있는 상태(+60)로부터 정면에 대해 약 60도만큼 좌측을 향하고 있는 상태(-60)에 이용자의 얼굴 방향이 변화하고 있을 때, 예를 들면 소정 각도마다 얼굴이 촬상되며, 그 촬상에 의해얻어진 화상 데이터에 근거하여 산출된 차이(D)와, 그 때의 학습 처리에 의해 얻은 얼굴 방향 각도에 근거하여 생성된 것이다.
이상과 같이 하여, 이용자의 얼굴 방향(각도)이 검출되면 처리는 종료한다.
또한, 이상에 있어서는 식 (3)에 근거하여 각도(V)를 산출하는 경우를 예로서 설명했지만, 식 (4)에 근거하여, 각도(V)를 산출하도록 할 수도 있다.
또한, 이 예의 경우에도 DR 탭과 클래스 탭이 다른 패턴인 경우를 예로서 설명했지만, 동일 패턴으로 할 수도 있다.
또한, 이상에 있어서는 중심점의 X축 방향 값(X)을 이용하여, 얼굴 방향을 검출할 경우를 예로서 설명했지만, 중심점의 Y축 방향 값을 이용할 수도 있다.
또한, 이상과 같이 얼굴 화상 상의 중심점과, 특징 영역 상의 클래스 번호가 할당된 영역의 중심점의 위치 관계에 근거하여, 얼굴 방향이 검출되기 때문에, 얼굴 위치가 달라도 얼굴 방향이 정확하게 검출된다. 또한, 얼굴 방향과 강한 상관 관계를 갖는 영역의 가중 계수(W)에 큰 값을 설정하고, 약한 상관 관계를 갖는 영역의 가중 계수(W)에 작은 값을 설정하도록 하여 대응치를 산출하도록 했기 때문에, 얼굴 각도가 정밀도 좋게 검출된다.
또한, 히스토그램(T)은 예를 들면, 얼굴 화상의 화상 상의 위치가 달라도(예를 들면, 평행 이동되어 있어도) 또는 얼굴 화상이 회전하고 있어도(예를 들면, 상하가 반대로 되어 있어도), 즉, 얼굴의 표시 상태가 변화해도 촬상되는 이용자의 얼굴 방향이 동일하면, 거의 동일한 히스토그램(T)이 생성된다. 즉, 템플릿 매칭법의 경우와 같이 특별한 서치 영역을 설치하여 그 부분을 상세하게 서치하는 처리를 필요로 하지 않고, 방향(각도)을 용이하게 검출할 수 있다.
이 제 3 실시예에 있어서의 화상 처리 장치(1)의 기억부(14)에 기억되어 있는 관계 정보가 생성하기 위한 학습 처리는 다음과 같이 하여 행해진다.
관계 정보가 생성하기 위한 학습 처리는 이용자의 방향 정보(각도)와, 이용자의 화상 데이터에 근거하여 행해진다. 방향 정보 화상 데이터를 취득함에 있어서는 이용자와의 위치 관계(각도)가 미리 정해져 있는 화상 처리 장치(1)를 복수 개 설치함으로써 효율적이 된다.
그리고, 관계 정보 생성은 도 28의 플로 차트에 도시하는 수순에 따른 학습 처리에 의해 실행된다.
관계 정보를 생성하기 위한 학습 처리에서는 스텝(S81)에 있어서 각 각도(V)에 대응하는 복수의 화상을 각도(V)와 함께 취득한다.
다음 스텝(S82)에서는 처리하는 화상을 선택한다.
그리고, 선택한 화상에 대해서, S83 내지 스텝(S88)에 있어서, 상술한 도 26의 플로 차트의 스텝(S71 내지 S76)과 동일한 처리를 실행한다.
다음의 스텝(89)에서는 모든 각도(V)에서 이상의 처리를 행했는지의 여부를 판정한다. 미처리 각도가 있을 경우에는 상기 스텝(S81)으로 돌아가, S81 내지 S89) 처리를 반복하여 행한다. 그리고, 모든 각도(V)에서 이상의 처리가 행해지면,스텝(S90)으로 진행한다.
스텝(S90)에서는
이 되도록 각 가중 계수(Wi)를 설정한다. 여기서, Di는 화상의 중심 상관치로, Ci는 히스토그램(T)에 있어서의 i번의 클래스 번호 구분에 대응하는 도수이다. 학습 처리 시에는 정확한 각도(V)와 특징량(Ci×Di)을 동시에 입수할 수 있기 때문에, 예를 들면, 정확한 각도(V)와 특징량(Ci×Di)과의 상관을 계산하여, 그 값을 키 신호로서 미리 설정한 상관치와 가중 계수의 대응 테이블로부터 가중 계수(Wi)를 결정한다. 최소 제곱법으로 가중 계수(Wi)를 결정할 수도 있다.
상관법에서는 예를 들면 도 29의 플로 차트에 도시하는 수순에 따라서 가중 계수(Wi)를 정한다.
스텝(S101)에서는 클래스(I)의 각도(V)와 특징량(Ci×Di)과의 상관치를 계산한다.
스텝(S102)에서는 스텝(S101)에서 산출된 상관치의 순위 매김을 행한다.
스텝(S103)에서는 상관치와 무게 계수의 대응 테이블로부터 무게 계수(Wi)를 설정한다.
스텝(S104)에서는 모든 클래스에 대해서 처리를 행했는지의 여부를 판정한다. 처리해야 할 클래스가 있을 경우에는 상기 스텝(Sl01)으로 돌아가, 다음 클래스에 대해서 스텝(S101 내지 S104) 처리를 반복하여 행하며, 각 클래스의 무게 계수(Wi)를 설정한다.
또한, 최소 제곱법에서는 예를 들면 도 30의 플로 차트에 도시하는 수순에 따라서 가중 계수(Wi)를 정한다.
스텝(S111)에서는 각도(V)와 특징량(Ci×Di)을 정규 방정식에 넣는다.
스텝(S112)에서는 모든 샘플에 대해서 스텝(S111) 처리를 행했는지의 여부를 판정한다. 처리해야 할 샘플이 있을 경우에는 스텝(S111)으로 돌아가, 스텝(S111 및 S112) 처리를 반복하여 행한다. 그리고, 모든 샘플에 대해서 스텝(S111) 처리을 행하면, 스텝(S113)으로 진행한다.
스텝(S113)에서는 모든 샘플에 대해서 각도(V)와 특징량(Ci×Di)이 들어간 정규 방정식을 예를 들면 코레스키 분해법을 사용하여 푼다.
그리고, 스텝(S114)에서는 정규 방정식을 품으로써 얻어진 가중 계수를 설정한다.
여기서, 상술한 각 실시예에 있어서, 특징 영역 추출은 복수의 화소 단위로 행하고 있지만 화소마다 행해도 된다. 또한, 클래스 분류에 대해서도 동일하다.
또한, 상술한 각 실시예에 있어서의 각 일련의 처리는 하드웨어에 의해 실행시킬 수도 있지만, 소프트웨어에 의해 실행시킬 수도 있다. 일련의 처리를 소프트웨어에 의해 실행시킬 경우에는 그 소프트웨어를 구성하는 프로그램이 전용 하드웨어로서의 화상 처리 장치(1)에 설치되어 있는 컴퓨터 또는 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한 예를 들면 범용 컴퓨터 등에 인스톨된다.
다음으로, 도 31을 참조하여, 상술한 일련의 처리를 실행하는 프로그램을 컴퓨터에 인스톨하여, 컴퓨터에 의해 실행 가능한 상태로 하기 위해 사용되는 기록 매체에 대해서, 그 컴퓨터가 범용 컴퓨터인 경우를 예로 하여 설명한다.
프로그램은 도 31a에 도시하는 바와 같이, 컴퓨터(101)에 내장되어 있는 기록 매체로서의 하드 디스크(102)나 반도체 메모리(103)에 미리 인스톨한 상태에서 유저에게 제공할 수 있다.
혹은 또, 프로그램은 도 31b에 도시하는 바와 같이, 플로피 디스크(111), CD-ROM(Compact Disk Read 0nly Memory)(112), MO(Magneto-0ptical) 디스크(113), DVD(Digital Versatile Disk)(114), 자기 디스크(115), 반도체 메모리(116) 등의 기록 매체에 일시적 혹은 영속적으로 격납하여 패키지 소프트웨어로서 제공할 수 있다.
더욱이, 프로그램은 도 31c에 도시하는 바와 같이, 다운로드 사이트(121)로부터 디지털 위성 방송용 인공 위성(122)을 개재시켜 컴퓨터(101)에 무선으로 전송하거나 로컬 영역 네트워크, 인터넷과 같은 네트워크(131)를 개재시켜 컴퓨터(101)에 유선으로 전송하며, 컴퓨터(101)에 있어서, 내장하는 하드 디스크(102) 등에 격납시킬 수 있다.
본 명세서에 있어서의 기록 매체란 이들 모든 매체를 포함하는 광의의 개념을 의미하는 것이다.
컴퓨터(101)는 예를 들면, 도 32에 도시하는 바와 같이, CPU(Central Processing Unit)(142)를 내장하고 있다. CPU(142)에는 버스(141)를 개재시켜 입출력 인터페이스(145)가 접속되어 있으며, CPU(142)는 입출력 인터페이스(145)를 개재시켜 유저로부터 키보드, 마우스 등으로 이루어지는 입력부(147)로부터 지령이 입력되면, 그에 대응하여, 도 31a의 반도체 메모리(103)에 대응하는 R0M(Read 0nly Memory)(143)에 격납되어 있는 프로그램을 실행한다. 또는, CPU(142)는 하드 디스크(102)에 미리 격납되어 있는 프로그램, 위성(122) 혹은 네트워크(131)로부터 전송되고, 통신부(148)에 의해 수신되며, 더욱이 하드 디스크(102)에 인스톨된 프로그램 또는 드라이브(149)에 장착된 플로피 디스크(111), CD-ROM(112), MO 디스크(113), DVD(114) 혹은 자기 디스크(115)로부터 판독되며, 하드 디스크(102)에 인스톨된 프로그램을 RAM(Ramdom Access Memory)(144)에 로드하여 실행한다. 더욱이, CPU(142)는 그 처리 결과를 예를 들면, 입출력 인터페이스(145)를 개재시켜, LCD(Liquid Crystal Display) 등으로 이루어지는 표시부(146)에 필요에 따라서 출력한다.
또한, 본 명세서에 있어서, 기록 매체에 의해 제공되는 프로그램을 기술하는 스텝은 기재된 순서를 따라 시계열적으로 행해지는 처리는 물론, 반드시 시계열적으로 처리되지 않아도 병렬적 혹은 개별로 실행되는 처리도 포함하는 것이다.
또한, 본 명세서에 있어서, 시스템이란 복수의 장치에 의해 구성되는 장치전체를 나타내는 것이다.

Claims (67)

  1. 화상 데이터 내의 대상물의 화상 영역으로부터 상기 대상물의 화상 영역 내의 주목 화소 근방의 화소의 휘도 분포에 근거하여, 특징 영역을 추출하는 추출 수단과,
    상기 특징 영역 중심과 상기 대상물의 화상 영역 중심과의 상관을 중심 상관치로서 산출하는 중심 상관치 산출 수단과,
    상기 중심 상관치에 근거하여, 상기 대상물의 방향을 판정하는 방향 판정 수단을 갖는 것을 특징으로 하는 화상 처리 장치.
  2. 제 1 항에 있어서,
    상기 추출 수단은 상기 대상물의 화상 영역 내의 상기 주목 화소 위치에 따라서, 상기 대상물의 화상 영역으로부터 복수의 화소를 다이내믹 레인지(DR) 탭으로서 추출하는 DR 탭 추출 수단과, 상기 DR 탭의 다이내믹 레인지를 산출하는 다이내믹 레인지 산출 수단과, 상기 다이내믹 레인지 값이 소정 값보다 클 경우, 상기 주목 화소를 상기 특징 영역 내의 화소로서 추출하는 특징 영역 추출 수단을 갖는 것을 특징으로 하는 화상 처리 장치.
  3. 제 1 항에 있어서,
    상기 방향 판정 수단은 상기 중심 상관치와 상기 대상물 방향과의 관계를 나타내는 관계 정보를 참조하여, 상기 대상물 방향을 판정하는 것을 특징으로 하는 화상 처리 장치.
  4. 제 1 항에 있어서,
    상기 중심 상관치 산출 수단은 상기 특징 영역의 중심 위치와, 상기 대상물의 화상 영역 중심 위치와의 차이에 근거하여, 상기 중심 상관치를 산출하는 것을 특징으로 하는 화상 처리 장치.
  5. 주목 화소 근방의 화소의 휘도 분포에 근거하여, 화상 데이터 내의 대상물의 화상 영역으로부터 특징 영역을 추출하는 추출 수단과,
    상기 특징 영역 내의 각 화소를 복수의 클래스 1개로 분류하는 클래스 분류 수단과,
    상기 클래스 분류 수단으로 분류된 각 클래스에 있어서의 화소의 도수 분포를 대상물 도수 분포로서 생성하는 도수 분포 생성 수단과,
    상기 대상물 도수 분포에 근거하여, 상기 대상물 방향을 판정하는 방향 판정 수단을 갖는 것을 특징으로 하는 화상 처리 장치.
  6. 제 5 항에 있어서,
    상기 추출 수단은 상기 대상물의 화상 영역 내의 상기 주목 화소의 위치에 따라서, 상기 대상물의 화상 영역으로부터 복수의 화소를 DR 탭으로서 추출하는 DR탭 추출 수단과, 상기 DR 탭의 다이내믹 레인지를 산출하는 다이내믹 레인지 산출 수단과, 상기 다이내믹 레인지 값이 소정 값보다 클 경우, 상기 주목된 화소를 상기 특징 영역 내의 화소라 판단함으로써, 상기 특징 영역을 추출하는 특징 영역 추출 수단을 갖는 것을 특징으로 하는 화상 처리 장치.
  7. 제 5 항에 있어서,
    상기 방향 판정 수단은 상기 클래스 분류 수단으로써 분류된 각 클래스마다 각 클래스 내의 화소로 이루어지는 영역의 중심을 산출하는 중심 산출 수단과, 상기 대상물의 화상 영역 중심을 산출하는 대상물 중심 산출 수단과, 각 클래스마다 상기 특징 영역의 중심과 상기 대상물의 화상 영역 중심과의 상관을 중심 상관치로서 산출하는 중심 상관치 산출 수단과, 상기 각 클래스마다의 중심 상관치와 상기 대상물 도수 분포에 근거하여, 상기 대상물의 방향을 판정하는 대상물 방향 판정 수단을 갖는 것을 특징으로 하는 화상 처리 장치.
  8. 제 7 항에 있어서,
    상기 대상물 방향 산출 수단은 각 클래스마다 상기 중심 상관치와 상기 대상물 도수 분포 내의 각 클래스에 대응하는 도수와 미리 설치된 가중 계수와의 연산을 행하며, 각 클래스마다의 연산 결과를 가산함으로써, 상기 대상물의 방향을 산출하는 것을 특징으로 하는 화상 처리 장치.
  9. 제 8 항에 있어서,
    상기 연산은 다음 식에 의해 행해지는 것을 특징으로 하는 화상 처리 장치.
  10. 제 8 항에 있어서,
    상기 연산은 각 클래스(i)마다 가중 계수를 Wij(j는 정수), 중심 상관치를 Ci, 도수를 Di로 하면, 이하의 식에 의해 행해지는 것을 특징으로 하는 화상 처리 장치.
  11. 제 5 항에 있어서,
    상기 방향 판정 수단은 대표적인 방향에 있어서, 각 클래스에 있어서의 상기 특징 영역 내의 화소의 도수를 나타내는 판정 도수 분포를 격납한 격납 수단과, 상기 대상물 도수 분포와 상기 판정 도수 분포와의 상관을 도수 분포 상관치로서 도출하는 도수 분포 상관치 도출 수단과, 상기 도수 분포 상관치에 근거하여, 상기 대상물의 방향을 판정하는 대상물 방향 판정 수단을 갖는 것을 특징으로 하는 화상 처리 장치.
  12. 제 11 항에 있어서,
    상기 대상물 방향 판정 수단은 상기 대상물의 방향과 상기 도수 분포 상관치와의 관계를 나타내는 방향 판단 정보를 격납한 정보 격납 수단과, 상기 방향 판단 정보를 참조하여 상기 도수 분포 상관치에 근거하여 상기 대상물의 방향을 판정하는 상관 방향 판정 수단을 특징으로 하는 화상 처리 장치.
  13. 제 5 항에 있어서,
    상기 방향 판정 수단은 소정수의 대표적인 방향마다 각 클래스에 있어서의 상기 특징 영역 내의 화소의 도수를 나타내는 판정 도수 분포를 격납한 격납 수단과, 상기 대상물 도수 분포 각각과 상기 판정 도수 분포와의 상관을 도수 분포 상관치로서, 상기 소정수의 대표적인 방향마다 도출하는 도수 분포 상관치 도출 수단과, 상기 소정수의 대표적인 방향마다의 상기 도수 분포 상관치에 근거하여, 상기 대상물의 방향을 판정하는 대상물 방향 판정 수단을 갖는 것을 특징으로 하는 화상 처리 장치.
  14. 제 13 항에 있어서,
    상기 대상물 방향 판정 수단은 상기 대상물 방향과, 상기 대표적인 방향마다의 상기 도수 분포 상관치 각각과의 관계를 나타내는 방향 판단 정보를 격납한 정보 격납 수단과, 상기 방향 판단 정보를 참조하여 상기 도수 분포 상관치에 근거하여 상기 대상물 방향을 판정하는 상관 방향 판정 수단을 갖는 특징으로 하는 화상 처리 장치.
  15. 제 13 항에 있어서,
    상기 대상물 방향 판정 수단은 상기 대상물 방향과 상기 도수 분포 상관치와의 관계를 나타내는 방향 판단 정보를 격납한 정보 격납 수단과, 상기 방향 판단 정보를 참조하여 상기 도수 분포 상관치에 근거하여 상기 대상물 방향을 판정하는 상관 방향 판정 수단을 갖는 것을 특징으로 하는 화상 처리 장치.
  16. 대상물의 방향을 검출하는 방향 검출 수단과,
    상기 대상물의 각 방향에 대응하는 화상 데이터 내의 상기 대상물의 화상 영역으로부터 상기 화상 데이터 내의 주목 화소 근방 화소의 휘도 분포에 근거하여, 특징 영역을 추출하는 추출 수단과,
    상기 특징 영역 중심과 상기 대상물의 화상 영역 중심과의 상관을 중심 상관치로서 산출하는 중심 상관치 산출 수단과,
    상기 중심 상관치와 상기 대상물 방향을 대응지은 관계 정보를 생성하는 관계 정보 생성 수단을 갖는 것을 특징으로 하는 화상 처리 장치.
  17. 제 16 항에 있어서,
    상기 추출 수단은 상기 대상물의 화상 영역 내의 상기 주목 화소의 위치에따라서, 상기 대상물의 화상 영역으로부터 복수의 화소를 DR 탭으로서 추출하는 DR 탭 추출 수단과, 상기 DR 탭의 다이내믹 레인지를 산출하는 다이내믹 레인지 산출 수단과, 상기 다이내믹 레인지 값이 소정 값보다 클 경우, 상기 주목 화소를 상기 특징 영역 내의 화소로서 추출하는 특징 영역 추출 수단을 갖는 것을 특징으로 하는 화상 처리 장치.
  18. 제 16 항에 있어서,
    상기 중심 상관치 산출 수단은 상기 특징 영역의 중심 위치와, 상기 대상물의 화상 영역 중심 위치와의 차이에 근거하여, 상기 중심 상관치를 산출하는 것을 특징으로 하는 화상 처리 장치.
  19. 대상물의 방향을 검출하는 방향 검출 수단과,
    상기 대상물의 각 방향에 대응하는 화상 데이터 내의 주목 화소 근방의 화소의 휘도 분포에 근거하여, 상기 화상 데이터 내의 대상물의 화상 영역으로부터 특징 영역을 추출하는 추출 수단과,
    상기 특징 영역 내의 각 화소를 복수의 클래스 1개로 분류하는 클래스 분류 수단과,
    상기 클래스 분류 수단으로써 분류된 각 클래스에 있어서의 화소의 도수 분포를 판정 도수 분포로서 생성하는 도수 분포 생성 수단과,
    상기 클래스 분류 수단으로써 분류된 각 클래스마다 각 클래스 내의 화소로이루어지는 영역의 중심을 각 클래스마다 산출하는 중심 산출 수단과,
    상기 대상물의 화상 영역 중심을 산출하는 대상물 중심 산출 수단과,
    각 클래스마다 상기 특징 영역 중심과 상기 대상물의 중심과의 상관을 중심 상관치로서 산출하는 중심 상관치 산출 수단과,
    상기 각 클래스마다의 중심 상관과 상기 판정 도수 분포와 상기 대상물의 방향에 근거하여, 관계 정보치를 산출하는 산출 수단을 갖는 것을 특징으로 하는 화상 처리 장치.
  20. 제 19 항에 있어서,
    상기 추출 수단은 상기 대상물의 화상 영역 내의 상기 주목 화소 위치에 따라서, 상기 대상물의 화상 영역으로부터 복수의 화소를 DR 탭으로서 추출하는 DR 탭 추출 수단과, 상기 DR 탭의 다이내믹 레인지를 산출하는 다이내믹 레인지 산출 수단과, 상기 다이내믹 레인지 값이 소정 값보다 클 경우, 상기 주목 화소를 상기 특징 영역 내의 화소로서 추출하는 특징 영역 추출 수단을 갖는 것을 특징으로 하는 화상 처리 장치.
  21. 제 20 항에 있어서,
    상기 연산은 다음 식에 의해 행해지는 것을 특징으로 하는 화상 처리 장치.
  22. 상기 연산은 각 클래스(i)마다 가중 계수를 wij(j는 정수), 중심 상관치를 Ci, 도수를 Di로 하면, 이하의 식에 의해 행해지는 것을 특징으로 하는 화상 처리 장치.
  23. 복수의 방향으로부터 촬상하여 얻은 화상 데이터를 방향 정보와 관련지어 취득하는 화상 취득 수단과,
    상기 방향 정보마다 상기 화상 데이터 내의 주목 화소 근방 화소의 휘도 분포에 근거하여, 상기 화상 데이터 중의 대상물의 화상 영역으로부터 특징 영역을 추출하는 추출 수단과,
    상기 추출 수단으로써 추출된 상기 특징 영역 내의 각 화소를 복수의 클래스 1개로 분류하는 클래스 분류 수단과,
    상기 클래스 분류 수단으로써 분류된 화소의 각 클래스에 있어서의 도수를 나타내는 도수 분포를 생성하는 도수 분포 생성 수단과,
    상기 생성 수단으로 생성된 도수 분포 중 적어도 하나인 참조 히스토그램과, 적어도 일부의 대상물 히스토그램과의 상관을 도수 분포 상관치로서 도출하는 도수 분포 상관치 도출 수단과,
    상기 도수 분포 상관치와 상기 각도 정보를 대응지은 관계 정보를 생성하는 관계 정보 생성 수단을 갖는 것을 특징으로 하는 화상 처리 장치.
  24. 제 23 항에 있어서,
    상기 참조 히스토그램은 상기 복수의 방향 중, 대표적인 방향의 화상에 근거하여 도출된 히스토그램인 것을 특징으로 하는 화상 처리 장치.
  25. 화상 데이터 내의 대상물의 화상 영역으로부터 상기 대상물의 화상 영역 내의 주목 화소 근방 화소의 휘도 분포에 근거하여, 특징 영역을 하는 추출 스텝과,
    상기 특징 영역 중심과 상기 대상물의 화상 영역 중심과의 상관을 중심 상관치로서 산출하는 중심 상관치 산출 스텝과,
    상기 중심 상관치에 근거하여, 상기 대상물의 방향을 판정하는 방향 판정 스텝을 갖는 것을 특징으로 하는 화상 처리 방법.
  26. 제 25 항에 있어서,
    상기 추출 스텝은 상기 대상물의 화상 영역 내의 상기 주목 화소의 위치에 따라서, 상기 대상물의 화상 영역으로부터 복수의 화소를 DR 탭으로서 추출하는 DR 탭 추출 스텝과, 상기 DR 탭의 다이내믹 레인지를 산출하는 다이내믹 레인지 산출 스텝과, 상기 다이내믹 레인지 값이 소정 값보다 클 경우, 상기 주목 화소를 상기 특징 영역 내의 화소로서 추출하는 특징 영역 추출 스텝을 갖는 것을 특징으로 하는 화상 처리 방법.
  27. 제 25 항에 있어서,
    상기 방향 판정 스텝은 상기 중심 상관치와 상기 대상물 방향과의 관계를 나타내는 관계 정보를 참조하여, 상기 중심 상관치에 근거하여, 상기 대상물의 방향을 판정하는 것을 특징으로 하는 화상 처리 방법.
  28. 제 25 항에 있어서,
    상기 중심 상관치 산출 스텝은 상기 특징 영역의 중심 위치와, 상기 대상물의 화상 영역의 중심 위치와의 차이에 근거하여, 상기 중심 상관치를 산출하는 것을 특징으로 하는 화상 처리 방법.
  29. 주목 화소 근방 화소의 휘도 분포에 근거하여, 화상 데이터 내의 대상물의 화상 영역으로부터 특징 영역을 추출하는 추출 스텝과,
    상기 특징 영역 내의 각 화소를 복수의 클래스 1개로 분류하는 클래스 분류 스텝과,
    상기 클래스 분류 스텝에서 분류된 각 클래스에 있어서의 화소의 도수 분포를 대상물 도수 분포로서 생성하는 도수 분포 생성 스텝과,
    상기 대상물 도수 분포에 근거하여, 상기 대상물의 방향을 판정하는 방향 판정 스텝을 갖는 것을 특징으로 하는 화상 처리 방법.
  30. 제 29 항에 있어서,
    상기 추출 스텝은 상기 대상물의 화상 영역 내의 상기 주목 화소 위치에 따라서, 상기 대상물의 화상 영역으로부터 복수의 화소를 DR 탭으로서 추출하는 DR 탭 추출 스텝과, 상기 DR 탭의 다이내믹 레인지를 산출하는 다이내믹 레인지 산출 스텝과, 상기 다이내믹 레인지 값이 소정 값보다 클 경우, 상기 주목된 화소를 상기 특징 영역 내의 화소라 판단함으로써, 상기 특징 영역을 추출하는 특징 영역 추출 스텝을 갖는 것을 특징으로 하는 화상 처리 방법.
  31. 제 29 항에 있어서,
    상기 방향 판정 스텝은 상기 클래스 분류 스텝에서 분류된 각 클래스마다 각 클래스 내의 화소로 이루어지는 영역의 중심을 산출하는 중심 산출 스텝과, 상기 대상물의 화상 영역 중심을 산출하는 대상물 중심 산출 스텝과, 각 클래스마다 상기 특징 영역의 중심과 상기 대상물의 화상 영역 중심과의 상관을 중심 상관치로서 산출하는 중심 상관치 산출 스텝과, 상기 각 클래스마다의 중심 상관치와 상기 대상물 도수 분포에 근거하여, 상기 대상물의 방향을 판정하는 대상물 방향 판정 스텝을 갖는 것을 특징으로 하는 화상 처리 방법.
  32. 제 30 항에 있어서,
    상기 대상물 방향 산출 스텝은 각 클래스마다 상기 중심 상관치와 상기 대상물 도수 분포 내의 각 클래스에 대응하는 도수와 미리 설치된 가중 계수와의 연산을 행하고, 각 클래스마다의 연산 결과를 가산함으로써, 상기 대상물의 방향을 산출하는 것을 특징으로 하는 화상 처리 방법.
  33. 제 32 항에 있어서,
    상기 연산은 다음 식에 의해 행해지는 것을 특징으로 하는 화상 처리 방법.
  34. 제 32 항에 있어서,
    상기 연산은 각 클래스(i)마다 가중 계수를 wij(j는 정수), 중심 상관치를 Ci, 도수를 Di로 하면, 이하의 식에 의해 행해지는 것을 특징으로 하는 화상 처리 방법.
  35. 제 29 항에 있어서,
    상기 방향 판정 스텝은 대표적인 방향에 있어서, 각 클래스에 있어서의 상기 특징 영역 내의 화소의 도수를 나타내는 판정 도수 분포에 근거하여, 상기 대상물도수 분포와 상기 판정 도수 분포와의 상관을 도수 분포 상관치로서 도출하는 도수 분포 상관치 도출 스텝과, 상기 도수 분포 상관치에 근거하여, 상기 대상물 방향을 판정하는 대상물 방향 판정 스텝을 갖는 것을 특징으로 하는 화상 처리 방법.
  36. 제 35 항에 있어서,
    상기 대상물 방향 판정 스텝에서는 상기 대상물의 방향과 상기 도수 분포 상관치와의 관계를 나타내는 방향 판단 정보를 참조하여, 상기 도수 분포 상관치에 근거하여 상기 대상물의 방향이 판정되는 것을 특징으로 하는 화상 처리 방법.
  37. 제 29 항에 있어서,
    상기 방향 판정 스텝은 소정수의 대표적인 방향마다 각 클래스에 있어서의 상기 특징 영역 내의 화소의 도수를 나타내는 판정 도수 분포에 근거하여, 상기 대상물 도수 분포 각각과 상기 판정 도수 분포와의 상관을 도수 분포 상관치로서, 상기 소정수의 대표적인 방향마다 도출하는 도수 분포 상관치 도출 스텝과, 상기 소정수의 대표적인 방향마다의 상기 도수 분포 상관치에 근거하여, 상기 대상물의 방향을 판정하는 대상물 방향 판정 스텝을 갖는 것을 특징으로 하는 화상 처리 방법.
  38. 제 37 항에 있어서,
    상기 대상물 방향 판정 스텝은 상기 대상물 방향과, 상기 대표적인 방향마다의 상기 도수 분포 상관치 각각과의 관계를 나타내는 방향 판단 정보를 참조하여,상기 도수 분포 상관치에 근거하여 상기 대상물 방향을 판정하는 상관 방향 판정 스텝을 갖는 것을 특징으로 하는 화상 처리 방법.
  39. 제 37 항에 있어서,
    상기 대상물 방향 판정 스텝은 상기 대상물의 방향과 상기 도수 분포 상관치와의 관계를 나타내는 방향 판단 정보를 참조하여, 상기 도수 분포 상관치에 근거하여 상기 대상물의 방향을 판정하는 상관 방향 판정 스텝을 갖는 것을 특징으로 하는 화상 처리 방법.
  40. 대상물의 방향을 검출하는 방향 검출 스텝과,
    상기 대상물의 각 방향에 대응하는 화상 데이터 내의 상기 대상물의 화소 영역으로부터 상기 화상 데이터 내의 주목 화소 근방의 화소의 휘도 분포에 근거하여 특징 영역을 추출하는 추출 스텝과,
    상기 특징 영역의 중심과 상기 대상물의 화상 영역 중심과의 상관을 중심 상관치로서 산출하는 중심 상관치 산출 스텝과,
    상기 중심 상관치와 상기 대상물 방향을 대응지은 관계 정보를 생성하는 관계 정보 생성 스텝을 갖는 것을 특징으로 하는 화상 처리 방법.
  41. 제 40 항에 있어서,
    상기 추출 스텝은 상기 대상물의 화상 영역 내의 상기 주목 화소 위치에 따라서, 상기 대상물의 화상 영역으로부터 복수의 화소를 DR 탭으로서 추출하는 DR 탭 스텝과, 상기 DR 탭의 다이내믹 레인지를 산출하는 다이내믹 레인지 산출 수단과, 상기 다이내믹 레인지 값이 소정 값보다 클 경우, 상기 주목 화소를 상기 특징 영역 내의 화소로서 추출하는 특징 영역 추출 스텝을 갖는 것을 특징으로 하는 화상 처리 방법.
  42. 제 40 항에 있어서,
    상기 중심 상관치 산출 스텝은 상기 특징 영역의 중심 위치와, 상기 대상물의 화상 영역 중심 위치와의 차이에 근거하여, 상기 중심 상관치를 산출하는 것을 특징으로 하는 화상 처리 방법.
  43. 대상물의 방향을 검출하는 방향 검출 스텝과,
    상기 대상물의 각 방향에 대응하는 화상 데이터 내의 주목 화소 근방의 휘도 분포에 근거하여,
    상기 화상 데이터 내의 대상물의 화상 영역으로부터 특징 영역을 추출하는 추출 스텝과,
    상기 특징 영역 내의 각 화소를 복수의 클래스 1개로 분류하는 클래스 분류 스텝과,
    상기 클래스 분류 스텝에서 분류된 각 클래스에 있어서의 화소의 도수 분포를 판정 도수 분포로서 생성하는 도수 분포 생성 스텝과,
    상기 클래스 분류 스텝에서 분류된 각 클래스마다 각 클래스 내의 화소로 이루어지는 영역 중심을 각 클래스마다 산출하는 중심 추출 스텝과,
    상기 대상물의 화상 영역 중심을 산출하는 대상물 중심 산출 스텝과,
    각 클래스마다 상기 영역 중심과 상기 대상물 중심과의 상관을 중심 상관치로서 산출하는 중심 상관치 산출 스텝과,
    상기 각 클래스마다의 중심 상관과 상기 판정 도수 분포에 근거하여, 관계 정보치를 산출하는 산출 스텝과,
    상기 관계 정보치와 상기 대상물 방향을 대응지은 관계 정보를 생성하는 관계 정보 생성 스텝을 갖는 것을 특징으로 하는 화상 처리 방법.
  44. 제 43 항에 있어서,
    상기 추출 스텝은 상기 대상물의 화상 영역 내의 상기 주목 화소 위치에 따라서, 상기 대상물의 화상 영역으로부터 복수의 화소를 DR 탭으로서 추출하는 DR 탭 추출 스텝과, 상기 DR 탭의 다이내믹 레인지를 산출하는 다이내믹 레인지 산출 수단과, 상기 다이내믹 레인지 값이 소정 값보다 클 경우, 상기 주목 화소를 상기 특징 영역 내의 화소로서 추출하는 특징 영역 추출 스텝을 갖는 것을 특징으로 하는 화상 처리 방법.
  45. 제 44 항에 있어서,
    상기 연산은 다음 식에 의해 행해지는 것을 특징으로 하는 화상 처리 방법.
  46. 제 44 항에 있어서,
    상기 연산은 각 클래스(i)마다 가중 계수를 wij(j는 정수), 중심 상관치를 Ci, 도수를 Di로 하면, 이하의 식에 의해 행해지는 것을 특징으로 하는 화상 처리 방법.
  47. 복수의 방향으로부터 촬상하여 얻은 화상 데이터를 방향 정보와 관련지어 취득하는 화상 취득 스텝과,
    상기 방향 정보마다 상기 화상 데이터 내의 주목 화소 근방 화소의 휘도 분포에 근거하여, 상기 화상 데이터 중의 대상물의 화상 영역으로부터 특징 영역을 추출하는 추출 스텝과,
    상기 추출 스텝에서 추출된 상기 특징 영역 내의 각 화소를 복수의 클래스 1개로 분류하는 클래스 분류 스텝과,
    상기 클래스 분류 스텝에서 분류된 화소의 각 클래스에 있어서의 도수를 나타내는 도수 분포를 생성하는 도수 분포 생성 스텝과,
    상기 생성 스텝에서 생성된 도수 분포 중 적어도 하나인 참조 히스토그램과, 적어도 일부의 대상물 히스토그램과의 상관을 도수 분포 상관치로서 도출하는 도수 분포 상관치 도출 스텝과,
    상기 도수 분포 상관치와 상기 각도 정보를 대응지은 관계 정보를 생성하는 관계 정보 생성 스텝을 갖는 것을 특징으로 하는 화상 처리 방법.
  48. 제 47 항에 있어서,
    상기 참조 히스토그램은 상기 복수의 방향 중, 대표적인 방향의 화상에 근거하여 도출된 히스토그램인 것을 특징으로 하는 화상 처리 방법.
  49. 화상 데이터 내의 대상물의 화상 영역으로부터 상기 대상물의 화상 영역 내의 주목 화소 근방 화소의 도수 분포에 근거하여, 특징 영역을 추출하는 추출 스텝과,
    상기 특징 영역의 중심과 상기 대상물의 화상 영역 중심과의 상관을 중심 상관치로서 산출하는 중심 상관치 산출 스텝과,
    상기 중심 상관치에 근거하여, 상기 대상물의 방향을 판정하는 방향 판정 스텝을 갖는 것을 특징으로 하는 컴퓨터 제어 가능한 화상 처리 프로그램이 기록된 기록 매체.
  50. 제 49 항에 있어서,
    상기 추출 스텝은 상기 대상물의 화상 영역 내의 상기 주목 화소 위치에 따라서, 상기 대상물의 화상 영역으로부터 복수의 화소를 DR 탭으로서 추출하는 DR 탭 추출 스텝과, 상기 DR 탭의 다이내믹 레인지를 산출하는 다이내믹 레인지 산출 스텝과, 상기 다이내믹 레인지 값이 소정 값보다 클 경우, 상기 주목 화소를 상기 특징 영역 내의 화소로서 추출하는 특징 영역 추출 스텝을 갖는 것을 특징으로 하는 컴퓨터 제어 가능한 화상 처리 프로그램이 기록된 기록 매체.
  51. 제 49 항에 있어서,
    상기 방향 판정 스텝은 상기 중심 상관치와 상기 대상물의 방향과의 관계를 나타내는 관계 정보를 참조하여, 상기 대상물의 방향을 판정하는 것을 특징으로 하는 컴퓨터 제어 가능한 화상 처리 프로그램이 기록된 기록 매체.
  52. 제 49 항에 있어서,
    상기 중심 상관치 산출 스텝은 상기 특징 영역의 중심 위치와, 상기 대상물의 화상 영역의 중심 위치와의 차이에 근거하여, 상기 중심 상관치를 산출하는 것을 특징으로 하는 컴퓨터 제어 가능한 화상 처리 프로그램이 기록된 기록 매체
  53. 주목 화소 근방 화소의 휘도 분포에 근거하여, 화상 데이터 내의 대상물의 화상 영역으로부터 특징 영역을 추출하는 추출 스텝과,
    상기 특징 영역 내의 각 화소를 복수의 클래스 1개로 분류하는 클래스 분류 스텝과,
    상기 클래스 분류 스텝에서 분류된 각 클래스에 있어서의 화소의 도수 분포를 대상물 도수 분포로서 생성하는 도수 분포 생성 스텝과,
    상기 대상물 도수 분포에 근거하여, 상기 대상물의 방향을 판정하는 방향 판정 스텝을 갖는 것을 특징으로 하는 컴퓨터 제어 가능한 화상 처리 프로그램이 기록된 기록 매체.
  54. 제 53 항에 있어서,
    상기 추출 스텝은 상기 대상물의 화상 영역 내의 상기 주목 화소의 위치에 따라서, 상기 대상물의 화상 영역으로부터 복수의 화소를 DR 탭으로서 추출하는 DR 탭 추출 스텝과, 상기 DR 탭의 다이내믹 레인지를 산출하는 다이내믹 레인지 산출 스텝과, 상기 다이내믹 레인지 값이 소정 값보다 클 경우, 상기 주목된 화소를 상기 특징 영역 내의 화소라 판단함으로써, 상기 특징 영역을 추출하는 특징 영역 추출 스텝을 갖는 것을 특징으로 하는 컴퓨터 제어 가능한 화상 처리 프로그램이 기록된 기록 매체.
  55. 제 53 항에 있어서,
    상기 방향 판정 스텝은 상기 클래스 분류 스텝에서 분류된 각 클래스마다 각 클래스 내의 화소로 이루어지는 영역 중심을 산출하는 중심 산출 스텝과, 상기 대상물의 화상 영역 중심을 산출하는 대상물 중심 산출 스텝과, 각 클래스마다 상기 특징 영역의 중심과 상기 대상물의 화소 영역 중심과의 상관을 중심 상관치로서 산출하는 중심 상관치 산출 스텝과, 상기 각 클래스마다의 중심 상관치와 상기 대상물 도수 분포에 근거하여, 상기 대상물의 방향을 판정하는 대상물 방향 판정 스텝을 갖는 것을 특징으로 하는 컴퓨터 제어 가능한 화상 처리 프로그램이 기록된 기록 매체.
  56. 제 55 항에 있어서,
    상기 대상물 방향 산출 스텝은 각 클래스마다 상기 중심 상관치와 상기 대상물 도수 분포 내의 각 클래스에 대응하는 도수와 미리 설치된 가중 계수와의 연산을 행하고, 각 클래스마다의 연산 결과를 가산함으로써, 상기 대상물의 방향을 산출하는 것을 특징으로 하는 컴퓨터 제어 가능한 화상 처리 프로그램이 기록된 기록 매체.
  57. 제 56 항에 있어서,
    상기 연산은 다음 식에 의해 행해지는 것을 특징으로 하는 컴퓨터 제어 가능한 화상 처리 프로그램이 기록된 매체.
  58. 제 56 항에 있어서,
    상기 연산은 각 클래스(i)마다 가중 계수를 wij(j는 정수), 중심 상관치를 Ci, 도수를 Di로 하면, 이하의 식에 의해 행해지는 것을 특징으로 하는 컴퓨터 제어 가능한 화상 처리 프로그램이 기록된 기록 매체.
  59. 제 53 항에 있어서,
    상기 방향 판정 스텝은 대표적인 방향에 있어서, 각 클래스에 있어서의 상기 특징 영역 내의 화소 도수를 나타내는 판정 도수 분포에 근거하여, 상기 대상물 도수 분포와 상기 판정 도수 분포와의 상관을 도수 분포 상관치로서 도출하는 도수 분포 상관치 도출 스텝과, 상기 도수 분포 상관치에 근거하여, 상기 대상물의 방향을 판정하는 대상물 방향 판정 스텝을 갖는 것을 특징으로 하는 컴퓨터 제어 가능한 화상 처리 프로그램이 기록된 기록 매체.
  60. 제 59 항에 있어서,
    상기 대상물 방향 판정 스텝에서는 상기 대상물의 방향과 상기 도수 분포 상관치와의 관계를 나타내는 방향 판단 정보를 참조하여, 상기 도수 분포 상관치에 근거하여 상기 대상물의 방향이 판정되는 것을 특징으로 하는 컴퓨터 제어 가능한화상 처리 프로그램이 기록된 기록 매체.
  61. 제 53 항에 있어서,
    상기 방향 판정 스텝은 소정수의 대표적인 방향마다 각 클래스에 있어서의 상기 특징 영역 내의 화소 도수를 나타내는 판정 도수 분포에 근거하여, 상기 대상물 도수 분포 각각과 상기 판정 도수 분포와의 상관을 도수 분포 상관치로 하여, 상기 소정수의 대표적인 방향마다 도출하는 도수 분포 상관치 도출 스텝과, 상기 소정수의 대표적인 방향마다의 상기 도수 분포 상관치에 근거하여, 상기 대상물의 방향을 판정하는 대상물 방향 판정 스텝을 갖는 것을 특징으로 하는 컴퓨터 제어 가능한 화상 처리 프로그램이 기록된 기록 매체.
  62. 제 61 항에 있어서,
    상기 대상물 방향 판정 스텝은 상기 대상물의 방향과, 상기 대표적인 방향마다의 상기 도수 분포 상관치 각각과의 관계를 나타내는 방향 판단 정보를 참조하여, 상기 도수 분포 상관치에 근거하여 상기 대상물의 방향을 판정하는 상관 방향 판정 스텝을 갖는 것을 특징으로 하는 컴퓨터 제어 가능한 화상 처리 프로그램이 기록된 기록 매체.
  63. 제 61 항에 있어서,
    상기 대상물 방향 판정 스텝은 상기 대상물의 방향과 상기 도수 분포 상관치와의 관계를 나타내는 방향 판단 정보를 참조하여, 상기 도수 분포 상관치에 근거하여 상기 대상물의 방향을 판정하는 상관 방향 판정 스텝을 갖는 것을 특징으로 하는 컴퓨터 제어 가능한 화상 처리 프로그램이 기록된 기록 매체.
  64. 대상물의 방향을 검출하는 방향 검출 스텝과,
    상기 대상물의 방향에 대응하는 화상 데이터가 입력되는 입력 스텝과,
    상기 화상 데이터 내의 상기 대상물의 화상 영역으로부터 상기 화상 데이터 내의 주목 화소 근방 화소의 휘도 분포에 근거하여, 특징 영역을 추출하는 추출 스텝과,
    상기 특징 영역 중심과 상기 대상물의 화상 영역 중심과의 상관을 중심 상관치로서 산출하는 중심 상관치 산출 스텝과,
    상기 중심 상관치와 상기 대상물의 방향을 대응지은 관계 정보를 생성하는 관계 정보 생성 스텝을 갖는 것을 특징으로 하는 컴퓨터 제어 가능한 화상 처리 프로그램이 기록된 기록 매체.
  65. 대상물의 방향을 검출하는 방향 검출 스텝과,
    상기 대상물의 방향에 대응하는 화상 데이터가 입력되는 입력 스텝과,
    상기 화상 데이터 내의 대상물의 화상 영역으로부터 상기 화상 데이터 내의 주목 화소 근방의 휘도 분포에 근거하여, 특징 영역을 추출하는 추출 스텝과,
    상기 특징 영역 내의 각 화소를 복수의 클래스 1개로 분류하는 클래스 분류스텝과,
    상기 클래스 분류 스텝에서 분류된 각 클래스에 있어서의 화소의 도수 분포를 판정 도수 분포로서 생성하는 도수 분포 생성 스텝과,
    상기 클래스 분류 스텝에서 분류된 각 클래스마다 각 클래스 내의 화소로 이루어지는 영역의 중심을 각 클래스마다 산출하는 중심 산출 스텝과,
    상기 대상물의 화상 영역 중심을 산출하는 대상물 중심 산출 스텝과,
    각 클래스마다 상기 특징 영역 중심과 상기 대상물의 중심과의 상관을 중심 상관치로서 산출하는 중심 상관치 산출 스텝과,
    상기 각 클래스마다의 중심 상관과 상기 판정 도수 분포에 근거하여, 관계 정보치를 산출하는 산출 스텝과,
    상기 관계 정보치와 상기 대상물의 방향을 대응지은 관계 정보를 생성하는 관계 정보 생성 스텝을 갖는 것을 특징으로 하는 컴퓨터 제어 가능한 화상 처리 프로그램이 기록된 기록 매체.
  66. 복수의 방향으로부터 촬상하여 얻은 화상 데이터를 방향 정보와 관련지어 취득하는 화상 취득 스텝과,
    상기 방향 정보마다 상기 화상 데이터 내의 주목 화소 근방 화소의 휘도 분포에 근거하여,
    상기 화상 데이터 중 대상물의 화상 영역으로부터 특징 영역을 추출하는 추출 스텝과,
    상기 추출 스텝에서 추출된 상기 특징 영역 내의 각 화소을 복수의 클래스 1개로 분류하는 클래스 분류 스텝과,
    상기 클래스 분류 스텝에서 분류된 화소의 각 클래스에 있어서의 도수를 나타내는 도수 분포를 생성하는 도수 분포 생성 스텝과,
    상기 생성 스텝에서 생성된 도수 분포 중 적어도 하나인 참조 히스토그램과, 적어도 일부의 대상물 히스토그램과의 상관을 도수 분포 상관치로서 도출하는 도수 분포 상관치 도출 스텝과,
    상기 도수 분포 상관치와 상기 각도 정보를 대응지은 관계 정보를 생성하는 관계 정보 생성 스텝을 갖는 것을 특징으로 하는 컴퓨터 제어 가능한 화상 처리 프로그램이 기록된 기록 매체.
  67. 제 66 항에 있어서,
    상기 참조 히스토그램은 상기 복수의 방향 중, 대표적인 방향의 화상에 근거하여 도출된 히스토그램인 것을 특징으로 하는 컴퓨터 제어 가능한 화상 처리 프로그램이 기록된 기록 매체.
KR1020017004840A 1999-08-19 2000-08-21 화상 처리 장치와 화상 처리 방법 및 기록 매체 KR100730500B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP23224699 1999-08-19
JP23224799 1999-08-19
JP1999-232247 1999-08-19
JP1999-232246 1999-08-19

Publications (2)

Publication Number Publication Date
KR20010080219A true KR20010080219A (ko) 2001-08-22
KR100730500B1 KR100730500B1 (ko) 2007-06-27

Family

ID=26530356

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020017004840A KR100730500B1 (ko) 1999-08-19 2000-08-21 화상 처리 장치와 화상 처리 방법 및 기록 매체

Country Status (4)

Country Link
US (1) US6965693B1 (ko)
JP (1) JP4604439B2 (ko)
KR (1) KR100730500B1 (ko)
WO (1) WO2001015086A1 (ko)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US8300042B2 (en) 2001-06-05 2012-10-30 Microsoft Corporation Interactive video display system using strobed light
US7710391B2 (en) * 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US20050122308A1 (en) * 2002-05-28 2005-06-09 Matthew Bell Self-contained interactive video display system
FR2841673B1 (fr) * 2002-06-26 2004-12-03 Solystic Chronomarquage d'objets postaux par signature d'image et machine de tri associee
EP1392047B1 (en) * 2002-08-22 2013-10-30 Samsung Electronics Co., Ltd. Digital document processing for image enhancement
AU2003301043A1 (en) * 2002-12-13 2004-07-09 Reactrix Systems Interactive directed light/sound system
JP4305000B2 (ja) * 2003-02-19 2009-07-29 コニカミノルタホールディングス株式会社 画像処理方法、画像処理装置、記憶媒体及びプログラム
JP4794453B2 (ja) 2003-10-24 2011-10-19 インテレクチュアル ベンチャーズ ホールディング ６７ エルエルシー インタラクティブ・ビデオ・ディスプレイ・システムを管理する方法及びシステム
JP4337614B2 (ja) * 2004-04-26 2009-09-30 カシオ計算機株式会社 電子カメラおよびプログラム
US9128519B1 (en) 2005-04-15 2015-09-08 Intellectual Ventures Holding 67 Llc Method and system for state-based control of objects
US8081822B1 (en) * 2005-05-31 2011-12-20 Intellectual Ventures Holding 67 Llc System and method for sensing a feature of an object in an interactive video display
US8098277B1 (en) 2005-12-02 2012-01-17 Intellectual Ventures Holding 67 Llc Systems and methods for communication between a reactive video system and a mobile communication device
KR100795160B1 (ko) * 2007-03-22 2008-01-16 주식회사 아트닉스 얼굴영역검출장치 및 검출방법
CA2699628A1 (en) 2007-09-14 2009-03-19 Matthew Bell Gesture-based user interactions with status indicators for acceptable inputs in volumetric zones
US8159682B2 (en) 2007-11-12 2012-04-17 Intellectual Ventures Holding 67 Llc Lens system
WO2009078957A1 (en) * 2007-12-14 2009-06-25 Flashfoto, Inc. Systems and methods for rule-based segmentation for objects with full or partial frontal view in color images
US8259163B2 (en) 2008-03-07 2012-09-04 Intellectual Ventures Holding 67 Llc Display with built in 3D sensing
US8595218B2 (en) 2008-06-12 2013-11-26 Intellectual Ventures Holding 67 Llc Interactive display management systems and methods
KR101520069B1 (ko) * 2008-12-26 2015-05-21 삼성전자 주식회사 관심 영역 기반 영상 처리 장치 및 방법
US9514355B2 (en) 2009-01-05 2016-12-06 Apple Inc. Organizing images by correlating faces
US9495583B2 (en) 2009-01-05 2016-11-15 Apple Inc. Organizing images by correlating faces
US8670615B2 (en) * 2009-09-30 2014-03-11 Flashfoto, Inc. Refinement of segmentation markup
JP2011119997A (ja) * 2009-12-03 2011-06-16 Sony Computer Entertainment Inc 画像処理装置および画像処理方法
US8638993B2 (en) * 2010-04-05 2014-01-28 Flashfoto, Inc. Segmenting human hairs and faces
US9311567B2 (en) 2010-05-10 2016-04-12 Kuang-chih Lee Manifold learning and matting
US9552376B2 (en) 2011-06-09 2017-01-24 MemoryWeb, LLC Method and apparatus for managing digital files
KR101791604B1 (ko) * 2012-09-11 2017-10-30 삼성전자주식회사 헤드 포지션 추정 방법 및 장치, 컴퓨터 판독가능 저장 매체
JP2014207110A (ja) * 2013-04-12 2014-10-30 株式会社日立ハイテクノロジーズ 観察装置および観察方法
US10936178B2 (en) 2019-01-07 2021-03-02 MemoryWeb, LLC Systems and methods for analyzing and organizing digital photos and videos

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01106187A (ja) * 1987-10-20 1989-04-24 Fujitsu Ltd ３次元空間に存在する物体の姿勢推定方法
JPH04281578A (ja) * 1991-03-11 1992-10-07 Nippon Telegr & Teleph Corp <Ntt> 物体の方向検出処理方式
US5586199A (en) * 1991-10-02 1996-12-17 Fujitsu Limited Method for determining orientation of contour line segment in local area and for determining straight line and corner
JP3298072B2 (ja) * 1992-07-10 2002-07-02 ソニー株式会社 ビデオカメラシステム
JP3355068B2 (ja) * 1995-07-14 2002-12-09 三菱電機株式会社 顔画像処理装置
JPH09147119A (ja) * 1995-11-28 1997-06-06 Toshiba Corp 人物注目方向検出方式
JP3276547B2 (ja) * 1995-12-01 2002-04-22 シャープ株式会社 画像認識方法
US5828769A (en) * 1996-10-23 1998-10-27 Autodesk, Inc. Method and apparatus for recognition of objects via position and orientation consensus of local image encoding

Also Published As

Publication number Publication date
US6965693B1 (en) 2005-11-15
WO2001015086A1 (fr) 2001-03-01
KR100730500B1 (ko) 2007-06-27
JP4604439B2 (ja) 2011-01-05

Similar Documents

Publication Publication Date Title
KR100730500B1 (ko) 화상 처리 장치와 화상 처리 방법 및 기록 매체
US8879847B2 (en) Image processing device, method of controlling image processing device, and program for enabling computer to execute same method
US7995805B2 (en) Image matching apparatus, image matching method, computer program and computer-readable storage medium
KR100682889B1 (ko) 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치
US10423848B2 (en) Method, system, and computer-readable recording medium for long-distance person identification
US7035461B2 (en) Method for detecting objects in digital images
US7092554B2 (en) Method for detecting eye and mouth positions in a digital image
EP1953675B1 (en) Image processing for face and face expression recognition
US8577099B2 (en) Method, apparatus, and program for detecting facial characteristic points
US7912253B2 (en) Object recognition method and apparatus therefor
KR100608595B1 (ko) 얼굴 인식 방법 및 장치
US6757571B1 (en) System and process for bootstrap initialization of vision-based tracking systems
US20070189584A1 (en) Specific expression face detection method, and imaging control method, apparatus and program
JP4597391B2 (ja) 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体
US10721431B2 (en) Method for estimating a timestamp in a video stream and method of augmenting a video stream with information
JP4774818B2 (ja) 画像処理装置及び画像処理方法
JP2001307096A (ja) 画像認識装置及び方法
JPH1023452A (ja) 画像抽出装置および方法
CN106295640A (zh) 一种智能终端的物体识别方法和装置
JP2017033372A (ja) 人物認識装置及びそのプログラム
JP5051671B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP4298283B2 (ja) パターン認識装置、パターン認識方法、及びプログラム
JP4789526B2 (ja) 画像処理装置、画像処理方法
JP6278757B2 (ja) 特徴量生成装置、特徴量生成方法、およびプログラム
KR20040042500A (ko) 얼굴 검출방법 및 그 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Publication of correction
FPAY Annual fee payment

Payment date: 20120604

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee