KR20010103631A

KR20010103631A - 생물 측정학-기반 얼굴 특징 추출을 위한 시스템 및 방법

Info

Publication number: KR20010103631A
Application number: KR1020017005456A
Authority: KR
Inventors: 용얀
Original assignee: 요트.게.아. 롤페즈; 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 1999-08-30
Filing date: 2000-08-29
Publication date: 2001-11-23
Also published as: EP1125241A1; WO2001016868A1; US6526161B1; JP2003526841A

Abstract

얼굴의 생물 측정학 정보를 사용하여 이미지로부터 얼굴 특징 정보를 추출하는 방법 및 이미지 처리 시스템은 개시된다. 얼굴, 눈, 코 및 입과 같은 ROI는 이미지 내에 정의된다. 이어서, 디스패리티 맵핑, 에지 검출 및 필터링의 조합은 ROI 내의 얼굴 특징들의 좌표들/위치들을 추출하는데 사용된다.

Description

생물 측정학-기반 얼굴 특징 추출을 위한 시스템 및 방법{System and method for biometrics-based facial feature extraction}

디지털 이미지를 분석하고 인간의 얼굴들을 인식하는 시스템 및 방법들은 공지되어 있다. 얼굴 특징 정보의 추출은 자동화된/감시 시스템들, 모니터링 시스템들, 컴퓨터와 인간의 인터페이스, 텔레비전 및 비디오 신호 분석과 같은 다양한 응용들에 사용되어 왔다.

종래의 얼굴 검출 시스템들은 얼굴의 컬러 톤 검출, 템플릿 매칭(template matching), 또는 에지 검출 접근법들과 같은 방법들을 사용한다. 그러나, 종래의 시스템들의 이런 타입들에 많은 결점들이 존재한다. 일반적으로, 이들 종래의 시스템들은, 즉, 인종의 다양성, 얼굴 표현 및 밝기 조건들에 기인하여, 견고성(robustness)이 결여된다.

특히, 얼굴의 컬러 톤 검출을 사용하는 시스템들에서, 예컨대, 색조 변환(tint conversion)은 피부-색 영역들을 결정하는 입력 디지털 이미지에 적용된다. 피부-색 영역들에 기초한 마스크 패턴은 특정한 얼굴의 영역들을 추출하는데 사용된다. 그러나, 밝기 소스(light source)에 의존하면, 각각의 얼굴 영역들의 빛깔은 변하여, 정확한 정보를 추출하는데 어려움을 야기할 수 있다. 부가하여, 디지털 이미지가 발생하는 동안의 이동은 또한 피부-색 영역들을 정확하게 검출하는데 어려움을 야기하는 그림자를 발생시킬 수 있다.

템플릿 매칭을 사용하는 시스템에서, 얼굴의 템플릿들은 특정 성 또는 인종에 대한 얼굴 특징들(즉, 눈, 코 및 입)의 평균 위치들에 기초하여 먼저 결정된다. 이러한 타입의 시스템의 한 결점은 표현들(예를 들어, 미소)이 잘못된 결과를 유도하는데 사용되어 잘못된 템플릿을 발생시킬 수 있다는 것이다.

에지 검출을 사용한 종래의 시스템들도 또한 공지되어 있다. 에지 검출 접근법들은 눈이 전형적으로 높은 에지 밀도값들을 갖기 때문에 눈의 위치를 위치시키는데 유용하다. 그러나, 안경 및 수염과 같은 얼굴의 털은 이들 시스템들이 잘못된 결과를 발생하게 할 수 있다. 부가하여, 에지 검출은 전형적으로 코의 위치를 결정하는데 사용될 수 없다.

따라서, 이동 또는 다른 얼굴 표현들에 기인한 얼굴 특징들의 다양성에도 불구하고, 디지털 이미지들로부터 얼굴 특징들의 추출을 위한 견고한 성능을 제공하는 향상된 시스템들 및 방법들에 대한 필요가 이 기술분야에 존재한다.

본 발명은 일반적으로 인간의 얼굴들을 검출하는 분야에 관한 것이며, 특히, 생물 측정학 정보를 사용하여 디지털 이미지 내에 얼굴 특징들을 위치시키기 위한 시스템 및 방법에 관한 것이다.

도 1은 본 발명의 한 측면에 따른 얼굴 특징의 블록도.

도 2는 도 1의 시스템을 지원할 수 있는 예시적인 컴퓨터 시스템의 블록도.

도 3은 도 2의 컴퓨터 시스템의 구조를 도시한 블록도.

도 4는 본 발명의 양호한 실시예에 따른 예시적인 배치를 도시한 블록도.

도 5a 및 5b는 본 발명의 한 실시예에 따른 피사체(subject)의 개략도.

도 6은 본 발명의 양호한 실시예에 따른 디스패리티 맵(disparity map).

도 7은 다양한 ROI를 도시한 이미지의 개략도.

도 8은 본 발명의 한 측면에 따른 처리의 흐름도.

도 9는 본 발명의 한 측면에 따른 코 영역의 불균형 맵의 개략도.

도 10은 본 발명의 한 측면에 따른 처리의 흐름도.

도 11은 본 발명의 한 측면에 따른 라돈 투영(Radon projection)을 도시한도면.

본 발명의 목적은 상술된 종래의 추출 시스템들의 한계를 처리하는 것이다.

본 발명의 다른 목적은 이미지 내의 ROI(regions of interest)를 정의하고얼굴 특징들의 위치들을 정확하게 추출하는 생물 측정학 정보를 사용하는 얼굴 특징 추출 시스템을 제공하는 것이다.

본 발명의 한 관점에 따라, 이미지 처리 장치는 한 쌍의 이미지들 내의 유사 픽셀 정보(like pixel information)의 위치들을 비교하고, 디스패리티 정보를 결정하는 디스패리티 검출기와, 디스패리티 정보에 따라 이미지들 중 한 이미지 내의 ROI를 식별하는 영역 검출기를 포함한다. ROI는 다수의 얼굴 특징들을 포함한다. 장치는 또한 디스패리티 정보에 따라 얼굴 특징들 중 하나의 위치를 식별하는 영역 검출기에 결합된 제 1 위치 검출기를 포함한다.

본 발명의 다른 관점에 따라, 이미지 처리 장치는 디스패리티 정보를 결정하는 디스패리티 검출기와, 선정된 임계값과 디스패리티 정보의 비교에 기초하여 이미지 내의 얼굴의 대략의 경계들을 결정하는 아웃라인 식별기를 포함한다. 장치는 또한 얼굴의 중앙 영역 내에서 디스패리티 정보에 따라 얼굴의 코 위치를 식별하는 코 위치 식별기를 포함한다.

본 발명의 한 실시예는 한 쌍의 이미지들 사이의 디스패리티를 계산하는 단계와, 이미지들 중 적어도 한 이미지 내의 얼굴 ROI(region of interest)를 결정하는 단계를 포함하는 이미지 내의 얼굴 특징들의 위치를 결정하는 방법에 관한 것이다. 방법은 또한 계산된 디스패리티에 따라 얼굴 ROI 내에서 코 위치를 식별하는 단계를 포함한다.

본 발명의 다른 실시예는 한 쌍의 이미지들을 처리하기 위한 코드를 포함하는 컴퓨터-판독 가능한 메모리 매체에 관한 것이다. 메모리 매체는 디스패리티 정보를 결정하도록 한 쌍의 이미지들 내의 유사 픽셀 정보의 위치들을 비교하는 코드와, 디스패리티 정보에 따라 이미지들 중 한 이미지 내의 ROI를 식별하는 코드를 포함한다. ROI는 다수의 얼굴 특징들을 포함한다. 또한, 메모리 매체는 디스패리티 정보에 따라 얼굴 특징들 중 하나의 위치를 식별하는 코드를 포함한다.

본 발명의 이들 및 다른 실시예들과 관점들은 다음의 상세한 설명에서 예시된다.

본 발명의 특징들 및 이점들은 아래의 도면과 양호한 실시예의 상세한 설명을 참조함으로써 이해될 수 있다.

이제, 도 1을 참조하면, 얼굴 특징 추출 시스템(10)이 도시된다. 일반적으로, 시스템(10)은 이미지의 ROI(regions of interests)를 정의하는 사람 얼굴 생물 측정 정보(human face biometrics information)(즉, 코, 눈 및 입의 일반적인 위치들)를 사용한다.

양호한 실시예에서, 시스템(10)은 데이터 처리 장치에 의해 실행된 컴퓨터 판독 가능한 코드에 의해 구현된다. 코드는 CD-ROM 또는 플로피 디스크와 같은 메모리 매체로부터 판독/다운로드되거나 데이터 처리 장치 내의 메모리에 저장될 수 있다. 다른 실시예들에서, 하드웨어 회로는 본 발명을 구현하는 소프트웨어 명령들 대신에 또는 그것들과 협력하여 사용될 수 있다. 예컨대, 본 발명은 디스플레이용 텔레비전 모니터 및 처리용 트라이미디어 프로세서(Trimedia processor)를 사용하는 디지털 텔레비전 플랫폼 상에 구현될 수 있다. 본 발명은 또한 도 2에 도시된 컴퓨터 상에 구현될 수 있다.

도 2에 도시된 바와 같이, 컴퓨터(10)는 변동성-대역폭 네트워크(variable-bandwidth network) 또는 인터넷과 같은 네트워크에 인터페이스하기 위한 네트워크 접속(31), 및 비디오 또는 디지털 카메라(도시 안됨)와 같은 다른 원격 소스들과 인터페이스하기 위한 팩스/모뎀 접속(32)을 포함한다. 컴퓨터(10)는 또한 사용자에게 정보(비디오 데이터를 포함하는)를 디스플레이하기 위한 디스플레이(33)와, 텍스트 및 사용자 명령들을 입력하기 위한 키보드(34)와, 디스플레이(33) 상에 커서를 위치시키고 사용자 명령들을 입력하기 위한 마우스(35)와, 내부에 설치된 플로피 디스크로부터 판독하고 상기 디스크에 기록하기 위한 디스크 드라이브(36)와, CD-ROM 상에 저장된 정보를 억세스하기 위한 CD-ROM 드라이브(37)를 포함한다. 컴퓨터(30)는 또한 이미지들, 또는 동종의 것을 입력하기 위한 한 쌍의 비디오 회의 카메라들, 및 이미지들, 텍스트, 또는 동종의 것을 출력하기 위한 프린터(38)와 같은, 그것에 부착된 하나 이상의 주변 장치들을 포함할 수 있다.

도 3은 RAM(Random Access Memory)과, ROM(Read-Only Memory)과 하드디스크와 같은 컴퓨터-판독 가능한 매체를 포함할 수 있는 메모리(40)를 포함하는 컴퓨터(10)의 내부 구조를 도시한다. 메모리(40) 내에 저장된 아이템들은 운영 시스템(41)과, 데이터(42)와 애플리케이션들(43)을 포함한다. 본 발명의 양호한 실시예들에서, 비록 본 발명이 마이크로소프트 윈도우즈95와 같은 다른 운영 시스템들과 함께 사용될지라도, 운영 시스템(41)은 UNIX와 같은 윈도우형 운영 시스템(windowing operating system)이다. 메모리(40) 내에 저장된 애플리케이션들 가운데는 비디오 코더(44), 비디오 디코더(45) 및 프레임 수집기(frame grabber)(46)가 있다. 비디오 코더(44)는 종래의 방식으로 비디오 데이터를 인코딩하고, 비디오 디코더(45)는 종래의 방식으로 코딩된 비디오 데이터를 디코딩한다. 프레임 수집기(46)는 비디오 신호 스트림으로부터 단일 프레임들이 변환되고(captured) 처리되도록 허가한다.

또한, 컴퓨터(30) 내에 중앙 처리 유닛(CPU)(50), 통신 인터페이스(51), 메모리 인터페이스(52), CD-ROM 드라이브 인터페이스(53), 비디오 인터페이스(54) 및버스(55)가 포함된다. CPU(50)는 컴퓨터 판독 가능한 코드, 즉, 메모리(50) 밖에서 위에 언급된 것들과 같은 애플리케이션들을 실행하기 위한 마이크로프로세서 또는 동종의 것을 포함한다. 그러한 애플리케이션들은 메모리(40) 내에(위에 언급된 바와 같이) 또는, 선택적으로 디스크 드라이브(36) 내의 플로피 디스크 또는 CD-ROM 드라이브(37) 내에 CD-ROM 상에 저장될 수 있다. CPU(50)는 메모리 인터페이스(52)를 통해 플로피 디스크 상에 저장된 애플리케이션들(또는 다른 데이터)을 억세스하고, CD-ROM 드라이브 인터페이스(53)를 통해 CD-ROM 상에 저장된 애플리케이션들(또는 다른 데이터)을 억세스한다.

애플리케이션 실행 및 컴퓨터(30)의 다른 태스크들은 키보드(34) 또는 마우스(35)를 사용하여 초기화될 수 있다. 컴퓨터(30) 상에 실행하는 애플리케이션들로부터의 출력 결과들은 디스플레이(34) 상에서 사용자에게 디스플레이되거나, 선택적으로 네트워크 접속(31)을 통해서 출력될 수 있다. 예컨대, 입력 비디오 데이터는 비디오 인터페이스(54) 또는 네트워크 접속(31)을 통해 수신될 수 있다. 입력 비디오 데이터는 비디오 디코더(45)에 의해 디코딩될 수 있다. 출력 비디오 데이터는 비디오 인터페이스(54) 또는 네트워크 인터페이스(31)를 통한 전송을 위해 비디오 코더(44)에 의해 코딩될 수 있다. 디스플레이(33)는 버스(55) 상에서 CPU(50)에 의해 제공된 디코딩된 비디오 데이터에 기초하여 비디오 이미지들을 형성하기 위한 디스플레이 프로세서를 양호하게 포함한다. 다양한 애플리케이션들로부터의 출력 결과들은 프린터(38)에 제공될 수 있다.

도 1을 돌아보면, 좌측 프레임(60) 및 우측 프레임(61)을 포함하는 한 쌍의스테레오 디지털 이미지들은 시스템(10)에 입력된다. 예컨대, 디지털 이미지들은 2개의 카메라들(62 및 63)(도 4에 도시된)로부터 수신될 수 있고, 연속 처리를 위해 메모리(40) 내에 저장될 수 있다. 카메라들(62 및 63)은 비디오 회의 시스템 또는 보안 시스템과 같은 다른 시스템의 일부일 수 있다. 카메라들(62 및 63)은 서로 밀접하게 위치되며, 피사체(64)는 카메라들(62 및 63)로부터 근거리에 위치된다. 도 4에 도시된 바와 같이, 카메라들(62 및 63)은 5 내지 6 인치 떨어져있고, 피사체는 카메라들(62 및 63)로부터 3 피트 멀리 있다. 그러나, 본 발명이 이들 거리에 제한되지 않고, 도 4에 도시된 거리가 단지 예시적이라는 것은 이해되어야 한다.

양호하게, 카메라(62)는 도 5a에 도시된 바와 같이 피사체(64)의 정면 이미지를 찍는다. 카메라(63)는 도 5b에 도시된 바와 같이 피사체(64)의 오프셋(offset) 및 측면을 찍는다. 이것은 디스패리티 맵(disparity map)을 결정하도록 좌측 프레임(60) 및 우측 프레임(61)으로 구성되는 비교를 고려한다. 본 발명의 양호한 실시예에서, 좌측 프레임(60)(이미지 A)은 우측 프레임(61)(이미지 B)에 비교된다. 그러나, 반대의 비교도 또한 수행될 수 있다.

디지털 이미지는 다수의 수평 주사 라인들 및 어레이 픽셀을 형성하는 다수의 수직 칼럼을 포함할 때 개념화될 수 있다. 주사 라인들 및 칼럼들의 수는 디지털 이미지의 해상도를 결정한다. 디스패리티 맵을 결정하기 위해, 주사 라인들은 정렬되고, 예를 들어 이미지 A의 주사 라인(10)은 이미지 B의 주사 라인과 부합한다. 이미지 A의 주사 라인(10) 상의 픽셀은 이어서 이미지 B의 주사 라인(10) 내에 그 대응하는 픽셀에 부합된다. 따라서, 예컨대, 이미지 A의 주사 라인(10)의 15번째 픽셀이 이미지 B의 주사 라인(10)의 10번째 픽셀과 부합한다면, 디스패리티는 다음과 같이 계산된다: 15-10=5. 좌측 및 우측 카메라들(62 및 63)이 밀접하게 위치될 때, 이미지의 전경 정보(foreground information)의 픽셀들, 예를 들어 사람의 얼굴은 배경 정보(background information)의 픽셀들 보다 큰 디스패리티를 가질 것이다. 디스패리티 계산은 도 1에 도시된 디스패리티 검출기(11)에 의해 수행된다. 디스패리티 계산들에 기초한 디스패리티 맵은 메모리(40) 내에 저장될 수 있다. 이미지의 각각의 주사 라인(또는 칼럼)은 그러한 주사 라인(또는 칼럼) 내의 각각의 픽셀에 대한 디스패리티를 구성하는 프로파일을 가질 것이다. 도 6은 피사체(64)의 디지털 이미지에 기초하여 디스패리티 맵의 도식적인 표현의 한 예이다. 이러한 실시예에서, 각각의 픽셀의 그레이스케일 레벨(grayscale level)은 그러한 픽셀에 대한 계산된 디스패리티의 등급(magnitude)을 나타낸다. 그레이스케일 레벨이 점점 어두워질수록 디스패리티는 점점 낮아진다.

디스패리티 임계값, 예를 들어 10은 선택될 수 있으며, 디스패리티 임계값을 넘는 임의의 디스패리티는, 10보다 아래의 임의의 디스패리티가 픽셀이 배경 정보임을 나타내는 동안, 픽셀이 전경 정보(즉, 피사체(64))임을 나타낸다. 디스패리티 임계값의 선택은 도 4에 관해 위에 설명된 거리들 상의 일부에 기초된다. 예컨대, 보다 낮은 디스패리티 임계값은, 피사체(64)가 카메라들(61 및 62)로부터 보다 먼 거리에 위치된다면, 사용될 수 있고, 또는 보다 높은 임계값은, 카메라들(61 및 62)이 서로로부터 더 멀리 떨어진다면, 사용될 수 있다.

도 7에 도시된 바와 같이, 좌측 프레임의 전경(70) 및 배경(71)은 계산된 디스패리티 맵 및 디스패리티 임계값에 기초하여 결정된다. 전경(70)은 본질적으로 피사체(64)의 머리와 몸체를 나타낸다. 양호하게, 도 7에 도시된 바와 같이, 전경(70)은 프레임의 약 50 퍼센트(즉, 픽셀들의 총수의 50 퍼센트)를 포함해야 한다. 이것은 얼굴 부분이 잘려질 만큼 피사체의 얼굴이 너무 크지 않거나, 데이터 처리에 어려움을 야기할 만큼 너무 작지 않음을 보증한다. 물론, 본 발명은 전경(70)의 이러한 크기에 제한되지 않는다.

다음에, 얼굴 ROI는 얼굴 위치 결정기(12)(도 1에 도시된)에 의해 결정된다. 도 7에 도시된 바와 같이, 얼굴 ROI(72)는 경계선들(73, 74, 75 및 76)에 의해 경계 지워지는 직사각형 영역이다.

도 8은 상위의 경계선(74)을 결정하기 위한 단계들을 도시한 흐름도이다. 단계(S1)에서, 디스패리티 임계값(T_dm) 및 상부 임계값(T_top)은 판독된다. 또한 변수 숫자폭(variable numWidth)은 0으로 설정된다. 디스패리티 임계값의 선택은 위에 설명된다. 도 7에 도시된 실시예에서, T_top의 값은 점들(A와 B) 사이의 픽셀의 수와 같다. 디스패리티 임계값의 선택과 유사하게, T_top은 도 4에 도시된 거리들 상의 일부에 기초된다. 예컨대, 상술된 바와 같이, 전경(71)은 프레임의 약 50 퍼센트이다. 이러한 구성에서, T_top의 값은 주사 라인의 총 폭의 약 20 퍼센트가 되도록 선택된다. 그러나, 본 발명은 이러한 T_top의 값에 제한되지 않는다.

단계(S2)에서, 상부 주사 라인의 프로파일은 검색된다. 상술된 바와 같이, 이것은 그 주사 라인 내의 각각의 픽셀에 대한 계산된 디스패리티 값들로 구성한다. 다음에, 특정 픽셀에 대한 디스패리티 값(dm)이 T_dm보다 크다면, 숫자폭의 값은 단계(S4)에서 1만큼 증가된다. 이러한 결정은 그 주사 라인 내의 각각의 픽셀에 대해 이루어진다. 따라서, 하나의 주사 라인 내의 20개의 픽셀들이 T_dm보다 큰 dm을 갖는다면, 숫자폭은 20의 값을 갖는다. 단계(S5)에서, 숫자폭의 값이 T_top보다 크다면, 현재의 주사 라인은 상위 경계 라인(74)이 되도록 결정된다. 그렇지 않으면, 숫자폭은 단계(S6)에서 0과 같으며, 다음의 보다 작은(즉, 상부로부터 하부) 주사 라인 프로파일은 검색된다. 이어서, 단계들은 상위 경계 라인(74)이 결정될 때까지 반복된다.

보다 낮은 경계 라인(57)을 결정하기 위해, 도 8에 도시된 것들과 유사한 단계들이 수반된다. T_dm의 값은 동일하다. 하부 임계값(T_bottom)(T_top대신에 사용되는)은 점들(D와 C)(도 7에 도시된) 사이의 픽셀들의 수와 같다. T_bottom의 값은 T_top의 그것과 유사한 방식으로 결정된다. 그러나, 도 8에 도시된 단계(S2)와 달라서, 이러한 처리는 하부 주사 라인으로 시작하고 진행한다. 처리는 하부 주사 라인으로부터 진행하기 때문에, 숫자폭의 값들은 피사체의 목 근처에 접근될 때까지 T_bottom보다 클 것이다. 따라서, 경계 라인(75)은 숫자폭이 T_bottom보다 작을 때 주사 라인이 되도록 결정된다.

좌측 경계 라인(76) 및 우측 경계 라인(77)은 또한 유사한 방식으로 결정된다. 좌측 임계값(T_left)은 도 7에 도시된 점들(A와 B) 사이의 픽셀들의 수와 같다.우측 임계값(T_right)은 점들(B와 F) 사이의 픽셀들의 수와 같다. 좌측 경계 라인(76)을 결정하기 위해, 처리는 프레임의 픽셀들의 가장 좌측 칼럼의 프로파일로 시작하고, 프레임의 우측으로 진행한다. 우측 경계 라인(77)을 결정하기 위해, 처리는 프레임의 가장 우측 칼럼의 프로파일로 시작하고, 프레임의 좌측으로 진행한다. 좌측 및 우측 경계 라인들(76 및 77)은 숫자높이(numHieght)(숫자폭 대신에 사용되는)의 값이 각각 T_left및 T_right보다 클 때 칼럼이 되도록 결정된다.

이어서, 얼굴 ROI(72)는 경계 라인들(74-77)의 교차에 의해 형성된 직사각형(ABCD)에 의해 정의된다. 얼굴 ROI(72)의 형태는 양호하게 직사각형 형태이며, 그러나, 이러한 형태에 제한되지 않는다. 예컨대, 얼굴 ROI는 정사각형, 원 또는 타원형일 수 있다. 타원형을 계산하기 위해, 예컨대, 먼저 전경(70)은 디스패리티 맵을 사용하여 결정될 수 있다. 피사체의 목 영역은 이어서, 임계값(T_neck)을 선택함으로써 결정되며, 보다 낮은 경계 라인(75)을 결정하는 것과 유사한 처리가 수반된다. 배경(71) 및 목 영역 아래의 전경(70)의 일부는 제거되거나, 0의 값이 되게 한다. 곡선(즉, 타원) 맞춤 루틴(curve fitting routine)은 이어서, 나머지의 형태에 접근하는데 사용된다.

얼굴 ROI(72)가 얻어지면, 코의 위치는 결정될 수 있다. 이것은 도 1에 도시된 코 위치 결정기(13)에 의해 수행된다. 먼저, 얼굴 ROI(72)의 중앙(78)(도 7에 도시된)이 결정된다. 직사각형(ABCD)의 길이와 폭 및 프레임 내의 그 위치가 공지되었기 때문에, 중앙(78)은 쉽게 얻어진다. 유사한 방식으로, 얼굴 ROI가 정사각형, 원 또는 타원이라면, 중앙은 쉽게 얻어질 수 있다. 중앙 영역(79)은 얼굴 ROI(72)의 영역의 약 10 퍼센트가 되도록 정의된다. 도 7에 도시된 바와 같이, 중앙 영역(79)은 정사각형이나, 다른 형태들도 사용될 수 있다.

코 위치는 중앙 영역(79) 내의 가장 놓은 디스패리티 값(dm)을 갖는 자리에 위치된다. 가장 높은 dm을 갖는 영역들을 결정하기 위해, 히스토그램 처리가 사용될 수 있다. 이미지의 히스토그램을 계산하는 것은 그것이 계산을 거의 요구하지 않기 때문에 빨리 수행될 수 있다. 이것은 도 9에 도시된 바와 같이 가장 높은 dm을 갖는 중앙 영역(79) 내의 하나 이상의 영역(80 및 81)을 초래할 수 있다. 영역(80 및 81)은 전형적으로 다수의 픽셀들을 각각 포함한다. 하나의 영역 이상의 경우에, 가장 큰 영역(81)의 중앙(82)은 코 위치일 것이며, 다른 보다 작은 영역들(80)은 피사체(64)의 코에서 노이즈(noise) 또는 평평한 지점일 수 있다. 동일한 크기를 가지며 가장 큰 2개 이상의 영역들의 경우에, 평균은 중앙 위치를 결정하는데 사용될 수 있다.

가장 큰 영역(81)을 결정하기 위해, 이들 영역들(80 및 81) 내의 픽셀들은 하나의 값으로 설정된다. 중앙 영역(79) 내의 모든 다른 픽셀들은 0의 값으로 설정된다. 이것은 2진 방식으로 중앙 영역(79)을 양자화한다. 각각의 영역들(80 및 81)(즉, 영역 내의 픽셀들의 수에 기초하여)의 높이 및/또는 폭은 결정된다. 가장 큰 높이 및/또는 폭을 갖는 영역은 가장 큰 영역(81)이다. 가장 큰 영역(81)의 중앙은 코 위치가 되도록 결정된다.

코 위치가 코 위치 결정기(13)에 의해 획득된 후에, 좌측 눈 및 우측 눈 결정기들(14 및 15)(도 1에 도시된)은 눈들의 위치를 결정한다. 눈들의 개략적인 위치는 코의 위치에 의해 먼저 추정된다. 도 7에 도시된 바와 같이, 좌측 눈 ROI(82) 및 우측 눈 ROI(83)는 각각 코 위치 위의 영역의 한쪽 절반이 되도록 추정된다.

도 10은 눈 위치들을 결정하기 위한 흐름도를 도시한다. 단계(S10)에서, 좌측 프레임(60)의 휘도 이미지는 휘도 검출기(18)(도 1에 도시된)로부터 얻어진다. 이것은 눈이 전형적으로 최소 그레이 레벨(즉, 어두운 영역들로 나타나는)을 갖는 이미지를 초래한다. 이러한 이미지의 역은 단계(S11)에서 얻어진다. 역 이미지(inverse image)에서, 눈들은 최대 그레이 레벨(즉, 밝은 영역들로 나타나는)을 가질 것이다. 이것은 처리 계산들(processing calculations)이 보다 효율적인 방식으로 수행되도록 한다. 단계(S12)에서, 형태학상의 "가까운(close)" 연산은 역 이미지 상에 수행된다.

형태학적인 필터는 눈들 및 입과 같은 몇몇 얼굴의 부분들을 강화하는 2단계의 최소-최대 처리(minimum-maximum process)이다. 예컨대, 필터에서, 3x3 블록의 최소 그레이 레벨이 먼저 얻어진다. 최소값은 블록의 중앙에 할당된다. 3x3 블록의 최대 그레이 레벨은 이어서 얻어진다. 이어서, 최대값은 블록의 중앙에 할당된다. 이것은 동적인 범위를 줄이고, 이미지의 로컬 콘트라스트(local contrast)를 증가시킨다.

단계(S13)에서, 에지 밀도 맵(edge density map)은 휘도 검출기(luminance detector)(16)로부터 휘도와 색차 검출기(chrominance detector)(17)로부터 색차를 사용하여 최대 에지 강도를 얻음으로써 형성된다. 이것은 에지 맵 검출기918)(도 1에 도시된)에 의해 수행된다. 양호하게, 에지 검출 결과들은 좌측 프레임(60) 휘도 및 색차 구성 요소들 상의 소벨 연산(Sobel operation)에 의해 얻어진다(예를 들어, 1990, 프렌티스-홀, pp 498-485, 제이. 에스. 림(J.S. Lim)의 "2차원 신호 및 이미지 프로세싱을 참조). 그러나, 에지 검출의 다른 방법들은 로버트 연산(Robert operation)과 같은 것이 사용될 수 있다.

소벨 연산은 입력 이미지 내의 각각의 픽셀들에서 경사도 벡터들(gradient vectors)을 얻는다. 경사도 벡터의 방향은 이미지의 밝기의 경사도가 가장 큰 방향을 가리킨다. 가장 큰 경사도 벡터 크기를 갖는 픽셀들 사이의 영역은 전형적으로 이미지 내의 에지들을 형성한다. 이러한 데이터로부터, 에지 밀도 맵은 생성될 수 있다.

에지 밀도 맵은 에지 및 피사체의 눈 영역들 주변의 텍스처 밀도의 검출을 위해 얻어진다. 눈 영역들은 전형적으로 주어진 이웃(neighborhood) 내의 에지 상에 있는 이웃하는 픽셀들의 수로서 정의되는 높은 에지 밀도를 가진다. 예컨대, 3x3 지역(neighborhood)에서, 에지 밀도는 0내지 9의 범위일 수 있다. 0의 값은 어떤 픽셀들도 에지 상에 있지 않음을 의미하며, 반면에 9의 값은 모든 픽셀들이 이웃하여 에지 상에 있음을 의미한다. 양호하게, 본 발명에서, 5x5 지역들이 사용된다.

단계(S14)에서, 좌측 눈 또는 우측 눈 위치는 형태학상의 "가까운" 연산(I) 및 에지 밀도 맵(E)의 결과에 기초하여 결정된다. 좌측 눈 ROI(82) 또는 우측 눈 ROI(83) 내의 최소값은 각각의 눈 위치가 되도록 결정된다. 단계(S14)에서 상수(c)의 값은 0 내지 1의 범위이다; c의 값을 증가시키는 것은 에지 텍스처를 강조하며, c의 값을 감소시키는 것은 이미지 자신을 강조한다. 양호하게, c의 값은 시스템의 견고성(robustness)에 대해 약 0.3이다.

좌측 또는 우측 눈 ROI를 결정하는 것과 마찬가지로, 입 ROI(84)(도 7에 도시된)는 결정된 코 위치 아래 얼굴 ROI(72)의 위치로 추정된다. 입의 위치는 가우시안 가중된 라돈 변환(Gaussian weighted Radon transformation)(참고로, 제이. 에스. 림(J.S. Lim)의 1990, 프렌티스 홀(Prentice-Hall), pp 42-45, " 2차원 신호 및 이미지 프로세싱"을 참조)에 의해 양호하게 결정된다. 입의 중앙의 수평 좌표가 코 위치의 그것과 가깝기 때문에, 수평 방향으로의 라돈 변환(즉, 각(2)=0에서의 함수의 투영(projection of function))은 에지 맵 결정기(18)로부터 에지 맵 상에 적용된다. 입 ROI(84)의 중앙에 집중된 가우시안 함수는 응답(responses)에 가중치를 주는데 사용된다.

예컨대, 도 11에 도시된 바와 같이, 화살표(86)가 라돈 변환에 대한 통합 투영(integration projections)을 나타내는 입 ROI(84)의 에지 맵(85)이 도시된다. 가우시안 필터(87)는 라돈 변환에 적용된다. 결과적인 라돈 투영(88)으로부터, 입의 코너들(L 및 R)이 얻어진다. 코너들(L 및 R)은 라돈 투영(88)의 중앙에서 시작하고, 라돈 투영의 값이 임계값(T_mouth)보다 적은 곳을 결정하는 좌측 또는 우측으로 이동함으로써 발견된다. 라돈 투영(88)이 각각의 끝에서 0으로 급격하게 떨어지기 때문에(즉, 입의 코너들(L 및 R)을 넘어서), T_mouth는 1 내지 10의 범위에서 양호하게, 임의의 비-제로 값이 되도록 선택될 수 있다. 코너들(L 및 R)이 결정된 후에, 입 ROI(84)는 따라서 조정(즉, 감소)된다. 조정된 입 ROI(84)를 사용하여, 입 중앙의 수직 위치가 탐색된다. 라돈 변환은 조정된 입 ROI(84)의 에지 맵의 수직 방향으로 사용된다. 최대 응답의 위치는 입의 중앙의 수직 위치로서 식별된다. 상부 및 하부 입술 위치들을 탐색하기 위해, 수직 라돈 응답들은 다시 검사된다. 가장 큰 응답들을 갖는 두 개의 위치들은 상부 입술의 경계로서 식별된다. 유사하게, 하부 입술의 경계들은 아래의 중앙으로부터 선택된다.

이어서, 시스템(10)은 피사체(64)의 얼굴 특징들의 좌표들을 출력한다. 시스템(10)은 얼굴 특징들의 표시들과 다양한 ROI의 윤곽 또는 강조된 부분의 표시들을 갖는 좌측 프레임(60)을 또한 출력할 수 있다.

본 발명은 감시 및 보안 시스템 분야 또는 얼굴 인식이 요구되는 임의의 응용에서 많은 응용들을 갖는다. 본 발명은 또한 비디오 회의에서 응용들을 갖는다.

전형적으로, 비디오 회의에서, 임의의 주어진 장면 내의 대부분의 화상 데이터는 부적절한 정보, 예컨대 배경 내의 객체들로 구성된다. 압축 알고리즘들은 적절한 객체들과 부적절한 객체들 사이를 식별할 수 없으며, 모든 이러한 정보가 낮은 대역폭 채널 상에 전송되면, 결과는 비디오 회의 참가자의 지연된 "급변하는(jumpy)" 모습의 비디오이다. 본 발명은, 예컨대, 참가자의 얼굴이 식별되도록 하여, 배경 정보와 다른 속도로 전송되도록 할 수 있다. 이것은 얼굴의 이동이 오디오와 함께 동기화되도록하며, "급변하는" 모습을 방지한다.

본 발명이 특정 실시예들에 관해 상술되었지만, 본 발명이 상기 실시예들에제한되거나 한정되도록 의도된 것이 아니라는 것은 이해되어야 한다. 예컨대, 본 발명은 필터링 또는 수학적인 변형의 어떤 특정 형태 또는 어떤 특정 입력 이미지 비율(scale) 또는 방위(orientation)에 제한되지 않는다. 이에 반해, 본 발명은 첨부된 청구항들의 범위 및 사상 내에 포함된 다양한 구조들 및 변경들을 포함하도록 의도된다.

Claims

이미지 처리 장치(10)에 있어서,

디스패리티 정보를 결정하기 위한 한 쌍의 이미지들(60, 61) 내의 유사 픽셀 정보(like pixel information)의 위치를 비교하도록 배치된 디스패리티 검출기(11)와;

상기 디스패리티 정보에 따라 상기 이미지들(60) 중 하나의 ROI(72)(region of interest)를 식별하는 영역 검출기(12)로서, 상기 ROI(72)는 다수의 얼굴 특징들을 포함하는, 상기 영역 검출기(12)와;

상기 디스패리티 정보에 따라 상기 얼굴 특징들 중 하나의 위치를 식별하는 상기 영역 검출기(12)에 연결된 제 1 위치 검출기(13)를 포함하는 이미지 처리 장치.
제 1 항에 있어서,

상기 하나의 얼굴 특징은 코인, 이미지 처리 장치.
제 2 항에 있어서,

상기 위치(82)는, 상기 ROI(79) 내의 다른 디스패리티 값들과 비교될 때, 디스패리티 값이 가장 큰 위치(80, 81)에 대응하는, 이미지 처리 장치.
제 3 항에 있어서,

상기 제 1 위치 검출기는 상기 코가 상기 디스패리티 값들과 비교되기 전에 위치되는 상기 ROI(72)의 부분(79)을 식별하는 서브-영역 검출기(12)를 포함하는, 이미지 처리 장치.
제 2 항에 있어서,

상기 코의 위치에 따라 다른 얼굴 특징의 위치를 식별하는 상기 제 1 위치 검출기(13)에 연결된 제 2 위치 검출기(14)를 더 포함하는 이미지 처리 장치.
제 5 항에 있어서,

상기 다른 얼굴의 특징은 좌측 또는 우측 눈이며, 상기 제 2 위치 검출기(14, 15)는 상기 코의 위치에 기초하여 상기 좌측 또는 우측 눈의 위치에 대한 대략의 영역(82, 83)을 식별하는, 이미지 처리 장치.
제 1 항에 있어서,

상기 한 쌍의 이미지들(60, 61)은 비디오 회의 시스템 내의 스테레오 쌍의 카메라들(62, 63)로부터 수신되는, 이미지 처리 장치.
이미지 처리 장치(10)에 있어서,

디스패리티 정보를 결정하는 한 쌍의 이미지들(60, 61) 내의 유사 픽셀 정보의 위치들을 비교하도록 배치된 디스패리티 검출기(11)와;

디스패리티 검출기(11)로부터 디스패리티 정보와 선정된 임계값(T_mouth)의 비교에 기초하여 상기 이미지들(60) 중 한 이미지 내의 얼굴(72)의 대략의 경계들(74, 75, 76, 77)을 결정하는 상기 디스패리티 검출기(11)에 연결된 아웃라인 식별기(12)와;

상기 얼굴(72)의 중앙 영역(79) 내에 상기 디스패리티 정보에 따라 상기 얼굴의 코의 위치를 식별하는 상기 아웃라인 식별기(12) 및 상기 디시패리티 검출기(11)에 연결된 코 위치 식별기(13)를 포함하는 이미지 처리 장치(10).
이미지에서 얼굴 특징들의 위치를 결정하는 방법에 있어서,

한 쌍의 이미지들(60, 61) 사이의 디스패리티(도 6)를 계산하는 단계와;

상기 이미지들(60) 중 적어도 하나의 ROI(72)를 결정하는 단계(도 8)와;

상기 계산된 디스패리티에 따라 상기 얼굴 ROI(72) 내에 코 위치(82)를 식별하는 단계를 포함하는 얼굴 특징들의 위치 결정 방법.
제 9 항에 있어서,

상기 계산 단계는,

각각의 상기 한 쌍의 이미지들(60, 61) 내의 유사 픽셀들의 위치들을 식별하는 단계와;

상기 유사 픽셀들의 위치들 사이의 차이를 계산하는 단계를 포함하는, 얼굴특징들의 위치 결정 방법.
제 9 항에 있어서,

상기 결정 단계는,

상기 위치들 사이의 디스패리티 값이 선정된 임계값(T_dm) 위 또는 아래에 떨어지는지 여부를 유사 픽셀들의 각각의 세트에 대하여 결정하는 단계와,

만일 그렇다면, 상기 얼굴 ROI(72)에 대한 경계 라인(74, 75, 76, 77)으로서 픽셀 칼럼 또는 주사 라인을 식별하는 단계를 포함하는, 얼굴 특징들의 위치 결정 방법.
제 9 항에 있어서,

상기 식별 단계는,

상기 얼굴 ROI의 중앙 영역(79)을 결정하는 단계와;

상기 중앙 영역 내에서 가장 큰 디스패리티 값을 결정하도록 히스토그램을 계산하는 단계와;

상기 중앙 영역 내의 하나의 영역(80, 81) 이상이 상기 히스토그램을 사용하는 단계에서 결정된다면, 다른 영역들(80)과 비교하여 어떤 영역(84)이 가장 큰지를 결정하는 단계와;

상기 코 위치로서 상기 가장 큰 영역(81)의 중앙(82)을 사용하는 단계를 포함하는, 얼굴 특징들의 위치 결정 방법
한 쌍의 이미지들(60, 61)을 처리하기 위한 코드를 포함하는 컴퓨터-판독 가능한 메모리 매체에 있어서,

디스패리티 정보를 결정하도록 한 쌍의 이미지들 내의 유사 픽셀 정보의 위치들을 비교하는 디스패리티 검출 코드와;

상기 디스패리티 정보에 따라 이미지들 중 한 이미지 내의 ROI를 식별하는 영역 검출 코드로서, 상기 ROI는 다수의 얼굴 특징들을 포함하는, 상기 영역 검출 코드와;

상기 디스패리티 정보에 따라 상기 얼굴 특징들 중 한 특징의 위치를 식별하는 제 1 위치 검출 코드를 포함하는 컴퓨터-판독 가능한 메모리 매체.
제 13 항에 있어서,

상기 하나의 얼굴 특징은 코이며, 상기 위치는 디스패리티 값이 상기 ROI 내의 다른 디스패리티 값들과 비교하여 가장 큰 위치에 대응하는, 컴퓨터-판독 가능한 메모리 매체.