KR20010103631A - 생물 측정학-기반 얼굴 특징 추출을 위한 시스템 및 방법 - Google Patents

생물 측정학-기반 얼굴 특징 추출을 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20010103631A
KR20010103631A KR1020017005456A KR20017005456A KR20010103631A KR 20010103631 A KR20010103631 A KR 20010103631A KR 1020017005456 A KR1020017005456 A KR 1020017005456A KR 20017005456 A KR20017005456 A KR 20017005456A KR 20010103631 A KR20010103631 A KR 20010103631A
Authority
KR
South Korea
Prior art keywords
disparity
roi
detector
images
identifying
Prior art date
Application number
KR1020017005456A
Other languages
English (en)
Inventor
용얀
Original Assignee
요트.게.아. 롤페즈
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 요트.게.아. 롤페즈, 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 요트.게.아. 롤페즈
Publication of KR20010103631A publication Critical patent/KR20010103631A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Analysis (AREA)

Abstract

얼굴의 생물 측정학 정보를 사용하여 이미지로부터 얼굴 특징 정보를 추출하는 방법 및 이미지 처리 시스템은 개시된다. 얼굴, 눈, 코 및 입과 같은 ROI는 이미지 내에 정의된다. 이어서, 디스패리티 맵핑, 에지 검출 및 필터링의 조합은 ROI 내의 얼굴 특징들의 좌표들/위치들을 추출하는데 사용된다.

Description

생물 측정학-기반 얼굴 특징 추출을 위한 시스템 및 방법{System and method for biometrics-based facial feature extraction}
디지털 이미지를 분석하고 인간의 얼굴들을 인식하는 시스템 및 방법들은 공지되어 있다. 얼굴 특징 정보의 추출은 자동화된/감시 시스템들, 모니터링 시스템들, 컴퓨터와 인간의 인터페이스, 텔레비전 및 비디오 신호 분석과 같은 다양한 응용들에 사용되어 왔다.
종래의 얼굴 검출 시스템들은 얼굴의 컬러 톤 검출, 템플릿 매칭(template matching), 또는 에지 검출 접근법들과 같은 방법들을 사용한다. 그러나, 종래의 시스템들의 이런 타입들에 많은 결점들이 존재한다. 일반적으로, 이들 종래의 시스템들은, 즉, 인종의 다양성, 얼굴 표현 및 밝기 조건들에 기인하여, 견고성(robustness)이 결여된다.
특히, 얼굴의 컬러 톤 검출을 사용하는 시스템들에서, 예컨대, 색조 변환(tint conversion)은 피부-색 영역들을 결정하는 입력 디지털 이미지에 적용된다. 피부-색 영역들에 기초한 마스크 패턴은 특정한 얼굴의 영역들을 추출하는데 사용된다. 그러나, 밝기 소스(light source)에 의존하면, 각각의 얼굴 영역들의 빛깔은 변하여, 정확한 정보를 추출하는데 어려움을 야기할 수 있다. 부가하여, 디지털 이미지가 발생하는 동안의 이동은 또한 피부-색 영역들을 정확하게 검출하는데 어려움을 야기하는 그림자를 발생시킬 수 있다.
템플릿 매칭을 사용하는 시스템에서, 얼굴의 템플릿들은 특정 성 또는 인종에 대한 얼굴 특징들(즉, 눈, 코 및 입)의 평균 위치들에 기초하여 먼저 결정된다. 이러한 타입의 시스템의 한 결점은 표현들(예를 들어, 미소)이 잘못된 결과를 유도하는데 사용되어 잘못된 템플릿을 발생시킬 수 있다는 것이다.
에지 검출을 사용한 종래의 시스템들도 또한 공지되어 있다. 에지 검출 접근법들은 눈이 전형적으로 높은 에지 밀도값들을 갖기 때문에 눈의 위치를 위치시키는데 유용하다. 그러나, 안경 및 수염과 같은 얼굴의 털은 이들 시스템들이 잘못된 결과를 발생하게 할 수 있다. 부가하여, 에지 검출은 전형적으로 코의 위치를 결정하는데 사용될 수 없다.
따라서, 이동 또는 다른 얼굴 표현들에 기인한 얼굴 특징들의 다양성에도 불구하고, 디지털 이미지들로부터 얼굴 특징들의 추출을 위한 견고한 성능을 제공하는 향상된 시스템들 및 방법들에 대한 필요가 이 기술분야에 존재한다.
본 발명은 일반적으로 인간의 얼굴들을 검출하는 분야에 관한 것이며, 특히, 생물 측정학 정보를 사용하여 디지털 이미지 내에 얼굴 특징들을 위치시키기 위한 시스템 및 방법에 관한 것이다.
도 1은 본 발명의 한 측면에 따른 얼굴 특징의 블록도.
도 2는 도 1의 시스템을 지원할 수 있는 예시적인 컴퓨터 시스템의 블록도.
도 3은 도 2의 컴퓨터 시스템의 구조를 도시한 블록도.
도 4는 본 발명의 양호한 실시예에 따른 예시적인 배치를 도시한 블록도.
도 5a 및 5b는 본 발명의 한 실시예에 따른 피사체(subject)의 개략도.
도 6은 본 발명의 양호한 실시예에 따른 디스패리티 맵(disparity map).
도 7은 다양한 ROI를 도시한 이미지의 개략도.
도 8은 본 발명의 한 측면에 따른 처리의 흐름도.
도 9는 본 발명의 한 측면에 따른 코 영역의 불균형 맵의 개략도.
도 10은 본 발명의 한 측면에 따른 처리의 흐름도.
도 11은 본 발명의 한 측면에 따른 라돈 투영(Radon projection)을 도시한도면.
본 발명의 목적은 상술된 종래의 추출 시스템들의 한계를 처리하는 것이다.
본 발명의 다른 목적은 이미지 내의 ROI(regions of interest)를 정의하고얼굴 특징들의 위치들을 정확하게 추출하는 생물 측정학 정보를 사용하는 얼굴 특징 추출 시스템을 제공하는 것이다.
본 발명의 한 관점에 따라, 이미지 처리 장치는 한 쌍의 이미지들 내의 유사 픽셀 정보(like pixel information)의 위치들을 비교하고, 디스패리티 정보를 결정하는 디스패리티 검출기와, 디스패리티 정보에 따라 이미지들 중 한 이미지 내의 ROI를 식별하는 영역 검출기를 포함한다. ROI는 다수의 얼굴 특징들을 포함한다. 장치는 또한 디스패리티 정보에 따라 얼굴 특징들 중 하나의 위치를 식별하는 영역 검출기에 결합된 제 1 위치 검출기를 포함한다.
본 발명의 다른 관점에 따라, 이미지 처리 장치는 디스패리티 정보를 결정하는 디스패리티 검출기와, 선정된 임계값과 디스패리티 정보의 비교에 기초하여 이미지 내의 얼굴의 대략의 경계들을 결정하는 아웃라인 식별기를 포함한다. 장치는 또한 얼굴의 중앙 영역 내에서 디스패리티 정보에 따라 얼굴의 코 위치를 식별하는 코 위치 식별기를 포함한다.
본 발명의 한 실시예는 한 쌍의 이미지들 사이의 디스패리티를 계산하는 단계와, 이미지들 중 적어도 한 이미지 내의 얼굴 ROI(region of interest)를 결정하는 단계를 포함하는 이미지 내의 얼굴 특징들의 위치를 결정하는 방법에 관한 것이다. 방법은 또한 계산된 디스패리티에 따라 얼굴 ROI 내에서 코 위치를 식별하는 단계를 포함한다.
본 발명의 다른 실시예는 한 쌍의 이미지들을 처리하기 위한 코드를 포함하는 컴퓨터-판독 가능한 메모리 매체에 관한 것이다. 메모리 매체는 디스패리티 정보를 결정하도록 한 쌍의 이미지들 내의 유사 픽셀 정보의 위치들을 비교하는 코드와, 디스패리티 정보에 따라 이미지들 중 한 이미지 내의 ROI를 식별하는 코드를 포함한다. ROI는 다수의 얼굴 특징들을 포함한다. 또한, 메모리 매체는 디스패리티 정보에 따라 얼굴 특징들 중 하나의 위치를 식별하는 코드를 포함한다.
본 발명의 이들 및 다른 실시예들과 관점들은 다음의 상세한 설명에서 예시된다.
본 발명의 특징들 및 이점들은 아래의 도면과 양호한 실시예의 상세한 설명을 참조함으로써 이해될 수 있다.
이제, 도 1을 참조하면, 얼굴 특징 추출 시스템(10)이 도시된다. 일반적으로, 시스템(10)은 이미지의 ROI(regions of interests)를 정의하는 사람 얼굴 생물 측정 정보(human face biometrics information)(즉, 코, 눈 및 입의 일반적인 위치들)를 사용한다.
양호한 실시예에서, 시스템(10)은 데이터 처리 장치에 의해 실행된 컴퓨터 판독 가능한 코드에 의해 구현된다. 코드는 CD-ROM 또는 플로피 디스크와 같은 메모리 매체로부터 판독/다운로드되거나 데이터 처리 장치 내의 메모리에 저장될 수 있다. 다른 실시예들에서, 하드웨어 회로는 본 발명을 구현하는 소프트웨어 명령들 대신에 또는 그것들과 협력하여 사용될 수 있다. 예컨대, 본 발명은 디스플레이용 텔레비전 모니터 및 처리용 트라이미디어 프로세서(Trimedia processor)를 사용하는 디지털 텔레비전 플랫폼 상에 구현될 수 있다. 본 발명은 또한 도 2에 도시된 컴퓨터 상에 구현될 수 있다.
도 2에 도시된 바와 같이, 컴퓨터(10)는 변동성-대역폭 네트워크(variable-bandwidth network) 또는 인터넷과 같은 네트워크에 인터페이스하기 위한 네트워크 접속(31), 및 비디오 또는 디지털 카메라(도시 안됨)와 같은 다른 원격 소스들과 인터페이스하기 위한 팩스/모뎀 접속(32)을 포함한다. 컴퓨터(10)는 또한 사용자에게 정보(비디오 데이터를 포함하는)를 디스플레이하기 위한 디스플레이(33)와, 텍스트 및 사용자 명령들을 입력하기 위한 키보드(34)와, 디스플레이(33) 상에 커서를 위치시키고 사용자 명령들을 입력하기 위한 마우스(35)와, 내부에 설치된 플로피 디스크로부터 판독하고 상기 디스크에 기록하기 위한 디스크 드라이브(36)와, CD-ROM 상에 저장된 정보를 억세스하기 위한 CD-ROM 드라이브(37)를 포함한다. 컴퓨터(30)는 또한 이미지들, 또는 동종의 것을 입력하기 위한 한 쌍의 비디오 회의 카메라들, 및 이미지들, 텍스트, 또는 동종의 것을 출력하기 위한 프린터(38)와 같은, 그것에 부착된 하나 이상의 주변 장치들을 포함할 수 있다.
도 3은 RAM(Random Access Memory)과, ROM(Read-Only Memory)과 하드디스크와 같은 컴퓨터-판독 가능한 매체를 포함할 수 있는 메모리(40)를 포함하는 컴퓨터(10)의 내부 구조를 도시한다. 메모리(40) 내에 저장된 아이템들은 운영 시스템(41)과, 데이터(42)와 애플리케이션들(43)을 포함한다. 본 발명의 양호한 실시예들에서, 비록 본 발명이 마이크로소프트 윈도우즈95와 같은 다른 운영 시스템들과 함께 사용될지라도, 운영 시스템(41)은 UNIX와 같은 윈도우형 운영 시스템(windowing operating system)이다. 메모리(40) 내에 저장된 애플리케이션들 가운데는 비디오 코더(44), 비디오 디코더(45) 및 프레임 수집기(frame grabber)(46)가 있다. 비디오 코더(44)는 종래의 방식으로 비디오 데이터를 인코딩하고, 비디오 디코더(45)는 종래의 방식으로 코딩된 비디오 데이터를 디코딩한다. 프레임 수집기(46)는 비디오 신호 스트림으로부터 단일 프레임들이 변환되고(captured) 처리되도록 허가한다.
또한, 컴퓨터(30) 내에 중앙 처리 유닛(CPU)(50), 통신 인터페이스(51), 메모리 인터페이스(52), CD-ROM 드라이브 인터페이스(53), 비디오 인터페이스(54) 및버스(55)가 포함된다. CPU(50)는 컴퓨터 판독 가능한 코드, 즉, 메모리(50) 밖에서 위에 언급된 것들과 같은 애플리케이션들을 실행하기 위한 마이크로프로세서 또는 동종의 것을 포함한다. 그러한 애플리케이션들은 메모리(40) 내에(위에 언급된 바와 같이) 또는, 선택적으로 디스크 드라이브(36) 내의 플로피 디스크 또는 CD-ROM 드라이브(37) 내에 CD-ROM 상에 저장될 수 있다. CPU(50)는 메모리 인터페이스(52)를 통해 플로피 디스크 상에 저장된 애플리케이션들(또는 다른 데이터)을 억세스하고, CD-ROM 드라이브 인터페이스(53)를 통해 CD-ROM 상에 저장된 애플리케이션들(또는 다른 데이터)을 억세스한다.
애플리케이션 실행 및 컴퓨터(30)의 다른 태스크들은 키보드(34) 또는 마우스(35)를 사용하여 초기화될 수 있다. 컴퓨터(30) 상에 실행하는 애플리케이션들로부터의 출력 결과들은 디스플레이(34) 상에서 사용자에게 디스플레이되거나, 선택적으로 네트워크 접속(31)을 통해서 출력될 수 있다. 예컨대, 입력 비디오 데이터는 비디오 인터페이스(54) 또는 네트워크 접속(31)을 통해 수신될 수 있다. 입력 비디오 데이터는 비디오 디코더(45)에 의해 디코딩될 수 있다. 출력 비디오 데이터는 비디오 인터페이스(54) 또는 네트워크 인터페이스(31)를 통한 전송을 위해 비디오 코더(44)에 의해 코딩될 수 있다. 디스플레이(33)는 버스(55) 상에서 CPU(50)에 의해 제공된 디코딩된 비디오 데이터에 기초하여 비디오 이미지들을 형성하기 위한 디스플레이 프로세서를 양호하게 포함한다. 다양한 애플리케이션들로부터의 출력 결과들은 프린터(38)에 제공될 수 있다.
도 1을 돌아보면, 좌측 프레임(60) 및 우측 프레임(61)을 포함하는 한 쌍의스테레오 디지털 이미지들은 시스템(10)에 입력된다. 예컨대, 디지털 이미지들은 2개의 카메라들(62 및 63)(도 4에 도시된)로부터 수신될 수 있고, 연속 처리를 위해 메모리(40) 내에 저장될 수 있다. 카메라들(62 및 63)은 비디오 회의 시스템 또는 보안 시스템과 같은 다른 시스템의 일부일 수 있다. 카메라들(62 및 63)은 서로 밀접하게 위치되며, 피사체(64)는 카메라들(62 및 63)로부터 근거리에 위치된다. 도 4에 도시된 바와 같이, 카메라들(62 및 63)은 5 내지 6 인치 떨어져있고, 피사체는 카메라들(62 및 63)로부터 3 피트 멀리 있다. 그러나, 본 발명이 이들 거리에 제한되지 않고, 도 4에 도시된 거리가 단지 예시적이라는 것은 이해되어야 한다.
양호하게, 카메라(62)는 도 5a에 도시된 바와 같이 피사체(64)의 정면 이미지를 찍는다. 카메라(63)는 도 5b에 도시된 바와 같이 피사체(64)의 오프셋(offset) 및 측면을 찍는다. 이것은 디스패리티 맵(disparity map)을 결정하도록 좌측 프레임(60) 및 우측 프레임(61)으로 구성되는 비교를 고려한다. 본 발명의 양호한 실시예에서, 좌측 프레임(60)(이미지 A)은 우측 프레임(61)(이미지 B)에 비교된다. 그러나, 반대의 비교도 또한 수행될 수 있다.
디지털 이미지는 다수의 수평 주사 라인들 및 어레이 픽셀을 형성하는 다수의 수직 칼럼을 포함할 때 개념화될 수 있다. 주사 라인들 및 칼럼들의 수는 디지털 이미지의 해상도를 결정한다. 디스패리티 맵을 결정하기 위해, 주사 라인들은 정렬되고, 예를 들어 이미지 A의 주사 라인(10)은 이미지 B의 주사 라인과 부합한다. 이미지 A의 주사 라인(10) 상의 픽셀은 이어서 이미지 B의 주사 라인(10) 내에 그 대응하는 픽셀에 부합된다. 따라서, 예컨대, 이미지 A의 주사 라인(10)의 15번째 픽셀이 이미지 B의 주사 라인(10)의 10번째 픽셀과 부합한다면, 디스패리티는 다음과 같이 계산된다: 15-10=5. 좌측 및 우측 카메라들(62 및 63)이 밀접하게 위치될 때, 이미지의 전경 정보(foreground information)의 픽셀들, 예를 들어 사람의 얼굴은 배경 정보(background information)의 픽셀들 보다 큰 디스패리티를 가질 것이다. 디스패리티 계산은 도 1에 도시된 디스패리티 검출기(11)에 의해 수행된다. 디스패리티 계산들에 기초한 디스패리티 맵은 메모리(40) 내에 저장될 수 있다. 이미지의 각각의 주사 라인(또는 칼럼)은 그러한 주사 라인(또는 칼럼) 내의 각각의 픽셀에 대한 디스패리티를 구성하는 프로파일을 가질 것이다. 도 6은 피사체(64)의 디지털 이미지에 기초하여 디스패리티 맵의 도식적인 표현의 한 예이다. 이러한 실시예에서, 각각의 픽셀의 그레이스케일 레벨(grayscale level)은 그러한 픽셀에 대한 계산된 디스패리티의 등급(magnitude)을 나타낸다. 그레이스케일 레벨이 점점 어두워질수록 디스패리티는 점점 낮아진다.
디스패리티 임계값, 예를 들어 10은 선택될 수 있으며, 디스패리티 임계값을 넘는 임의의 디스패리티는, 10보다 아래의 임의의 디스패리티가 픽셀이 배경 정보임을 나타내는 동안, 픽셀이 전경 정보(즉, 피사체(64))임을 나타낸다. 디스패리티 임계값의 선택은 도 4에 관해 위에 설명된 거리들 상의 일부에 기초된다. 예컨대, 보다 낮은 디스패리티 임계값은, 피사체(64)가 카메라들(61 및 62)로부터 보다 먼 거리에 위치된다면, 사용될 수 있고, 또는 보다 높은 임계값은, 카메라들(61 및 62)이 서로로부터 더 멀리 떨어진다면, 사용될 수 있다.
도 7에 도시된 바와 같이, 좌측 프레임의 전경(70) 및 배경(71)은 계산된 디스패리티 맵 및 디스패리티 임계값에 기초하여 결정된다. 전경(70)은 본질적으로 피사체(64)의 머리와 몸체를 나타낸다. 양호하게, 도 7에 도시된 바와 같이, 전경(70)은 프레임의 약 50 퍼센트(즉, 픽셀들의 총수의 50 퍼센트)를 포함해야 한다. 이것은 얼굴 부분이 잘려질 만큼 피사체의 얼굴이 너무 크지 않거나, 데이터 처리에 어려움을 야기할 만큼 너무 작지 않음을 보증한다. 물론, 본 발명은 전경(70)의 이러한 크기에 제한되지 않는다.
다음에, 얼굴 ROI는 얼굴 위치 결정기(12)(도 1에 도시된)에 의해 결정된다. 도 7에 도시된 바와 같이, 얼굴 ROI(72)는 경계선들(73, 74, 75 및 76)에 의해 경계 지워지는 직사각형 영역이다.
도 8은 상위의 경계선(74)을 결정하기 위한 단계들을 도시한 흐름도이다. 단계(S1)에서, 디스패리티 임계값(Tdm) 및 상부 임계값(Ttop)은 판독된다. 또한 변수 숫자폭(variable numWidth)은 0으로 설정된다. 디스패리티 임계값의 선택은 위에 설명된다. 도 7에 도시된 실시예에서, Ttop의 값은 점들(A와 B) 사이의 픽셀의 수와 같다. 디스패리티 임계값의 선택과 유사하게, Ttop은 도 4에 도시된 거리들 상의 일부에 기초된다. 예컨대, 상술된 바와 같이, 전경(71)은 프레임의 약 50 퍼센트이다. 이러한 구성에서, Ttop의 값은 주사 라인의 총 폭의 약 20 퍼센트가 되도록 선택된다. 그러나, 본 발명은 이러한 Ttop의 값에 제한되지 않는다.
단계(S2)에서, 상부 주사 라인의 프로파일은 검색된다. 상술된 바와 같이, 이것은 그 주사 라인 내의 각각의 픽셀에 대한 계산된 디스패리티 값들로 구성한다. 다음에, 특정 픽셀에 대한 디스패리티 값(dm)이 Tdm보다 크다면, 숫자폭의 값은 단계(S4)에서 1만큼 증가된다. 이러한 결정은 그 주사 라인 내의 각각의 픽셀에 대해 이루어진다. 따라서, 하나의 주사 라인 내의 20개의 픽셀들이 Tdm보다 큰 dm을 갖는다면, 숫자폭은 20의 값을 갖는다. 단계(S5)에서, 숫자폭의 값이 Ttop보다 크다면, 현재의 주사 라인은 상위 경계 라인(74)이 되도록 결정된다. 그렇지 않으면, 숫자폭은 단계(S6)에서 0과 같으며, 다음의 보다 작은(즉, 상부로부터 하부) 주사 라인 프로파일은 검색된다. 이어서, 단계들은 상위 경계 라인(74)이 결정될 때까지 반복된다.
보다 낮은 경계 라인(57)을 결정하기 위해, 도 8에 도시된 것들과 유사한 단계들이 수반된다. Tdm의 값은 동일하다. 하부 임계값(Tbottom)(Ttop대신에 사용되는)은 점들(D와 C)(도 7에 도시된) 사이의 픽셀들의 수와 같다. Tbottom의 값은 Ttop의 그것과 유사한 방식으로 결정된다. 그러나, 도 8에 도시된 단계(S2)와 달라서, 이러한 처리는 하부 주사 라인으로 시작하고 진행한다. 처리는 하부 주사 라인으로부터 진행하기 때문에, 숫자폭의 값들은 피사체의 목 근처에 접근될 때까지 Tbottom보다 클 것이다. 따라서, 경계 라인(75)은 숫자폭이 Tbottom보다 작을 때 주사 라인이 되도록 결정된다.
좌측 경계 라인(76) 및 우측 경계 라인(77)은 또한 유사한 방식으로 결정된다. 좌측 임계값(Tleft)은 도 7에 도시된 점들(A와 B) 사이의 픽셀들의 수와 같다.우측 임계값(Tright)은 점들(B와 F) 사이의 픽셀들의 수와 같다. 좌측 경계 라인(76)을 결정하기 위해, 처리는 프레임의 픽셀들의 가장 좌측 칼럼의 프로파일로 시작하고, 프레임의 우측으로 진행한다. 우측 경계 라인(77)을 결정하기 위해, 처리는 프레임의 가장 우측 칼럼의 프로파일로 시작하고, 프레임의 좌측으로 진행한다. 좌측 및 우측 경계 라인들(76 및 77)은 숫자높이(numHieght)(숫자폭 대신에 사용되는)의 값이 각각 Tleft및 Tright보다 클 때 칼럼이 되도록 결정된다.
이어서, 얼굴 ROI(72)는 경계 라인들(74-77)의 교차에 의해 형성된 직사각형(ABCD)에 의해 정의된다. 얼굴 ROI(72)의 형태는 양호하게 직사각형 형태이며, 그러나, 이러한 형태에 제한되지 않는다. 예컨대, 얼굴 ROI는 정사각형, 원 또는 타원형일 수 있다. 타원형을 계산하기 위해, 예컨대, 먼저 전경(70)은 디스패리티 맵을 사용하여 결정될 수 있다. 피사체의 목 영역은 이어서, 임계값(Tneck)을 선택함으로써 결정되며, 보다 낮은 경계 라인(75)을 결정하는 것과 유사한 처리가 수반된다. 배경(71) 및 목 영역 아래의 전경(70)의 일부는 제거되거나, 0의 값이 되게 한다. 곡선(즉, 타원) 맞춤 루틴(curve fitting routine)은 이어서, 나머지의 형태에 접근하는데 사용된다.
얼굴 ROI(72)가 얻어지면, 코의 위치는 결정될 수 있다. 이것은 도 1에 도시된 코 위치 결정기(13)에 의해 수행된다. 먼저, 얼굴 ROI(72)의 중앙(78)(도 7에 도시된)이 결정된다. 직사각형(ABCD)의 길이와 폭 및 프레임 내의 그 위치가 공지되었기 때문에, 중앙(78)은 쉽게 얻어진다. 유사한 방식으로, 얼굴 ROI가 정사각형, 원 또는 타원이라면, 중앙은 쉽게 얻어질 수 있다. 중앙 영역(79)은 얼굴 ROI(72)의 영역의 약 10 퍼센트가 되도록 정의된다. 도 7에 도시된 바와 같이, 중앙 영역(79)은 정사각형이나, 다른 형태들도 사용될 수 있다.
코 위치는 중앙 영역(79) 내의 가장 놓은 디스패리티 값(dm)을 갖는 자리에 위치된다. 가장 높은 dm을 갖는 영역들을 결정하기 위해, 히스토그램 처리가 사용될 수 있다. 이미지의 히스토그램을 계산하는 것은 그것이 계산을 거의 요구하지 않기 때문에 빨리 수행될 수 있다. 이것은 도 9에 도시된 바와 같이 가장 높은 dm을 갖는 중앙 영역(79) 내의 하나 이상의 영역(80 및 81)을 초래할 수 있다. 영역(80 및 81)은 전형적으로 다수의 픽셀들을 각각 포함한다. 하나의 영역 이상의 경우에, 가장 큰 영역(81)의 중앙(82)은 코 위치일 것이며, 다른 보다 작은 영역들(80)은 피사체(64)의 코에서 노이즈(noise) 또는 평평한 지점일 수 있다. 동일한 크기를 가지며 가장 큰 2개 이상의 영역들의 경우에, 평균은 중앙 위치를 결정하는데 사용될 수 있다.
가장 큰 영역(81)을 결정하기 위해, 이들 영역들(80 및 81) 내의 픽셀들은 하나의 값으로 설정된다. 중앙 영역(79) 내의 모든 다른 픽셀들은 0의 값으로 설정된다. 이것은 2진 방식으로 중앙 영역(79)을 양자화한다. 각각의 영역들(80 및 81)(즉, 영역 내의 픽셀들의 수에 기초하여)의 높이 및/또는 폭은 결정된다. 가장 큰 높이 및/또는 폭을 갖는 영역은 가장 큰 영역(81)이다. 가장 큰 영역(81)의 중앙은 코 위치가 되도록 결정된다.
코 위치가 코 위치 결정기(13)에 의해 획득된 후에, 좌측 눈 및 우측 눈 결정기들(14 및 15)(도 1에 도시된)은 눈들의 위치를 결정한다. 눈들의 개략적인 위치는 코의 위치에 의해 먼저 추정된다. 도 7에 도시된 바와 같이, 좌측 눈 ROI(82) 및 우측 눈 ROI(83)는 각각 코 위치 위의 영역의 한쪽 절반이 되도록 추정된다.
도 10은 눈 위치들을 결정하기 위한 흐름도를 도시한다. 단계(S10)에서, 좌측 프레임(60)의 휘도 이미지는 휘도 검출기(18)(도 1에 도시된)로부터 얻어진다. 이것은 눈이 전형적으로 최소 그레이 레벨(즉, 어두운 영역들로 나타나는)을 갖는 이미지를 초래한다. 이러한 이미지의 역은 단계(S11)에서 얻어진다. 역 이미지(inverse image)에서, 눈들은 최대 그레이 레벨(즉, 밝은 영역들로 나타나는)을 가질 것이다. 이것은 처리 계산들(processing calculations)이 보다 효율적인 방식으로 수행되도록 한다. 단계(S12)에서, 형태학상의 "가까운(close)" 연산은 역 이미지 상에 수행된다.
형태학적인 필터는 눈들 및 입과 같은 몇몇 얼굴의 부분들을 강화하는 2단계의 최소-최대 처리(minimum-maximum process)이다. 예컨대, 필터에서, 3x3 블록의 최소 그레이 레벨이 먼저 얻어진다. 최소값은 블록의 중앙에 할당된다. 3x3 블록의 최대 그레이 레벨은 이어서 얻어진다. 이어서, 최대값은 블록의 중앙에 할당된다. 이것은 동적인 범위를 줄이고, 이미지의 로컬 콘트라스트(local contrast)를 증가시킨다.
단계(S13)에서, 에지 밀도 맵(edge density map)은 휘도 검출기(luminance detector)(16)로부터 휘도와 색차 검출기(chrominance detector)(17)로부터 색차를 사용하여 최대 에지 강도를 얻음으로써 형성된다. 이것은 에지 맵 검출기918)(도 1에 도시된)에 의해 수행된다. 양호하게, 에지 검출 결과들은 좌측 프레임(60) 휘도 및 색차 구성 요소들 상의 소벨 연산(Sobel operation)에 의해 얻어진다(예를 들어, 1990, 프렌티스-홀, pp 498-485, 제이. 에스. 림(J.S. Lim)의 "2차원 신호 및 이미지 프로세싱을 참조). 그러나, 에지 검출의 다른 방법들은 로버트 연산(Robert operation)과 같은 것이 사용될 수 있다.
소벨 연산은 입력 이미지 내의 각각의 픽셀들에서 경사도 벡터들(gradient vectors)을 얻는다. 경사도 벡터의 방향은 이미지의 밝기의 경사도가 가장 큰 방향을 가리킨다. 가장 큰 경사도 벡터 크기를 갖는 픽셀들 사이의 영역은 전형적으로 이미지 내의 에지들을 형성한다. 이러한 데이터로부터, 에지 밀도 맵은 생성될 수 있다.
에지 밀도 맵은 에지 및 피사체의 눈 영역들 주변의 텍스처 밀도의 검출을 위해 얻어진다. 눈 영역들은 전형적으로 주어진 이웃(neighborhood) 내의 에지 상에 있는 이웃하는 픽셀들의 수로서 정의되는 높은 에지 밀도를 가진다. 예컨대, 3x3 지역(neighborhood)에서, 에지 밀도는 0내지 9의 범위일 수 있다. 0의 값은 어떤 픽셀들도 에지 상에 있지 않음을 의미하며, 반면에 9의 값은 모든 픽셀들이 이웃하여 에지 상에 있음을 의미한다. 양호하게, 본 발명에서, 5x5 지역들이 사용된다.
단계(S14)에서, 좌측 눈 또는 우측 눈 위치는 형태학상의 "가까운" 연산(I) 및 에지 밀도 맵(E)의 결과에 기초하여 결정된다. 좌측 눈 ROI(82) 또는 우측 눈 ROI(83) 내의 최소값은 각각의 눈 위치가 되도록 결정된다. 단계(S14)에서 상수(c)의 값은 0 내지 1의 범위이다; c의 값을 증가시키는 것은 에지 텍스처를 강조하며, c의 값을 감소시키는 것은 이미지 자신을 강조한다. 양호하게, c의 값은 시스템의 견고성(robustness)에 대해 약 0.3이다.
좌측 또는 우측 눈 ROI를 결정하는 것과 마찬가지로, 입 ROI(84)(도 7에 도시된)는 결정된 코 위치 아래 얼굴 ROI(72)의 위치로 추정된다. 입의 위치는 가우시안 가중된 라돈 변환(Gaussian weighted Radon transformation)(참고로, 제이. 에스. 림(J.S. Lim)의 1990, 프렌티스 홀(Prentice-Hall), pp 42-45, " 2차원 신호 및 이미지 프로세싱"을 참조)에 의해 양호하게 결정된다. 입의 중앙의 수평 좌표가 코 위치의 그것과 가깝기 때문에, 수평 방향으로의 라돈 변환(즉, 각(2)=0에서의 함수의 투영(projection of function))은 에지 맵 결정기(18)로부터 에지 맵 상에 적용된다. 입 ROI(84)의 중앙에 집중된 가우시안 함수는 응답(responses)에 가중치를 주는데 사용된다.
예컨대, 도 11에 도시된 바와 같이, 화살표(86)가 라돈 변환에 대한 통합 투영(integration projections)을 나타내는 입 ROI(84)의 에지 맵(85)이 도시된다. 가우시안 필터(87)는 라돈 변환에 적용된다. 결과적인 라돈 투영(88)으로부터, 입의 코너들(L 및 R)이 얻어진다. 코너들(L 및 R)은 라돈 투영(88)의 중앙에서 시작하고, 라돈 투영의 값이 임계값(Tmouth)보다 적은 곳을 결정하는 좌측 또는 우측으로 이동함으로써 발견된다. 라돈 투영(88)이 각각의 끝에서 0으로 급격하게 떨어지기 때문에(즉, 입의 코너들(L 및 R)을 넘어서), Tmouth는 1 내지 10의 범위에서 양호하게, 임의의 비-제로 값이 되도록 선택될 수 있다. 코너들(L 및 R)이 결정된 후에, 입 ROI(84)는 따라서 조정(즉, 감소)된다. 조정된 입 ROI(84)를 사용하여, 입 중앙의 수직 위치가 탐색된다. 라돈 변환은 조정된 입 ROI(84)의 에지 맵의 수직 방향으로 사용된다. 최대 응답의 위치는 입의 중앙의 수직 위치로서 식별된다. 상부 및 하부 입술 위치들을 탐색하기 위해, 수직 라돈 응답들은 다시 검사된다. 가장 큰 응답들을 갖는 두 개의 위치들은 상부 입술의 경계로서 식별된다. 유사하게, 하부 입술의 경계들은 아래의 중앙으로부터 선택된다.
이어서, 시스템(10)은 피사체(64)의 얼굴 특징들의 좌표들을 출력한다. 시스템(10)은 얼굴 특징들의 표시들과 다양한 ROI의 윤곽 또는 강조된 부분의 표시들을 갖는 좌측 프레임(60)을 또한 출력할 수 있다.
본 발명은 감시 및 보안 시스템 분야 또는 얼굴 인식이 요구되는 임의의 응용에서 많은 응용들을 갖는다. 본 발명은 또한 비디오 회의에서 응용들을 갖는다.
전형적으로, 비디오 회의에서, 임의의 주어진 장면 내의 대부분의 화상 데이터는 부적절한 정보, 예컨대 배경 내의 객체들로 구성된다. 압축 알고리즘들은 적절한 객체들과 부적절한 객체들 사이를 식별할 수 없으며, 모든 이러한 정보가 낮은 대역폭 채널 상에 전송되면, 결과는 비디오 회의 참가자의 지연된 "급변하는(jumpy)" 모습의 비디오이다. 본 발명은, 예컨대, 참가자의 얼굴이 식별되도록 하여, 배경 정보와 다른 속도로 전송되도록 할 수 있다. 이것은 얼굴의 이동이 오디오와 함께 동기화되도록하며, "급변하는" 모습을 방지한다.
본 발명이 특정 실시예들에 관해 상술되었지만, 본 발명이 상기 실시예들에제한되거나 한정되도록 의도된 것이 아니라는 것은 이해되어야 한다. 예컨대, 본 발명은 필터링 또는 수학적인 변형의 어떤 특정 형태 또는 어떤 특정 입력 이미지 비율(scale) 또는 방위(orientation)에 제한되지 않는다. 이에 반해, 본 발명은 첨부된 청구항들의 범위 및 사상 내에 포함된 다양한 구조들 및 변경들을 포함하도록 의도된다.

Claims (14)

  1. 이미지 처리 장치(10)에 있어서,
    디스패리티 정보를 결정하기 위한 한 쌍의 이미지들(60, 61) 내의 유사 픽셀 정보(like pixel information)의 위치를 비교하도록 배치된 디스패리티 검출기(11)와;
    상기 디스패리티 정보에 따라 상기 이미지들(60) 중 하나의 ROI(72)(region of interest)를 식별하는 영역 검출기(12)로서, 상기 ROI(72)는 다수의 얼굴 특징들을 포함하는, 상기 영역 검출기(12)와;
    상기 디스패리티 정보에 따라 상기 얼굴 특징들 중 하나의 위치를 식별하는 상기 영역 검출기(12)에 연결된 제 1 위치 검출기(13)를 포함하는 이미지 처리 장치.
  2. 제 1 항에 있어서,
    상기 하나의 얼굴 특징은 코인, 이미지 처리 장치.
  3. 제 2 항에 있어서,
    상기 위치(82)는, 상기 ROI(79) 내의 다른 디스패리티 값들과 비교될 때, 디스패리티 값이 가장 큰 위치(80, 81)에 대응하는, 이미지 처리 장치.
  4. 제 3 항에 있어서,
    상기 제 1 위치 검출기는 상기 코가 상기 디스패리티 값들과 비교되기 전에 위치되는 상기 ROI(72)의 부분(79)을 식별하는 서브-영역 검출기(12)를 포함하는, 이미지 처리 장치.
  5. 제 2 항에 있어서,
    상기 코의 위치에 따라 다른 얼굴 특징의 위치를 식별하는 상기 제 1 위치 검출기(13)에 연결된 제 2 위치 검출기(14)를 더 포함하는 이미지 처리 장치.
  6. 제 5 항에 있어서,
    상기 다른 얼굴의 특징은 좌측 또는 우측 눈이며, 상기 제 2 위치 검출기(14, 15)는 상기 코의 위치에 기초하여 상기 좌측 또는 우측 눈의 위치에 대한 대략의 영역(82, 83)을 식별하는, 이미지 처리 장치.
  7. 제 1 항에 있어서,
    상기 한 쌍의 이미지들(60, 61)은 비디오 회의 시스템 내의 스테레오 쌍의 카메라들(62, 63)로부터 수신되는, 이미지 처리 장치.
  8. 이미지 처리 장치(10)에 있어서,
    디스패리티 정보를 결정하는 한 쌍의 이미지들(60, 61) 내의 유사 픽셀 정보의 위치들을 비교하도록 배치된 디스패리티 검출기(11)와;
    디스패리티 검출기(11)로부터 디스패리티 정보와 선정된 임계값(Tmouth)의 비교에 기초하여 상기 이미지들(60) 중 한 이미지 내의 얼굴(72)의 대략의 경계들(74, 75, 76, 77)을 결정하는 상기 디스패리티 검출기(11)에 연결된 아웃라인 식별기(12)와;
    상기 얼굴(72)의 중앙 영역(79) 내에 상기 디스패리티 정보에 따라 상기 얼굴의 코의 위치를 식별하는 상기 아웃라인 식별기(12) 및 상기 디시패리티 검출기(11)에 연결된 코 위치 식별기(13)를 포함하는 이미지 처리 장치(10).
  9. 이미지에서 얼굴 특징들의 위치를 결정하는 방법에 있어서,
    한 쌍의 이미지들(60, 61) 사이의 디스패리티(도 6)를 계산하는 단계와;
    상기 이미지들(60) 중 적어도 하나의 ROI(72)를 결정하는 단계(도 8)와;
    상기 계산된 디스패리티에 따라 상기 얼굴 ROI(72) 내에 코 위치(82)를 식별하는 단계를 포함하는 얼굴 특징들의 위치 결정 방법.
  10. 제 9 항에 있어서,
    상기 계산 단계는,
    각각의 상기 한 쌍의 이미지들(60, 61) 내의 유사 픽셀들의 위치들을 식별하는 단계와;
    상기 유사 픽셀들의 위치들 사이의 차이를 계산하는 단계를 포함하는, 얼굴특징들의 위치 결정 방법.
  11. 제 9 항에 있어서,
    상기 결정 단계는,
    상기 위치들 사이의 디스패리티 값이 선정된 임계값(Tdm) 위 또는 아래에 떨어지는지 여부를 유사 픽셀들의 각각의 세트에 대하여 결정하는 단계와,
    만일 그렇다면, 상기 얼굴 ROI(72)에 대한 경계 라인(74, 75, 76, 77)으로서 픽셀 칼럼 또는 주사 라인을 식별하는 단계를 포함하는, 얼굴 특징들의 위치 결정 방법.
  12. 제 9 항에 있어서,
    상기 식별 단계는,
    상기 얼굴 ROI의 중앙 영역(79)을 결정하는 단계와;
    상기 중앙 영역 내에서 가장 큰 디스패리티 값을 결정하도록 히스토그램을 계산하는 단계와;
    상기 중앙 영역 내의 하나의 영역(80, 81) 이상이 상기 히스토그램을 사용하는 단계에서 결정된다면, 다른 영역들(80)과 비교하여 어떤 영역(84)이 가장 큰지를 결정하는 단계와;
    상기 코 위치로서 상기 가장 큰 영역(81)의 중앙(82)을 사용하는 단계를 포함하는, 얼굴 특징들의 위치 결정 방법
  13. 한 쌍의 이미지들(60, 61)을 처리하기 위한 코드를 포함하는 컴퓨터-판독 가능한 메모리 매체에 있어서,
    디스패리티 정보를 결정하도록 한 쌍의 이미지들 내의 유사 픽셀 정보의 위치들을 비교하는 디스패리티 검출 코드와;
    상기 디스패리티 정보에 따라 이미지들 중 한 이미지 내의 ROI를 식별하는 영역 검출 코드로서, 상기 ROI는 다수의 얼굴 특징들을 포함하는, 상기 영역 검출 코드와;
    상기 디스패리티 정보에 따라 상기 얼굴 특징들 중 한 특징의 위치를 식별하는 제 1 위치 검출 코드를 포함하는 컴퓨터-판독 가능한 메모리 매체.
  14. 제 13 항에 있어서,
    상기 하나의 얼굴 특징은 코이며, 상기 위치는 디스패리티 값이 상기 ROI 내의 다른 디스패리티 값들과 비교하여 가장 큰 위치에 대응하는, 컴퓨터-판독 가능한 메모리 매체.
KR1020017005456A 1999-08-30 2000-08-29 생물 측정학-기반 얼굴 특징 추출을 위한 시스템 및 방법 KR20010103631A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/385,280 1999-08-30
US09/385,280 US6526161B1 (en) 1999-08-30 1999-08-30 System and method for biometrics-based facial feature extraction
PCT/EP2000/008407 WO2001016868A1 (en) 1999-08-30 2000-08-29 System and method for biometrics-based facial feature extraction

Publications (1)

Publication Number Publication Date
KR20010103631A true KR20010103631A (ko) 2001-11-23

Family

ID=23520760

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020017005456A KR20010103631A (ko) 1999-08-30 2000-08-29 생물 측정학-기반 얼굴 특징 추출을 위한 시스템 및 방법

Country Status (5)

Country Link
US (1) US6526161B1 (ko)
EP (1) EP1125241A1 (ko)
JP (1) JP2003526841A (ko)
KR (1) KR20010103631A (ko)
WO (1) WO2001016868A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040013243A (ko) * 2002-08-05 2004-02-14 아이리텍 잉크 문형금속탐지기의 스테레오 얼굴인식장치 및 그 제어방법

Families Citing this family (154)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6907136B1 (en) * 1999-05-19 2005-06-14 Canon Kabushiki Kaisha Image processing of designated image portion
US6792135B1 (en) * 1999-10-29 2004-09-14 Microsoft Corporation System and method for face detection through geometric distribution of a non-intensity image property
EP1102210A3 (en) * 1999-11-16 2005-12-14 Fuji Photo Film Co., Ltd. Image processing apparatus, image processing method and recording medium
US7474787B2 (en) * 1999-12-28 2009-01-06 Minolta Co., Ltd. Apparatus and method of detecting specified pattern
US6674877B1 (en) * 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
US6792144B1 (en) 2000-03-03 2004-09-14 Koninklijke Philips Electronics N.V. System and method for locating an object in an image using models
US6807290B2 (en) * 2000-03-09 2004-10-19 Microsoft Corporation Rapid computer modeling of faces for animation
US6947578B2 (en) * 2000-11-02 2005-09-20 Seung Yop Lee Integrated identification data capture system
US7155036B2 (en) * 2000-12-04 2006-12-26 Sony Corporation Face detection under varying rotation
US7020305B2 (en) * 2000-12-06 2006-03-28 Microsoft Corporation System and method providing improved head motion estimations for animation
EP1260935B1 (en) * 2001-05-22 2006-07-12 Matsushita Electric Industrial Co., Ltd. Face detection device, face pose detection device, partial image extraction device, and methods for said devices
CA2359269A1 (en) * 2001-10-17 2003-04-17 Biodentity Systems Corporation Face imaging system for recordal and automated identity confirmation
US7239726B2 (en) * 2001-12-12 2007-07-03 Sony Corporation System and method for effectively extracting facial feature information
US7207494B2 (en) 2001-12-24 2007-04-24 Digimarc Corporation Laser etched security features for identification documents and methods of making same
CA2471457C (en) 2001-12-24 2011-08-02 Digimarc Id Systems, Llc Covert variable information on id documents and methods of making same
US7815124B2 (en) 2002-04-09 2010-10-19 L-1 Secure Credentialing, Inc. Image processing techniques for printing identification cards and documents
US7694887B2 (en) 2001-12-24 2010-04-13 L-1 Secure Credentialing, Inc. Optically variable personalized indicia for identification documents
US9959463B2 (en) 2002-02-15 2018-05-01 Microsoft Technology Licensing, Llc Gesture recognition system using depth perceptive sensors
US10242255B2 (en) 2002-02-15 2019-03-26 Microsoft Technology Licensing, Llc Gesture recognition system using depth perceptive sensors
EP1349393A1 (en) * 2002-03-15 2003-10-01 Ricoh Company Image compression device, image decompression device, image compression/decompression device, program for executing on a computer to perform functions of such devices, and recording medium storing such a program
US7824029B2 (en) 2002-05-10 2010-11-02 L-1 Secure Credentialing, Inc. Identification card printer-assembler for over the counter card issuing
JP2003333355A (ja) * 2002-05-10 2003-11-21 Canon Inc 色評価装置及び方法
US7421098B2 (en) * 2002-10-07 2008-09-02 Technion Research & Development Foundation Ltd. Facial recognition and the open mouth problem
US6947579B2 (en) * 2002-10-07 2005-09-20 Technion Research & Development Foundation Ltd. Three-dimensional face recognition
JP2004147288A (ja) * 2002-10-25 2004-05-20 Reallusion Inc 顔画像の補正方法
AU2003298731A1 (en) 2002-11-26 2004-06-18 Digimarc Id Systems Systems and methods for managing and detecting fraud in image databases used with identification documents
AU2003264580B2 (en) * 2002-11-29 2006-08-10 Canon Kabushiki Kaisha Range Estimation Using Multi-dimensional Segmentation
JP4218348B2 (ja) * 2003-01-17 2009-02-04 オムロン株式会社 撮影装置
US7224830B2 (en) * 2003-02-04 2007-05-29 Intel Corporation Gesture detection from digital video images
DE602004030434D1 (de) 2003-04-16 2011-01-20 L 1 Secure Credentialing Inc Dreidimensionale datenspeicherung
US7421097B2 (en) * 2003-05-27 2008-09-02 Honeywell International Inc. Face identification verification using 3 dimensional modeling
US7620218B2 (en) * 2006-08-11 2009-11-17 Fotonation Ireland Limited Real-time face tracking with reference images
US8593542B2 (en) * 2005-12-27 2013-11-26 DigitalOptics Corporation Europe Limited Foreground/background separation using reference images
US8989453B2 (en) * 2003-06-26 2015-03-24 Fotonation Limited Digital image processing using face detection information
US7616233B2 (en) * 2003-06-26 2009-11-10 Fotonation Vision Limited Perfecting of digital image capture parameters within acquisition devices using face detection
US7792335B2 (en) 2006-02-24 2010-09-07 Fotonation Vision Limited Method and apparatus for selective disqualification of digital images
US7317815B2 (en) * 2003-06-26 2008-01-08 Fotonation Vision Limited Digital image processing composition using face detection information
US9129381B2 (en) * 2003-06-26 2015-09-08 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US7471846B2 (en) 2003-06-26 2008-12-30 Fotonation Vision Limited Perfecting the effect of flash within an image acquisition devices using face detection
US7269292B2 (en) * 2003-06-26 2007-09-11 Fotonation Vision Limited Digital image adjustable compression and resolution using face detection information
US7565030B2 (en) 2003-06-26 2009-07-21 Fotonation Vision Limited Detecting orientation of digital images using face detection information
US7844076B2 (en) * 2003-06-26 2010-11-30 Fotonation Vision Limited Digital image processing using face detection and skin tone information
US8494286B2 (en) 2008-02-05 2013-07-23 DigitalOptics Corporation Europe Limited Face detection in mid-shot digital images
US7574016B2 (en) * 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US7587068B1 (en) 2004-01-22 2009-09-08 Fotonation Vision Limited Classification database for consumer digital images
US7362368B2 (en) * 2003-06-26 2008-04-22 Fotonation Vision Limited Perfecting the optics within a digital image acquisition device using face detection
US7792970B2 (en) * 2005-06-17 2010-09-07 Fotonation Vision Limited Method for establishing a paired connection between media devices
US9692964B2 (en) 2003-06-26 2017-06-27 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US8330831B2 (en) * 2003-08-05 2012-12-11 DigitalOptics Corporation Europe Limited Method of gathering visual meta data using a reference image
US7440593B1 (en) 2003-06-26 2008-10-21 Fotonation Vision Limited Method of improving orientation and color balance of digital images using face detection information
US8553949B2 (en) 2004-01-22 2013-10-08 DigitalOptics Corporation Europe Limited Classification and organization of consumer digital images using workflow, and face detection and recognition
US8363951B2 (en) 2007-03-05 2013-01-29 DigitalOptics Corporation Europe Limited Face recognition training method and apparatus
US7315630B2 (en) 2003-06-26 2008-01-01 Fotonation Vision Limited Perfecting of digital image rendering parameters within rendering devices using face detection
US7606417B2 (en) * 2004-08-16 2009-10-20 Fotonation Vision Limited Foreground/background segmentation in digital images with differential exposure calculations
US8155397B2 (en) * 2007-09-26 2012-04-10 DigitalOptics Corporation Europe Limited Face tracking in a camera processor
US8498452B2 (en) * 2003-06-26 2013-07-30 DigitalOptics Corporation Europe Limited Digital image processing using face detection information
US8896725B2 (en) * 2007-06-21 2014-11-25 Fotonation Limited Image capture device with contemporaneous reference image capture mechanism
US7680342B2 (en) 2004-08-16 2010-03-16 Fotonation Vision Limited Indoor/outdoor classification in digital images
US8682097B2 (en) * 2006-02-14 2014-03-25 DigitalOptics Corporation Europe Limited Digital image enhancement with reference images
US8948468B2 (en) 2003-06-26 2015-02-03 Fotonation Limited Modification of viewing parameters for digital images using face detection information
US7388971B2 (en) 2003-10-23 2008-06-17 Northrop Grumman Corporation Robust and low cost optical system for sensing stress, emotion and deception in human subjects
KR100596559B1 (ko) * 2003-11-01 2006-07-04 학교법인연세대학교 3차원 얼굴 인식을 위한 오류 보상 특이치 분해 기반 얼굴포즈 추정 방법
US7551755B1 (en) 2004-01-22 2009-06-23 Fotonation Vision Limited Classification and organization of consumer digital images using workflow, and face detection and recognition
US7558408B1 (en) 2004-01-22 2009-07-07 Fotonation Vision Limited Classification system for consumer digital images using workflow and user interface modules, and face detection and recognition
US7564994B1 (en) 2004-01-22 2009-07-21 Fotonation Vision Limited Classification system for consumer digital images using automatic workflow and face detection and recognition
US7555148B1 (en) 2004-01-22 2009-06-30 Fotonation Vision Limited Classification system for consumer digital images using workflow, face detection, normalization, and face recognition
US7481536B2 (en) * 2004-02-19 2009-01-27 Amo Manufacturing Usa, Llc Methods and systems for differentiating left and right eye images
US7340443B2 (en) * 2004-05-14 2008-03-04 Lockheed Martin Corporation Cognitive arbitration system
US7660482B2 (en) * 2004-06-23 2010-02-09 Seiko Epson Corporation Method and apparatus for converting a photo to a caricature image
US7330584B2 (en) * 2004-10-14 2008-02-12 Sony Corporation Image processing apparatus and method
US8320641B2 (en) 2004-10-28 2012-11-27 DigitalOptics Corporation Europe Limited Method and apparatus for red-eye detection using preview or other reference images
US8503800B2 (en) * 2007-03-05 2013-08-06 DigitalOptics Corporation Europe Limited Illumination detection using classifier chains
US7715597B2 (en) * 2004-12-29 2010-05-11 Fotonation Ireland Limited Method and component for image recognition
US7315631B1 (en) * 2006-08-11 2008-01-01 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
US8009871B2 (en) 2005-02-08 2011-08-30 Microsoft Corporation Method and system to segment depth images and to detect shapes in three-dimensionally acquired data
CN101142593B (zh) * 2005-03-17 2010-12-15 英国电讯有限公司 跟踪视频序列中的目标的方法
US20060222217A1 (en) * 2005-03-31 2006-10-05 Fuji Photo Film Co., Ltd. Method, apparatus, and program for discriminating faces
KR101122513B1 (ko) 2005-04-04 2012-03-15 (주)아이리스아이디 3차원 위치정보를 이용한 안구위치 추정시스템 및 안구위치추정방법
US7612794B2 (en) * 2005-05-25 2009-11-03 Microsoft Corp. System and method for applying digital make-up in video conferencing
JP4654773B2 (ja) * 2005-05-31 2011-03-23 富士フイルム株式会社 情報処理装置、動画像符号化装置、情報処理方法及び情報処理プログラム
JP2007010898A (ja) * 2005-06-29 2007-01-18 Casio Comput Co Ltd 撮像装置及びそのプログラム
JP4750520B2 (ja) * 2005-09-21 2011-08-17 富士フイルム株式会社 人物画像補正装置および方法
US7692696B2 (en) * 2005-12-27 2010-04-06 Fotonation Vision Limited Digital image acquisition system with portrait mode
US8265349B2 (en) 2006-02-07 2012-09-11 Qualcomm Incorporated Intra-mode region-of-interest video object segmentation
US8265392B2 (en) * 2006-02-07 2012-09-11 Qualcomm Incorporated Inter-mode region-of-interest video object segmentation
US8150155B2 (en) 2006-02-07 2012-04-03 Qualcomm Incorporated Multi-mode region-of-interest video object segmentation
US7469071B2 (en) * 2006-02-14 2008-12-23 Fotonation Vision Limited Image blurring
IES20060558A2 (en) * 2006-02-14 2006-11-01 Fotonation Vision Ltd Image blurring
US7804983B2 (en) 2006-02-24 2010-09-28 Fotonation Vision Limited Digital image acquisition control and correction method and apparatus
IES20060564A2 (en) * 2006-05-03 2006-11-01 Fotonation Vision Ltd Improved foreground / background separation
US7783075B2 (en) * 2006-06-07 2010-08-24 Microsoft Corp. Background blurring for video conferencing
DE602007012246D1 (de) * 2006-06-12 2011-03-10 Tessera Tech Ireland Ltd Fortschritte bei der erweiterung der aam-techniken aus grauskalen- zu farbbildern
US7515740B2 (en) * 2006-08-02 2009-04-07 Fotonation Vision Limited Face recognition with combined PCA-based datasets
US7916897B2 (en) * 2006-08-11 2011-03-29 Tessera Technologies Ireland Limited Face tracking for controlling imaging parameters
US7403643B2 (en) * 2006-08-11 2008-07-22 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
US8121356B2 (en) 2006-09-15 2012-02-21 Identix Incorporated Long distance multimodal biometric system and method
EP2062197A4 (en) * 2006-09-15 2010-10-06 Retica Systems Inc MULTIMODAL BIOMETRIC SYSTEM AND METHOD FOR LARGE DISTANCES
US8588464B2 (en) * 2007-01-12 2013-11-19 International Business Machines Corporation Assisting a vision-impaired user with navigation based on a 3D captured image stream
US8269834B2 (en) 2007-01-12 2012-09-18 International Business Machines Corporation Warning a user about adverse behaviors of others within an environment based on a 3D captured image stream
US8295542B2 (en) 2007-01-12 2012-10-23 International Business Machines Corporation Adjusting a consumer experience based on a 3D captured image stream of a consumer response
US8055067B2 (en) * 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
DE602008001607D1 (de) * 2007-02-28 2010-08-05 Fotonation Vision Ltd Trennung der direktionalen beleuchtungsvariabilität in der statistischen gesichtsmodellierung auf basis von texturraumzerlegungen
EP2123008A4 (en) 2007-03-05 2011-03-16 Tessera Tech Ireland Ltd FACIAL CATEGORIZATION AND NOTE SYSTEM FOR A MOBILE PHONE CONTACT LIST
EP2188759A1 (en) * 2007-03-05 2010-05-26 Fotonation Vision Limited Face searching and detection in a digital image acquisition device
US7916971B2 (en) * 2007-05-24 2011-03-29 Tessera Technologies Ireland Limited Image processing method and apparatus
US8750578B2 (en) 2008-01-29 2014-06-10 DigitalOptics Corporation Europe Limited Detecting facial expressions in digital images
US8218862B2 (en) * 2008-02-01 2012-07-10 Canfield Scientific, Incorporated Automatic mask design and registration and feature detection for computer-aided skin analysis
JP4655235B2 (ja) * 2008-03-14 2011-03-23 ソニー株式会社 情報処理装置および方法、並びにプログラム
US7855737B2 (en) * 2008-03-26 2010-12-21 Fotonation Ireland Limited Method of making a digital camera image of a scene including the camera user
CN101588450B (zh) 2008-05-19 2013-08-14 株式会社日立制作所 记录再现装置及方法
KR101446975B1 (ko) 2008-07-30 2014-10-06 디지털옵틱스 코포레이션 유럽 리미티드 얼굴 검출 기능을 사용한 얼굴 및 피부의 자동 미화
USD624952S1 (en) 2008-10-20 2010-10-05 X6D Ltd. 3D glasses
USRE45394E1 (en) 2008-10-20 2015-03-03 X6D Limited 3D glasses
USD666663S1 (en) 2008-10-20 2012-09-04 X6D Limited 3D glasses
USD603445S1 (en) 2009-03-13 2009-11-03 X6D Limited 3D glasses
US8542326B2 (en) 2008-11-17 2013-09-24 X6D Limited 3D shutter glasses for use with LCD displays
CA2684513A1 (en) * 2008-11-17 2010-05-17 X6D Limited Improved performance 3d glasses
WO2010063463A2 (en) * 2008-12-05 2010-06-10 Fotonation Ireland Limited Face recognition using face tracker classifier data
KR101639053B1 (ko) * 2009-02-17 2016-07-13 코닌클리케 필립스 엔.브이. ３ｄ 이미지 및 그래픽 데이터의 조합
USD646451S1 (en) 2009-03-30 2011-10-04 X6D Limited Cart for 3D glasses
TW201039251A (en) * 2009-04-30 2010-11-01 Novatek Microelectronics Corp Facial expression recognition apparatus and facial expression recognition method thereof
USD672804S1 (en) 2009-05-13 2012-12-18 X6D Limited 3D glasses
USD650956S1 (en) 2009-05-13 2011-12-20 X6D Limited Cart for 3D glasses
US20100295782A1 (en) 2009-05-21 2010-11-25 Yehuda Binder System and method for control based on face ore hand gesture detection
US8379917B2 (en) 2009-10-02 2013-02-19 DigitalOptics Corporation Europe Limited Face recognition performance using additional image features
USD669522S1 (en) 2010-08-27 2012-10-23 X6D Limited 3D glasses
USD692941S1 (en) 2009-11-16 2013-11-05 X6D Limited 3D glasses
USD671590S1 (en) 2010-09-10 2012-11-27 X6D Limited 3D glasses
USD662965S1 (en) 2010-02-04 2012-07-03 X6D Limited 3D glasses
CN101867699B (zh) * 2010-05-25 2012-05-30 中国科学技术大学 基于分块的非特定目标实时跟踪方法
US8970672B2 (en) * 2010-05-28 2015-03-03 Qualcomm Incorporated Three-dimensional image processing
USD664183S1 (en) 2010-08-27 2012-07-24 X6D Limited 3D glasses
KR20120070125A (ko) * 2010-12-21 2012-06-29 한국전자통신연구원 인간컴퓨터 상호작용을 위한 영상처리장치 및 방법
US8836777B2 (en) 2011-02-25 2014-09-16 DigitalOptics Corporation Europe Limited Automatic detection of vertical gaze using an embedded imaging device
US20130201316A1 (en) 2012-01-09 2013-08-08 May Patents Ltd. System and method for server based control
CN102663354B (zh) * 2012-03-26 2014-02-19 腾讯科技（深圳）有限公司 人脸标定方法和系统
TWI471808B (zh) * 2012-07-20 2015-02-01 Pixart Imaging Inc 瞳孔偵測裝置
USD711959S1 (en) 2012-08-10 2014-08-26 X6D Limited Glasses for amblyopia treatment
US9299084B2 (en) 2012-11-28 2016-03-29 Wal-Mart Stores, Inc. Detecting customer dissatisfaction using biometric data
US9081800B2 (en) * 2013-03-01 2015-07-14 Adobe Systems Incorporated Object detection via visual search
GB2517730A (en) * 2013-08-29 2015-03-04 Mediaproduccion S L A method and system for producing a video production
US9661215B2 (en) 2014-04-22 2017-05-23 Snapaid Ltd. System and method for controlling a camera based on processing an image captured by other camera
BR102015005929B1 (pt) * 2015-03-17 2021-11-30 Samsung Eletrônica Da Amazônia Ltda Sistema e método para composição e compressão de vídeo com base em contexto a partir de objetos com resolução espacial normalizada
TWI564791B (zh) * 2015-05-19 2017-01-01 卡訊電子股份有限公司 播音控制系統、方法、電腦程式產品及電腦可讀取紀錄媒體
WO2016207875A1 (en) 2015-06-22 2016-12-29 Photomyne Ltd. System and method for detecting objects in an image
US9830445B1 (en) 2015-12-18 2017-11-28 EMC IP Holding Company LLC Personal identification number (PIN) replacement in a one-time passcode based two factor authentication system
US9935947B1 (en) 2015-12-18 2018-04-03 EMC IP Holding Company LLC Secure and reliable protection and matching of biometric templates across multiple devices using secret sharing
CN105704472A (zh) * 2016-01-13 2016-06-22 青岛海信电器股份有限公司 一种识别儿童用户的电视控制方法和系统
CN105763917B (zh) * 2016-02-22 2019-09-20 青岛海信电器股份有限公司 一种终端开机的控制方法和系统
KR101852679B1 (ko) * 2016-07-27 2018-04-27 한국 한의학 연구원 혀 영상 추출 장치 및 방법
GB2560031B (en) * 2017-02-28 2020-05-27 PQ Solutions Ltd Binding data to a person's identity
US10423821B2 (en) * 2017-10-25 2019-09-24 Microsoft Technology Licensing, Llc Automated profile image generation based on scheduled video conferences
US11048921B2 (en) 2018-05-09 2021-06-29 Nviso Sa Image processing system for extracting a behavioral profile from images of an individual specific to an event
CN112733650B (zh) * 2020-12-29 2024-05-07 深圳云天励飞技术股份有限公司 目标人脸检测方法、装置、终端设备及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4975969A (en) 1987-10-22 1990-12-04 Peter Tal Method and apparatus for uniquely identifying individuals by particular physical characteristics and security system utilizing the same
US5471542A (en) * 1993-09-27 1995-11-28 Ragland; Richard R. Point-of-gaze tracker
US5835616A (en) 1994-02-18 1998-11-10 University Of Central Florida Face detection using templates
US5805745A (en) * 1995-06-26 1998-09-08 Lucent Technologies Inc. Method for locating a subject's lips in a facial image
US6055330A (en) * 1996-10-09 2000-04-25 The Trustees Of Columbia University In The City Of New York Methods and apparatus for performing digital image and video segmentation and compression using 3-D depth information
US6188777B1 (en) * 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6301370B1 (en) * 1998-04-13 2001-10-09 Eyematic Interfaces, Inc. Face recognition from video images

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040013243A (ko) * 2002-08-05 2004-02-14 아이리텍 잉크 문형금속탐지기의 스테레오 얼굴인식장치 및 그 제어방법

Also Published As

Publication number Publication date
JP2003526841A (ja) 2003-09-09
WO2001016868A1 (en) 2001-03-08
EP1125241A1 (en) 2001-08-22
US6526161B1 (en) 2003-02-25

Similar Documents

Publication Publication Date Title
US6526161B1 (en) System and method for biometrics-based facial feature extraction
US7912253B2 (en) Object recognition method and apparatus therefor
US7035461B2 (en) Method for detecting objects in digital images
US6633655B1 (en) Method of and apparatus for detecting a human face and observer tracking display
KR101390756B1 (ko) 안면 특징 검출 방법 및 장치
KR100361497B1 (ko) 얼굴영역 추출방법
US20080193020A1 (en) Method for Facial Features Detection
US8154591B2 (en) Eyelid opening level determination device and computer readable medium storing computer program thereof
US7460705B2 (en) Head-top detecting method, head-top detecting system and a head-top detecting program for a human face
JPH0944685A (ja) 顔画像処理装置
JP2000036052A (ja) 複数人物が存在する場合の人間の顔のロバスト追跡方法
CN112016469A (zh) 图像处理方法及装置、终端及可读存储介质
US20050196044A1 (en) Method of extracting candidate human region within image, system for extracting candidate human region, program for extracting candidate human region, method of discerning top and bottom of human image, system for discerning top and bottom, and program for discerning top and bottom
JP3355068B2 (ja) 顔画像処理装置
Arsic et al. Improved lip detection algorithm based on region segmentation and edge detection
CN108491820B (zh) 图像中肢体表示信息的识别方法、装置及设备、存储介质
CN100377164C (zh) 用于检测图像中的人脸肤色区域的方法、装置和存储介质
US20060010582A1 (en) Chin detecting method, chin detecting system and chin detecting program for a chin of a human face
JP2005209137A (ja) 対象物認識方法及び対象物認識装置、並びに顔方向識別装置
KR960013819B1 (ko) 사람 얼굴의 화상처리를 이용한 개인 인식방법
JP2007026308A (ja) 画像処理方法、画像処理装置
JP2001501750A (ja) アイローカリゼーションフィルタ
JPH11185026A (ja) 顔領域抽出装置
JP2004030006A (ja) 眼検出装置、眼検出プログラム、そのプログラムを記録する記録媒体及び眼検出方法
KR102458614B1 (ko) 비접촉식 rgb 카메라를 이용한 피부 진단 시스템 및 그 방법

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20010430

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20050829

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20061108

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20070220

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20061108

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I