KR20050048413A

KR20050048413A - 적외선을 이용한 사람 식별 장치 및 방법

Info

Publication number: KR20050048413A
Application number: KR1020030082333A
Authority: KR
Inventors: 성영훈; 황의현
Original assignee: 삼성전자주식회사
Priority date: 2003-11-19
Filing date: 2003-11-19
Publication date: 2005-05-24
Also published as: US20050105778A1; EP1533744A2; KR100580630B1; EP1533744A3; US7536037B2; JP2005149515A; JP4679121B2

Abstract

적외선을 이용한 사람 식별 장치 및 방법이 개시된다. 본 발명에 따른 사람 식별 장치는 소정 제어신호에 따라 피사체를 촬영하거나 적외선을 상기 피사체에 조사하여 촬영하는 촬상부; 및 촬상부에 제어신호를 출력하고, 촬상부에서 출력되는 영상들을 획득하여 영상내의 소정 영역을 검출하며, 검출된 영역에 대해 적외선이 포함된 영상과 포함되지않은 영상을 비교하여 피사체가 사람인지 아닌지를 판별하는 영상 처리부를 포함함을 특징으로한다.

Description

적외선을 이용한 사람 식별 장치 및 방법{Apparatus and method for discriminating person using infrared rays}

본 발명은 적외선을 이용한 사람 식별 장치 및 방법에 관한 것으로, 특히 입력영상에 대해 적외선을 이용하여 사람 얼굴과 사진 등을 식별하는 장치 및 방법에 관한 것이다.

사람을 대신해 사람의 얼굴을 구별하는 얼굴 인식 시스템은 사용자의 편의성 면에서 생체인식 시스템 중 가장 탁월한 시스템이라 할 수 있다. 패스워드나 비밀번호를 입력하는 절차가 필요 없이 사용자는 단지 카메라를 바라보기만 하면 되고, 특히 지문이나 홍채 인식 등과는 달리 신체적 접촉을 요구하지 않는다는 점에서 시스템을 이용하는 사용자들에게 거부감을 줄일 수 있다.

이에 따라 미국을 비롯한 여러 나라에서는 최근, 은행 등 금융기관에서 고객들이 비밀번호나 지문 등으로 자신을 증명하던 방식을 뛰어 넘어 얼굴의 특징으로 신분을 확인하는 얼굴인식 기술이 상용화 단계에 들어갔다. 얼굴 인식 시스템은 이외에도 공항이나 항만 등에서의 패스워드 제어 시스템으로 활용될 수 있으며, 엄격한 출입통제를 요하는 건물의 출입 시스템이나 초고속망을 이용한 전자결재, 전자상거래에서 결재권자나 사용자를 인증하는 수단 등 여러 분야에 널리 적용될 수 있다는 장점을 가지고 있다.

그러나 얼굴 인식 시스템을 이용하는 출입 시스템의 경우 비등록자가 자신의 얼굴 대신 등록자의 사진 혹은 등록자의 얼굴과 닮은 마네킹 등을 이용하여 얼굴 인식 또는 검증을 시도하고 출입을 허가받는 문제가 발생할 수 있다. 예를 들어, 비등록자가 등록자의 사진을 보여주면, 얼굴 인식 시스템은 사진영상으로부터 등록자의 얼굴을 인식하여 출입을 허가할 수 있다. 특히, 인터넷이 발달하고 디지털 카메라가 보급됨에 따라 특정 인물의 사진 취득이 용이해졌기 때문에 이러한 문제가 쉽게 발생할 수 있다. 따라서 이러한 문제점을 해결하기위해 실제 사람 얼굴과 사진 등을 구별하는 것이 필요하다.

본 발명이 이루고자하는 기술적 과제는 피사체에 적외선을 조사하여 얼굴 영상을 얻고, 얻어진 얼굴 영상을 적외선을 포함하지않은 영상과 비교함으로써 사진 등으로부터 사람을 식별하는 사람 식별 장치 및 방법을 제공하는 데 있다.

상기 기술적 과제를 이루기위한, 본 발명의 사람 식별 장치는 소정 제어신호에 따라 피사체를 촬영하거나 적외선을 상기 피사체에 조사하여 촬영하는 촬상부; 및 상기 제어신호를 출력하고, 상기 촬상부에서 출력되는 영상들을 획득하여 영상내의 소정 영역을 검출하며, 검출된 영역에 대해 상기 적외선이 포함된 영상과 포함되지않은 영상을 비교하여 상기 피사체가 사람인지 아닌지의 여부를 판별하는 영상 처리부를 포함함을 특징으로한다.

상기 기술적 과제를 이루기위한, 본 발명의 사람 식별 방법은 (a) 피사체를 촬영하여 제1영상을 획득하는 단계; (b) 적외선을 상기 피사체에 조사하고, 상기 피사체를 촬영하여 제2영상을 획득하는 단계; (c) 상기 제1영상과 제2영상으로부터 소정 영역을 검출하는 단계; 및 (d) 검출된 두 영역을 비교하여 차이점이 있는지를 판별하여 상기 피사체가 사람인지 아닌지의 여부를 판별하는 단계를 포함함을 특징으로한다.

상기 기술적 과제를 이루기위한, 본 발명의 사람 식별 방법은 (a) 적외선을 피사체에 조사하고, 상기 피사체를 촬영하는 단계; (b) 촬영된 영상에 대해 각각 가시광선 및 적외선 필터링하여 적외선만이 포함된 적외선 영상과 가시광선만이 포함된 가시광선 영상을 획득하는 단계; (c) 상기 적외선 영상 및 가시광선 영상에서 소정 영역을 검출하는 단계; 및 (d) 검출된 두 영역간의 차이점이 있는 지를 판별하여 상기 피사체가 사람인지 아닌지를 판별하는 단계를 포함함을 특징으로한다.

이하에서 첨부된 도면을 참조하여 본 발명을 보다 상세하기 설명하기로 한다.

도 1은 본 발명에 따른 사람 식별 장치에 대한 블록도이다. 도시된 바에 따른 사람 식별 장치는 촬상부(10) 및 영상 처리부(11)를 포함한다. 촬상부(10)는 카메라(101)와 적외선 발생부(102)를 구비한다. 영상 처리부(11)는 촬상 제어부(111), 영상 획득부(112), 영역 검출부(113) 및 비교부(114)를 구비한다.

카메라(101)는 전하결합소자(Charge Coupled Device) 카메라와 같이 획득한 영상에 대해 디지털 신호 처리가 가능한 것이 적절하다. 적외선 발생부(102)는 카메라(101) 주위에 위치하는 것이 바람직하고, 촬상 제어부(111)에서 출력되는 제어신호에 따라 적외선을 발생하여 피사체에 조사한다. 적외선 발생부(102)는 복수의 적외선 LED를 구비하고 LED들은 카메라(101) 주위에 적절하게 분산되어 배치된다.

촬상 제어부(111)는 적외선 발생 시간을 조절하여 적절한 제어신호를 출력한다. 이 때, 적외선 발생을 위한 제어신호는 카메라(101)를 구동하는 신호와 동기가 이루어져야한다. 예를 들어, 적외선이 포함된 영상을 얻고자하는 경우, 피사체가 카메라 앞에 위치했을 때 촬상 제어부(111)는 적외선 발생부(102)와 카메라(101)의 동기를 맞춰서 실질적으로 동시에 구동하도록 제어신호를 생성한다.

영상 획득부(112)는 카메라(101)로부터 촬영된 영상을 획득하고, 영역 검출부(113)는 획득된 영상에서 눈 영역을 검출한다. 눈 영역을 검출하는 것은 사람의 눈이 얼굴의 다른 영역보다 적외선 반사율의 차가 크기 때문이다. 즉, 사람의 눈에서의 홍채 영역과 동공 영역은 적외선 반사율의 차가 크기 때문이다. 눈 영역 검출은 종래의 어떠한 눈 영역 검출 알고리즘을 사용해도 무방하다.

영상 획득부(112)는 필요에 따라 가시광선 필터(미도시) 및 적외선 필터(미도시)를 더 구비할 수 있다. 필터링은 카메라(101)로부터 획득된 영상에 대해 이루어지는데, 이 경우 카메라(101)로부터 획득된 영상은 적외선이 포함된 영상이다. 가시광선 필터를 통과한 영상은 적외선만 포함하고, 적외선 필터를 통과한 영상은 가시광선만을 포함한다.

영역 검출부(113)는 하이라이트 감지부(미도시)를 더 구비할 수도 있다. 하이라이트의 감지는 사진 등을 식별하는데 유리할 수 있다. 즉, 사람의 얼굴은 눈을 제외한 다른 영역의 경우 적외선에 그다지 영향을 받지않지만 인화지, 액자 속 사진 또는 잡지 등과 같이 표면이 매끄러운 부재는 적외선 반사율이 두드러지게 높게 나타나기 때문에 하이라이트가 감지되면 비교부(114)에 의한 영상 비교를 하지않고 곧바로 사람 얼굴이 아닌 것으로 판별한다.

하이라이트 감지부는 히스토그램을 이용하여 하이라이트를 감지할 수도 있다. 즉, 획득된 영상의 각 픽셀에 대해 휘도값을 조사하여, 예를 들어 8비트의 해상도를 갖는 경우라면 255레벨을 갖는 픽셀 수가 다른 레벨을 갖는 픽셀 수보다 상대적으로 훨씬 높다면 사람 얼굴이 아닌 사진 등으로 판별하는 것이다.

비교부(114)는 적외선이 포함된 영상과 가시광선만이 포함된 영상을 비교하여 적외선의 반사정도에 따라 사람 얼굴인지 아닌지를 판별한다. 판별은 두 눈 영역 영상의 차이 정도에 따라 이루어진다.

예를 들어, 적외선에 노출된 사람의 눈은 노출되지않은 눈과 비교하여 홍채부분의 밝기가 높아지는데 비해, 동공 부분은 밝기가 낮아진다. 그러나 사진 등에서의 눈 영역은 적외선에 노출여부와 상관없이 거의 변화가 없다. 변화 정도는 다음 식에 따라 결정된다.

여기서, A 및 B는 각각 적외선에 노출된 영상의 픽셀 벡터와 적외선에 노출되지않은 영상의 픽셀 벡터이다.

수학식 1에 따르면, diff값이 1에 접근할 수록 변화가 없다. 사람 얼굴 여부의 판정을 위한 diff값의 범위는 실험적으로 정해질 수 있다.

도 2는 본 발명의 사람 식별 방법을 흐름도로 도시한 것이다. 도시된 바에 따르면, 촬상 제어부(111)는 적외선 발생부(102)가 오프 상태일 때 카메라(101)를 구동하여 촬영한다(21단계). 영상 획득부(112)는 카메라(101)에서 출력되는 영상을 획득한다(22단계). 촬상 제어부(111)는 다시 적외선 발생부(102)와 카메라(101)를 실질적으로 동시에 구동하여 촬영하고(23단계), 영상 획득부(112)는 카메라(101)에서 출력되는 영상을 획득한다(24단계). 영역 검출부(113)는 획득된 두 영상에서 눈 영역을 검출한다(25단계). 눈 영역 검출은 두 영상 모두에 대해 이루어질 수도 있으나, 한 영상에 대해서만 이루어지고 나머지 다른 영상에서는 검출된 눈 영역의 위치를 그대로 옮겨서 검출할 수도 있다. 이는 두 영상이 시간적으로 1~2프레임 정도 차이가 있으므로, 사람이 이 짧은 시간동안에는 거의 움직이지않았음을 가정한 것이다.

적외선이 포함된 영상에 대해서는 상기한 바 있는 하이라이트를 감지하는 과정을 더 수행할 수도 있다. 만일 하이라이트가 감지되면, 해당 영상은 사람 얼굴에 대한 영상이 아닌 것으로 판단하여 사람 식별 과정을 종료한다.

하이라이트가 감지되지않았거나, 하이라이트 감지과정을 수행하지않은 경우 검출된 눈 영역을 비교하여(26단계), 사람 얼굴인지 사진 등인지를 판별한다(27단계).

도 3은 본 발명의 사람 식별 방법에 대한 다른 실시예를 흐름도로 도시한 것이다. 도시된 바에 따르면, 촬상 제어부(111)는 적외선 발생부(102)와 카메라(101)를 실질적으로 동시에 구동하여 촬영한다. 영상 획득부(112)는 카메라(101)에서 출력되는 영상에 대해 각각 가시광선 필터링(32단계) 또는 적외선 필터링(35단계)을 수행하여 각각 적외선 영상만을 포함하는 영상을 획득하거나(33단계), 가시광선만을 포함하는 영상을 획득한다(36단계). 획득된 적외선 영상 및 가시광선 영상에 대해 각각 눈 영역을 검출한다(34, 37단계). 도 2의 경우와 마찬가지로 눈 영역 검출은 두 영상 모두에 대해 이루어질 수도 있으나, 한 영상에 대해서만 이루어지고 나머지 다른 영상에서는 검출된 눈 영역의 위치를 그대로 옮겨서 검출할 수도 있다.

하이라이트가 감지되지않았거나, 하이라이트 감지과정을 수행하지않은 경우 검출된 눈 영역을 비교하여 사람 얼굴인지 아닌지를 판별한다(38단계).

도 4a 및 도 4b는 각각 사람 얼굴에 적외선을 조사하지않는 경우와 조사한 경우 획득되는 영상을 비교한 것이다. 비교해보면 적외선을 조사한 경우 눈 영역에서 홍채와 동공의 밝기 차이가 두드러지는 것을 알 수 있다. 즉, 홍채의 경우 적외선 반사율이 높고, 동공은 상대적으로 적외선 반사율이 낮기 때문이다.

도 5a 및 도 5b는 각각 사진에 적외선을 조사하지않는 경우와 조사한 경우 획득되는 영상을 비교한 것이다. 비교해보면, 눈동자 영역에 대한 밝기 차이가 실질적으로 나타나지 않음을 알 수 있다.

본 발명에 따르면, 얼굴 인식을 이용한 출입 시스템에서 비등록자가 등록자의 사진을 이용하여 출입허가를 받는 상황을 배제할 수 있으므로, 안전한 출입 시스템을 얻을 수 있다. 또한, 얼굴 검출을 이용하는 보안 시스템에서 실제 사람 얼굴과 사진 등을 구별함으로써 높은 보안성을 가진 시스템을 구축할 수 있다. 본 발명을 적용한 실험결과, 99%의 사진 감지율(Photo Detection Ratio)과 5%의 오감지율(False Detection Ratio)의 높은 정확도를 얻을 수 있고, 2~3ms의 빠른 식별속도를 얻었다.

도 1은 본 발명에 따른 사람 식별 장치에 대한 블록도이다.

도 2는 본 발명의 사람 식별 방법을 흐름도로 도시한 것이다.

도 3은 본 발명의 사람 식별 방법에 대한 다른 실시예를 흐름도로 도시한 것이다.

도 4a 및 도 4b는 각각 사람 얼굴에 적외선을 조사하지않는 경우와 조사한 경우 획득되는 영상을 비교한 것이다.

도 5a 및 도 5b는 각각 사진에 적외선을 조사하지않는 경우와 조사한 경우 획득되는 영상을 비교한 것이다.

Claims

소정 제어신호에 따라 피사체를 촬영하거나 적외선을 상기 피사체에 조사하여 촬영하는 촬상부; 및

상기 제어신호를 출력하고, 상기 촬상부에서 출력되는 영상들을 획득하여 영상내의 소정 영역을 검출하며, 검출된 영역에 대해 상기 적외선이 포함된 영상과 포함되지않은 영상을 비교하여 상기 피사체가 사람인지 아닌지의 여부를 판별하는 영상 처리부를 포함함을 특징으로하는 사람 식별 장치.
제1항에 있어서, 상기 촬상부는

상기 제어신호에 따라 적외선을 발생하여 상기 피사체에 조사하는 적외선 발생부; 및

상기 제어신호에 따라 구동되어 상기 피사체를 촬영하는 카메라를 구비함을 특징으로하는 사람 식별 장치.
제2항에 있어서, 상기 영상 처리부는

상기 적외선 발생부가 오프인 상태에서 상기 카메라를 구동하여 상기 피사체를 촬영하고, 상기 적외선 발생부 및 상기 카메라를 실질적으로 동시에 구동하여 상기 피사체를 다시 촬영하는 제어신호를 출력함을 특징으로하는 사람 식별 장치.
제3항에 있어서, 상기 영상 처리부는

상기 제어신호를 상기 촬상부에 출력하는 촬상 제어부;

상기 카메라로부터 적외선이 포함된 영상 및 적외선이 포함되지않는 영상을 획득하는 영상 획득부;

획득된 영상들로부터 소정 영역을 검출하는 영역 검출부; 및

검출된 영역들간에 차이점을 갖는지를 판별하여 상기 피사체가 사람인지 아닌지의 여부를 판별하는 비교부를 구비함을 특징으로하는 사람 식별 장치.
제4항에 있어서,

상기 영역 검출부에 연결되고, 상기 적외선이 포함된 영상에서 검출된 영역에 대해 하이라이트의 유무를 감지하여 하이라이트가 감지되면 상기 피사체가 사람이 아닌 것으로 판별하는 하이라이트 감지부를 더 구비함을 특징으로하는 사람 식별 장치.
제2항에 있어서, 상기 영상 처리부는

상기 적외선 발생부 및 상기 카메라를 실질적으로 동시에 구동하여 상기 피사체를 촬영하는 제어신호를 출력함을 특징으로하는 사람 식별 장치.
제6항에 있어서, 상기 영상 처리부는

상기 제어신호를 상기 촬상부에 출력하는 촬상 제어부;

상기 카메라에서 출력되는 영상을 획득하는 영상 획득부;

획득된 영상으로부터 각각 가시광선 필터링 및 적외선 필터링을 수행하여 각각 적외선 및 가시광선만을 포함하는 두 영상을 출력하는 필터부;

상기 두 영상으로부터 소정 영역을 검출하는 영역 검출부; 및

검출된 영역들간에 차이점을 갖는지를 판별하여 상기 피사체가 사람인지의 여부를 판별하는 비교부를 구비함을 특징으로하는 사람 식별 장치.
제7항에 있어서,

상기 필터부의 가시광선을 필터링하는 측에 연결되어 적외선만을 포함하는 영상에 대해 하이라이트의 유무를 감지하여 하이라이트가 감지되면 상기 피사체가 사람이 아닌 것으로 판별하는 하이라이트 감지부를 더 구비함을 특징으로하는 사람 식별 장치.
(a) 피사체를 촬영하여 제1영상을 획득하는 단계;

(b) 적외선을 상기 피사체에 조사하고, 상기 피사체를 촬영하여 제2영상을 획득하는 단계;

(c) 상기 제1영상과 제2영상으로부터 소정 영역을 검출하는 단계; 및

(d) 검출된 두 영역을 비교하여 차이점이 있는지를 판별하여 상기 피사체가 사람인지 아닌지의 여부를 판별하는 단계를 포함함을 특징으로하는 사람 식별 방법.
제9항에 있어서, 상기 (d)단계는

상기 적외선을 포함한 영역의 픽셀 벡터가 A이고, 상기 적외선을 포함하지않은 영역의 픽셀 벡터가 B일 때, 다음 식

에 의해 구해지는 diff값에 따라 상기 두 영역간 차이점 정도를 판별하는 것을 특징으로하는 사람 식별 방법.
제9항에 있어서, 상기 (c)단계는

검출된 영역들중 상기 적외선을 포함하는 영상에 대해 하이라이트를 감지하는 단계; 및

하이라이트가 감지되면 상기 피사체가 사람이 아닌 것으로 결정하고 종료하는 단계를 더 구비하는 사람 식별 방법.
제11항에 있어서,

상기 하이라이트는 검출된 영역들의 각 픽셀에 대한 휘도값의 히스토그램을 이용하여 감지되는 것을 특징으로하는 사람 식별 방법.
(a) 적외선을 피사체에 조사하고, 상기 피사체를 촬영하는 단계;

(b) 촬영된 영상에 대해 각각 가시광선 및 적외선 필터링하여 적외선만이 포함된 적외선 영상과 가시광선만이 포함된 가시광선 영상을 획득하는 단계;

(c) 상기 적외선 영상 및 가시광선 영상에서 소정 영역을 검출하는 단계; 및

(d) 검출된 두 영역간의 차이점이 있는 지를 판별하여 상기 피사체가 사람인지 아닌지를 판별하는 단계를 포함함을 특징으로하는 사람 식별 방법.
제13항에 있어서, 상기 (d)단계는

상기 적외선 영역의 픽셀 벡터가 A이고, 상기 가시광선 영역의 픽셀 벡터가 B일 때, 다음 식

에 의해 구해지는 diff값에 따라 상기 두 영역간 차이점 정도를 판별하는 것을 특징으로하는 사람 식별 방법.
제13항에 있어서, 상기 (b)단계는

상기 적외선 영상에 대해 하이라이트를 감지하는 단계; 및

상기 적외선 영상에서 하이라이트가 감지되면 상기 피사체가 사람이 아닌 것으로 결정하고 종료하는 단계를 더 구비하는 사람 식별 방법.
제15항에 있어서,

상기 하이라이트는 각 영상의 픽셀들에 대한 휘도값의 히스토그램을 이용하여 감지되는 것을 특징으로하는 사람 식별 방법.