KR20110128574A

KR20110128574A - 이미지내 생체 얼굴 인식 방법 및 인식 장치

Info

Publication number: KR20110128574A
Application number: KR1020100048093A
Authority: KR
Inventors: 최원철
Original assignee: 주식회사 다음커뮤니케이션
Priority date: 2010-05-24
Filing date: 2010-05-24
Publication date: 2011-11-30
Also published as: KR101165415B1

Abstract

본 발명은 이미지내 생체 얼굴 인식 방법 및 인식 장치에 관한 것으로서, 본 발명의 목적은 파노라마 사진 등의 이미지에서 생체 얼굴의 좌표만을 정확하게 인식하는 이미지내 생체 얼굴 인식 방법 및 인식 장치를 제공하는 것이다.
본 발명에서는 가시광선 촬영장치를 이용하여 특정 지점을 촬영함으로써 가시광선 이미지 데이터를 획득하는 제1 단계와, 적외선 촬영장치를 이용하여, 상기 제1 단계의 촬영 지점과 동일한 지점을 동일한 방향과 동일한 화각으로 촬영함으로써 적외선 이미지 데이터를 획득하는 제2 단계와, 얼굴 패턴 알고리듬을 이용하여, 상기 가시광선 이미지 데이터에 포함된 생체 얼굴을 패턴 인식하고 해당 생체 얼굴이 위치하는 지점의 좌표 정보를 추출한 후 이를 제1 테이블에 저장하는 제3 단계와, 온도 색상값을 이용하여, 상기 적외선 이미지 데이터에 포함된 생체 얼굴에 대한 좌표 정보를 추출하고 이를 제2 테이블에 저장하는 제4 단계와, 상기 제1 테이블에 저장된 좌표 정보와 상기 제2 테이블에 저장된 좌표 정보를 이용하여, 상기 제1 테이블에 저장된 좌표 중 비생체 얼굴을 생체 얼굴로 잘못 인식한 좌표를 식별하는 제5 단계를 포함하는 것을 특징으로 하는 이미지내 생체 인식 방법이 제공된다.

Description

이미지내 생체 얼굴 인식 방법 및 인식 장치{METHOD FOR RECOGNIZING HUMAN FACE AND RECOGNIZING APPARATUS}

본 발명은 안면 인식 방법 및 인식 장치에 관한 것으로서, 보다 상세하게는 촬영장치를 통해 얻어진 이미지 내에서 사람의 얼굴만을 정확히 자동 식별해내기 위한 이미지내 생체 얼굴 인식 방법 및 인식 장치에 관한 것이다.

유무선 통신의 발달과 더불어 컴퓨터, 네비게이터, 휴대폰과 같은 전자 정보 단말기의 발달과 보급 확대가 증대되고 있다. 이에 따라 특정 지역의 지리 정보를 얻고자 하는 사용자들은 상기 단말기에 접속하여 도로나 지형, 지물 등 해당 지역과 관련된 일체의 정보를 담고 있는 전자지도 서비스를 손쉽게 제공받을 수 있다. 그러나, 종래 지리 정보 제공 서비스는 2D 로 구현되어 표시해 주고 있어 사용자가 해당 지역과 관련된 지형, 지물을 시각적으로 정확히 인식하는 것은 불가능하였다.

상기와 같은 문제점을 극복하기 위하여 최근에는 도로, 지형, 지물을 시각적으로 인식할 수 있도록, 전자지도상에 해당 지역의 실제 사진을 함께 표시해주는 파노라마 사진 지리 정보 제공 서비스가 개발 및 시도되고 있다.

상술한 파노라마 사진을 이용한 지리 정보 제공 서비스를 구현하기 위해서는 기본적으로 사진 촬영 작업, 사진 연결 작업 및 매핑 작업이 필요하다.

사진 촬영 작업이란 차량에 설치된 다수 개의 카메라를 이용하여 각 지역을 이동하며 지형, 지물 및 도로의 분할 촬영을 통해 영상 프레임들을 획득해 나가는 작업을 의미한다.

사진 연결 작업이란 사진 촬영 작업을 통해 획득한 다수 개의 영상 프레임들을 도로변에 위치한 순서대로 파노라마 사진으로 연결하면서 편집하는 작업을 의미한다. 상기 사진 연결 작업을 통해 구성된 각각의 파노라마 사진은 GPS 코드로 연결할 수 있는 디지털 지도와 매핑함으로써 실제 영상의 위치 정보 제공이 가능해 진다.

사진 매핑 작업이란, 사진 촬영 작업을 통해 획득되는 각각의 영상 프레임의 GPS(Global Positioning System) 좌표를 이용하여 해당 사진을 전자지도 상의 정확한 위치에 올려놓는 작업을 의미한다.

이러한 파노라마 사진 지리 정보 제공 서비스를 제공하는 상업적인 사이트로는 대표적으로 '다음(www.daum.net) 사이트'에서 제공하는 '로드뷰'가 있으며, '구글 사이트'에서 제공하는 '스트리트뷰'가 있다.

그러나, 차량을 통해 수집되는 각 파노라마 사진에는 차량 번호 및 사람의 얼굴과 같은 개인 정보가 포함되어 있다. 이중 사람의 얼굴이 파노라마 사진을 통해 노출되는 것을 방지하기 위해서 얼굴 패턴 인식 알고리듬을 이용하여 처리하고 있다. 촬영된 이미지에 눈, 코, 및 입에 해당하는 영상이 포함되는 경우의 패턴을 검사하여 얼굴임을 인식하고 해당 부분을 블러링(bluring) 처리하는 것이다.

그런데 이러한 얼굴 패턴 인식 알고리듬의 경우 얼굴의 측면이 노출될 경우 이를 인식하지 못하거나 얼굴 모양과 비슷한 영화 포스트, 광고판에 포함된 얼굴 사진 등을 생체 얼굴로 오인식하는 경우가 많이 발생되어 얼굴 패턴 인식 알고리듬을 적용한 이후에 수작업을 통해서 이미지에 포함된 이러한 오인식을 보정하는데 상당한 시간과 인력이 투입되며, 작업자의 수작업에 의존할 경우 비생체 얼굴 사진을 빠짐없이 식별해내기 어려워 생체얼굴 식별에 누락이 발생하는 문제점이 있었다.

본 발명은 상기와 같은 문제점을 해결하고자 하는 것으로서, 본 발명의 목적은 파노라마 사진 등의 이미지에서 생체 얼굴의 좌표만을 정확하게 인식하는 이미지내 생체 얼굴 인식 방법 및 인식 장치를 제공하는 것이다.

상기 목적은 가시광선 촬영장치를 이용하여 특정 지점을 촬영함으로써 가시광선 이미지 데이터를 획득하는 제1 단계와, 적외선 촬영장치를 이용하여, 상기 제1 단계의 촬영 지점과 동일한 지점을 동일한 방향과 동일한 화각으로 촬영함으로써 적외선 이미지 데이터를 획득하는 제2 단계와, 얼굴 패턴 알고리듬을 이용하여, 상기 가시광선 이미지 데이터에 포함된 생체 얼굴을 패턴 인식하고 해당 생체 얼굴이 위치하는 지점의 좌표 정보를 추출한 후 이를 제1 테이블에 저장하는 제3 단계와, 온도 색상값을 이용하여, 상기 적외선 이미지 데이터에 포함된 생체 얼굴에 대한 좌표 정보를 추출하고 이를 제2 테이블에 저장하는 제4 단계와, 상기 제1 테이블에 저장된 좌표 정보와 상기 제2 테이블에 저장된 좌표 정보를 이용하여, 상기 제1 테이블에 저장된 좌표 중 비생체 얼굴을 생체 얼굴로 잘못 인식한 좌표를 식별하는 제5 단계를 포함하는 것을 특징으로 하는 이미지내 생체 얼굴 인식 방법을 통해 달성 가능하다.

본 발명에 따른 이미지내 생체 얼굴 인식 장치 및 인식 방법에 의하면 가시광선 촬영장치를 통해 특정 지점을 촬영함과 동시에, 적외선 촬영장치를 통해 동일한 지점을 동일한 방향과 동일한 화각으로 촬영할 수 있도록 구성하고, 이렇게 동일한 지점에 대해서 획득된 두 가지의 데이터 즉, 가시광선 이미지 데이터와 적외선 이미지 데이터를 이용하여 촬영 이미지 내에서 사람의 얼굴만을 오류없이 자동으로 식별해낼 수 있어, 사진 보정을 위한 작업 시간과 소요 인력을 대폭 감소시키고 작업자의 수작업에 의존할 경우 발생하였던 누락을 방지할 수 있는 현저한 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 이미지내 생체 얼굴 인식 장치의 블록 구성도.
도 2는 본 발명의 제1 실시예에 따른 이미지내 생체 얼굴 인식 방법의 흐름을 설명하는 방법 흐름도.
도 3은 본 발명의 제2 실시예에 따른 이미지내 생체 얼굴 인식 방법의 흐름을 설명하는 방법 흐름도.
도 4는 본 발명의 제3 실시예에 따른 이미지내 생체 얼굴 인식 방법의 흐름을 설명하는 방법 흐름도.

본 발명에 따른 이미지내 생체 얼굴 인식 방법 및 인식 장치는 가시광선 촬영장치를 통해 특정 지점을 촬영함과 동시에, 적외선 촬영장치를 통해 동일한 지점을 동일한 방향과 동일한 화각으로 촬영할 수 있도록 구성하고, 이렇게 동일한 지점에 대해서 획득된 두 가지의 데이터 즉, 가시광선 이미지 데이터와 적외선 이미지 데이터로부터를 이용하여 촬영 이미지 내에서 사람의 얼굴만을 오류없이 자동 식별하고 보정할 수 있는 기술적 특징을 제공한다.

이하에서, 본 발명의 기술적 사상 및 바람직한 실시 예를 첨부한 도면들을 참조하여 보다 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 이미지내 생체 얼굴 인식 장치의 블록 구성도이다. 도 1을 참조하면, 본 발명에 따른 이미지내 생체 얼굴 인식 장치는 특정 지점을 촬영함으로써 가시광선 이미지 데이터를 획득하는 가시광선 촬영장치(11)와, 특정 지점을 촬영함으로써 적외선 이미지 데이터를 획득하는 적외선 촬영장치(13)와, 상기 가시광선/적외선 촬영장치(11,13)를 통해 수집된 가시광선/적외선 이미지 데이터를 저장하는 제1 메모리(10)와, 얼굴 패턴 알고리듬을 이용하여 상기 가시광선 이미지 데이터에 포함된 생체 얼굴을 패턴 인식하여 해당 생체 얼굴이 위치하는 지점의 좌표 정보를 추출하고, 온도 색상값을 이용하여 상기 적외선 이미지 데이터에 포함된 생체 얼굴에 대한 좌표 정보를 추출하고, 추출된 상기 두 가지 종류의 좌표 정보를 이용하여 상기 가시광선 이미지 데이터에 저장된 좌표 중 비생체 얼굴을 생체 얼굴로 잘못 인식한 좌표를 식별하는 연산을 수행하는 적어도 하나의 연산처리 장치(23)를 포함하도록 구성된다.

특히, 본 발명에 따른 생체 얼굴 인식 장치는 상기 연산처리 장치(23)가 두 가지 종류의 이미지 데이터(즉, 가시광선/적외선 이미지 데이터)로부터 각각 추출한 좌표 정보를 비교하여 얼굴 좌표를 보정하는 연산을 수행할 수 있도록 다음과 같은 특징을 갖도록 구성된다.

즉, 본 발명의 가시광선 촬영장치(11)가 특정 지점(예컨데, 제1 지점)에 대한 촬영 동작을 실시하면, 이와 동시에 적외선 촬영장치(13)도 동일한 제1 지점을 동일한 방향과 동일한 화각으로 촬영 동작을 실시하도록 구성되어, 작업자는 제1 지점에 대해 두 가지 종류(즉, 가시광선 이미지와 적외선 이미지)로 표현된 동일한 사진을 획득하게 된다.

본 발명의 생체 얼굴 인식 장치(20)는 가시광선/적외선 촬영장치(11,13)와 함께, 통상적으로 개인용 컴퓨터, 노트북 등의 컴퓨터를 포함하는 형태로 구비되는 것으로서, 상술한 연산처리 장치(23)와, 마우스, 키보드 및 모니터를 포함하는 입출력 장치(21, 25)와, 컴퓨터 내부 또는 외부에 설치되는 제2 메모리(27)를 포함하는 장치를 의미한다.

제1 메모리(10)에 저장되는 가시광선 이미지 데이터의 일 예로는 '다음 (www.daum.net) 사이트'에서 제공하는 '로드뷰' 또는 '구글 사이트'에서 제공하는 '스트리트뷰'를 구성하는 파노라마 이미지 데이터를 들 수 있다. 적외선 이미지 데이터는 대응되는 가시광선 이미지 데이터와 동일한 지점에서 동일한 방향으로 동일한 화각으로 적외선으로 촬영된 이미지 데이터를 의미하는 것이다.

이러한 가시광선 이미지 데이터 및 적외선 이미지 데이터는 통상 차량에 탑재된 네 대의 카메라를 이용하여 일정한 거리를 이동할 때마다 자동으로 네 대의 카메라를 이용하여 촬영하는 방식을 사용한다. 이러한 차량 자동 촬영 시스템을 이용할 경우 동심축에 각각 직각을 유지하도록 네 대의 가시광선 촬영 장치를 구비하고, 동일한 동심축의 상부에 가시광선 촬영 장치(11)와 동일한 각도를 유지하는 네 대의 적외선 촬영 장치(13)를 구비하여 촬영할 경우 촬영되는 적외선 이미지 데이터는 대응되는 가시광선 이미지 데이터와 동일한 지점에서 동일한 방향으로 동일한 화각으로 적외선으로 촬영된 이미지 데이터를 얻을 수 있다. 좀더 엄밀하게 말하면 이런 방식으로 촬영할 경우 가시광선 이미지 촬영 장치(11)가 적외선 이미지 촬영 장치(13)보다 낮은 위치에 있으므로 상호 완전히 동일한 지점을 촬영하지는 못하지만 이 정도의 오차는 소프트웨어적인 처리로 극복이 가능하므로 동일한 지점에서 동일한 방향으로 동일한 화각으로 촬영하였다고 볼 수 있는 것이다.

전술한 가시광선 촬영장치(11), 적외선 촬영장치(13), 제1 메모리(10) 및 연산처리 장치(23)를 포함하는 본 발명의 생체 얼굴 인식 장치를 이용하여, 촬영장치를 통해 획득된 이미지 내에서 사람의 얼굴만을 오류없이 식별해내기 위한 방법은 가시광선 촬영장치를 이용하여 특정 지점을 촬영함으로써 가시광선 이미지 데이터를 획득하는 제1 단계와, 적외선 촬영장치를 이용하여 상기 제1 단계의 촬영 지점과 동일한 지점을 동일한 방향과 동일한 화각으로 촬영함으로써 적외선 이미지 데이터를 획득하는 제2 단계와, 얼굴 패턴 알고리듬을 이용하여 상기 가시광선 이미지 데이터에 포함된 생체 얼굴을 패턴 인식하고 해당 생체 얼굴이 위치하는 지점의 좌표 정보를 추출한 후 이를 제1 테이블에 저장하는 제3 단계와, 온도 색상값을 이용하여 상기 적외선 이미지 데이터에 포함된 생체 얼굴에 대한 좌표 정보를 추출하고 이를 제2 테이블에 저장하는 제4 단계와, 상기 제1 테이블에 저장된 좌표 정보와 상기 제2 테이블에 저장된 좌표 정보를 이용하여, 상기 제1 테이블에 저장된 좌표 중 비생체 얼굴을 생체 얼굴로 잘못 인식한 좌표를 식별하는 제5 단계를 포함하는 것을 특징으로 한다.

이하에서는, 상기 제5 단계에서 제1 테이블에 저장된 좌표 정보와 상기 제2 테이블에 저장된 좌표 정보를 이용하여 상기 제1 테이블에 저장된 좌표 중 비생체 얼굴을 생체 얼굴로 잘못 인식한 좌표를 식별하는 방법의 바람직한 실시예에 대하여 설명하도록 한다.

도 2는 본 발명의 제1 실시예에 따른 이미지내 생체 얼굴 인식 방법의 흐름을 설명하는 방법 흐름도이다.

우선, 가시광선 촬영장치를 이용하여 목적 지점(예컨데, 제1 지점)을 촬영함으로써 가시광선 이미지 데이터를 획득하고, 이와 동시에 적외선 촬영장치를 이용하여 상기 제1 지점과 동일한 지점을 동일한 방향과 동일한 화각으로 촬영함으로써 적외선 이미지 데이터를 획득하여 제1 메모리에 저장한다.

그리고, 제1 메모리에 저장된 가시광선 이미지 데이터로부터 얼굴에 해당되는 좌표를 얼굴 패턴 알고리듬을 이용하여 추출하고 이를 제1 테이블에 저장한다 (ST 201).

그러나, 가시광선 이미지 상에서 수행되는 얼굴 패턴 인식 알고리듬은 극장의 포스터 또는 광고 전단지의 홍보물에 표시된 얼굴도 인식하게 되는 바, ST 201의 제1 테이블에는 잘못된 얼굴 좌표(즉, 비생체 얼굴 좌표)가 포함되어 있을 수 있다. 따라서, 상기와 같이 얼굴 패턴 알고리듬을 이용하여 제1 테이블에 저장된 얼굴 좌표 중 비생체 얼굴 좌표를 식별하여 제거해주는 작업이 필요하며, 이는 본 발명의 적외선 이미지 데이터로부터 추출되는 좌표 정보를 이용함으로써 달성 가능하다. 자세한 것은 후술하기로 한다.

참고로, 본 발명은 얼굴 패턴 알고리듬을 주된 기술적 사상으로 하는 발명이 아니며 얼굴 패턴 알고리듬은 여러 가지 방식이 알려져 있으므로 이에 대한 상세한 설명은 생략하는 것으로 한다.

또한, 하나의 가시광선 이미지 상에는 여러 명의 얼굴이 존재할 수 있으므로 복수 개 좌표가 저장될 수 있다. 예로서 제1 가시광선 이미지상에 다섯 개의 얼굴이 포함되었다고 가정하고, 이를 추출하여 제1 테이블에 {(x1,y1), (x2,y2), (x3,y3), (x4,y4), (x5,y5)}의 좌표로 저장한다. 여기서 (x1,y1), (x2,y2), ..., (x5,y5)은 제1 가시광선 이미지상에 존재하는 첫 번째, 두 번째, ..., 다섯 번째 얼굴의 위치를 제 1 가시광선 이미지상의 x 및 y 좌표값으로 표시한 것이다.

다음으로, 상기 ST201에서 추출된 각 좌표 지점(즉, 가시광선 이미지 상의 좌표)에 대응되는 적외선 이미지 데이터 상의 좌표의 온도 색상값을 추출(ST 203)하고, 추출된 온도 색상값 중에서 적어도 다른 두 개의 온도 색상값과 소정의 임계치 이상의 차이값이 있는 온도 색상값을 제외한 나머지 온도 색상값을 이용하여 온도 색상 평균값을 산출한다.

즉, 제1 가시광선 이미지와 매칭되는 제1 적외선 이미지에서 제 1 테이블의 각 좌표값에 대응되는 적외선 이미지상의 온도 색상값을 획득하고, 이때 각 좌표값에 따라 얻어지는 온도 색상값 중에서 다른 온도 색상값과 제1 임계치 이상 차이가 있는 것은 포함시키지 않고 나머지 좌표값에 대응되는 온도 색상값을 이용하여 온도 색상 평균값을 산출하는 것이다. 예를 들어, 제1 가시광선 이미지상의 {(x1,y1), (x2,y2), (x3,y3), (x4,y4), (x5,y5)}에 각각 대응되는 제1 적외선 이미지상의 온도 색상값이 {100, 105, 140, 99, 95}로 획득될 경우 제1 임계치를 '30'이라 하면, (x3,y3)에 대응되는 온도 색상값 '140'을 제외한 나머지 온도 색상값의 평균을 구한다. 상기 예에서 구해진 온도 색상의 평균은 '99.75'로 구해진다.

그런데 상기 예와는 달리 하나의 가시광선 이미지상에 포함된 생체 얼굴이 하나 또는 두 개 정도밖에 안 될 경우에는 이러한 온도 색상값의 평균이 의미 없게 될 가능성이 있다. 이러한 경우에도 연속되어 촬영되는 가시광선 이미지상에 포함된 생체 얼굴을 이용하면 온도 색상 평균값을 정할 수가 있다. 예를 들어, 제1 가시광선 이미지에서 인식된 생체 얼굴이 한 개, 제2 가시광선 이미지에서 인식된 생체 얼굴이 두 개, 제3 가시광선 이미지에서 인식된 생체 얼굴이 한 개 존재할 경우 제1 가시광선, 제2 가시광선 및 제3 가시광선의 세 개의 가시광선에 포함된 생체 얼굴 좌표값을 획득하고, 이에 각각 대응되는 온도 색상값을 이용하여 온도 색상 평균값을 구할 수 있는 것이다. 본 발명에서 사용되는 온도 색상 평균값은 생체 얼굴에 해당되는 평균 온도를 수치적으로 나타낸 값의 의미를 갖는 것이므로 한 장의 가시광선 이미지상에서 이를 구하거나 또는 여러 장의 가시광선 이미지상에 포함된 생체 얼굴 좌표에 대응되는 색상값을 이용하던 양측이 모두 이용 가능한 것이다.

다음으로, 전술한 온도 색상 평균값을 기준으로 소정의 온도 색상값 범위를 설정하고, 적외선 이미지 데이터로부터 상기 온도 색상값 범위 내에 포함되는 영역의 좌표를 추출하여 제2 테이블에 저장한다(ST 205).

즉, 제1 적외선 이미지상에 포함된 온도 색상 평균값 부근의 색상값을 갖는 좌표들을 구하여 이를 제 2 테이블에 저장하는 것이데, 온도 색상 평균값 부근의 색상값이란 ST 203에서 산출된 온도 색상 평균값을 기준으로 일정 범위 내의 색상값 범위 내에 포함되는 영역을 갖는 패턴을 찾아내어 이를 좌표값으로 표현한 것이다. 예를 들어 상기에 제시된 예와 같이 온도 색상 평균값이 '99.75'라면 이로부터 ±5 범위 내에 있는 얼굴 패턴을 제1 적외선 이미지상에서 검색한 후 이를 좌표값으로 제2 테이블에 저장하는 것이다.

다음으로, 제1 테이블에 저장된 좌표와 제2 테이블에 저장된 좌표를 서로 비교한다(ST 207). 즉, 각 테이블에 저장된 좌표들의 개수와 위치가 일치하는지 비교하는 것인데, 제1 테이블의 좌표값과 제 2 테이블의 좌표값의 위치 비교시, 가시광선 이미지상에서 수행되는 얼굴 패턴 인식 알고리듬과 적외선 이미지상에서 수행되는 얼굴 패턴 인식 알고리듬은 동일할 수 없게 때문에 소정의 임계치 거리만큼 떨어지며 대응되는 좌표는 동일한 위치를 나타내는 것으로 인식하도록 하였다.

ST 207 단계의 비교 결과, 제1 테이블에만 저장되어 있고 상기 제2 테이블에는 저장되어 있지 않은 좌표가 검출되면, 상기 검출된 좌표는 상기 제1 테이블 상에서 삭제하는 수정을 행한다(ST 209). 즉, 제1 테이블의 좌표값과 제2 테이블의 좌표값의 위치 및 개수가 불일치할 경우에는 제2 테이블의 좌표값을 기반으로 가시광선 이미지상의 좌표를 수정하여 가시광선 이미지상에서의 생체 얼굴 위치를 확정하는 것이다.

또한, ST 207 단계의 비교 결과, 제2 테이블에만 저장되어 있고 제1 테이블에는 저장되어 있는 않은 좌표가 검출되면, 상기 검출된 좌표를 제1 테이블 상에 추가 입력하는 과정을 더 포함한다. 이는, 가시광선 이미지상에서 수행되는 얼굴 패턴 인식 알고리듬이 옆 얼굴 등을 파악하지 못한 결과로 인한 것일 수 있기 때문이다. 참고로, 제1 테이블에만 저장되어 있고 제2 테이블에는 저장되어 있지 않은 좌표는 제1 테이블 상에서 삭제하는 것은 가시광선 이미지상에서 수행되는 얼굴 패턴 인식 알고리듬이 극장의 포스터, 또는 광고 전단지의 홍보물에 포함된 얼굴을 생체 얼굴로 인식한 오류로 판단할 수 있기 때문이다.

다음으로, ST 209 단계에서 확정된 생체 얼굴 위치를 블러링 처리하거나, 또는 ST 207 단계의 판단 결과 제1 테이블의 좌표와 제 2 테이블의 좌표의 위치 및 개수가 일치할 경우에는 해당되는 생체 얼굴 위치를 바로 블러링 처리하면 작업이 완료된다(ST 211).

도 3은 본 발명의 제2 실시예에 따른 이미지내 생체 얼굴 인식 방법의 흐름을 설명하는 방법 흐름도이다.

그리고, 제1 메모리에 저장된 가시광선 이미지 데이터로부터 얼굴에 해당되는 좌표를 얼굴 패턴 알고리듬을 이용하여 추출하고, 이를 제1 테이블에 저장한다 (ST 301).

예로서, 제1 가시광선 이미지상에 다섯 개의 생체 얼굴이 포함되었다고 가정하고, 이를 추출하여 제1 테이블에 {(x1,y1), (x2,y2), (x3,y3), (x4,y4), (x5,y5)}의 좌표로 저장한다. 유사한 방식으로 제1 메모리에 저장된 적외선 이미지 데이터로부터 생체 얼굴에 해당되는 온도 색상값 범위 내의 패턴이 포함되어 있는지 파악한 후 해당 좌표를 추출하여 제2 테이블에 저장한다(ST303).

적외선 이미지는 촬영된 사물에서 발산되는 온도를 색상으로 나타내는 이미지로서, 예를 들어 고온은 빨간색 계열로 표시되고 저온은 파란색 계열로 나타나게 된다. 생체 얼굴을 적외선 촬영 장치로 촬영하면 생체 온도에 따른 색상으로 표현된다. 그런데 이러한 생체 온도는 날씨에 따라 조금씩 달라지고 운동 여부에 따라 달라지기는 하나, 항온 동물의 특성상 일정한 범위 내의 온도 범위를 갖는 특성이 있다. 이러한 특성을 이용하여 여러 장의 적외선 이미지에서 계절별, 날씨별 표현되는 생체 얼굴의 온도 범위를 축적한 후 이를 산술 평균 또는 기타의 통계적 방식으로 생체 얼굴 온도 범위 및 이에 대응되는 색상 범위를 수치적으로 표현할 수 있게 된다.

다음으로, ST303에서 추출된 각 좌표에 해당되는 온도 색상값을 추출하여, 추출된 온도 색상값의 평균값을 산출한다(ST305). 도 2의 흐름도에서 설명한 바와 유사하게 하나의 적외선 이미지 데이터에 포함된 생체 얼굴의 개수가 적을 경우에는 연속되는 여러 장에 포함된 생체 얼굴 개수를 이용하여 온도 색상 평균값을 산출할 수 있음은 물론이다.

다음으로, ST301에서 추출된 각 좌표 지점에 대응되는 적외선 이미지 데이터 상의 좌표의 온도 색상값을 추출하여 상기 ST305에서 산출한 온도 색상 평균값과의 차이값을 구하고, 해당 차이값이 소정의 임계치보다 큰지 여부를 판별한다(ST306).

즉, 제1 테이블에 저장된 각 좌표값에 대응되는 적외선 이미지 데이터 상의 좌표값의 온도 색상값을 추출하고, 추출된 온도 색상값을 온도 색상 평균값과의 차이값을 구하고, 해당 차이값이 제3 임계치보다 큰 지 여부를 파악하는 것이다.

ST306의 판별 결과, 제3 임계치보다 큰 차이가 있는 온도 색상값은 생체가 아닐 확률이 매우 크므로 해당 온도 색상값에 대응하고 있는 가시광선 이미지 데이터(즉, 제1 테이블) 상의 좌표값은 생체가 아닌 것으로 판단하고, 제1 테이블에서 해당 좌표를 삭제한다(ST309). 이는 전술한 바와 같이 홍보 전단지 등에 인쇄된 생체 얼굴이 포함된 경우 등에 의해서 발생되는 오류를 제거하기 위함이다.

다음으로, ST309를 거친 제1 테이블에 저장된 각 좌표 지점에 대응되는 적외선 이미지 테이터 상의 온도 색상값을 추출하고, 추출된 온도 색상값의 평균값을 산출한다(ST311).

그리고, 상기 ST303의 제2 테이블에 저장된 각 좌표의 온도 색상값과 상기 ST311에서 산출된 온도 색상 평균값과의 차이값을 구하고, 해당 차이값이 제4 임계치보다 큰지 여부를 판별한다(ST313).

상기 ST313의 판별 결과, 상기 제4 임계치보다 큰 차이값이 있는 온도 색상값이 검출되면, 검출된 온도 색상값에 대응되는 제2 테이블 상의 좌표는 생체이긴 하나 고양이나 다른 생명체라고 판단하고 제2 테이블에서 삭제한다(ST 315).

전술한 과정이 모두 완료된 제1 테이블과 제2 테이블에 저장된 각 좌표는 모두 생체 얼굴을 나타내는 것이라고 판단하고, 양쪽 테이블 중 어느 하나에라도 포함된 좌표 영역을 생체 얼굴로 확정하고(ST317), 이를 블러링 처리한다(ST319).

보다 정확한 판단을 위해서는 ST317 단계에서 제1 테이블과 제2 테이블에 모두 포함된 좌표를 생체 얼굴이라 판단하고 이를 블러링 처리할 수도 있음은 물론이다.

도 4는 본 발명의 제3 실시예에 따른 이미지내 생체 얼굴 인식 방법의 흐름을 설명하는 방법 흐름도이다.

그리고, 제1 메모리에 저장된 가시광선 이미지 데이터로부터 얼굴에 해당되는 좌표를 얼굴 패턴 알고리듬을 이용하여 추출하고, 이를 제1 테이블에 저장한다 (ST401). 예로서, 제1 가시광선 이미지상에 다섯 개의 생체 얼굴이 포함되었다고 가정하고, 이를 추출하여 제1 테이블에 {(x1,y1), (x2,y2), (x3,y3), (x4,y4), (x5,y5)}의 좌표로 저장한다.

다음으로, 생체 얼굴에 해당되는 온도 색상값 범위를 설정하고, 제1 메모리에 저장된 적외선 이미지 데이터로부터 상기 설정된 온도 색상값 범위 내에 포함되는 패턴을 추출하고 해당 좌표를 산출하여 제2 테이블에 저장한다(ST403). 예로서, 제1 가시광선 이미지에 대응되는 제1 적외선 이미지상에 여섯 개의 생체 얼굴이 포함되었다고 가정하고, 이를 추출하여 제2 테이블에 {(a1,b1), (a2,b2), (a4,b4), (a5,b5), (a6,b6)}의 좌표로 저장한다.

다음으로, 제1 테이블에 저장된 가시광선 이미지상의 좌표와 제2 테이블에 저장된 적외선 이미지상의 좌표들을 서로 비교하여 일치 여부를 판단한다(ST405). 상기 예의 경우, 제1 가시광선 이미지로부터 추출된 생체 얼굴은 제1 테이블에 {(x1,y1), (x2,y2), (x3,y3), (x4,y4), (x5,y5)}의 5개 좌표로 검출되고, 제1 적외선 이미지로부터 추출된 생체 얼굴 좌표는 제2 테이블에 {(a1,b1), (a2,b2), (a4,b4), (a5,b5), (a6,b6)}로 저장되었다고 가정하고, 이 중 (x1,y1), (x2,y2), (x4,y4), 및 (x5,y5)는 각각 (a1,b1), (a2,b2), (a4,b4), 및 (a5,b5)에 대응되는 동일한 좌표를 표시하는 것으로 가정하고, (x3,y3)는 제 1 테이블에서만 검출된 좌표이고, (a6,b6)는 제 2 테이블에서만 검출되는 좌표라고 가정한다.

ST405 단계의 판단 결과, 상호 불일치하는 좌표가 발견될 경우 이를 가시광선 이미지상에 표시하고, 이를 디스플레이 장치 등을 통해 이미지 처리자에게 제공한다(ST407). 이때 제1 테이블에서만 검출된 좌표 (x3,y3)와 제2 테이블에서만 검출된 좌표 (a6,b6)는 서로 다른 표현 형식(예를 들면, 색상이나 모양이 다른 표식)을 이용하여 이미지 처리자에게 디스플레이 하도록 한다.

이미지 처리자는 제공되는 불일치 좌표를 보고 생체에 해당되는 좌표를 확인하고, 이를 입력 장치를 통해 입력하고, 생체 얼굴 인식 장치는 입력받은 좌표에 따라 제1 테이블의 좌표값을 갱신한다(ST 409). 이후 검증된 제1 테이블의 좌표값에 따라 해당되는 가시광선 이미지 영역을 블러링 처리한다(ST 411).

상기에서 본 발명의 특정한 실시예가 설명 및 도시되었지만, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 당업자에 의하여 다양하게 변형되어 실시될 가능성이 있는 것은 자명한 일이다. 이와 같이 변형된 실시예들은 본 발명의 사상 및 범위로부터 개별적으로 이해되어져서는 안되며, 본 발명에 첨부된 청구범위 안에 속한다고 해야 할 것이다.

10: 제1 메모리 11: 가시광선 촬영장치
13: 적외선 촬영장치 20: 생체 얼굴 인식 장치
21: 출력 장치 23: 연산처리 장치
25: 입력 장치 27: 제2 메모리

Claims

촬영장치를 통해 얻어진 이미지 내에서 사람의 얼굴만을 오류없이 식별해내기 위한 이미지내 생체 얼굴 인식 방법으로서,
가시광선 촬영장치를 이용하여 특정 지점을 촬영함으로써 가시광선 이미지 데이터를 획득하는 제1 단계;
적외선 촬영장치를 이용하여, 상기 제1 단계의 촬영 지점과 동일한 지점을 동일한 방향과 동일한 화각으로 촬영함으로써 적외선 이미지 데이터를 획득하는 제2 단계;
얼굴 패턴 알고리듬을 이용하여, 상기 가시광선 이미지 데이터에 포함된 생체 얼굴을 패턴 인식하고 해당 생체 얼굴이 위치하는 지점의 좌표 정보를 추출한 후 이를 제1 테이블에 저장하는 제3 단계;
온도 색상값을 이용하여, 상기 적외선 이미지 데이터에 포함된 생체 얼굴에 대한 좌표 정보를 추출하고 이를 제2 테이블에 저장하는 제4 단계; 및
상기 제1 테이블에 저장된 좌표 정보와 상기 제2 테이블에 저장된 좌표 정보를 이용하여, 상기 제1 테이블에 저장된 좌표 중 비생체 얼굴을 생체 얼굴로 잘못 인식한 좌표를 식별하는 제5 단계를 포함하는 것을 특징으로 하는 이미지내 생체 얼굴 인식 방법.
촬영장치를 통해 얻어진 이미지 내에서 사람의 얼굴만을 오류없이 자동 식별해내기 위한 이미지내 생체 얼굴 인식 방법으로서,
가시광선 촬영장치를 이용하여 특정 지점을 촬영함으로써 가시광선 이미지 데이터를 획득하는 제1 단계;
적외선 촬영장치를 이용하여, 상기 제1 단계의 촬영 지점과 동일한 지점을 동일한 방향과 동일한 화각으로 촬영함으로써 적외선 이미지 데이터를 획득하는 제2 단계;
얼굴 패턴 알고리듬을 이용하여, 상기 제1 단계에서 획득된 가시광선 이미지 데이터로부터 얼굴에 해당하는 좌표를 추출하여 제1 테이블에 저장하는 제3 단계;
상기 제3 단계에서 추출된 각 좌표 지점에 대응되는 적외선 이미지 데이터 상의 좌표의 온도 색상값을 추출하고, 추출된 온도 색상값 중에서 적어도 다른 두 개의 온도 색상값과 소정의 임계치 이상의 차이값이 있는 온도 색상값을 제외한 나머지 온도 색상값을 이용하여 온도 색상 평균값을 산출하는 제4 단계;
상기 제4 단계의 온도 색상 평균값을 기준으로 소정의 온도 색상값 범위를 설정하고, 상기 제2 단계에서 획득된 적외선 이미지 데이터로부터 상기 온도 색상값 범위 내에 포함되는 영역의 좌표를 추출하여 제2 테이블에 저장하는 제5 단계;
상기 제1 테이블에 저장된 좌표와 상기 제2 테이블에 저장된 좌표를 서로 비교하는 제6 단계; 및
상기 제6 단계의 비교 결과, 상기 제1 테이블에만 저장되어 있고 상기 제2 테이블에는 저장되어 있지 않은 좌표가 검출되면, 상기 검출된 좌표는 상기 제1 테이블 상에서 삭제하는 제7 단계를 포함하는 것을 특징으로 하는 이미지내 생체 얼굴 인식 방법.
제2 항에 있어서,
상기 제6 단계 비교 결과, 상기 제2 테이블에만 저장되어 있고 상기 제1 테이블에는 저장되어 있는 않은 좌표가 검출되면, 상기 검출된 좌표를 제1 테이블 상에 추가하는 제8 단계; 및
상기 제8 단계를 거친 제1 테이블에 저장된 좌표 영역을 생체 얼굴로 인식하는 제9 단계를 더 포함하는 것을 특징으로 하는 이미지내 생체 얼굴 인식 방법.
제2 항 또는 제3 항에 있어서,
상기 제6 단계에서 상호 비교되는 제1 테이블의 좌표와 제2 테이블의 좌표가 소정의 임계치 범위 내에서 대응되는 좌표라면 동일한 위치를 나타내는 좌표로 처리하는 것을 특징으로 하는 이미지내 생체 얼굴 인식 방법.
촬영장치를 통해 얻어진 이미지 내에서 사람의 얼굴만을 오류없이 자동 식별해내기 위한 이미지내 생체 얼굴 인식 방법으로서,
가시광선 촬영장치를 이용하여 특정 지점을 촬영함으로써 가시광선 이미지 데이터를 획득하는 제1 단계;
적외선 촬영장치를 이용하여, 상기 제1 단계의 촬영 지점과 동일한 지점을 동일한 방향과 동일한 화각으로 촬영함으로써 적외선 이미지 데이터를 획득하는 제2 단계;
얼굴 패턴 알고리듬을 이용하여, 상기 제1 단계에서 획득된 가시광선 이미지 데이터로부터 얼굴에 해당하는 좌표를 추출하여 제1 테이블에 저장하는 제3 단계;
생체 얼굴에 해당하는 온도 색상값 범위를 설정하고, 상기 제2 단계에서 획득된 적외선 이미지 데이터로부터 상기 온도 색상값 범위 내에 포함되는 패턴을 추출하고 해당 좌표를 산출하여 제2 테이블에 저장하는 제4 단계;
상기 제4 단계에서 추출된 각 좌표에 해당되는 온도 색상값을 추출하여, 추출된 온도 색상값의 평균값을 산출하는 제5 단계;
상기 제3 단계에서 추출된 각 좌표 지점에 대응되는 적외선 이미지 데이터 상의 좌표의 온도 색상값을 추출하여 상기 제5 단계의 온도 색상 평균값과의 차이값을 구하고, 해당 차이값이 소정의 임계치보다 큰지 여부를 판별하는 제6 단계; 및
상기 제6 단계 판별 결과, 상기 임계치보다 큰 차이값이 있는 온도 색상값이 검출되면, 상기 검출된 온도 색상값에 대응되는 좌표를 상기 제1 테이블 상에서 삭제하는 제7 단계를 포함하는 것을 특징으로 하는 이미지내 생체 얼굴 인식 방법.
제5 항에 있어서,
상기 제7 단계를 거친 제1 테이블에 저장된 각 좌표 지점에 대응되는 적외선 이미지 테이터 상의 온도 색상값을 추출하고, 추출된 온도 색상값의 평균값을 산출하는 제8 단계;
상기 제4 단계의 제2 테이블에 저장된 각 좌표의 온도 색상값과 상기 제8 단계에서 산출된 온도 색상 평균값과의 차이값을 구하고, 해당 차이값이 소정의 임계치보다 큰지 여부를 판별하는 제9 단계;
상기 제9 단계의 판별 결과, 상기 임계치보다 큰 차이값이 있는 온도 색상값이 검출되면, 검출된 온도 색상값에 대응되는 좌표를 상기 제2 테이블 상에서 삭제하는 제10 단계; 및
상기 제7 단계를 거친 제1 테이블과 상기 제10 단계를 거친 제2 테이블에 저장된 좌표 영역을 사람 얼굴로 인식하는 제11 단계를 더 포함하는 것을 특징으로 하는 이미지내 생체 얼굴 인식 방법.
촬영장치를 통해 얻어진 이미지 내에서 사람의 얼굴만을 오류없이 자동 식별해내기 위한 이미지내 생체 얼굴 인식 방법으로서,
가시광선 촬영장치를 이용하여 특정 지점을 촬영함으로써 가시광선 이미지 데이터를 획득하는 제1 단계;
적외선 촬영장치를 이용하여, 상기 제1 단계의 촬영 지점과 동일한 지점을 동일한 방향과 동일한 화각으로 촬영함으로써 적외선 이미지 데이터를 획득하는 제2 단계;
얼굴 패턴 알고리듬을 이용하여, 상기 제1 단계에서 획득된 가시광선 이미지 데이터로부터 얼굴에 해당하는 좌표를 추출하여 제1 테이블에 저장하는 제3 단계;
생체 얼굴에 해당하는 온도 색상값 범위를 설정하고, 상기 제2 단계에서 획득된 적외선 이미지 데이터로부터 상기 온도 색상값 범위 내에 포함되는 패턴을 추출하고 해당 좌표를 산출하여 제2 테이블에 저장하는 제4 단계;
상기 제1 테이블에 저장된 좌표와 상기 제2 테이블에 저장된 좌표를 서로 비교하여 일치 여부를 판단하는 제5 단계; 및
상기 제5 단계의 판단 결과 상호 불일치하는 좌표가 검출되면, 불일치 좌표를 가시광선 이미지 상에 표시하여 이미지 처리자에게 제공하는 제6 단계를 포함하는 것을 특징으로 하는 이미지내 생체 얼굴 인식 방법.
제7 항에 있어서,
상기 제6 단계에서, 상기 제1 테이블에서만 검출된 불일치 좌표와 상기 제2 테이블에서만 검출된 불일치 좌표는 서로 다른 표현 형식을 통해 상기 이미지 처리자에게 표시 제공하는 것을 특징으로 이미지내 생체 얼굴 인식 방법.