KR101706674B1 - 원거리 가시광선 영상과 열 영상에 기반한 성별 인식 방법 및 장치 - Google Patents

원거리 가시광선 영상과 열 영상에 기반한 성별 인식 방법 및 장치 Download PDF

Info

Publication number
KR101706674B1
KR101706674B1 KR1020150046715A KR20150046715A KR101706674B1 KR 101706674 B1 KR101706674 B1 KR 101706674B1 KR 1020150046715 A KR1020150046715 A KR 1020150046715A KR 20150046715 A KR20150046715 A KR 20150046715A KR 101706674 B1 KR101706674 B1 KR 101706674B1
Authority
KR
South Korea
Prior art keywords
image
body region
visible light
feature vector
thermal
Prior art date
Application number
KR1020150046715A
Other languages
English (en)
Other versions
KR20160118501A (ko
Inventor
박강령
조소라
뉴엔치엔잣
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020150046715A priority Critical patent/KR101706674B1/ko
Publication of KR20160118501A publication Critical patent/KR20160118501A/ko
Application granted granted Critical
Publication of KR101706674B1 publication Critical patent/KR101706674B1/ko

Links

Images

Classifications

    • G06K9/00369—
    • G06K9/00771—

Landscapes

  • Image Analysis (AREA)

Abstract

컴퓨터 시스템에 의해 처리되는 성별 인식 방법으로서, (a) 동일 피사체에 관하여, 원거리 가시광선 카메라에 의해 획득된 가시광선 영상과 원거리 열 영상 카메라에 의해 획득된 열 영상을 입력받는 단계; (b) 상기 가시광선 영상 및 상기 열 영상으로부터 몸 영역을 각각 검출하는 단계; (c) 상기 몸 영역 내의 하위 블록 별로 단위 특징 벡터를 획득하고, 상기 획득된 블록 별 특징 벡터를 결합하여 상기 몸 영역에 대한 통합 히스토그램 특징 벡터를 생성하는 단계; 및 (d) 미리 지정된 기계 학습 알고리즘을 이용하여 상기 통합 히스토그램 특징 벡터에 상응하는 성별 스코어를 산출하고, 상기 가시광선 영상과 상기 열 영상에 관하여 산출된 각각의 성별 스코어를 결합하여 성별 판정 결과를 출력하는 단계를 포함하는 성별 인식 방법이 제공된다.

Description

원거리 가시광선 영상과 열 영상에 기반한 성별 인식 방법 및 장치{METHOD AND COMPUTING DEVICE FOR GENDER RECOGNITION BASED ON LONG DISTANCE VISIBLE LIGHT IMAGE AND THERMAL IMAGE}
본 발명은 성별 인식 방법에 관한 것으로서, 보다 구체적으로는 원거리 가시광선 영상과 열 영상에 기반한 성별 인식 방법 및 장치에 관한 것이다.
최근 인구 통계학적 기초 자료를 수집하기 위해 백화점, 음식점, 주차장, 기숙사와 같은 공공시설에서 영상 인식 기술을 사용한 시스템을 구축하고 있다.
기존의 성별 인식 기술은 주로 근거리 가시광선 카메라를 이용하여 획득된 얼굴 영상을 기반으로 특징을 추출하고 이를 성별 인식에 사용한다. 하지만 실제적으로 기존의 성별 인식 기술이 접목된 시스템을 공공 시설 등에 설치할 경우, 가시광선 조명이 불균일하거나 야간일 경우에 취득된 가시광선 영상으로 성별을 인식하는 것이 어려운 점이 있다.
본 발명은 성별 인식 성능을 향상시키기 위하여, 원거리 가시광선 영상과 열 열상을 기반으로 각각의 영상에서 몸 영역을 검출하고, 검출된 몸 영역에서 히스토그램 특징 벡터를 획득하며, 이로부터 산출된 성별 스코어 값을 결합하여 성별 인식(판정)을 할 수 있는 성별 인식 방법 및 장치를 제공하고자 한다.
본 발명의 일 측면에 따르면, 컴퓨터 시스템에 의해 처리되는 성별 인식 방법으로서, (a) 동일 피사체에 관하여, 원거리 가시광선 카메라에 의해 획득된 가시광선 영상과 원거리 열 영상 카메라에 의해 획득된 열 영상을 입력받는 단계; (b) 상기 가시광선 영상 및 상기 열 영상으로부터 몸 영역을 각각 검출하는 단계; (c) 상기 몸 영역 내의 하위 블록 별로 단위 특징 벡터를 획득하고, 상기 획득된 블록 별 단위 특징 벡터를 결합하여 상기 몸 영역에 대한 통합 히스토그램 특징 벡터를 생성하는 단계; 및 (d) 미리 지정된 기계 학습 알고리즘을 이용하여 상기 통합 히스토그램 특징 벡터에 상응하는 성별 스코어를 산출하고, 상기 가시광선 영상과 상기 열 영상에 관하여 산출된 각각의 성별 스코어를 결합하여 성별 판정 결과를 출력하는 단계를 포함하는 성별 인식 방법이 제공된다.
일 실시예에서, 상기 (b) 단계는,
상기 입력된 가시광선 영상과 동일 관측시야(Field of view)의 가시광선 배경영상 간의 영상 차를 이용하여 몸 영역을 검출하는 단계; 상기 가시광선 영상 내의 검출된 몸 영역의 좌표값에 기반하여 상기 열 영상 내에 대응되는 몸 영역을 검출하는 단계; 및 상기 검출된 각각의 몸 영역이 관심 영역(ROI)의 중앙에 위치하도록 정규화시키는 단계를 포함할 수 있다.
일 실시예에서, 상기 (b) 단계는,
상기 입력된 열 영상과 동일 관측시야의 열 배경영상 간의 영상 차를 이용하여 몸 영역을 검출하는 단계; 상기 열 영상 내의 검출된 몸 영역의 좌표값에 기반하여 상기 가시광선 영상 내에 대응되는 몸 영역을 검출하는 단계; 및 상기 검출된 각각의 몸 영역이 관심 영역(ROI)의 중앙에 위치하도록 정규화시키는 단계를 포함할 수 있다.
일 실시예에서, 상기 (c) 단계는,
(c1) 사전 정의된 기준에 따라, 상기 몸 영역 영상에 관하여 상기 하위 블록의 분할 수준(level)을 달리하는 복수의 영상 분할 레벨을 결정하는 단계; (c2) 상기 영상 분할 레벨 별로 정의되는 하위 블록 마다 사전 지정된 사이즈의 국부 이진 패턴(Local Binary Pattern) 마스크를 적용하여 상기 하위 블록 별로 상기 단위 특징 벡터를 획득하는 단계; (c3) 상기 하위 블록 별로 획득된 단위 특징 벡터를 결합하여, 영상 분할 레벨 별로 상기 몸 영역에 대한 각각의 결합 특징 벡터를 생성하는 단계; 및 (c4) 상기 영상 분할 레벨 별로 생성된 각각의 결합 특징 벡터를 결합하여, 상기 몸 영역에 대한 단일의 통합 히스토그램 특징 벡터를 생성하는 단계를 포함할 수 있다.
일 실시예에서, 상기 (c2) 단계는,
상기 사전 지정된 사이즈의 국부 이전 패턴 마스크에 해당하는 영역 내의 중심 픽셀과 상기 중심 픽셀의 주변에 위치하는 복수의 주변 픽셀 간의 그레이 레벨(gray level)의 픽셀 값의 대소(大小) 관계에 의해 결정되는 국부 이진 패턴을 획득하는 단계; 상기 획득된 국부 이진 패턴을 해당 이진 패턴이 갖는 규칙성에 근거하여 사전 정의된 개수의 특징 코드로 분류시키는 단계; 및 특징 코드의 분류 개수를 카운팅하고, 상기 특징 코드 별 카운팅 개수를 표현하는 단위 특징 벡터를 상기 하위 블록 별로 획득하는 단계를 포함할 수 있다.
일 실시예에서, 상기 (d) 단계는,
상기 가시광선 영상의 몸 영역에 대하여 생성된 통합 히스토그램 특징 벡터와 SVM(Support Vector Machine)에 의해 기계 학습된 성별 히스토그램 특징 벡터 데이터 간을 대조하여, 상기 가시광선 영상의 몸 영역에 관한 성별 스코어를 산출하는 단계; 및 상기 열 영상의 몸 영역에 대하여 생성된 통합 히스토그램 특징 벡터와 상기SVM에 의해 기계 학습된 성별 히스토그램 특징 벡터 데이터 간을 대조하여, 상기 열 영상의 몸 영역에 관한 성별 스코어를 산출하는 단계를 포함할 수 있다.
일 실시예에서, 상기 (d) 단계는,
상기 가시광선 영상과 상기 열 영상에 관하여 산출된 각각의 성별 스코어를 최소값 선택 룰, 최대값 선택 룰, 스코어 곱 룰, 스코어 합산 룰, 스코어 가중치 합산 룰 중 어느 하나에 따른 스코어 레벨 결합을 적용하는 단계; 및 상기 스코어 레벨 결합 결과를 사전 지정된 임계치와 비교하여 성별 판정 결과를 출력하는 단계를 포함할 수 있다.
본 발명의 다른 측면에 따르면, 원거리 가시광선 카메라에 의해 획득된 가시광선 영상과 원거리 열 영상 카메라에 의해 획득된 열 영상을 수신하는 데이터 입력 인터페이스; 하나 이상의 프로세서; 메모리; 및 상기 메모리에 저장되며 상기 하나 이상의 프로세서에 의해 실행되도록 구현된 하나 이상의 프로그램을 포함하는 성별 인식 장치로서,
상기 프로그램은, 동일 피사체에 관한, 상기 가시광선 영상 및 상기 열 영상으로부터 몸 영역을 각각 검출하고; 상기 몸 영역 내의 하위 블록 별로 단위 특징 벡터를 획득하고, 상기 획득된 블록 별 특징 벡터를 결합하여 상기 몸 영역에 대한 통합 히스토그램 특징 벡터를 생성하고; 미리 지정된 기계 학습 알고리즘을 이용하여 상기 통합 히스토그램 특징 벡터에 상응하는 성별 스코어를 산출하고, 상기 가시광선 영상과 상기 열 영상에 관하여 산출된 각각의 성별 스코어를 결합하여 성별 판정 결과를 출력하는 명령어들을 포함하는, 성별 인식 장치가 제공된다.
본 발명의 실시예에 의하면, 원거리 가시광선 영상과 열 영상을 동시에 성별 인식 시스템에 접목함으로써 가시광선 조명이 불균일하거나 야간일 경우에도 성별을 정확히 인식하는 것이 가능하며, 최적의 성별 특징 분류 커널을 결정하기 어려운 환경에서도 성별 인식 스코어 값들의 결합을 통해 인식 정확도를 향상 시킬 수 있다.
도 1은 본 발명의 실시예에 따른 가시광선 영상과 열 영상에 기반한 성별 인식 방법에 관한 순서도.
도 2 및 도 3은 멀티 레벨 국부 이진 패턴(MLBP) 방식을 이용한 레벨 별 히스토그램 특징 벡터 생성 예시.
도 4 및 도 5는 국부 이진 패턴 생성 방식 및 그에 따른 특징 코드를 설명하기 위한 예시 도면.
도 6은 레벨 별 히스토그램 특징 벡터를 결합한 통합 히스토그램 특징 벡터를 설명하기 위한 예시 도면.
도 7은 본 발명의 실시예에 따른 성별 인식 방법에 적용 가능한 스코어 레벨 결합 방법을 설명하기 위한 도면.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 명세서 전체에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다. 또한, 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 실시예에 따른 가시광선 영상과 열 영상에 기반한 성별 인식 방법에 관한 순서도이다. 이하, 본 발명의 실시예를 설명하는 과정에서 도 2 ~ 도 7의 도면을 함께 참조한다. 여기서, 도 2 및 도 3은 멀티 레벨 국부 이진 패턴(MLBP) 방식을 이용한 레벨 별 히스토그램 특징 벡터 생성 예시이고, 도 4 및 도 5는 국부 이진 패턴 생성 방식 및 그에 따른 특징 코드를 설명하기 위한 예시 도면이며, 도 6은 레벨 별 히스토그램 특징 벡터를 결합한 통합 히스토그램 특징 벡터를 설명하기 위한 예시 도면이고, 도 7은 본 발명의 실시예에 따른 성별 인식 방법에 적용 가능한 스코어 레벨 결합 방법을 설명하기 위한 도면이다.
도 1의 단계 S110 및 단계 S115에서, 원거리 가시광선 카메라를 통해 획득된 가시광선 영상과 원거리 열 영상 카메라를 통해 획득된 열 영상을 입력받는다. 본 발명의 실시예에 따른 성별 인식 방법에 의하면, 사용자의 거부감을 줄이기 위해 원거리에서 영상을 취득한다. 또한 본 발명의 실시예에 따른 성별 인식 방법에 의하면, 영상 취득 환경에 무관하게 강인한 성별 인식이 가능하도록 가시광선 영상 이외에도 열 영상을 함께 이용하여 성별 인식에 활용한다.
이후, 도 1의 단계 S120 및 단계 S125에서, 입력받은 원거리 가시광선 영상과 원거리 열 영상 각각으로부터 사람의 몸 영역을 검출한다. 물론, 원거리 가시광선 영상과 열 영상에 포착된 특정 피사체가 사람이 아닐 수도 있으나, 이 경우는 추후 성별 인식 결과에 따라 걸러내질 것인 바(혹은 검출 영역이 관심 영역(ROI : Region of Interest)이 아닌 것으로 판단되어 성별 인식 과정에서 미리 배제될 수도 있는 것인 바), 발명 설명의 집중을 위해 본 명세서에서는 원거리 영상에 포착된 피사체가 사람이라는 가정하에 설명하기로 한다.
이때, 몸 영역의 검출 방식으로는 다양한 방식이 이용될 수 있는 바, 특별한 제한을 둘 필요는 없음은 물론이다. 다만 일 예를 들어 설명하면, 본 발명의 실시예에서, 몸 영역은, 입력된 가시광선 영상과 사전 취득한 동일 관측시야(Field of view)의 가시광선 배경영상(즉, 사람이 포함되어 있지 않은 영상) 간의 영상 차(差)를 이용함으로써 검출할 수 있다. 이후, 이와 같이 검출된 가시광선 영상 내의 몸 영역의 좌표값에 기반하여 입력된 열 영상 내에 대응되는 몸 영역을 검출할 수 있다.
물론 위 실시예에서와는 반대 방식으로의 몸 영역의 검출도 가능하다. 즉, 위 예시에서와는 반대 순서로, 열 영상 내의 몸 영역을 사전 취득된 열 배경 영상과의 영상 대조를 통해 검출하고, 열 영상 내의 몸 영역의 좌표값에 기반하여 가시광선 영상 내의 대응되는 몸 영역을 검출할 수도 있는 것이다. 이때, 관심 영역(ROI)로서 몸 영역이란, 팔, 다리, 몸통, 머리 등과 같은 신체 부위가 모두 포함되도록 사전 정의될 수 있다. 물론 관심 영역으로서 몸 영역에 관한 정의는 위와 상이하게 설정될 수도 있음은 물론이다. 또한 이때, 단계 S120 및 단계 S125에서는, 가시광선 영상과 열 영상에서 각각 검출된 사람이 몸이 ROI의 정중앙에 위치하도록 과정을 거칠 수 있다.
이후, 도 1의 단계 S130 및 단계 S135에서, 각 영상의 몸 영역에 관하여, 몸 영역 내의 하위 블록 별로 특징 벡터를 획득한다. 그리고 도 1의 단계 S140 및 단계 S145에서, 블록 별로 획득된 특징 벡터를 결합하여, 각 영상 별로 몸 영역에 대한 히스토그램 특징 벡터를 생성한다.
가시광선 영상 내의 검출된 몸 영역 영상을 대상으로 한 전술한 단계 S130 및 단계 S140과, 열 영상 내의 검출된 몸 영역 영상을 대상으로 한 전술한 단계 S135 및 단계 S145에 대해서는 이하 도 2 ~ 도 6을 참조하여 상세히 설명하기로 한다. 여기서, 도 2 및 도 3은 열 영상 내의 검출된 몸 영역 영상(이하, 설명의 편의를 위해, 몸 영역 열 영상이라 명명함)을 기준으로 도시된 것이다. 다만 이하 설명될 도 2 ~ 도 6의 발명 내용은 가시광선 영상 내의 몸 영역 영상을 대상으로 한 히스토그램 특징 벡터의 생성 과정에서도 그대로 적용될 수 있음은 물론이다.
도 2 및 도 3을 참조하면, 몸 영역 열 영상에 관하여 블록 분할 수준을 달리하는(즉, 블록 분할 수를 달리하는) 4가지의 영상 분할 레벨을 예시하고, 각각의 영상 분할 레벨에 따른 히스토그램 특징 벡터를 예시하고 있다. 즉, 도 2의 좌측 도면은 몸 영역 열 영상 전체를 단일 블록(210)으로 하여 히스토그램 특징 벡터(220)를 생성한 예시(본 예에서는 Level 1로 정의함)이고, 도 2의 우측 도면은 몸 영역 열 영상을 2개의 하위 블록(sub block)(225)으로 분할하여 히스토그램 특징 벡터(235)를 생성한 예시(본 예에서는 Level 2로 정의함)이며, 도 3의 좌측 도면은 몸 영역 열 영상을 총 4개의 하위 블록(240)으로 분할하여 히스토그램 특징 벡터(250)를 생성한 예시(본 예에서는 Level 3로 정의함)이고, 도 3의 우측 도면은 몸 영역 열 영상을 총 6개의 하위 블록(255)으로 분할하여 히스토그램 특징 벡터(265)를 생성한 예시(본 예에서는 Level 4로 정의함)이다.
이하, 설명 및 이해의 편의를 위해, 블록 별로 획득되는 히스토그램 특징 벡터(즉, Level 1에서는 도 2의 215, Level 2에서는 도 2의 230, Level 3에서는 도 3의 245, Level 4에서는 도 3의 260 참조)는 블록 단위의 히스토그램 특징 벡터라는 의미를 축약하여 단위 특징 벡터라 명명하고, 블록 별로 획득된 단위 특징 벡터들을 결합하여 레벨 별로 획득되는 히스토그램 특징 벡터(즉, Level 1에서는 도 2의 220, Level 2에서는 도 2의 235, Level 3에서는 도 3의 250, Level 4에서는 도 3의 265 참조)는 블록 단위의 히스토그램 특징 벡터를 결합하였다는 의미를 축약하여 결합 특징 벡터라 명명하기로 한다.
이때, 레벨 별 결합 특징 벡터는, 어퍼-레프트(upper-left) 하위 블록을 시작단으로 로어-라이트(lower-right) 하위 블록을 종단으로 하는 순서에 따라, 각 위치의 하위 블록에 관한 단위 특징 벡터를 이어붙이는 방식으로 생성될 수 있다. 따라서, 몸 영역 영상 전체를 단일 블록으로 보는 Level 1의 경우 결합 특징 벡터(즉, 도 2의 220)는 단위 특징 벡터(즉, 도 2의 215)와 동일한 히스토그램 특징 벡터로 생성된다(도 2의 좌측 도면 참조).
이와 같이, 본 발명의 실시예에서는 동일한 몸 영역 영상에 관하여 블록 분할 수준을 달리하는 멀티 레벨의 영상 분할을 수행한 후, 각 레벨에서의 히스토그램 특징 벡터(즉, 결합 특징 벡터)를 획득한다. 이후, 본 발명의 실시예에서는 그 획득된 각 레벨 별 결합 특징 벡터를 다시 결합(병합)하여 몸 영역 영상에 관한 단일의 히스토그램 특징 벡터(이하, 이를 통합 히스토그램 특징 벡터라 명명함)를 생성하는 방식을 채용한다. 도 6에는 통합 히스토그램 특징 벡터를 생성하는 방식이 도시되고 있다. 도 6을 참조하면, 레벨 별 결합 특징 벡터를 각각 이어붙이는 방식으로 몸 영역 영상에 관한 통합 히스토그램 특징 벡터를 최종적으로 생성하고 있음을 확인할 수 있다.
앞서 설명한 결합 특징 벡터, 통합 히스토그램 특징 벡터는 모두 단위 특징 벡터를 기초로 획득(생성)되는 것인 바, 이하에서는 단위 특징 벡터(즉, 블록 단위의 히스토그램 특징 벡터)의 획득 방법에 관하여 설명하기로 한다. 예를 들어, 본 발명의 실시예에서 단위 특징 벡터는 국부 이진 패턴(Local Binary Pattern) 방식에 의해서 획득될 수 있으며, 이러한 블록 별 국부 이진 패턴이 멀티 레벨로 결합됨으로써 MLBP(Multi-level LBP) 방식으로 확장될 수 있다. 이하, 도 4 및 도 5를 참조하여, LBP 방식에 관하여 설명한다.
LBP 방식은 특정 국부 영역 내의 중심 픽셀(center pixel)과 그 주변 픽셀들(surrounding pixels) 간의 그레이 레벨(gray level 또는 gray scale)의 픽셀 값의 대소(大小) 관계 연산에 따라 국부 이진 패턴을 정의한다. 이를 위한 LBP 연산자는 아래 수학식 1과 같이 정의될 수 있다.
Figure 112015032340158-pat00001
여기서, R은 LBP 서클의 반경(즉, 중심 픽셀과 주변 픽셀 간의 거리)을 나타내고, P는 주변 픽셀의 수를 나타내며,
Figure 112015032340158-pat00002
는 주변 픽셀의 그레이 레벨의 픽셀 값을 나타내고,
Figure 112015032340158-pat00003
는 중심 픽셀의 그레이 레벨의 픽셀 값을 나타내며,
Figure 112015032340158-pat00004
는 문턱 함수(Threshold function)을 나타낸다.
이때, 상술한 LBP 연산자의 R을 1로, P를 8로 하는 3ㅧ3 사이즈의LBP 마스크를 적용하여 국부 이진 패턴을 획득한 예가 도 4에 도시되어 있다. 도 4를 참조하면, 하위 블록 내부에 3×3 LBP 마스크를 적용하고, 중심 픽셀의 그레이 레벨의 픽셀 값과 주변 8개 픽셀의 그레이 레벨의 픽셀 값 간을 비교함으로써 특정의 국부 이진 패턴을 획득하고 있다.
상술한 방식으로 획득되는 다양한 국부 이진 패턴들에 대하여 일련의 규칙성을 적용하면, 도 5에 도시된 바와 같이 각각의 국부 이진 패턴들을 사전 정의된 개수의 특징 코드 중 어느 하나로 분류해낼 수 있다. 도 5의 경우, 주변 픽셀의 그레이 레벨의 픽셀 값이 전부 중심 픽셀의 그레이 레벨의 픽셀 값보다 작은 경우를 Decimal Code 0으로 정의하고, 이를 기준으로 이진수 0에서 이진수 1로 전이된 패턴의 상태에 따라 Uniform pattern으로서 Decimal Code 1 ~ 8을 정의하고, 나머지의 Non-uniform pattern을 Decimal Code 9로 정의하고 있다.
위와 같이 3×3 LBP 마스크를 적용한 결과에 따라 획득되는 국부 이진 패턴들을 일련의 규칙성에 따라 특정의 특징 코드와 맵핑시키는 분류 과정이 해당 블록 내의 모든 픽셀에 관하여 수행된 이후에는, 각 특징 코드 별로 분류 개수가 카운팅되고, 그 특징 코드 별 카운팅 개수를 히스토그램으로 표현하면, 앞서 설명한 도 2 또는 도 3에서의 단위 특징 벡터가 획득된다. 도 2 및 도 3을 다시 참조할 때, 단위 특징 벡터의 수평축은 Decimal Code 0 ~ 9가 나열되고, 수직축은 카운팅 개수(즉, 해당 특징 코드를 갖는 픽셀 수)가 표시되고 있음을 확인할 수 있다.
이상에서 도 2 ~ 도 6을 통해서 상세히 설명한 방법에 의하면, 몸 영역 열 영상에 관한 통합 히스토그램 특징 벡터(즉, 멀티 레벨의 결합 특징 벡터의 병합)가 생성될 수 있으며, 이와 동일한 방식으로 몸 영역 가시광선 영상에 대해서도 통합 히스토그램 특징 벡터가 생성될 수 있다.
몸 영역 가시광선 영상 및 몸 영역 열 영상에 관하여 각각의 통합 히스토그램 특징 벡터가 생성되면, 도 1의 단계 S150 및 단계 S155에 따라 SVM(Support Vector Machine)을 이용하여 성별 스코어가 산출될 수 있다. 즉, 본 단계에 의하면, 몸 영역 가시광선 영상의 통합 히스토그램 특징 벡터에 따른 성별 스코어와, 몸 영역 열 영상의 통합 히스토그램 특징 벡터에 따른 성별 스코어가 각각 산출된다. 여기서, SVM은 공지의 기계 학습 알고리즘(Machine Learning Algorithm) 중 하나이다. SVM에는 각각의 통합 히스토그램 특징 벡터와 대조할 기준 데이터가 저장될 수 있으며, 이러한 기준 데이터는 미리 학습된 데이터일 수 있다. 본 실시예에서는 SVM을 예로 들었지만, 성별 스코어 산출을 위한 기계 학습 알고리즘으로는 SVM 이외에도 다양한 알고리즘이 채용될 수 있음은 물론이다.
위와 같이 기계 학습 알고리즘을 통해서 몸 영역 가시광선 영상(도 7의 310 참조)에 관한 성별 스코어(도 7의 330 참조)와, 몸 영역 열 영상(도 7의 320 참조)에 관한 성별 스코어(도 7의 340 참조)가 1차적으로 산출되면, 그 산출된 2개의 성별 스코어를 결합하여 최종 성별 판정 결과를 출력한다[도 1의 단계 S160 및 단계 S165 참조].
이때, 본 발명의 실시예에서는 각각 산출된 2개의 성별 스코어(도 7의 330 및 340)의 결합을 수행함에 있어서 스코어 레벨 결합(Score Level Fusion) 방식을 적용한다[도 7의 350 및 360 참조]. 이러한 스코어 레벨 결합 방식으로는, 최소값 선택 룰(Min Rule), 최대값 선택 룰(Max Rule), 스코어 곱 룰(Product Rule), 스코어 합산 룰(Sum Rule), 스코어 가중치 합산 룰(Weighted Sum Rule) 중 어느 하나를 이용할 수 있다. 즉, 상기 스코어 레벨 결합 결과는 해당 스코어 레벨 결합 방식 별로 사전 지정된 임계치와의 비교를 통해서 성별 판정이 수행될 수 있다.
여기서, Min Rule은 입력된 두 개의 스코어 값 중에서 작은 값을 선택하고, 이와 반대로 Max Rule은 큰 값을 선택한다. Product Rule은 두 스코어 값을 곱하고, Sum Rule은 두 스코어 값의 합을 더하는 방식으로 결합하는 방법이다. Weighted Sum Rule은 단순히 두 스코어 값을 더하지 않고 각각의 스코어에 가중치를 부과하여 결합하는 방법이다. 이러한 스코어 결합 방법을 통해 성별 인식 정확도를 향상시킬 수 있다.
이제까지 설명한 성별 인식 방법은 컴퓨터 시스템에 의해 처리될 수 있다. 이때, 컴퓨터 시스템은, 원거리 가시광선 영상과 원거리 열 영상을 수신하기 위한 데이터 입력 인터페이스와, 하나 이상의 프로세서와, 메모리와, 메모리에 저장되며 그 하나 이상의 프로세서에 의해 실행되도록 구현된 상술한 성별 인식 방법에 관한 하나 이상의 프로그램을 포함함으로써, 본 발명의 실시예에 따른 성별 인식 방법을 채용하여 성별 인식을 수행할 수 있다.
이상에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 쉽게 이해할 수 있을 것이다.

Claims (8)

  1. 컴퓨터 시스템에 의해 처리되는 성별 인식 방법으로서,
    (a) 동일 피사체에 관하여, 원거리 가시광선 카메라에 의해 획득된 가시광선 영상과 원거리 열 영상 카메라에 의해 획득된 열 영상을 입력받는 단계;
    (b) 상기 가시광선 영상 및 상기 열 영상으로부터 몸 영역을 각각 검출하는 단계;
    (c) 상기 몸 영역 내의 하위 블록 별로 단위 특징 벡터를 획득하고, 상기 획득된 블록 별 단위 특징 벡터를 결합하여 상기 몸 영역에 대한 통합 히스토그램 특징 벡터를 생성하는 단계; 및
    (d) 미리 지정된 기계 학습 알고리즘을 이용하여 상기 통합 히스토그램 특징 벡터에 상응하는 성별 스코어를 산출하고, 상기 가시광선 영상과 상기 열 영상에 관하여 산출된 각각의 성별 스코어를 결합하여 성별 판정 결과를 출력하는 단계를 포함하고,
    상기 (b) 단계는, 상기 입력된 가시광선 영상과 동일 관측시야(Field of view)의 가시광선 배경영상 간의 영상 차를 이용하여 몸 영역을 검출하는 단계; 상기 가시광선 영상 내의 검출된 몸 영역의 좌표값에 기반하여 상기 열 영상 내에 대응되는 몸 영역을 검출하는 단계; 및 상기 검출된 각각의 몸 영역이 관심 영역(ROI)의 중앙에 위치하도록 정규화시키는 단계를 포함하거나,
    또는,
    상기 (b) 단계는, 상기 입력된 열 영상과 동일 관측시야의 열 배경영상 간의 영상 차를 이용하여 몸 영역을 검출하는 단계; 상기 열 영상 내의 검출된 몸 영역의 좌표값에 기반하여 상기 가시광선 영상 내에 대응되는 몸 영역을 검출하는 단계; 및 상기 검출된 각각의 몸 영역이 관심 영역(ROI)의 중앙에 위치하도록 정규화시키는 단계를 포함하는, 성별 인식 방법.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 (c) 단계는,
    (c1) 사전 정의된 기준에 따라, 상기 몸 영역 영상에 관하여 상기 하위 블록의 분할 수준(level)을 달리하는 복수의 영상 분할 레벨을 결정하는 단계;
    (c2) 상기 영상 분할 레벨 별로 정의되는 하위 블록 마다 사전 지정된 사이즈의 국부 이진 패턴(Local Binary Pattern) 마스크를 적용하여 상기 하위 블록 별로 상기 단위 특징 벡터를 획득하는 단계;
    (c3) 상기 하위 블록 별로 획득된 단위 특징 벡터를 결합하여, 영상 분할 레벨 별로 상기 몸 영역에 대한 각각의 결합 특징 벡터를 생성하는 단계; 및
    (c4) 상기 영상 분할 레벨 별로 생성된 각각의 결합 특징 벡터를 결합하여, 상기 몸 영역에 대한 단일의 상기 통합 히스토그램 특징 벡터를 생성하는 단계
    를 포함하는 성별 인식 방법.
  5. 제4항에 있어서,
    상기 (c2) 단계는,
    상기 사전 지정된 사이즈의 국부 이전 패턴 마스크에 해당하는 영역 내의 중심 픽셀과 상기 중심 픽셀의 주변에 위치하는 복수의 주변 픽셀 간의 그레이 레벨(gray level)의 픽셀 값의 대소(大小) 관계에 의해 결정되는 국부 이진 패턴을 획득하는 단계;
    상기 획득된 국부 이진 패턴을 해당 이진 패턴이 갖는 규칙성에 근거하여 사전 정의된 개수의 특징 코드로 분류시키는 단계; 및
    특징 코드의 분류 개수를 카운팅하고, 상기 특징 코드 별 카운팅 개수를 표현하는 단위 특징 벡터를 상기 하위 블록 별로 획득하는 단계
    를 포함하는 성별 인식 방법.
  6. 제1항에 있어서,
    상기 (d) 단계는,
    상기 가시광선 영상의 몸 영역에 대하여 생성된 통합 히스토그램 특징 벡터와 SVM(Support Vector Machine)에 의해 기계 학습된 성별 히스토그램 특징 벡터 데이터 간을 대조하여, 상기 가시광선 영상의 몸 영역에 관한 성별 스코어를 산출하는 단계; 및
    상기 열 영상의 몸 영역에 대하여 생성된 통합 히스토그램 특징 벡터와 상기SVM에 의해 기계 학습된 성별 히스토그램 특징 벡터 데이터 간을 대조하여, 상기 열 영상의 몸 영역에 관한 성별 스코어를 산출하는 단계
    를 포함하는 성별 인식 방법.
  7. 제1항에 있어서,
    상기 (d) 단계는,
    상기 가시광선 영상과 상기 열 영상에 관하여 산출된 각각의 성별 스코어를 최소값 선택 룰, 최대값 선택 룰, 스코어 곱 룰, 스코어 합산 룰, 스코어 가중치 합산 룰 중 어느 하나에 따른 스코어 레벨 결합을 적용하는 단계; 및
    상기 스코어 레벨 결합 결과를 사전 지정된 임계치와 비교하여 성별 판정 결과를 출력하는 단계
    를 포함하는 성별 인식 방법.
  8. 원거리 가시광선 카메라에 의해 획득된 가시광선 영상과 원거리 열 영상 카메라에 의해 획득된 열 영상을 수신하는 데이터 입력 인터페이스; 하나 이상의 프로세서; 메모리; 및 상기 메모리에 저장되며 상기 하나 이상의 프로세서에 의해 실행되도록 구현된 하나 이상의 프로그램을 포함하는 성별 인식 장치로서,
    상기 프로그램은,
    (a) 동일 피사체에 관한, 상기 가시광선 영상 및 상기 열 영상으로부터 몸 영역을 각각 검출하는 단계; (b) 상기 몸 영역 내의 하위 블록 별로 단위 특징 벡터를 획득하고, 상기 획득된 블록 별 특징 벡터를 결합하여 상기 몸 영역에 대한 통합 히스토그램 특징 벡터를 생성하는 단계; (c) 미리 지정된 기계 학습 알고리즘을 이용하여 상기 통합 히스토그램 특징 벡터에 상응하는 성별 스코어를 산출하고, 상기 가시광선 영상과 상기 열 영상에 관하여 산출된 각각의 성별 스코어를 결합하여 성별 판정 결과를 출력하는 단계의 명령어들을 포함하고,
    상기 (a) 단계는, 상기 입력된 가시광선 영상과 동일 관측시야(Field of view)의 가시광선 배경영상 간의 영상 차를 이용하여 몸 영역을 검출하는 단계; 상기 가시광선 영상 내의 검출된 몸 영역의 좌표값에 기반하여 상기 열 영상 내에 대응되는 몸 영역을 검출하는 단계; 및 상기 검출된 각각의 몸 영역이 관심 영역(ROI)의 중앙에 위치하도록 정규화시키는 단계를 포함하거나,
    또는,
    상기 (a) 단계는, 상기 입력된 열 영상과 동일 관측시야의 열 배경영상 간의 영상 차를 이용하여 몸 영역을 검출하는 단계; 상기 열 영상 내의 검출된 몸 영역의 좌표값에 기반하여 상기 가시광선 영상 내에 대응되는 몸 영역을 검출하는 단계; 및 상기 검출된 각각의 몸 영역이 관심 영역(ROI)의 중앙에 위치하도록 정규화시키는 단계를 포함하는, 성별 인식 장치.
KR1020150046715A 2015-04-02 2015-04-02 원거리 가시광선 영상과 열 영상에 기반한 성별 인식 방법 및 장치 KR101706674B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150046715A KR101706674B1 (ko) 2015-04-02 2015-04-02 원거리 가시광선 영상과 열 영상에 기반한 성별 인식 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150046715A KR101706674B1 (ko) 2015-04-02 2015-04-02 원거리 가시광선 영상과 열 영상에 기반한 성별 인식 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20160118501A KR20160118501A (ko) 2016-10-12
KR101706674B1 true KR101706674B1 (ko) 2017-02-14

Family

ID=57173392

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150046715A KR101706674B1 (ko) 2015-04-02 2015-04-02 원거리 가시광선 영상과 열 영상에 기반한 성별 인식 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101706674B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102208616B1 (ko) 2019-11-21 2021-01-28 정해준 성별을 인식하는 공중화장실 도어락 시스템 및 성별 인식 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110280439A1 (en) * 2010-05-11 2011-11-17 Beverly Harrison Techniques for person detection

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102208616B1 (ko) 2019-11-21 2021-01-28 정해준 성별을 인식하는 공중화장실 도어락 시스템 및 성별 인식 방법

Also Published As

Publication number Publication date
KR20160118501A (ko) 2016-10-12

Similar Documents

Publication Publication Date Title
US11176406B2 (en) Edge-based recognition, systems and methods
US10234957B2 (en) Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data
Haindl et al. Unsupervised detection of non-iris occlusions
JP5873442B2 (ja) 物体検出装置および物体検出方法
US9363499B2 (en) Method, electronic device and medium for adjusting depth values
CN106372629B (zh) 一种活体检测方法和装置
JP6700752B2 (ja) 位置検出装置、位置検出方法及びプログラム
US10423848B2 (en) Method, system, and computer-readable recording medium for long-distance person identification
JP6125188B2 (ja) 映像処理方法及び装置
WO2019145578A1 (en) Neural network image processing apparatus
EP2339507B1 (en) Head detection and localisation method
JP2016006626A (ja) 検知装置、検知プログラム、検知方法、車両、パラメータ算出装置、パラメータ算出プログラムおよびパラメータ算出方法
KR101796027B1 (ko) 얼굴 영상 기반 성별 인식 방법 및 장치
WO2013017858A1 (en) Gait recognition methods and systems
JP6351243B2 (ja) 画像処理装置、画像処理方法
JP6410450B2 (ja) オブジェクト識別装置、オブジェクト識別方法及びプログラム
JP2018120283A (ja) 情報処理装置、情報処理方法及びプログラム
KR101769741B1 (ko) 동공 탐지를 통한 홍채 인식 방법 및 홍채 인식 장치
JP6103765B2 (ja) 行動認識装置、方法及びプログラム並びに認識器構築装置
KR101706674B1 (ko) 원거리 가시광선 영상과 열 영상에 기반한 성별 인식 방법 및 장치
Hadi et al. Fusion of thermal and depth images for occlusion handling for human detection from mobile robot
CN113128320A (zh) 基于tof相机的人脸活体检测方法、检测装置及电子设备
KR102324472B1 (ko) 저사양 환경 시스템을 위한 실시간 동공 위치 검출 방법 및 장치
Hadi et al. Improved occlusion handling for human detection from mobile robot
Tham et al. Object recognition using depth information of a consumer depth camera

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200115

Year of fee payment: 4