KR20160044858A - 얼굴 정보를 이용한 실종 가족 찾기 시스템 및 방법 그리고 이를 구현하는 프로그램을 기록한 기록 매체 - Google Patents

Abstract

본 발명은 얼굴 정보를 활용하여 대상 후보 DB를 구축하고, 입력 영상을 활용하여 후보군과 비교할 가상 데이터 생성하여 실종 가족을 찾을 수 있도록 한 얼굴 정보를 이용한 실종 가족 찾기 시스템 및 방법 그리고 이를 구현하는 프로그램을 기록한 기록 매체에 관한 것으로, 실종자 가족의 영상 또는 실종자의 영상을 입력하는 사용자 단말;사용자 단말에서 전송된 얼굴 영상을 받아 유효성 검사,수치화 가능한 얼굴영역 추출 및 해당 영상의 대상자에 대한 정보를 저장하여 대상 후보군 Database를 구축하고 비교 시 후보군 내의 얼굴 영상을 수치화하여 얼굴 계수를 기준으로 가족관계로 추정되는 얼굴 영상을 선별하는 실종 가족 찾기 서버;실종 가족 찾기 서버에서 만들어진 영상 및 해당 영상의 대상자에 대한 정보를 저장하는 대상 후보 DB;를 포함하는 것이다.

Description

얼굴 정보를 이용한 실종 가족 찾기 시스템 및 방법 그리고 이를 구현하는 프로그램을 기록한 기록 매체{System and Method for Searching Missing Family Using Facial Information and Storage Medium of Executing The Program}

본 발명은 실종 가족 찾기에 관한 것으로, 구체적으로 얼굴 정보를 검출하여 대상 후보 DB를 구축하고, 하나 또는 둘 이상의 입력 영상을 활용하여 가상 데이터를 생성하고, 대상 후보와 가상 데이터의 얼굴 정보를 수치화하고 비교하여 실종가족을 찾는 데에 활용이 가능한 실종 가족 찾기 시스템 및 방법 그리고 이를 구현하는 프로그램을 기록한 기록 매체에 관한 것이다.

일반적으로 미아가 발생한 경우에는 부모 등 보호자의 요청에 따라 미아가 소지한 이동통신단말기의 위치를 추적하여 미아를 찾아내거나, 미아가 이동통신단말기 등의 위치추적장치를 휴대하지 않은 경우에는 미아가 발생한 지역의 이동통신단말기 사용자에게 추적대상자의 정보를 실시간으로 제공하여 해당 지역의 이동통신단말기 사용을 통해 미아를 찾는 방법이 있다.

이와 같은 방법은 이동통신단말기에 사진 등을 전송하더라도 즉시 내용을 확인해야 하고 또한 사진 등을 전송 받은 이동통신단말기 소지자가 스스로 주변의 아이를 주의 깊게 적극적으로 살펴보고 전송 받은 사진과 일치하는지 여부를 확인하는 방법에 의존할 수밖에 없는 문제점이 있다.

특히, 아동의 실종 기간이 장기화되는 경우에는 실질적으로 미아를 찾는 것이 어렵다.

종래 기술에서는 실종 아동 등을 찾는데 도움을 줄 수 있는 얼굴 관련 기술은 미국 NCMEC(National Center for Missing and Exploited Children) 기관에서 사용하는 실종 아동 등의 현재 모습을 디자인하는 기술이 있다.

이 기관의 기술은 실종 아동 등의 실종 당시 얼굴을 현재의 얼굴로 변환,예측, 재현한 가상 얼굴일 뿐이다.

한국의 경찰, 실종아동 등 관련기관은 미국 NCMEC 기관에 실종 아동 등의 현재 모습을 요청하는데, 이는 최소 3주 이상의 시간과 많은 비용이 소요된다.

게다가 한국에서 이 NCMEC 기관의 기술을 이용해서 찾은 실종 아동 등은 아직 없는 것으로 확인되고 있다.

이는 실종 아동 등의 현재 얼굴을 예측하여 가상의 얼굴로 재현하는 방법이 단지 육안상 닮았다는 사실에 근거하기 때문이다.

실종아동전문기관에서는 연 4회, 1회에 8만장의 실종 아동 등의 전단지를 배포하는데, 요청해온 제보 사진과 비교해보면 육안상 정말 닮았지만 확인 결과는 99%가 동일인물이 아니다.

그리고 경찰에서 실종 아동 등을 수사할 경우 이름, 성별, 나이, 거주지 등의 사실적인 데이터를 바탕으로 대상을 좁힌 후, 최종적으로 가장 일치하는 몇몇 실종 아동 등을 직접 찾아가 인터뷰하고 친자확인을 한다.

이 과정에서 사실적인 데이터가 잘못된 정보라면 실제 찾으려는 실종 아동 등은 대상에서 제외될 수도 있다.

또한, 선별된 실종 아동 등을 직접 찾아가는데 소요되는 시간, 비용, 인력도 만만치 않다.

가족은 유전적으로 닮고, 특히 '얼굴'에는 그 특징이 잘 드러난다.

이에 따라, 얼굴 영상의 분석 결과를 바탕으로 현재의 얼굴을 예측하여 가상의 얼굴 영상을 생성하는 기술은 있다.

그러나 얼굴 영상 자체에 근거한 실존하는 데이터를 이용하여 비교 분석할 수 있는 근본적인 기술은 없다.

또한, 얼굴 영상에서 얼굴 특징점을 추출하여 안면 윤곽 인식 및 검색 시스템에 적용하는 기술들이 있으나, 이는 인식 성능의 저하 및 DB 구축의 한계로 실종 가족 찾기 시스템에 적용하는 것은 어렵다.

대한민국 공개특허 제10-2010-0138155호

본 발명은 이와 같은 종래 기술의 실종 가족 특히 미아 찾기 시스템의 문제를 해결하기 위한 것으로, 얼굴 정보를 활용하여 대상 후보 DB를 구축하고, 하나 또는 둘 이상의 입력 영상을 활용하여 가상 데이터를 생성하고, 대상 후보 영상 및 가상 데이터의 얼굴 정보를 수치화하고 비교하여 실종가족을 찾는 데에 활용이 가능한 실종 가족 찾기 시스템 및 방법 그리고 이를 구현하는 프로그램을 기록한 기록 매체를 제공하는데 그 목적이 있다.

본 발명은 얼굴 영상 분석을 이용한 가족을 찾는 과정에서 적어도 1명 이상의 가족의 각 얼굴 영상을 유효성 검사를 거쳐 얼굴을 검출하고 얼굴 정보에서 특징을 추출하여 수치화한 데이터를 조합하여 생성한 가상 데이터와 후보군을 비교하는, 정확도가 높은 실종 가족 찾기 시스템 및 방법 그리고 이를 구현하는 프로그램을 기록한 기록 매체를 제공하는데 그 목적이 있다.

본 발명은 실종 아동 등의 얼굴이 포함된 영상에서 검출된 얼굴과 해당 영상의 대상자의 정보를 저장한 대상 후보 DB를 구축하여 가족의 영상들로 조합된 데이터와 일치 정도를 비교하여 가족을 찾을 수 있도록 한 얼굴 정보를 이용한 실종 가족 찾기 시스템 및 방법 그리고 이를 구현하는 프로그램을 기록한 기록 매체를 제공하는데 그 목적이 있다.

본 발명은 신뢰할 수 있는 요소인 가족 얼굴 자체의 실존하는 데이터를 수치화하여 비교하여 찾고자 하는 실종 아동 등과 가장 닮은 실제 사람 얼굴들을 선별하여 찾고자 하는 실종 아동 등 대상 범위를 효율적으로 축소하여 실종 아동 등 수사에 소요되는 시간, 비용, 인력을 줄일 수 있도록 한 얼굴 정보를 이용한 실종 가족 찾기 시스템 및 방법 그리고 이를 구현하는 프로그램을 기록한 기록 매체를 제공하는데 그 목적이 있다.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

이와 같은 목적을 달성하기 위한 본 발명에 따른 얼굴 정보를 이용한 실종 가족 찾기 시스템은 실종자 가족의 영상 또는 실종자의 영상을 입력하는 사용자 단말;사용자 단말에서 전송된 얼굴 영상을 받아 유효성 검사를 거친 후 영상 내에서 얼굴을 검출하고 검출된 얼굴의 특징을 수치화한 데이터 즉, 얼굴 계수를 기준으로 대상 후보군과 비교하여 얼굴 영상을 선별하는 실종 가족 찾기 서버;실종 가족 찾기 서버에서 만들어진 얼굴 정보를 저장하는 대상 후보 DB;를 포함하는 것을 특징으로 한다.

여기서, 상기 실종 가족 찾기 서버는, 대상 후보 DB에 저장하기 위한 대상 후보를 등록하는 후보군 등록부와, 입력 영상을 활용하여 후보군과 비교할 가상 데이터를 생성하여 등록하는 입력 정보 등록부와, 상기 후보군 등록부를 통하여 등록된 후보군과 입력 정보 등록부를 통하여 등록된 입력 영상의 수치화된 영상 정보와 메타 데이터(Meta data) 정보들을 비교 분석하여 그 차이의 정도를 바탕으로 순위를 추출하는 데이터 비교 분석부와, 상기 데이터 비교 분석부의 추출 결과에 따라 검출 대상에 관한 정보를 출력하고 해당 정보를 활용할 대상자에게 제공하는 결과 정보 출력부를 포함하는 것을 특징으로 한다.

그리고 상기 후보군 등록부는, 검출할 대상의 정보를 등록하는 단계, 영상에서 얼굴 요소를 선별하는 단계, 선별한 얼굴 영상을 저장하는 저장 단계, 찾을 대상을 후보군으로 등록하는 단계를 수행하여 검출할 대상이 될 후보들을 등록하는 것을 특징으로 한다.

그리고 상기 입력 정보 등록부는, 영상의 수와 종류에 따라 정보를 등록하는 단계, 검출할 대상의 정보를 등록하는 단계, 영상에서 얼굴 요소를 선별하는 단계, 선별한 비교 매칭할 대상의 얼굴 영상을 저장하는 저장 단계, 입력 대상으로 등록하는 단계를 수행하여 입력 영상 및 정보로 활용할 대상을 등록하는 것을 특징으로 한다.

다른 목적을 달성하기 위한 본 발명에 따른 얼굴 정보를 이용한 실종 가족 찾기 방법은 얼굴 정보를 이용한 실종 가족 찾기 시스템의 제어 있어서, 대상 후보 DB에 저장하기 위한 대상 후보 등록이 이루어지는 단계와;입력 영상을 사용하여 후보군과 비교할 가상 데이터가 생성되어 등록이 이루어지는 단계;등록된 입력 영상의 수치화된 영상 정보와 메타 데이터(Meta data) 정보들을 비교 분석하여 그 차이의 정도를 바탕으로 순위 추출이 이루어지는 단계;추출 결과에 따라 검출 대상에 관한 정보를 출력하고 해당 정보를 활용할 대상자에게 전송하는 단계;를 포함한 것을 특징으로 한다.

여기서, 대상 후보 DB에 저장하기 위한 대상 후보 등록이 이루어지는 단계는, 검출할 대상의 후보에 해당하는 영상이 입력되는 단계와, 해당 대상의 이름, 나이, 인종, 주소, 특징을 포함하는 메타 데이터를 등록하는 정보 입력 단계와, 유효성 검사 단계와, 수행 가능한 영상으로 판단되면 Adaboost 알고리즘을 활용하여 얼굴 검출을 하는 단계와, 저장할 데이터베이스를 선택하고 파일명을 선택하여 결과를 저장하는 단계를 포함하는 것을 특징으로 한다.

그리고 얼굴 검출 및 결과 저장 과정에서, 얼굴을 검출 시 영상의 여백 없이 얼굴만이 검출이 되도록 가로 및 세로의 비율을 고려하여 ROI(Region of interest)를 선정하고, 결과 저장 단계에서는 데이터베이스가 지정되면 조명에 의한 영상의 밝기 정규화 및 노이즈를 제거(Median filtering등)처리를 하고 영상의 크기를 임의의 크기로 변환(size conversion)하는 것을 특징으로 한다.

그리고 입력 영상을 사용하여 후보군과 비교할 가상 데이터가 생성되어 등록이 이루어지는 단계는, 입력 영상이 하나에 해당하는 경우에, 비교 매칭할 대상에 해당하는 영상이 입력되는 단계와, 검출할 대상에 관한 정보를 입력하는 단계와, 유효성 검사를 수행하고 수행 가능한 영상으로 판단되면 얼굴 검출을 하는 단계와, 저장할 데이터베이스를 선택하고 파일명을 선택하여 1차 결과를 저장하는 단계와, 가족 얼굴 특징의 수치화된 데이터와 실종 아동의 대상 후보 DB의 수치화된 데이터 모두를 비교하여 유사도 계산을 하여 결과를 출력하는 단계를 포함하는 것을 특징으로 한다.

그리고 입력 영상을 사용하여 후보군과 비교할 가상 데이터가 생성되어 등록이 이루어지는 단계는, 입력 영상이 2개 이상에 해당하는 경우에, 해당 대상의 이름, 나이, 인종, 주소, 특징을 포함하는 메타 데이터를 등록하기 위한 정보 입력을 하는 단계;영상 1(부)이 입력되면, 유효성 검사를 수행하고, 얼굴 검출을 하여 1차 결과를 저장하는 단계와,영상 2(모)이 입력되면, 유효성 검사를 수행하고, 얼굴 검출을 하여 1차 결과를 저장하는 단계와,검출할 대상과의 매칭 확률을 높이기 위해 영상 1(부) 및 영상 2(모)를 기초한 데이터를 조합하는 단계와,가족 얼굴 특징의 수치화된 데이터와 실종 아동의 대상 후보 DB의 수치화된 데이터 모두를 비교하여 유사도 계산을 하여 결과를 출력하는 단계를 포함하는 것을 특징으로 한다.

그리고 추출 결과에 따라 검출 대상에 관한 정보를 출력하고 해당 정보를 활용할 대상자에게 전송하는 단계는, 유사도 계산 및 거리 차이 수치를 구하는 단계를 진행한 이후에 거리 차이가 적은 순으로 대상 후보에 순위를 부여하는 단계와, 해당 순위에 따라 대상 후보에 데이터 명을 게시하는 단계와, 대상 후보의 데이터 정보를 제공하는 단계와,제공된 데이터 정보에서 최종적으로 검출하고자 하는 대상으로 추정되는 대상을 선택하는 단계와, 해당 대상에 대한 정보가 유효한지를 판단하고 내용의 확인이 종료되면 해당 대상자들에게 정보를 제공하는 단계를 포함하는 것을 특징으로 한다.

이와 같은 본 발명에 따른 얼굴 정보를 이용한 실종 가족 찾기 시스템 및 방법 그리고 이를 구현하는 프로그램을 기록한 기록 매체는 다음과 같은 효과를 갖는다.

첫째, 영상 분석을 통하여 얼굴 정보(밝기가 정규화된 얼굴 영상 및 메타 데이터 등)를 활용하여 대상 후보 DB를 구축하고 이를 활용하여 효과적으로 실종 가족을 찾을 수 있다.

둘째, 가족을 찾는 과정에서 유효성을 검사를 거친 적어도 1명 이상의 가족의 각 얼굴 영상에서 특징을 추출하여 수치화한 데이터를 조합하여 비교하므로 정확도를 높일 수 있다.

셋째, 실종 아동 등의 얼굴 영상에서 유효성 검사를 거친 후 노이즈 제거 등을 거친 영상 및 해당 영상의 데이터(메타 데이터)를 저장한 대상 후보 DB를 구축하여 미아의 체계적인 관리가 가능하다.

넷째, 구축된 대상 후보 DB를 이용하여 사용자 단말을 통하여 부모의 영상을 전송하는 것에 의해 대상 범위를 추출하여 선정된 후보군에서 실종 가족을 찾는 것에 의해 신속성 및 정확성을 높일 수 있다.

다섯째, 신뢰할 수 있는 요소인 가족 얼굴 자체의 실존하는 데이터를 수치화하여 비교하는 것에 의해 실종 아동 등과 가장 닮은 실제 사람 얼굴들을 선별하여 실종 아동 등 대상 범위를 효율적으로 한정할 수 있다.

여섯째, 대상 후보 DB를 이용하는 것에 의해 실종 아동 등 수사에 소요되는 시간,비용,인력을 줄일 수 있다.

도 1은 본 발명에 따른 얼굴 정보를 이용한 실종 가족 찾기 시스템의 구성도
도 2는 본 발명에 따른 실종 가족 찾기 서버의 상세 구성도
도 3은 본 발명에 따른 검출할 대상의 후보군 등록 과정을 나타낸 플로우차트
도 4는 본 발명에 따른 비교할 대상을 등록하여 검출하는 과정을 나타낸 플로우차트
도 5는 2개 이상의 입력 영상(부모)을 활용하여 후보군과 비교할 가상 데이터 생성하고 검출하는 과정을 나타낸 플로우 차트
도 6은 본 발명에 따른 결과 정보를 출력하는 과정을 나타낸 플로우차트
도 7은 본 발명에서 온라인상의 프로그램 활용하는 과정을 나타낸 플로우차트
도 8은 본 발명에 따른 최종 대상을 검출하기까지의 전 과정을 나타낸 플로우차트
도 9a내지 도 9g는 본 발명에 따른 실종 가족 찾기 방법을 통한 대상 검출 과정 및 결과를 나타낸 구성도

이하, 본 발명에 따른 얼굴 정보를 이용한 실종 가족 찾기 시스템 및 방법 그리고 이를 구현하는 프로그램을 기록한 기록 매체의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.

본 발명에 따른 얼굴 정보를 이용한 실종 가족 찾기 시스템 및 방법 그리고 이를 구현하는 프로그램을 기록한 기록 매체의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.

도 1은 본 발명에 따른 얼굴 정보를 이용한 실종 가족 찾기 시스템의 구성도이다.

본 발명은 적어도 1 명 이상의 가족의 각 얼굴 영상에서 특징을 추출하여 수치화한 데이터를 조합하고, 마찬가지로, 실종 아동 등의 얼굴 영상에서 큰 특징만을 추출한 데이터를 수치화하여 비교한다. 그리고 얼굴 인증방식이 아닌 가족의 각 얼굴에서 추출한 데이터를 일련의 과정을 통해 조합하여 새로이 추출한 가상의 데이터와 실종 아동 등의 후보군의 데이터와의 일치 정도를 비교하여 검출하는 가족을 찾아주는 기술에 관한 것이다.

이하의 설명에서 '실종 아동' 및 '실종 가족' 용어를 혼용하는데, 찾는 대상이 아동으로 한정되지 않고 가족들 중에서 어느 누구라도 찾는 대상이 될 수 있음은 당연하다.

본 발명은 영상 분석을 통하여 얼굴 영상 및 해당 영상의 대상자에 대한 정보를 활용하여 대상 후보 DB를 구축하여 실종 가족을 찾을 수 있도록 한 것이다.

본 발명은, '얼굴' 자체의 닮음 정도를 과학적으로 비교하여 실종 아동 등을 효율적으로 찾을 수 있도록 한다. 실종 아동 등 가족의 얼굴 사진을 이용하여 가족과 가장 닮은 실종 아동 등을 선별한다.

가족의 얼굴에서 큰 특징만을 추출한 요소와 실종 아동 등의 얼굴에서 큰 특징만을 추출한 요소를 서로 비교해서 가장 닮은 얼굴을 선별한다.

예컨대 실종 아동 등 가족 중, "A"라는 사람의 얼굴 사진으로 실종 아동 등을 찾도록 요청하면 요청된 얼굴을 분석하여 큰 특징만을 추출해 수치화시킨다.

이 수치화된 "A"의 얼굴 요소와 데이터베이스에 구축된 실종 아동 등의 수치화된 얼굴 요소를 비교하여 "A"와 가장 닮은 얼굴들을 선별해준다.

이로써, 실종 아동 등 가족은 잘못된 정보일 수 있는 성별, 이름, 나이, 주소 등의 사실적인 데이터가 아닌 신뢰할 수 있는 요소인 '얼굴'을 이용하여 효율적으로 실종 아동 등을 선별할 수 있다.

이를 위한 본 발명에 따른 얼굴 정보를 이용한 실종 가족 찾기 시스템은 실종 가족을 찾기 위한 실종자 가족의 영상 또는 실종자의 영상을 입력하는 사용자 단말(100)과, 통신망(200)을 이용하여 사용자 단말(100)에서 전송된 얼굴 영상을 받아 유효성 검사, 얼굴 추출 및 특징 추출을 하여 수치화하여 저장 또는 비교하여 대상 후보군을 검색하는 실종 가족 찾기 서버(300)와, 실종 가족 찾기 서버(300)에서 만들어진 개인 얼굴 계수 정보를 저장하는 대상 후보 DB(400)을 포함한다.

여기서, 통신망은 현재 구축되어 있는 모든 종류의 유무선 통신망을 이용하는 것으로 제한되지 않는다.

그리고 본 명세서에서 메타 데이터(Meta data)는 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있으므로 실시 형태를 예시와 같이 한정 짓는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 균등물 또는 대체물로 이해되어야 할 것이다.

메타 데이터는 얼굴을 비교 매칭하는 본 발명의 부수적인 역할로 작용하는 것으로 실종 아동을 등록함에는 부정확한 내용이 포함되어 있을 수 있으므로 참고의 역할 만을 하는 정보로 이해되어야 한다.

또한, 본 명세서에서 사용자는 검출 대상(실종 미아) 후보 군을 등록하는 사용자와 비교 매칭을 시도할 대상(부모 또는 아동의 사진)을 등록하는 사용자로 예시를 설명하며 실시 형태를 예시와 같이 한정 짓는 것이 아님으로 이해되어야 한다.

실종 가족 찾기 서버(300)의 상세 구성은 다음과 같다.

도 2는 본 발명에 따른 실종 가족 찾기 서버의 상세 구성도이다.

실종 가족 찾기 서버(300)는 도 2에서와 같이, 대상 후보 DB(400)에 저장하기 위한 대상 후보를 등록하는 후보군 등록부(21)와, 입력 영상을 활용하여 후보군과 비교할 가상 데이터를 생성하여 등록하는 입력 정보 등록부(22)와, 후보군 등록부(21)를 통하여 등록된 후보군과 입력 정보 등록부(22)를 통하여 등록된 입력 영상의 수치화된 영상 정보와 메타 데이터(Meta data) 등의 기타 정보들을 비교 분석하여 그 차이의 정도를 바탕으로 순위를 추출하는 데이터 비교 분석부(23)와, 데이터 비교 분석부(23)의 추출 결과에 따라 검출 대상에 관한 정보를 출력하고 해당 정보를 활용할 대상자에게 제공하는 결과 정보 출력부(24)를 포함한다.

이와 같은 도 2의 구성을 갖는 실종 가족 찾기 서버(300)를 통한 입력 영상으로부터 대상을 검출하는 과정은, 후보군 등록 단계, 입력 정보 등록 단계, 데이터 비교 분석 단계, 결과 정보 출력 단계를 통하여 이루어진다.

후보군 등록부(21)는 검출할 대상의 정보를 등록하는 단계, 영상에서 얼굴 요소를 선별하는 단계, 선별한 얼굴 영상을 저장하는 저장 단계, 찾을 대상(실종 미아)를 후보군으로 등록하는 단계를 수행하여 검출할 대상(실종 아동)이 될 후보들을 등록한다.

그리고 입력 정보 등록부(22)는 영상의 수와 종류에 따라 정보를 등록하는 단계, 검출할 대상의 정보를 등록하는 단계, 영상에서 얼굴 요소를 선별하는 단계, 선별한 비교 매칭할 대상의 얼굴 영상을 저장하는 저장 단계, 입력 대상으로 등록하는 단계를 수행하여 입력 영상 및 정보로 활용할 대상(부모)을 등록한다.

데이터 비교 분석부(23)는 후보군과 입력 영상의 수치화된 영상 정보와 메타 데이터(Meta data)등의 기타 정보들을 비교 분석하여 그 차이의 정도를 바탕으로 순위를 나타낸다. 영상 정보로 나타내어지는 비교 값을 보완하기 위해 순위는 차이의 정도가 작을수록 상위 등수를 기록한다.

그리고 결과 정보 출력부(24)에서는 데이터 비교 분석부(23)의 순위 추출 결과에 따라 검출 대상에 관한 정보를 출력하고 해당 정보를 활용할 대상자에게 제공한다.

이와 같은 구성을 갖는 본 발명에 따른 얼굴 정보를 이용한 실종 가족 찾기 시스템의 실종 가족 찾기 과정을 구체적으로 설명하면 다음과 같다.

도 3은 본 발명에 따른 검출할 대상의 후보군 등록 과정을 나타낸 플로우차트이고, 도 4는 본 발명에 따른 비교할 대상을 등록하여 검출하는 과정을 나타낸 플로우차트이다.

본 발명에 따른 얼굴 정보를 이용한 실종 가족 찾기 방법은 사용자 단말로부터 실종 가족 검색을 위한 정보를 입력받는 단계와, 입력되는 얼굴 영상이 사람의 얼굴 영상인지의 여부를 판단하고, 얼굴 부분을 자동으로 검출하는 단계와, 검출된 얼굴 영상에 대해 주성분 분석을 실시하여 부모 얼굴의 특징 벡터를 구하여 조합하는 단계와, 조합된 부모의 특징 벡터와 대상 후보 DB에 저장된 각 특징 벡터 축의 거리차를 구하여, 그 중 거리차가 가장 작은 얼굴 영상을 선별하는 단계를 포함한다.

구체적으로 각 단계별 동작을 설명하면 다음과 같다.

도 3은 후보군 등록부(21)에서 수행하는 검출할 대상의 후보군 등록 과정을 나타낸 것이다.

검출할 대상의 후보에 해당하는 영상(실종 미아를 찾는 예시의 경우 실종 아동에 해당하는 영상)이 입력되면(S301), 해당 대상의 기본적인 정보인 메타 데이터(이름, 나이, 인종, 주소, 특징, 기타사항 등)를 등록하는 정보의 입력 과정을 거친다.(S302)

그리고 유효성 검사를 수행하고(S303), 수행 가능한 영상으로 판단되면 Adaboost 알고리즘을 활용하여 얼굴 검출을 시도한다.(S304)

이어, 저장할 데이터베이스를 선택하고 파일명을 선택하여 결과를 저장한다.(S305)

여기서, 유효성 검사는 영상의 크기를 고려하고 Adaboost 알고리즘을 활용하여 얼굴 검출을 시도하여 영상이 일정 크기 이상이고 얼굴이 검출 가능한 영상인지 사용자의 번거로운 작업 없이 자동적으로 판단한다.

그리고 얼굴 검출 과정에서는 추후의 과정에서 활용할 얼굴인식 알고리즘에 최적으로 적용이 가능하고 후보군에 등록된 대상의 연령을 고려하여 영상을 추출하기 위한 전처리 작업을 거친다.

본 발명에서 등록할 후보는 실종 아동이다.

어린아이의 얼굴을 검출 시 영상의 여백 없이 얼굴만이 검출이 되어야 매칭(Matching) 성능이 상승하므로 가로 및 세로의 비율을 고려하여 ROI(Region of interest)를 선정하도록 한다.

그리고 결과 저장 단계에서는 데이터베이스가 지정되면 조명에 대한 영상의 밝기 정규화 및 노이즈 제거(Median filtering등)를 하고 영상의 크기를 임의의 크기로 변환(size conversion)한다.

영상의 크기를 변환할 때 보간법(interpolation)을 활용하였으며 linear, bilinear, cubic spline 등의 보간법을 사용할 수 있다.

본 발명에서는 cubic spline formula를 사용하였을 때 가장 인식 성능이 높아 이 수식을 사용한다.

도 4는 본 발명에서 비교 매칭할 대상(부모 또는 아동의 사진)를 등록하여 검출하는 과정을 나타낸 것이다.

등록 및 검출 과정에서 비교 매칭 대상이 부모에 해당하는 경우인지 아동의 사진에 해당하는지 명시하며 부모의 경우 한부모 인지 양부모의 영상 입력인지를 명시한다. 도 3은 입력 영상이 하나(한 부모)에 해당하는 경우를 예시한다.

먼저, 비교 매칭할 대상(부모 또는 아동의 사진)에 해당하는 영상이 입력되면(S401), 검출할 대상(실종 아동)에 관한 정보를 입력한다.(S402)

그리고 유효성 검사를 수행하고(S403), 수행 가능한 영상으로 판단되면 Adaboost 알고리즘을 활용하여 얼굴 검출을 시도한다.(S404)

이어, 저장할 데이터베이스를 선택하고 파일명을 선택하여 1차 결과를 저장한다.(S405)

그리고 가족 얼굴 특징의 수치화된 데이터와 실종 아동 등 대상 후보 DB의 수치화된 데이터 모두를 비교하여 유사도 계산을 한다.(S406)

이어, 유사도 계산을 통한 결과를 출력한다.(S407)

이와 같이 유사도를 계산하기 위해 각각에서 얼굴 계수에 해당하는 수치를 구하는 단계에서, 본 발명에서는 PCA(Principle Component Analysis) 알고리즘을 활용하여 얼굴 계수에 해당하는 수치를 얻는다.

두 입력 영상으로부터 얼굴 계수를 취득하는 과정은 도 5에서와 같다.

그 외의 패턴인식 및 분류기(PCA(Principle Component Analysis), ASM(Active Shape Model), AAM(Active Appearance Model), LBP(Local Binary Patterns), MLBP(Multi-scale Local Binary Patterns) 등) 알고리즘 등을 활용하여 얼굴 계수를 얻을 수 있다.

그리고 유사도 계산은 각각 얼굴의 특징을 수치로 나타내는 얼굴 계수를 갖고 그 수치들간의 차이를 분석한다.

수치들간의 유사도를 계산하는 데에는 유클리디안 거리(Euclidean distance), 마할라노비스 거리(Mahalanobis distance)공식이 활용될 수 있다.

수치 차이는 얼굴 정보의 차이 정도와 비례한다.

비교 매칭할 대상이 대상 후보 DB와 비슷한 연령대의 영상에 해당할 경우 각 수치의 차의 모든 계수가 1인 유클리디안 거리 공식을 사용한다.

그러나 비교 매칭할 대상과 1차 결과에서 영상의 연령대가 차이가 심할 경우 각 수치의 차의 계수가 1이 아닌 임의의 계수를 활용하는 마할라노비스 거리 공식을 응용한다.

여기서, 유클리디안 거리 공식을 사용함에도 강인한 결과가 도출될 수 있고, 거리의 차가 작은 순으로 대상 후보 DB를 정렬한다.

그리고 결과 출력(S407)단계에서는 유사도 계산 결과에 따라 순위를 선정하고 영상의 이름, 해당 대상(실종 아동)에 관한 정보들을 제공한다.

그리고 도 5는 2개 이상의 입력 영상(부모)을 활용하여 후보군과 비교할 가상 데이터 생성하고 검출하는 과정을 나타낸 플로우 차트이고, 도 6은 본 발명에 따른 결과 정보를 출력하는 과정을 나타낸 플로우차트이다.

도 5는 본 발명에서 2개 이상의 입력 영상(부모)을 활용하여 후보군과 비교할 가상 데이터 생성하고 검출하는 과정을 나타낸 것이다.

먼저, 해당 대상의 기본적인 정보인 메타 데이터(이름, 나이, 인종, 주소, 특징, 기타사항 등)를 등록하는 정보의 입력을 한다.(S501)

그리고 영상 1(부)이 입력되면(S502), 유효성 검사를 수행하고(S503), 수행 가능한 영상으로 판단되면 Adaboost 알고리즘을 활용하여 얼굴 검출을 시도한다.(S504)

이어, 저장할 데이터베이스를 선택하고 파일명을 선택하여 1차 결과를 저장한다.(S505)

그리고 영상 2(모)이 입력되면(S506), 유효성 검사를 수행하고(S507), 수행 가능한 영상으로 판단되면 Adaboost 알고리즘을 활용하여 얼굴 검출을 시도한다.(S508)

이어, 저장할 데이터베이스를 선택하고 파일명을 선택하여 1차 결과를 저장한다.(S509)

그리고 검출할 대상과의 매칭(matching) 확률을 높이기 위해 영상 1(부) 및 영상 2(모)를 기초한 데이터를 조합한다.(S510)

이어, 가족 얼굴 특징의 수치화된 데이터와 실종 아동 등 대상 후보 DB의 수치화된 데이터 모두를 비교하여 유사도 계산을 한다.(S511)

이어, 유사도 계산을 통한 결과를 출력한다.(S512)

여기서, 데이터 조합(S510)에서는 검출할 대상과의 매칭(matching) 확률을 높이기 위해 영상 1(부) 및 영상 2(모) 각각 영상의 특징을 수치화하는 알고리즘을 활용하여 얼굴 계수를 구한다.

본 발명에서는 PCA를 활용하여 얼굴 계수를 생성한다.

각각 같은 순서에 위치한 계수는 임의의 적응적인 임계치에 의해 조합이 된다. 두 계수들은 같은 순서에 위치한 계수는 평균적인 수치로 계산이 되고 평균 수치에 적응적인 가중치를 가하여 중요한 정보에는 가중치가 더 크게 가해지도록 한다.

이와 같은 과정에 의해 생성된 계수를 가상 계수라 한다.

얼굴의 특징을 수치화하는 알고리즘에 의해 대상 후보 DB로부터 얼굴 계수를 생성한다. 유사도 계산에서는 생성된 얼굴 계수와 데이터 조합으로부터 생성된 가상 계수 간의 거리를 계산한다.

이와 같이 입력 영상이 2가지 이상인 경우로 임의의 계수를 활용하는 마할라노비스 거리 공식을 사용한다.

여기서, 유클리디안 거리 공식을 사용하여도 강인한 결과가 도출될 수 있다.

본 발명에서 결과 정보를 출력하는 과정은 다음과 같다.

도 6은 본 발명에 따른 결과 정보를 출력하는 과정을 나타낸 플로우차트이다.

유사도 계산(S601) 및 거리 차이 수치를 구하는 단계(S602)를 진행한 이후에 거리 차이가 적은 순으로 대상 후보에 순위를 부여한다.(S603)

그리고 해당 순위에 따라 대상 후보에 데이터 명을 게시한다.(S604)

이어, 대상 후보의 데이터 정보를 제공하고(S605), 데이터 정보가 사전에 입력한 정보와 비슷하거나 최종적으로 검출하고자 하는 대상으로 추정되는 대상을 선택한다. 해당 대상에 대한 정보가 유효한지 관련 기관의 사용자가 확인한다.(S606)

내용의 확인이 종료되면 해당 대상자들에게 정보를 제공한다.(S607)

이와 같은 결과 정보를 출력하는 과정은 상기의 내용으로 제한되지 않고 환경이나 상황에 따라 변경될 수 있는 것으로 이해하여야 한다.

본 발명에서 온라인 상에서 프로그램을 활용하는 과정을 설명하면 다음과 같다.

도 7은 본 발명에서 온라인상의 프로그램 활용하는 과정을 나타낸 플로우차트이다.

먼저, 웹사이트 접속을 통해 서비스에 접근하여(S701), 웹사이트의 양식에 맞게 정보를 입력한다.(S702)

결과값을 어플리케이션 서버로 전송한 뒤 대상 검출 과정을 시행한다.(S703)

도 3의 후보군 등록 과정 및 도 4의 비교할 대상 등록, 도 5의 후보군과 비교할 가상 데이터 생성하고 검출하는 과정을 포함하는 검출과정을 수행한다.(S704)

여기서, 웹사이트를 통한 접속에 의해 실종가족 찾기 서버에서 이 3가지의 기능이 독립적으로 실행될 수 있다.

결과값을 클라이언트 웹으로 전송한 뒤(S705), 결과를 출력한다.(S706)

그리고 본 발명에 따른 최종 대상을 검출하기까지의 전 과정을 설명하면 다음과 같다.

도 8은 본 발명에 따른 최종 대상을 검출하기까지의 전 과정을 나타낸 플로우차트이다.

도 8의 S801 ~ S808 단계는 도 4의 비교할 대상 등록 과정이고, 도 8의 S821 ~ S825 단계는 도 3의 후보군 등록 과정이고, 도 8의 S809 ~ S820 단계는 도 5의 도 5의 후보군과 비교할 가상 데이터 생성하고 검출하는 과정이다.

그리고 도 9a내지 도 9g는 본 발명에 따른 실종 가족 찾기 방법을 통한 대상 검출 과정 및 결과를 나타낸 구성도이다.

먼저, 도 9a의 910은 얼굴 검출 과정을 나타낸 것이다.

그리고 도 9b의 920은 결과 출력의 일 예를 나타낸 것으로, 입력 영상과의 유사도(정보간의 거리 등)와 해당 영상의 파일명, 랭킹 등을 출력 화면에서 확인할 수 있다.

그리고 도 9c의 930은 두 가지 이상의 영상을 입력 받고 그 영상들을 조합하고 활용하여 가상의 데이터를 추출해내고 그 데이터를 영상으로 나타낸 것이다.

그리고 도 9d의 940은 결과 출력의 일 예를 나타낸 것으로, 입력 영상을 활용하여 가상 데이터를 추출하였고 그 데이터와의 유사도에 따라 영상이 출력이 된다. 또한 유사도의 정도(정보간의 거리 등)와 해당 영상의 파일명,랭킹 등을 출력한다.

그리고 도 9e의 950은 온라인 상의 프로그램 활용에 해당하는 예를 나타낸 것으로, 입력할 영상에 따라 사용자는 활용할 정보를 선택할 수 있다.

그리고 도 9f의 960은 영상을 입력하고 해당 대상의 기본적인 정보인 메타 데이터(이름, 나이, 인종, 주소, 특징, 기타사항 등)를 등록하는 정보 입력 과정에 관한 예를 나타낸 것이다.

그리고 도 9g의 970은 도 7의 S704 단계에 해당하는 것으로 대상검출 과정을 나타낸 것이다.

그리고 도 9h의 980은 도 7의 S706 단계를 나타낸 것으로 결과출력에 해당하는 것이다.

이상의 설명에서 사용되는 가족의 얼굴 영상은 실종 아동(실종 이전에 있던 사진을 이용한) 등 본인의 얼굴 영상 또는 가족의 얼굴 영상이며 부모가 없는 경우, 형제 또는 친척의 얼굴 영상이다.

기본적으로 부모의 얼굴을 이용하여 얼굴 계수 비교를 하는 것을 일 예로 설명하였으나, 이에 한정되지 않고 두 명 이상의 형제/자매의 얼굴 계수를 비교하여 실종 가족을 찾는 것도 가능함은 당연하다.

그리고 이상의 설명에서 사용되는 얼굴 정보는 단순 얼굴이 아니라, 상반신이 포함된 영상이 사용되는 것이 바람직하다.

이와 같은 본 발명에 따른 얼굴 정보를 이용한 실종 가족 찾기 시스템 및 방법 그리고 이를 구현하는 프로그램을 기록한 기록 매체는 한 가지의 대상뿐만 아니라 둘 이상의 대상에 관한 영상을 활용하여 가상의 데이터를 추출하여 얼굴에 관한 영상과 대상에 관한 정보들을 활용하여 가족관계를 증명하여 대상을 검색하는 방법이다.

또한, 온라인에서도 본 발명의 알고리즘을 활용할 수 있으므로 다양한 환경에서도 활용이 가능하고 검출 성능 또한 강인하다.

그리고 본 발명은 얼굴 정보를 이용한 실종 가족 찾기 시스템 및 방법을 통하여 실종 가족을 찾기를 구현하는 프로그램을 기록한 기록 매체를 포함한다.

이와 같은 본 발명에 따른 얼굴 정보를 이용한 실종 가족 찾기 시스템 및 방법 그리고 이를 구현하는 프로그램을 기록한 기록 매체는 얼굴 영상 분석을 이용한 가족을 찾는 과정에서 유효성 검사를 거친 적어도 1명 이상의 가족의 각 얼굴 영상에서 큰 특징만을 추출하여 수치화한 데이터를 조합하여 비교하므로 정확도가 높다.

이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.

그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

100. 사용자 단말 200. 통신망
300. 실종가족 찾기서버 400. 대상 후보 DB

Claims (11)

1. 실종자 가족의 영상 또는 실종자의 영상을 입력하는 사용자 단말;
   사용자 단말에서 전송된 얼굴 영상을 받아 유효성 검사를 거친 후 영상 내에서 얼굴을 검출하고 검출된 얼굴의 특징을 수치화한 데이터인 얼굴 계수를 기준으로 대상 후보군과 비교하여 얼굴 영상을 선별하는 실종 가족 찾기 서버;
   실종 가족 찾기 서버에서 만들어진 얼굴 정보를 저장하는 대상 후보 DB;를 포함하는 것을 특징으로 하는 수치화된 얼굴 정보를 이용한 실종 가족 찾기 시스템.
2. 제 1 항에 있어서, 상기 실종 가족 찾기 서버는,
   대상 후보 DB에 저장하기 위한 대상 후보를 등록하는 후보군 등록부와,
   입력 영상을 활용하여 후보군과 비교할 가상 데이터를 생성하여 등록하는 입력 정보 등록부와,
   상기 후보군 등록부를 통하여 등록된 후보군과 입력 정보 등록부를 통하여 등록된 입력 영상의 수치화된 영상 정보와 메타 데이터(Meta data) 정보들을 비교 분석하여 그 차이의 정도를 바탕으로 순위를 추출하는 데이터 비교 분석부와,
   상기 데이터 비교 분석부의 추출 결과에 따라 검출 대상에 관한 정보를 출력하고 해당 정보를 활용할 대상자에게 제공하는 결과 정보 출력부를 포함하는 것을 특징으로 하는 얼굴 정보를 이용한 실종 가족 찾기 시스템.
3. 제 2 항에 있어서, 상기 후보군 등록부는,
   검출할 대상의 정보를 등록하는 단계, 영상에서 얼굴 요소를 선별하는 단계, 선별한 얼굴 영상을 저장하는 저장 단계, 찾을 대상을 후보군으로 등록하는 단계를 수행하여 검출할 대상이 될 후보들을 등록하는 것을 특징으로 하는 얼굴 정보를 이용한 실종 가족 찾기 시스템.
4. 제 2 항에 있어서, 상기 입력 정보 등록부는,
   영상의 수와 종류에 따라 정보를 등록하는 단계, 검출할 대상의 정보를 등록하는 단계, 영상에서 얼굴 요소를 선별하는 단계, 선별한 비교 매칭할 대상의 얼굴 영상을 저장하는 저장 단계, 입력 대상으로 등록하는 단계를 수행하여 입력 영상 및 정보로 활용할 대상을 등록하는 것을 특징으로 하는 얼굴 정보를 이용한 실종 가족 찾기 시스템.
5. 얼굴 정보를 이용한 실종 가족 찾기 시스템의 제어 있어서,
   대상 후보 DB에 저장하기 위한 대상 후보 등록이 이루어지는 단계와;
   입력 영상을 사용하여 후보군과 비교할 가상 데이터가 생성되어 등록이 이루어지는 단계;
   등록된 입력 영상의 수치화된 영상 정보와 메타 데이터(Meta data) 정보들을 비교 분석하여 그 차이의 정도를 바탕으로 순위 추출이 이루어지는 단계;
   추출 결과에 따라 검출 대상에 관한 정보를 출력하고 해당 정보를 활용할 대상자에게 전송하는 단계;를 포함한 것을 특징으로 하는 얼굴 정보를 이용한 실종 가족 찾기 방법.
6. 제 5 항에 있어서, 대상 후보 DB에 저장하기 위한 대상 후보 등록이 이루어지는 단계는,
   검출할 대상의 후보에 해당하는 영상이 입력되는 단계와,
   해당 대상의 이름, 나이, 인종, 주소, 특징을 포함하는 메타 데이터를 등록하는 정보 입력 단계와,
   유효성 검사 단계와,
   수행 가능한 영상으로 판단되면 Adaboost 알고리즘을 활용하여 얼굴 검출을 하는 단계와,
   저장할 데이터베이스를 선택하고 파일명을 선택하여 결과를 저장하는 단계를 포함하는 것을 특징으로 하는 얼굴 정보를 이용한 실종 가족 찾기 방법.
7. 제 6 항에 있어서, 얼굴 검출 및 결과 저장 과정에서,
   얼굴을 검출 시 영상의 여백 없이 얼굴만이 검출이 되도록 가로 및 세로의 비율을 고려하여 ROI(Region of interest)를 선정하고,
   결과 저장 단계에서는 데이터베이스가 지정되면 조명에 의한 밝기를 정규화하고 노이즈를 제거(Median filtering등)처리하고 영상의 크기를 임의의 크기로 변환(size conversion)하는 것을 특징으로 하는 얼굴 정보를 이용한 실종 가족 찾기 방법.
8. 제 5 항에 있어서, 입력 영상을 사용하여 후보군과 비교할 가상 데이터가 생성되어 등록이 이루어지는 단계는,
   입력 영상이 하나에 해당하는 경우에,
   비교 매칭할 대상에 해당하는 영상이 입력되는 단계와,
   검출할 대상에 관한 정보를 입력하는 단계와,
   유효성 검사를 수행하고 수행 가능한 영상으로 판단되면 얼굴 검출을 하는 단계와,
   저장할 데이터베이스를 선택하고 파일명을 선택하여 1차 결과를 저장하는 단계와,
   가족 얼굴 특징의 수치화된 데이터와 실종 아동의 대상 후보 DB의 수치화된 데이터 모두를 비교하여 유사도 계산을 하여 결과를 출력하는 단계를 포함하는 것을 특징으로 하는 얼굴 정보를 이용한 실종 가족 찾기 방법.
9. 제 5 항에 있어서, 입력 영상을 사용하여 후보군과 비교할 가상 데이터가 생성되어 등록이 이루어지는 단계는,
   입력 영상이 2개 이상에 해당하는 경우에,
   해당 대상의 이름, 나이, 인종, 주소, 특징을 포함하는 메타 데이터를 등록하기 위한 정보 입력을 하는 단계;
   영상 1(부)이 입력되면, 유효성 검사를 수행하고, 얼굴 검출을 하여 1차 결과를 저장하는 단계와,
   영상 2(모)이 입력되면, 유효성 검사를 수행하고, 얼굴 검출을 하여 1차 결과를 저장하는 단계와,
   검출할 대상과의 매칭 확률을 높이기 위해 영상 1(부) 및 영상 2(모)를 기초한 데이터를 조합하는 단계와,
   가족 얼굴 특징의 수치화된 데이터와 실종 아동의 대상 후보 DB의 수치화된 데이터 모두를 비교하여 유사도 계산을 하여 결과를 출력하는 단계를 포함하는 것을 특징으로 하는 얼굴 정보를 이용한 실종 가족 찾기 방법.
10. 제 5 항에 있어서, 추출 결과에 따라 검출 대상에 관한 정보를 출력하고 해당 정보를 활용할 대상자에게 전송하는 단계는,
    유사도 계산 및 거리 차이 수치를 구하는 단계를 진행한 이후에 거리 차이가 적은 순으로 대상 후보에 순위를 부여하는 단계와,
    해당 순위에 따라 대상 후보에 데이터 명을 게시하는 단계와,
    대상 후보의 데이터 정보를 제공하는 단계와,
    제공된 데이터 정보에서 최종적으로 검출하고자 하는 대상으로 추정되는 대상을 선택하는 단계와,
    해당 대상에 대한 정보가 유효한지를 판단하고 내용의 확인이 종료되면 해당 대상자들에게 정보를 제공하는 단계를 포함하는 것을 특징으로 하는 얼굴 정보를 이용한 실종 가족 찾기 방법.
11. 제 5 항의 얼굴 정보를 이용한 실종 가족 찾기 방법을 구현하는 프로그램을 기록한 기록 매체.
    

Images