KR20200060942A - 연속된 촬영 영상에서의 궤적기반 얼굴 분류 방법 - Google Patents

연속된 촬영 영상에서의 궤적기반 얼굴 분류 방법 Download PDF

Info

Publication number
KR20200060942A
KR20200060942A KR1020180146146A KR20180146146A KR20200060942A KR 20200060942 A KR20200060942 A KR 20200060942A KR 1020180146146 A KR1020180146146 A KR 1020180146146A KR 20180146146 A KR20180146146 A KR 20180146146A KR 20200060942 A KR20200060942 A KR 20200060942A
Authority
KR
South Korea
Prior art keywords
face
person
trajectory
information
image
Prior art date
Application number
KR1020180146146A
Other languages
English (en)
Inventor
김학철
정성훈
한혁
진성일
Original Assignee
주식회사 리얼타임테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 리얼타임테크 filed Critical 주식회사 리얼타임테크
Priority to KR1020180146146A priority Critical patent/KR20200060942A/ko
Publication of KR20200060942A publication Critical patent/KR20200060942A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06K9/00288—

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Collating Specific Patterns (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 영상 획득 장치로부터 제공되는 연속된 영상에서 인물의 궤적정보와 얼굴정보를 추출하고, 하나의 궤적에 대한 다수의 얼굴정보를 동일 인물로 판단하여 인물의 얼굴을 신속하고 정확하게 분류할 수 있도록 해 주는 기술에 관한 것이다.
본 발명에 따른 연속된 촬영 영상에서의 궤적기반 얼굴 분류 방법은, 얼굴 분류장치에서 인물별 서로 다른 각도의 얼굴 이미지를 이용하여 인물 모델을 생성하고 이를 데이터 베이스에 등록하는 제1 단계와, 얼굴 분류장치에서 영상프레임에 최초로 추출된 인물에 대응하여 궤적 레코드를 추가 생성하는 제2 단계, 얼굴 분류장치에서 영상프레임에 존재하는 인물을 포함하는 객체 영역 정보와, 객체 영역에 존재하는 얼굴 이미지를 포함하는 객체 얼굴정보를 추출하여 해당 인물에 대해 생성된 궤적 레코드에 저장 등록하되, 해당 인물이 존재하지 않는 영상프레임이 수신되는 경우 해당 궤적 레코드에 대한 정보의 등록을 완료하는 제3 단계 및, 얼굴 분류장치에서 정보 등록이 완료된 궤적 레코드에 포함된 각 얼굴 이미지를 한 인물에 대한 얼굴 이미지로 인식하여 데이터베이스에 기 등록된 인물 모델과 비교함으로써, 다수의 영상 프레임에 존재하는 동일 인물에 대한 얼굴을 일시에 분류하는 제4 단계를 포함하여 구성된다.

Description

연속된 촬영 영상에서의 궤적기반 얼굴 분류 방법{METHOD FOR FACE CLASSIFYING BASED ON TRAJECTORY IN CONTINUOUSLY PHOTOGRAPHED IMAGE}
본 발명은 영상 획득 장치로부터 제공되는 연속된 영상에서 인물의 궤적정보와 얼굴정보를 추출하고, 하나의 궤적에 대한 다수의 얼굴정보를 동일 인물로 판단하여 인물의 얼굴을 신속하고 정확하게 분류할 수 있도록 해 주는 기술에 관한 것이다.
최근 들어, 얼굴 인식 기술은 출입문 통제 장치를 비롯한 다양한 분야에서 활용되고 있는데, 지문이나 홍채 인식 등과 같은 다른 생체 인식 기술에 비해 능동적인 장점이 있어 더욱 증가하는 추세에 있다. 지문이나 홍채 인식의 경우 사용자가 인증을 받기 위해서는 지문 인식 센서에 손가락을 접촉시키거나 홍채 인식 센서에 눈을 근접시키는 행동을 취해야 하는 번거로움이 있었다.
하지만, 얼굴 인식 기술은 사용자의 얼굴이 카메라 영상에 잡히면, 얼굴 인식을 진행할 수 있기 때문에 인증을 위해 사용자가 부자연스러운 동작을 취할 필요가 없을 뿐 아니라 사용자가 인지하지 못하는 동안에도 사용자의 얼굴을 인식하여 인증할 수 있는 장점이 있다.
이와 같이 영상 기반으로 출입 관리를 수행하는 종래의 시스템은 출입 대상 구역 입구에 설치된 영상 획득 장치로부터 인물의 얼굴 정보를 추출하고 등록된 얼굴 정보와 비교하여 관리하는 방법을 적용하고 있다.
즉, 프레임 단위의 영상 이미지에 포함된 얼굴을 추출한 후 이전에 학습하여 인물별로 분류된 얼굴들과 비교하여 유사도가 가장 높은 인물로 분류하도록 하며, 미리 설정한 임계치를 만족하지 못하는 경우 새로운 인물로 분류하도록 한다.
그러나, 프레임 단위의 영상이미지로부터 추출된 얼굴을 이용하여 인물을 분류하는 경우, 분류 알고리즘의 특성에 따라 연속된 프레임에 포함된 동일한 인물을 서로 다른 인물로 분류하는 오류 문제가 발생할 수 있다.
또한, 연속된 프레임에 포함된 동일한 인물임이 명확함에도 불구하고 일괄적으로 인물 분류 알고리즘을 반복적으로 수행하기 때문에, 시스템 성능이 저하되는 원인이 된다.
특히 정면 얼굴영상이 아닌 경우 또는 다양한 표정이 포함된 얼굴영상의 경우 분류의 오류가 많으며, 자연스러운 포즈(Pose)로 촬영된 얼굴영상들도 다양한 각도의 얼굴형상을 포함하지만, 비정면 얼굴영상에 대해서는 얼굴인식률이 떨어지므로 분류의 정확성 역시 보장할 수 없는 문제점이 있다.
1. 한국공개특허 제 2017-0123950호 (발명의 명칭 : 얼굴 인식을 이용한 출입 관리 방법 및 시스템)
이에, 본 발명은 상기한 사정을 감안하여 창출된 것으로, 처음으로 등장하는 인물이 포함된 영상프레임과 이 영상프레임과 연속된 영상프레임에서 해당 인물에 대한 궤적 정보를 관리하고, 하나의 궤적에 포함된 얼굴은 동일한 인물로 인식하여 얼굴 분류 처리를 수행함으로써, 보다 신속하고 정확하게 얼굴 분류 처리를 수행할 수 있도록 해 주는 연속된 촬영 영상에서의 궤적기반 얼굴 분류 방법을 제공함에 그 기술적 목적이 있다.
또한, 본 발명은 인물별 궤적정보를 이용하여 인물에 대한 이동정보를 실시간 저장함으로써, 인물별 이동정보를 데이터베이스화할 수 있도록 해 주는 연속된 촬영 영상에서의 궤적기반 얼굴 분류 방법을 제공함에 또 다른 기술적 목적이 있다.
상기한 목적을 달성하기 위한 본 발명의 일측면에 따르면, 일정 영역에 대한 영상 프레임을 연속적으로 획득하여 출력하는 적어도 하나 이상의 영상획득장치로부터 영상 프레임을 수집하고, 영상 프레임에서 얼굴 이미지를 추출하여 인물을 분류하는 얼굴 분류장치를 포함하여 구성되는 궤적 기반 얼굴분류 방법에 있어서, 얼굴 분류장치에서 인물별 서로 다른 각도의 얼굴 이미지를 이용하여 인물 모델을 생성하고 이를 데이터 베이스에 등록하는 제1 단계와, 얼굴 분류장치에서 영상프레임에 최초로 추출된 인물에 대응하여 궤적 레코드를 추가 생성하는 제2 단계, 얼굴 분류장치에서 영상프레임에 존재하는 인물을 포함하는 객체 영역 정보와, 객체 영역에 존재하는 얼굴 이미지를 포함하는 객체 얼굴정보를 추출하여 해당 인물에 대해 생성된 궤적 레코드에 저장 등록하되, 해당 인물이 존재하지 않는 영상프레임이 수신되는 경우 해당 궤적 레코드에 대한 정보의 등록을 완료하는 제3 단계 및, 얼굴 분류장치에서 정보 등록이 완료된 궤적 레코드에 포함된 각 얼굴 이미지를 한 인물에 대한 얼굴 이미지로 인식하여 데이터베이스에 기 등록된 인물 모델과 비교함으로써, 다수의 영상 프레임에 존재하는 동일 인물에 대한 얼굴을 일시에 분류하는 제4 단계를 포함하여 구성되는 것을 특징으로 하는 연속된 촬영 영상에서의 궤적 기반 얼굴 분류 방법이 제공된다.
또한, 상기 제1 단계에서 얼굴 분류장치는 인물ID에 대해 인물의 이름과 연락처를 포함하는 인물 속성정보와, 서로 다른 각도에서 촬영된 다수의 얼굴 이미지정보를 포함하는 인물정보를 데이터 베이스에 등록함과 더불어, 상기 인물정보 저장부에 저장된 다수의 얼굴 이미지를 이용하여 얼굴 모델을 생성한 후 그룹 ID를 부여하여 그룹정보로 데이터 베이스에 등록하는 것을 특징으로 하는 연속된 촬영 영상에서의 궤적 기반 얼굴 분류 방법이 제공된다.
또한, 상기 제3 단계에서 얼굴 분류장치는 현재 프레임과 이전 프레임을 비교하여 객체에 대한 궤적을 추적하고, 해당 궤적이 존재하는 각 영상프레임에서 추출된 얼굴 이미지를 포함하는 객체 정보를 해당 궤적 레코드에 저장하는 것을 특징으로 하는 연속된 촬영 영상에서의 궤적 기반 얼굴 분류 방법이 제공된다.
또한, 상기 제4 단계에서 얼굴 분류장치는 궤적 레코드에 저장된 각 얼굴 이미지와 기 등록된 인물 모델을 비교하여 유사도를 산출하고, 하나의 궤적 레코드에 저장된 모든 얼굴 이미지는 최고의 유사도를 갖는 얼굴 모델에 해당하는 것으로 분류하는 것을 특징으로 하는 연속된 촬영 영상에서의 궤적 기반 얼굴 분류 방법이 제공된다.
또한, 상기 얼굴 분류장치는 최고의 유사도가 기 설정된 임계치 이상인 경우에는 해당 궤적 레코드의 얼굴 이미지를 이용하여 해당 얼굴 모델을 갱신하는 것을 특징으로 하는 연속된 촬영 영상에서의 궤적 기반 얼굴 분류 방법이 제공된다.
또한, 상기 얼굴 분류장치는 최고의 유사도가 기 설정된 임계치 미만인 경우에는 해당 얼굴 이미지를 이용하여 새로운 얼굴모델을 생성하고, 이를 데이터베이스에 추가 등록하는 것을 특징으로 하는 연속된 촬영 영상에서의 궤적 기반 얼굴 분류 방법이 제공된다.
또한, 상기 얼굴 분류장치는 인물 분류처리된 궤적 레코드에 대하여 객체별 시간과 객체 영역정보를 포함하는 궤적정보를 순차로 저장함으로써, 인물에 대한 이동정보를 데이터베이스화하는 제5 단계를 추가로 포함하여 구성되는 것을 특징으로 하는 연속된 촬영 영상에서의 궤적 기반 얼굴 분류 방법이 제공된다.
또한, 상기 제5 단계에서 얼굴 분류장치는 제4 단계에서 기 등록된 얼굴 모델이 존재하는 궤적 레코드에 대해서는 이동정보 데이터베이스에서 기 등록된 객체 ID를 검색하여 해당 궤적정보를 추가 저장하고, 상기 제4 단계에서 기 등록된 얼굴 모델이 존재하지 않는 경우에는 해당 객체 ID에 대하여 새로운 이동정보 레코드를 생성하여 해당 궤적정보를 저장하는 것을 특징으로 하는 연속된 촬영 영상에서의 궤적 기반 얼굴 분류 방법이 제공된다.
본 발명에 의하면, 영상프레임 단위로 얼굴 분류 처리를 수행하는 기존 기술에 비해서 객체 궤적 관리와 얼굴 인식 기술을 접목하여 동일한 궤적을 갖는 인물의 서로 다른 다양한 얼굴을 한 인물의 얼굴로 자동 인식함으로써, 보다 신속하고 정확한 얼굴 분류가 가능하다.
또한, 인물별 다수의 영상프레임에 의해 생성되는 궤적을 관리하고, 궤적 단위로 얼굴 분류 알고리즘을 적용하여 인물을 분류하고, 이를 근거로 등록된 인물 모델 정보를 갱신함으로써, 인물 분류의 기준이 되는 얼굴모델을 다양화하여 얼굴 분류 알고리즘의 성능을 향상시킬 수 있을 뿐만 아니라 얼굴 분류의 정확도를 높일 수 있는 장점이 있다.
또한, 등록된 인물모델과 유사도가 낮은 얼굴데이터는 자동으로 새로운 인물로 등록함으로써, 용이하게 얼굴 분류를 위한 얼굴 모델을 등록할 수 있다.
또한, 인물별 궤적을 관리함으로써, 인물에 대한 이동정보를 실시간으로 데이타베이스화 하여 이를 이용하는 다양한 서비스 지원이 가능하다.
도1은 도1은 본 발명이 적용되는 연속된 촬영 영상에서의 궤적기반 얼굴 분류시스템의 개략적인 구성을 나타낸 도면.
도2는 도1에 도시된 얼굴 분류 장치(200)의 내부구성을 기능적으로 분리하여 나타낸 블록구성도.
도3은 도2에 도시된 데이터 베이스(270)의 저장 테이블 구성을 나타낸 도면.
도4는 도3에 도시된 각 저장부에 저장되는 레코드 포맷을 예시한 도면.
도5는 본 발명에 따른 연속된 촬영 영상에서의 궤적기반 얼굴 분류 방법을 설명하기 위한 도면.
도6은 도5에서 궤적 레코드에 궤적 정보를 저장하는 과정을 설명하기 위한 도면.
도7은 도5에서 얼굴 분류 처리 과정(S700)을 보다 상세히 설명하기 위한 도면.
도8은 도2에서 정보 관리부(260)를 통해 제공되는 사용자 인터페이스 화면을 예시한 도면.
본 발명에 기재된 실시예 및 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 표현하는 것은 아니므로, 본 발명의 권리범위는 본문에 설명된 실시예 및 도면에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도1은 본 발명이 적용되는 연속된 촬영 영상에서의 궤적기반 얼굴 분류시스템의 개략적인 구성을 나타낸 도면이다.
도1을 참조하면, 연속된 촬영 영상에서의 궤적기반 얼굴 분류시스템은 영상 획득 장치(100)와 얼굴 분류장치(200)로 구성된다.
영상 획득 장치(100)는 서로 다른 위치에 다수개가 설치될 수 있고, 얼굴 분류장치(200)는 각 영상획득장치(100)들로부터 인가되는 영상 프레임에서 인물의 얼굴과 그 궤적정보를 수집하고, 다수의 영상 프레임에서 추출된 하나의 궤적상에 존재하는 얼굴 영상은 동일 인물로 인식하여 인물에 대한 얼굴 분류 처리를 수행한다.
이러한 궤적기반 얼굴 분류시스템은 적어도 하나 이상의 영상 획득 장치를 구비하면서 영상 획득 장치로부터 획득된 영상으로부터 인물의 얼굴을 추출하여 인물를 분류하는 기능을 갖는 모든 서비스 시스템, 예컨대 출입관리시스템이나 보안시스템 등에 적용될 수 있다.
도2는 도1에 도시된 얼굴 분류장치(200)의 내부구성을 기능적으로 분리하여 나타낸 블록구성도이다.
도2를 참조하면, 얼굴 분류장치(200)는 영상 수집부(210)와 객체정보 추출부(220), 얼굴정보 추출부(230), 궤적정보 관리부(240), 얼굴분류 처리부(250), 정보 관리부(260) 및, 데이터 베이스(270)를 포함하여 구성된다.
영상 수집부(210)는 영상획득장치(100)로부터 프레임 단위의 영상 데이터를 수집한다.
객체정보 추출부(220)는 영상 프레임에서 인물 즉, 객체 영역을 설정하고, 해당 영역의 객체 이미지를 추출하여 데이터 베이스(270)에 저장한다. 이때, 객체정보 추출부(220)는 최소경계영역(MBR)으로 이루어지는 객체 영역을 설정하고, 이 객체 영역(MBR)정보와 객체 영역에 해당하는 인물 이미지를 객체정보로 저장한다.
얼굴정보 추출부(230)는 영상 프레임 단위로 추출된 객체 정보(인물 이미지)에서 얼굴 영역을 추출하고, 추출된 얼굴 이미지를 데이터 베이스(270)에 저장한다.
궤적정보 관리부(240)는 영상프레임에 나타난 새로운 인물에 대해 궤적 ID를 부여함과 더불어, 시간 간격을 두고 생성되는 궤적에 대한 이동 정보를 관리한다. 즉, 궤적정보 관리부(240)는 서로 다른 위치에 배치된 복수의 영상획득장치(100)에 대해 수집된 궤적정보 중 동일 객체에 대해 발생한 궤적을 추출하여 한 인물에 대한 궤적, 즉 이동정보로 저장함으로써, 인물에 대한 이동정보를 실시간 데이터베이스화한다.
인물분류 처리부(250)는 대상 인물에 대한 서로 다른 각도의 다양한 얼굴이미지를 이용하여 하나의 얼굴 모델을 생성하여 등록한다. 그리고, 인물분류 처리부(250)는 하나의 궤적에 대해 저장된 적어도 하나 이상의 얼굴 이미지를 동일 인물의 얼굴로 분류하고, 기등록된 얼굴 모델과 비교하여 그 유사도를 기반으로 기 등록된 얼굴 모델에 대한 갱신처리를 수행하거나, 또한 새로운 인물에 대한 얼굴모델을 새롭게 추가 등록한다. 이때, 얼굴 비교에 따른 분류 처리는 기 공지된 각종 얼굴 분류 알고리즘들을 적용할 수 있다.
정보 관리부(260)는 인물의 얼굴정보와 영상획득장치 정보를 포함한 얼굴분류처리를 위한 각종 정보를 데이터 베이스(270)에 저장함과 더불어, 데이터 베이스(270)에 저장된 데이터를 이용하여 특정 인물에 대한 이동 궤적을 분석하여 서비스한다.
데이터 베이스(270)는 얼굴 분류처리를 위한 각종 정보를 저장한다. 데이터 베이스(270)는 도3에 도시된 바와 같이, 인물정보 저장부(271)와, 그룹정보 저장부(272), 궤적정보 저장부(273), 얼굴정보 저장부(274), 이동정보 저장부(275), 영상획득장치정보 저장부(276) 및, 지도데이터 저장부(277)를 포함한다.
인물정보 저장부(271)는 얼굴정보를 포함하는 인물에 대한 정보를 저장한다. 인물정보는 도4 (A)에 도시된 바와 같이, 인물 ID별 인물 속성과 다수의 얼굴이미지를 포함하는 포맷의 인물 레코드들로 이루어진다. 여기서, 인물 속성은 해당 인물에 대한 이름, 주소, 연락처 등의 개인정보를 포함한다. 그리고, 얼굴이미지는 다양한 각도에서의 촬영된 해당 인물의 얼굴정보로서, 얼굴 이미지 목록 데이터(정면, 우측면, 좌측면 등)를 저장하여 관리하도록 한다.
그룹정보 저장부(272)는 하나의 인물에 대해 다양한 각도에서 촬영된 얼굴이미지를 이용하여 생성된 얼굴모델을 저장한다. 여기서, 그룹은 한 인물에 대한 다수의 인물 이미지 그룹을 의미하는 것으로, 그룹 정보는 도4 (B)에 도시된 바와 같이 그룹ID 별 얼굴 모델을 포함하는 포맷의 그룹 레코드들로 이루어진다.
궤적정보 저장부(273)는 영상 프레임에서 추출한 객체 정보를 포함하는 궤적정보를 저장한다. 궤적정보는 도4 (C)에 도시된 바와 같이, 궤적이 속하는 객체 ID, 궤적 ID, 시간 정보, 객체의 형태정보(MBR) 및 특정 시간에서의 객체의 얼굴 정보를 포함하는 포맷의 궤적 레코드들로 이루어진다. 이때, 객체 얼굴정보는 객체의 얼굴 이미지가 될 수 있다.
얼굴정보 저장부(274)는 객체영역에서 추출된 얼굴정보를 저장한다. 얼굴정보는 도4 (D)에 도시된 바와 같이 얼굴이 속하는 객체 ID와 얼굴을 표현하는 이미지 정보를 포함하는 포맷의 얼굴 레코드들로 이루어진다.
이동정보 저장부(275)는 객체에 대한 이동 정보를 저장한다. 이동정보는 도4 (E)에 도시된 바와 같이 객체 ID별 시간과 MBR을 포함하는 궤적정보(a)를 포함하는 포맷의 이동 레코드들로 이루어진다. 이때, 궤적정보는 시간차를 두고 발생되는 다수의 궤적에 대해 시간 순서로 연속하여 배치되어 저장된다. 예컨대, 객체 ID에 대해 제1 시간에 대한 제1 궤적정보와, 제2 시간에 대한 제2 궤적정보, 제3 시간에 대한 제3 궤적정보, … 의 형태로 저장된다. 이때, 궤적정보는 궤적ID를 추가로 포함할 수 있다.
영상획득장치정보 저장부(276)는 서로 다른 위치에 설치된 영상 획득 장치들에 대한 다양한 정보를 저장한다. 영상획득장치정보는 도4 (F)에 도시된 바와 같이, 장치ID별 설치 위치정보와 영상 수집 영역정보를 포함하는 포맷의 장치 레코드들로 이루어진다. 이는 다수의 타 영상 획득 장치(100)와 연동하여 객체별 궤적을 분석함으로써, 이동 정보를 획득하기 위해 각 장치에 대한 메타 정보를 관리하는 것이다.
지도정보 저장부(277)는 서비스 대상 영역을 포함하는 지도정보로서, 영상 획득 장치가 설치된 위치 정보와 연동된다.
여기서, 데이터 베이스(270)의 각 저장부에 저장되는 레코드 포맷은 반드시 도4와 동일한 것으로 한정하지는 않는다.
이어, 도5를 참조하여 본 발명에 따른 연속된 촬영 영상에서의 궤적기반 얼굴 분류시스템의 동작을 설명한다.
먼저, 적어도 하나 이상의 영상획득장치(100)가 서로 다른 위치에 설치되고, 얼굴 분류장치(200)는 서로 다른 위치에 설치된 각 영상획득장치(100)에 대한 위치정보와 영상촬영 영역정보를 포함하는 영상획득장치정보를 데이터 베이스(270)에 등록한다(S100). 이때, 영상획득장치(100)의 위치 정보와 영상 영역 정보는 지도 데이터 저장부(265)에서 관리하는 지도 데이터와 동일한 좌표계를 적용하여 저장된다.
또한, 얼굴 분류장치(200)는 얼굴 분류 서비스 제공을 위한 초기 얼굴 모델 등록을 위해 각 인물에 대한 서로 다른 각도에서 촬영된 다수의 얼굴 이미지를 수집하여 데이터베이스(270)에 저장함으로써, 인물 초기 데이터를 구축한다(S200). 이때, 얼굴 분류장치(200)는 각 얼굴에 대응하여 기본적으로 관리하여야 할 속성 데이터(예를 들어, 주민등록번호, 이름, 주소 등)를 얼굴정보로서 함께 등록한다.
이어, 얼굴 분류장치(200)는 하나의 인물에 대해 등록된 서로 다른 다수의 얼굴 이미지를 이용하여 각 인물별 얼굴 모델을 생성함과 더불어, 얼굴 모델에 대해 그룹ID를 부여하여 데이터 베이스(270)에 저장함으로써, 일물 초기 데이터에 대한 얼굴모델 등록처리를 수행한다(S300).
상기한 상태에서, 얼굴 분류장치(200)는 영상획득장치(100)로부터 수집된 영상 데이터가 수집하면, 수집된 영상 데이터에 대해 하기의 S400 내지 S900 단계를 수행함으로써, 일련의 얼굴 분류처리를 수행한다.
먼저, 얼굴 분류장치(200)는 영상획득장치(100)로부터 프레임 단위의 영상데이터 즉, 영상 프레임이 인가되면(S400), 현재 영상 프레임과 이전 영상 프레임을 비교하여 새로운 인물이 추가된 경우 새로운 궤적 ID를 부여함으로써, 새로운 객체 레코드를 생성함과 더불어, 이전 인물에 대해서는 해당 궤적레코드를 검색한다(S500). 이때, 새로운 객체 레코드에 대해 객체 ID는 미정의 상태로 저장된다.
또한, 얼굴 분류장치(200)는 영상프레임에 존재하는 인물을 포함하는 객체 영역 정보와, 객체 영역에 존재하는 얼굴 이미지를 포함하는 객체 얼굴정보를 추출하여 해당 인물에 대해 생성된 궤적 레코드에 저장 등록하되, 해당 인물이 존재하지 않는 영상프레임이 수신되는 경우 해당 궤적 레코드에 대한 정보의 등록을 종료함으로써, 하나의 궤적 레코드를 완성한다(S600). 즉, 이러한 객체정보는 궤적 ID에 대응하여 저장된다.
즉, 얼굴 분류장치(200)는 도6에 도시된 바와 같이 시간 ‘Ti’에서 새로운 인물이 영상에 포함되면 객체의 MBR 정보를 추출함과 더불어, MBR 내에서 인물의 얼굴에 해당되는 이미지 정보를 추출하고, 새로운 궤적 ID를 부여하여 객체 정보를 추가로 생성하여 저장한다.
이후, 얼굴 분류장치(200)는 연속된 프레임(Ti+1, Ti+2)에 포함된 동일한 객체에 대해 동일 궤적ID에 대응하여 시간정보와 객체형태정보(MBR) 및 객체 얼굴정보를 순차로 저장한다. 즉, 얼굴 분류장치(200)는 현재 영상프레임과 이전 영상프레임을 비교하여 객체에 대한 궤적을 추적하고, 해당 궤적이 존재하는 각 영상프레임에서 추출된 얼굴 이미지를 포함하는 객체 정보를 해당 궤적 레코드에 순차 저장한다.
그리고, Ti+3에서 해당 객체가 사라지면 해당 객체에 대한 궤적 관리가 종료됨으로써, 하나의 궤적 레코드가 완성되는 것이다. 이때, 하나의 궤적ID에 대해서는 다수의 영상프레임에 포함된 각 얼굴 이미지가 저장되고, 각 영상프레임에서 추출된 얼굴 이미지는 서로 다른 각도의 얼굴 이미지가 된다.
그리고, 얼굴 분류장치(200)는 궤적 관리가 종료되는 시점에 해당 객체 즉, 해당 인물에 대한 일련의 얼굴 분류 처리를 수행한다(S700). 즉, 얼굴 분류장치(200)는 정보 등록이 완료된 궤적 레코드에 포함된 각 얼굴 이미지를 한 인물에 대한 얼굴 이미지로 인식하여 데이터베이스(270)에 기 등록된 인물 모델과 비교함으로써, 다수의 영상 프레임에 존재하는 동일 인물에 대한 얼굴을 일시에 분류한다.
얼굴 분류처리 과정은 도7에 도시된 바와 같다.
먼저, 얼굴 분류장치(200)는 현재 구축한 하나의 궤적에 포함된 다수의 얼굴 이미지를 데이터베이스(200)에 등록된 개별 인물 모델 정보와 각각 비교하여 그 유사도를 산출한다(S710).
그리고, 얼굴 분류장치(200)는 해당 궤적 레코드에 저장된 모든 얼굴 이미지가 최고의 유사도를 갖는 얼굴 모델에 해당하는 것으로 분류한다(S720). 즉, 궤적에 포함된 N개의 얼굴 이미지에 대해서 현재 학습된 얼굴 모델의 개수가 M개일 때, 해당 궤적의 얼굴은 N개의 이미지와 M개 얼굴 모델과의 유사도를 계산하여 N개의 유사도 가운데 가장 높은 유사도를 갖는 얼굴모델에 속하는 것으로 판단한다.
이때, 얼굴 분류장치(200)는 해당 얼굴 이미지와 상기 S720 단계에서 판별된 특정 얼굴 모델간 유사도와 기 설정된 임계치를 비교한다(S730).
상기 S730 단계에서 얼굴 이미지에 대한 해당 그룹과의 유사도가 기 설정된 임계치 이상인 경우, 얼굴 분류장치(200)는 해당 궤적 레코드의 얼굴 이미지를 해당 그룹의 얼굴 모델에 적용함으로써, 해당 그룹의 얼굴 모델을 갱신한다(S740).
즉, 얼굴 분류장치(200)는 해당 궤적을 갖는 인물이 이전에 학습된 특정 그룹에 속하는 것으로 판단하여 해당 그룹에 대한 학습 모델 정보를 갱신하고, 해당 궤적에 대해 미정 상태로 저장된 객체 ID는 해당 그룹 ID로 설정한다.
한편, 상기 S730 단계에서 얼굴 이미지에 대한 해당 그룹과의 그룹 유사도가 기 설정된 임계치 미만인 경우에는 해당 궤적의 인물이 미리 학습된 특정 그룹에 속하지 않는 것으로 판단하여 새로운 그룹 정보를 추가 생성하고, 이를 데이터베이스(270)에 등록한다(S750).
상기 S750 단계에서 얼굴 분류장치(200)는 해당 궤적에 포함된 다수의 얼굴의 이미지들을 이용하여 얼굴 모델을 생성하고, 새로운 그룹 ID를 부여하여 데이터 베이스(270)에 그룹 정보를 추가한다.
그리고, 해당 궤적 레코드에서 미정 상태로 저장된 객체 ID는 해당 그룹 ID로 설정하여 궤적 레코드를 최종적으로 완성한다.
여기서, 얼굴 분류장치(200)는 도7의 과정을 통해 재구축된 얼굴 모델에 대해서 재학습 과정을 수행할 수 있다.
그리고, 인물의 얼굴 이미지 기반으로 인물을 분류하는 경우, 필연적으로 오류가 발생할 수 있음을 고려하여, 본 발명에서는 정보 관리부(260)를 통해 오류가 발생한 객체들에 대해서 편집할 수 있도록 한다.
예컨대, 정보 관리부(260)를 통해 도8에 도시된 바와 같은 사용자 인터페이스를 제공할 수 있으며, 도8에서 인물정보 출력부(261)는 인물을 쉽게 구분할 수 있는 이름 등을 출력하고, 인물 얼굴정보 출력부(262)는 인물정보 출력부(261)에서 선택한 인물에 대한 얼굴 이미지를 thumbnail 이미지 형태로 출력할 수 있다.
이를 통해 관리자는 인물 얼굴정보 출력부(262)를 통해 표시 출력되는 이미지 목록을 육안으로 확인하여 오류가 발생한 이미지를 수정할 수 있다. 이때, 인물 정보 출력부(261)에 등록된 인물의 얼굴이 잘못 분류된 경우에는 해당 얼굴 이미지를 클릭하여 드래그 앤 드랍 방식으로 이동할 수 있으며, 등록되지 않은 인물의 얼굴 이미지에 대해서는 새로운 인물 정보를 등록한 후, 드래그 앤 드랍 방식으로 이동하여 얼굴 이미지를 등록할 수 있다. 이와 같이 오류를 수정한 후에 정보 관리부(260)는 모델 데이터를 다시 재학습함으로써, 그룹 정보를 다시 구축한다.
다시 도5를 참조하면, 상술한 바와 같이 얼굴 분류 처리가 완료된 상태에서 얼굴 분류장치(200)는 새로 생성된 궤적에 대해서 해당 객체에 대응되는 이동정보를 갱신함으로써, 이동정보를 데이터베이스화한다(S800).
즉, 얼굴 분류장치(200)는 해당 궤적이 기 구축된 그룹에 속하는 경우에는 해당 객체에 대한 이동 DB정보가 존재하는 경우로, 이동정보 레코드에 해당 객체ID에 대해 저장된 시간정보와 객체형태정보를 포함하는 궤적정보(도4의 (C)참조)를 시간순서로 추가한다. 그리고, 해당 궤적이 기 구축된 그룹에 속하지 않는 경우에는 이동정보 저장부(255)에 새로운 이동정보 레코드를 생성하여 추가한다.
이에 따라 동시 다발적으로 입력되는 영상으로부터 추출된 인물들을 구분하여 인물별 이동정보를 실시간으로 DB화 할 수 있으며, 정보 관리부(260)는 이러한 인물별 이동정보 DB를 분석하여 인물의 이동에 관련된 다양한 분석 정보를 서비스할 수 있다.
100 : 영상획득장치, 200 : 얼굴 분류 장치,
210 : 영상 수집부, 220 : 객체정보 추출부,
230 : 얼굴정보 추출부, 240 : 궤적정보 관리부,
250 : 얼굴분류 처리부, 260 : 정보 관리부,
270 : 데이터 베이스.

Claims (8)

  1. 일정 영역에 대한 영상 프레임을 연속적으로 획득하여 출력하는 적어도 하나 이상의 영상획득장치로부터 영상 프레임을 수집하고, 영상 프레임에서 얼굴 이미지를 추출하여 인물을 분류하는 얼굴 분류장치를 포함하여 구성되는 연속된 촬영 영상에서의 궤적 기반 얼굴분류 방법에 있어서,
    얼굴 분류장치에서 인물별 서로 다른 각도의 얼굴 이미지를 이용하여 인물 모델을 생성하고 이를 데이터 베이스에 등록하는 제1 단계와,
    얼굴 분류장치에서 영상프레임에 최초로 추출된 인물에 대응하여 궤적 레코드를 추가 생성하는 제2 단계,
    얼굴 분류장치에서 영상프레임에 존재하는 인물을 포함하는 객체 영역 정보와, 객체 영역에 존재하는 얼굴 이미지를 포함하는 객체 얼굴정보를 추출하여 해당 인물에 대해 생성된 궤적 레코드에 저장 등록하되, 해당 인물이 존재하지 않는 영상프레임이 수신되는 경우 해당 궤적 레코드에 대한 정보의 등록을 완료하는 제3 단계 및,
    얼굴 분류장치에서 정보 등록이 완료된 궤적 레코드에 포함된 각 얼굴 이미지를 한 인물에 대한 얼굴 이미지로 인식하여 데이터베이스에 기 등록된 인물 모델과 비교함으로써, 다수의 영상 프레임에 존재하는 동일 인물에 대한 얼굴을 일시에 분류하는 제4 단계를 포함하여 구성되는 것을 특징으로 하는 연속된 촬영 영상에서의 궤적 기반 얼굴 분류 방법.
  2. 제1항에 있어서,
    상기 제1 단계에서 얼굴 분류장치는 인물ID에 대해 인물의 이름과 연락처를 포함하는 인물 속성정보와, 서로 다른 각도에서 촬영된 다수의 얼굴 이미지정보를 포함하는 인물정보를 데이터 베이스에 등록함과 더불어, 상기 인물정보 저장부에 저장된 다수의 얼굴 이미지를 이용하여 얼굴 모델을 생성한 후 그룹 ID를 부여하여 그룹정보로 데이터 베이스에 등록하는 것을 특징으로 하는 연속된 촬영 영상에서의 궤적 기반 얼굴 분류 방법.
  3. 제1항에 있어서,
    상기 제3 단계에서 얼굴 분류장치는 현재 프레임과 이전 프레임을 비교하여 객체에 대한 궤적을 추적하고, 해당 궤적이 존재하는 각 영상프레임에서 추출된 얼굴 이미지를 포함하는 객체 정보를 해당 궤적 레코드에 저장하는 것을 특징으로 하는 연속된 촬영 영상에서의 궤적 기반 얼굴 분류 방법.
  4. 제1항에 있어서,
    상기 제4 단계에서 얼굴 분류장치는 궤적 레코드에 저장된 각 얼굴 이미지와 기 등록된 인물 모델을 비교하여 유사도를 산출하고, 하나의 궤적 레코드에 저장된 모든 얼굴 이미지는 최고의 유사도를 갖는 얼굴 모델에 해당하는 것으로 분류하는 것을 특징으로 하는 연속된 촬영 영상에서의 궤적 기반 얼굴 분류 방법.
  5. 제4항에 있어서,
    상기 얼굴 분류장치는 최고의 유사도가 기 설정된 임계치 이상인 경우에는 해당 궤적 레코드의 얼굴 이미지를 이용하여 해당 얼굴 모델을 갱신하는 것을 특징으로 하는 연속된 촬영 영상에서의 궤적 기반 얼굴 분류 방법.
  6. 제4항 또는 제5항에 있어서,
    상기 얼굴 분류장치는 최고의 유사도가 기 설정된 임계치 미만인 경우에는 해당 얼굴 이미지를 이용하여 새로운 얼굴모델을 생성하고, 이를 데이터베이스에 추가 등록하는 것을 특징으로 하는 연속된 촬영 영상에서의 궤적 기반 얼굴 분류 방법.
  7. 제1항에 있어서,
    상기 얼굴 분류장치는 인물 분류처리된 궤적 레코드에 대하여 객체별 시간과 객체 영역정보를 포함하는 궤적정보를 순차로 저장함으로써, 인물에 대한 이동정보를 데이터베이스화하는 제5 단계를 추가로 포함하여 구성되는 것을 특징으로 하는 연속된 촬영 영상에서의 궤적 기반 얼굴 분류 방법.
  8. 제7항에 있어서,
    상기 제5 단계에서 얼굴 분류장치는 제4 단계에서 기 등록된 얼굴 모델이 존재하는 궤적 레코드에 대해서는 이동정보 데이터베이스에서 기 등록된 객체 ID를 검색하여 해당 궤적정보를 추가 저장하고, 상기 제4 단계에서 기 등록된 얼굴 모델이 존재하지 않는 경우에는 해당 객체 ID에 대하여 새로운 이동정보 레코드를 생성하여 해당 궤적정보를 저장하는 것을 특징으로 하는 연속된 촬영 영상에서의 궤적 기반 얼굴 분류 방법.
KR1020180146146A 2018-11-23 2018-11-23 연속된 촬영 영상에서의 궤적기반 얼굴 분류 방법 KR20200060942A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180146146A KR20200060942A (ko) 2018-11-23 2018-11-23 연속된 촬영 영상에서의 궤적기반 얼굴 분류 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180146146A KR20200060942A (ko) 2018-11-23 2018-11-23 연속된 촬영 영상에서의 궤적기반 얼굴 분류 방법

Publications (1)

Publication Number Publication Date
KR20200060942A true KR20200060942A (ko) 2020-06-02

Family

ID=71090561

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180146146A KR20200060942A (ko) 2018-11-23 2018-11-23 연속된 촬영 영상에서의 궤적기반 얼굴 분류 방법

Country Status (1)

Country Link
KR (1) KR20200060942A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022114895A1 (ko) * 2020-11-27 2022-06-02 주식회사 지미션 영상 정보를 활용한 맞춤형 컨텐츠 서비스 제공 시스템 및 방법
CN114579780A (zh) * 2022-03-04 2022-06-03 浪潮软件集团有限公司 国产cpu及操作系统下人员活动轨迹查询方法及系统
KR102543833B1 (ko) * 2022-03-14 2023-06-20 주식회사 바른이엔씨 인공 지능 학습에 기초한 객체 검출 방법 및 그 장치
CN116662598A (zh) * 2023-07-27 2023-08-29 北京全景智联科技有限公司 基于矢量索引的人物画像信息管理方法及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170123950A1 (en) 2015-11-02 2017-05-04 Microsoft Technology Licensing, Llc Non-monotonic eventual convergence for desired state configuration

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170123950A1 (en) 2015-11-02 2017-05-04 Microsoft Technology Licensing, Llc Non-monotonic eventual convergence for desired state configuration

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022114895A1 (ko) * 2020-11-27 2022-06-02 주식회사 지미션 영상 정보를 활용한 맞춤형 컨텐츠 서비스 제공 시스템 및 방법
CN114579780A (zh) * 2022-03-04 2022-06-03 浪潮软件集团有限公司 国产cpu及操作系统下人员活动轨迹查询方法及系统
KR102543833B1 (ko) * 2022-03-14 2023-06-20 주식회사 바른이엔씨 인공 지능 학습에 기초한 객체 검출 방법 및 그 장치
CN116662598A (zh) * 2023-07-27 2023-08-29 北京全景智联科技有限公司 基于矢量索引的人物画像信息管理方法及电子设备
CN116662598B (zh) * 2023-07-27 2023-09-26 北京全景智联科技有限公司 基于矢量索引的人物画像信息管理方法及电子设备

Similar Documents

Publication Publication Date Title
WO2021017606A1 (zh) 视频处理方法、装置、电子设备及存储介质
JP3469031B2 (ja) 顔画像登録装置及びその方法
KR20200060942A (ko) 연속된 촬영 영상에서의 궤적기반 얼굴 분류 방법
JP5792320B2 (ja) 顔登録の方法
CN107230267B (zh) 基于人脸识别算法的幼儿园智能签到方法
CN109948447B (zh) 基于视频图像识别的人物网络关系发现及演化呈现方法
CN109766840A (zh) 人脸表情识别方法、装置、终端及存储介质
CN112364827B (zh) 人脸识别方法、装置、计算机设备和存储介质
US20190147218A1 (en) User specific classifiers for biometric liveness detection
JP7136500B2 (ja) ノイズチャネルに基づくランダム遮蔽回復の歩行者再識別方法
Haji et al. Real time face recognition system (RTFRS)
KR20190093799A (ko) Cctv를 통한 실시간 실종자 얼굴 인식 시스템 및 그 방법
CN108937407A (zh) 一种智能镜子化妆指导方法及系统
JPWO2020136795A1 (ja) 情報処理装置、情報処理方法、およびプログラム
Sapkota et al. Large scale unconstrained open set face database
CN113269903A (zh) 人脸识别课堂考勤系统
CN115497124A (zh) 身份识别方法和装置及存储介质
CN115862113A (zh) 陌生人异常识别方法、装置、设备及存储介质
CN111666976A (zh) 基于属性信息的特征融合方法、装置和存储介质
CN109345427B (zh) 一种结合人脸识别和行人识别技术的教室视频点到方法
WO2022033068A1 (zh) 一种图像管理的方法、装置、终端设备和系统
CN111767880B (zh) 一种基于脸部特征的活体身份识别方法、装置和存储介质
Nahar et al. Twins and Similar Faces Recognition Using Geometric and Photometric Features with Transfer Learning
TW202125323A (zh) 利用人工智慧模組學習臉部辨識的處理方法
Rosy et al. An enhanced intelligent attendance management system for smart campus

Legal Events

Date Code Title Description
E601 Decision to refuse application