KR102356165B1 - 영상에서의 얼굴 인덱싱 방법 및 장치 - Google Patents

영상에서의 얼굴 인덱싱 방법 및 장치 Download PDF

Info

Publication number
KR102356165B1
KR102356165B1 KR1020190077534A KR20190077534A KR102356165B1 KR 102356165 B1 KR102356165 B1 KR 102356165B1 KR 1020190077534 A KR1020190077534 A KR 1020190077534A KR 20190077534 A KR20190077534 A KR 20190077534A KR 102356165 B1 KR102356165 B1 KR 102356165B1
Authority
KR
South Korea
Prior art keywords
face
identification
image
information
identified
Prior art date
Application number
KR1020190077534A
Other languages
English (en)
Other versions
KR20210001438A (ko
Inventor
최연준
Original Assignee
주식회사 쓰임기술
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 쓰임기술 filed Critical 주식회사 쓰임기술
Priority to KR1020190077534A priority Critical patent/KR102356165B1/ko
Publication of KR20210001438A publication Critical patent/KR20210001438A/ko
Application granted granted Critical
Publication of KR102356165B1 publication Critical patent/KR102356165B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 영상에서 얼굴을 인덱싱하는 방법 및 장치에 관한 것으로, 영상에 포함된 적어도 하나의 얼굴에 대한 정보를 이용하여 사람의 동선을 파악 및 예측할 수 있다. 이를 달성하기 위한 본 발명은 서버가 영상에서 얼굴을 인덱싱하는 방법에 있어서, 하나 이상의 카메라를 통해 촬영된 영상을 수신하고, 상기 영상에 대한 영상 식별 ID를 설정하는 단계, 상기 영상에서 눈, 코, 입을 포함하는 얼굴 특징 벡터를 검출하여 적어도 하나의 제1 얼굴을 식별하는 단계, 상기 제1 얼굴에 제1 식별 ID를 부여하고, 상기 제1 식별 ID를 이용하여 제1 얼굴 정보를 생성하여 데이터베이스에 저장하는 단계 및 사용자로부터 제2 식별 ID의 입력이 수신되면, 상기 데이터베이스에서 상기 제2 식별 ID와 대응되는 제4 식별 ID를 식별하여 상기 제4 식별 ID에 대응되는 제4 얼굴 정보를 표시하는 단계, 상기 제4 얼굴 정보에 포함된 영상 식별 ID 및 시간 정보를 기반으로 이동 경로를 파악 및 다음 경로를 예측하여 지도에 표시하는 단계를 포함하는 것을 특징으로 한다.

Description

영상에서의 얼굴 인덱싱 방법 및 장치{METHOD AND DEVICE FOR INDEXING FACES INCLUDED IN VIDEO}
본 발명은 영상에 포함된 얼굴을 인덱싱하는 방법 및 장치에 관한 것으로, 보다 자세하게는 사람의 이동 경로를 파악 및 예측하기 위하여 영상에 포함된 얼굴을 인덱싱하는 방법 및 장치에 관한 것이다.
최근 영상 처리 기술이 발달함에 따라 CCTV와 같은 카메라에서 촬영된 영상을 이용하여 수배자, 용의자 또는 실종자를 찾는 등 사람을 추적하는 기술이 등장하는 등 CCTV의 활용도가 높아지고 있다. 이에 따라 실시간 인프라 구축을 위해 대규모의 지역에 설치된 CCTV의 화면을 한 데 모아서 관리하는 통합관제센터가 확대 설치되고 있다.
통합관제센터는 CCTV 영상이 수신되면 각 영상을 화면에 표시하여 관제인원이 이를 모니터링하는데, 특정 인물을 추적할 경우 관제인원은 인근의 CCTV를 수동으로 원격 제어하거나 특정 인물이 나타날 것으로 예측되는 CCTV 영상을 계속적으로 모니터링하게 된다. 즉 종래의 관제인원이 수동으로 CCTV 영상을 모니터링하는 방법은 신속성과 정확성에 한계가 존재한다.
본 발명은 전술한 문제점을 해결하기 위한 것으로서, 영상에 포함된 얼굴을 인덱싱하여 사용자가 특정 얼굴에 대한 검색, 추적 및 감시 등을 용이하게 할 수 있도록 하는 것을 일 목적으로 한다.
또한 본 발명은 실시간으로 얼굴을 인덱싱하여 사용자에게 특정 얼굴이 식별된 시간 및 장소 등에 대한 정보를 신속하게 제공하는 것을 일 목적으로 한다.
또한 본 발명은 사용자로부터 특정 얼굴에 대한 입력을 수신하면 해당 특정 얼굴에 대한 얼굴 정보를 제공함으로써 사용자가 특정 얼굴의 이동 경로를 파악할 수 있게 하는 것을 일 목적으로 한다.
이러한 목적을 달성하기 위한 본 발명은 서버가 영상에서 얼굴을 인덱싱하는 방법에 있어서, 하나 이상의 카메라를 통해 촬영된 영상을 수신하는 단계, 상기 영상에서 눈, 코, 입을 포함하는 얼굴 특징 벡터를 검출하여 적어도 하나의 제1 얼굴을 식별하는 단계, 상기 제1 얼굴에 제1 식별 ID를 부여하고, 상기 제1 식별 ID를 이용하여 제1 얼굴 정보를 생성하여 데이터베이스에 저장하는 단계, 사용자로부터 제2 식별 ID의 입력이 수신되면, 상기 데이터베이스에서 상기 제2 식별 ID와 대응되는 제4 식별 ID를 식별하여 상기 제4 식별 ID에 대응되는 제4 얼굴 정보를 표시하는 단계 및 상기 제4 얼굴 정보에 포함된 영상 식별 ID 및 시간 정보를 기반으로 이동 경로를 파악 및 다음 경로를 예측하여 지도에 표시하는 단계를 포함하는 것을 일 특징으로 한다.
또한 본 발명은 하나 이상의 카메라를 통해 촬영된 영상을 수신하고, 상기 영상에 대한 영상 식별 ID를 설정하는 영상 수신부, 상기 영상에서 눈, 코, 입을 포함하는 얼굴 특징 벡터를 검출하여 적어도 하나의 제1 얼굴을 식별하고, 상기 제1 얼굴에 제1 식별 ID를 부여하고, 상기 제1 식별 ID를 이용하여 제1 얼굴 정보를 생성하여 데이터베이스에 저장하는 데이터 생성부, 사용자로부터 제2 식별 ID의 입력이 수신되면, 상기 데이터베이스에서 상기 제2 식별 ID와 대응되는 제4 식별 ID를 식별하고, 상기 제4 식별 ID에 대응되는 제4 얼굴 정보 및 상기 제4 얼굴 정보에 포함된 영상 식별 ID 및 시간 정보를 기반으로 이동 경로를 파악 및 다음 경로를 예측하여 상기 이동 경로 및 다음 경로가 표시된 지도를 디스플레이부에 표시하는 제어부를 포함하는 것을 일 특징으로 한다.
전술한 바와 같은 본 발명에 의하면, 영상에 포함된 얼굴을 인덱싱하여 사용자가 특정 얼굴에 대한 검색, 추적 및 감시 등을 용이하게 할 수 있다.
또한 본 발명은 실시간으로 얼굴을 인덱싱하여 사용자에게 특정 얼굴이 식별된 시간 및 장소 등에 대한 정보를 신속하게 제공할 수 있다.
또한 본 발명은 사용자로부터 특정 얼굴에 대한 입력을 수신하면 해당 특정 얼굴에 대한 얼굴 정보를 제공함으로써 사용자가 특정 얼굴의 이동 경로를 파악하게 할 수 있다.
도 1은 본 발명의 일 실시 예에 의한 영상의 얼굴 인덱싱 장치의 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시 예에 의한 영상의 얼굴 인덱싱 방법을 설명하기 위한 도면이다.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다.
도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용되며, 명세서 및 특허청구의 범위에 기재된 모든 조합은 임의의 방식으로 조합될 수 있다. 그리고 다른 식으로 규정하지 않는 한, 단수에 대한 언급은 하나 이상을 포함할 수 있고, 단수 표현에 대한 언급은 또한 복수 표현을 포함할 수 있음이 이해되어야 한다.
본 명세서에서 사용되는 용어는 단지 특정 예시적 실시 예들을 설명할 목적을 가지고 있으며 한정할 의도로 사용되는 것이 아니다. 본 명세서에서 사용된 바와 같은 단수적 표현들은 또한, 해당 문장에서 명확하게 달리 표시하지 않는 한, 복수의 의미를 포함하도록 의도될 수 있다. 용어 "및/또는," "그리고/또는"은 그 관련되어 나열되는 항목들의 모든 조합들 및 어느 하나를 포함한다. 용어 "포함한다", "포함하는", "포함하고 있는", "구비하는", "갖는", "가지고 있는" 등은 내포적 의미를 갖는 바, 이에 따라 이러한 용어들은 그 기재된 특징, 정수, 단계, 동작, 요소, 및/또는 컴포넌트를 특정하며, 하나 이상의 다른 특징, 정수, 단계, 동작, 요소, 컴포넌트, 및/또는 이들의 그룹의 존재 혹은 추가를 배제하지 않는다. 본 명세서에서 설명되는 방법의 단계들, 프로세스들, 동작들은, 구체적으로 그 수행 순서가 확정되는 경우가 아니라면, 이들의 수행을 논의된 혹은 예시된 그러한 특정 순서로 반드시 해야 하는 것으로 해석돼서는 안 된다. 추가적인 혹은 대안적인 단계들이 사용될 수 있음을 또한 이해해야 한다.
또한, 각각의 구성요소는 각각 하드웨어 프로세서로 구현될 수 있고, 위 구성요소들이 통합되어 하나의 하드웨어 프로세서로 구현될 수 있으며, 또는 위 구성요소들이 서로 조합되어 복수 개의 하드웨어 프로세서로 구현될 수도 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다.
본 발명은 영상에 포함된 얼굴을 인덱싱하는 방법 및 장치에 관한 것으로, 영상에 포함된 얼굴을 인덱싱하여 얼굴이 포함된 영상 및 시간 정보를 제공하는 것을 일 목적으로 한다. 본 발명은 이러한 목적을 달성함과 동시에 얼굴이 포함된 영상 및 시간 정보를 제공함으로써 얼굴의 이동 경로 또한 제공할 수 있다.
본 발명의 얼굴 인덱싱 장치는 서버로 구현될 수 있는 바, 이하에서는 서버로 명명한다. 서버는 적어도 하나의 카메라로부터 촬영된 영상을 수신할 수 있는 데 통상적으로 영상을 촬영하는 카메라는 CCTV(폐쇄회로 텔레비전)일 수도 있고 차량 블랙박스, 길거리 광고에 사용되는 DID 패널 등일 수도 있다. 설명의 편의성을 위하여 본 발명의 카메라는 CCTV인 것으로 가정한다. 본 발명은 특정 건축물이나 시설물, 도로 등에 설치된 CCTV로부터 영상을 수신하여 영상에 포함된 얼굴을 식별하여 얼굴 정보를 수집할 수 있다. 보다 구체적으로 서버는 영상 수신부(100), 데이터 생성부(200), 제어부(300), 그리고 디스플레이부(400)를 포함할 수 있다.
영상 수신부(100)는 적어도 하나의 CCTV에서 영상을 수신할 수 있다. 이 때 영상 수신부(100)는 기 설정된 주기에 한 번씩 영상을 수신할 수 있다. 또한 영상 수신부(100)는 CCTV에서 자동으로 영상을 수신할 뿐 아니라 사용자로부터 영상을 더 수신할 수 있다. 예를 들어 영상 수신부(100)는 사용자로부터 차량 블랙박스에서 촬영된 영상을 수신할 수 있다. 영상 수신부(100)는 수신된 영상 각각에 대한 식별 ID를 설정할 수 있다. 영상 식별 ID는 영상을 촬영한 기기의 식별 정보를 더 포함하여 영상이 어떤 기기로부터 촬영되었는지를 판단할 수 있게 한다. 또한 영상 식별 ID는 영상이 촬영된 기기의 위치 정보를 더 포함할 수도 있다.
데이터 생성부(200)는 영상 수신부(100)가 수신한 영상에서 눈, 코, 입을 포함하는 얼굴 특징 벡터를 검출하여 적어도 하나의 제1 얼굴을 식별하여, 제1 얼굴에 대한 제1 얼굴 정보를 생성할 수 있다. 데이터 생성부(200)는 영상에 포함된 하나 이상의 프레임에 각각 포함된 제1 얼굴을 식별하기 위하여 이하의 과정을 프레임 단위로 수행할 수 있다. 보다 구체적으로 데이터 생성부(200)는 전처리부(210)와 얼굴 식별부(230), 얼굴 정보 생성부(250)를 포함할 수 있다.
전처리부(210)는 영상에 포함된 제1 얼굴을 식별하기 위하여 전처리를 수행할 수 있다. 전처리부(210)는 얼굴을 인식함에 있어서 색상 값은 유의미한 값이 아니기 때문에 처리 속도의 향상을 위하여 프레임을 회색조로 변환할 수 있다. 전처리부(210)는 변환된 프레임에 픽셀의 밝기 변화를 나타내는 그라디언트를 추출할 수 있다. 나아가 전처리부(210)는 크기가 큰 영상의 프레임에서 그라디언트를 추출하기 위하여 프레임을 일정 크기의 셀로 분할하고, 각 셀 별로 그라디언트를 추출하여 병합할 수도 있다.
얼굴 식별부(230)는 추출된 그라디언트에 얼굴 특징 벡터와 유사한 영역이 포함되어 있는 지를 판단할 수 있다. 이 때 사용되는 얼굴 특징 벡터는 눈썹, 눈, 코, 입, 얼굴 윤곽 등을 포함할 수 있다. 얼굴 식별부(230)는 제1 얼굴에 대한 랜드마크를 추출하여 얼굴 특징 벡터로 사용할 수 있다. 랜드마크는 얼굴에 대한 구체적인 정보를 포함하고 있으며, 눈썹, 눈, 코, 입, 턱, 귀, 얼굴 윤곽 등을 나타내는 총 68개의 특징 벡터로 구성되어 있다. 랜드마크는 얼굴에 포함된 모든 정보를 더 포함할 수 있는데, 눈썹 모양, 눈동자 색상, 표정, 피부색, 얼굴 각도 등이 그 예이다. 얼굴 식별부(230)는 그라디언트에 얼굴 특징 벡터와 유사한 영역이 존재하면 프레임에 제1 얼굴이 포함되어 있다고 판단할 수 있다.
얼굴 정보 생성부(250)는 프레임에 제1 얼굴이 포함되어 있다고 판단되면, 제1 얼굴에 식별 ID를 부여할 수 있다. 얼굴 정보 생성부(250)는 데이터베이스에서 제1 얼굴의 식별 ID에 대응되는 제3 얼굴을 검색할 수 있다. 얼굴 정보 생성부(250)는 데이터베이스에서 제3 얼굴이 검색되면 제3 얼굴 정보에 포함된 시간 정보를 확인하여 제1 얼굴이 식별된 시각과 비교하여 두 시간의 차이 값이 기 설정된 임계 값 이하이면 제1 얼굴에 대한 처리를 중단할 수 있다. 이는 영상에 포함된 제1 얼굴이 카메라의 촬영 영역에서 벗어나기 이전까지 중복으로 인식되는 것을 방지하기 위함이다.
얼굴 정보 생성부(250)는 데이터베이스에 제3 얼굴이 존재하고, 제3 얼굴 정보에 포함된 시간 정보와 제1 얼굴이 식별된 시각의 차이가 기 설정된 임계 값 이상이면, 제3 얼굴 정보에 포함된 측정 횟수를 증가시키고, 제1 얼굴이 식별된 영상 식별 ID, 검출 정보를 제3 얼굴 정보에 추가할 수 있다. 예를 들어 설명하면, 데이터베이스에 저장된 제3 얼굴 정보가 [제3 얼굴 이미지, ID00000003, 1]-[cctv_10284, 00:00:00.122, 00:00:07.870, 00:00:02.337, 1, center(20, 51), center(69, 54)]이고, 식별된 제1 얼굴의 식별 ID가 제3 얼굴 정보의 식별 ID와 동일하면, 얼굴 정보 생성부(250)는 [제3 얼굴 이미지, ID00000003, 2]-[[cctv_10284, 00:00:00.122, 00:00:07.870, 00:00:02.337, center(20, 51), center(30, 21)], [cctv_10285, 00:00:09.248, 00:00:17.154, 00:00:06.648, center(69, 54), center(42, 83)]]과 같이 제3 얼굴 정보에 제1 얼굴의 영상 식별 ID, 검출 정보를 추가할 수 있다. 이는 제1 얼굴과 동일한 얼굴이 이미 데이터베이스에 저장되어 있을 경우 기 저장된 얼굴 정보에 제1 얼굴에 대한 정보를 추가함으로써 데이터의 중복 저장을 방지할 수 있게 한다.
얼굴 정보 생성부(250)는 데이터베이스에서 제3 얼굴이 식별되지 않으면 제1 얼굴에 대한 제1 얼굴 정보를 생성할 수 있다. 이 때 제1 얼굴 정보에는 얼굴 이미지, 얼굴 식별 ID, 식별 횟수와, 그에 따른 식별 좌표를 포함할 수 있다. 얼굴 이미지는 제1 얼굴이 처음 식별된 시점의 이미지이고, 시간 정보는 제1 얼굴이 처음 식별된 시점, 마지막으로 식별된 시점, 제1 얼굴이 식별된 총 시간을 포함할 수 있다. 횟수는 제1 얼굴이 식별된 횟수를, 좌표는 프레임에서 제1 얼굴 처음 식별된 지점과 마지막으로 식별된 시점의 좌표를 포함할 수 있다. 상술한 제3 얼굴 정보의 예시와 같이, 얼굴 정보 생성부(250)는 [제1 얼굴 이미지, ID00000009, 1]-[cctv_00372, 00:01:13.239, 00:20:46.612, 00:03:12.222, center(40, 29)]와 같은 제1 얼굴 정보를 생성할 수 있다.
얼굴 정보 생성부(250)는 제1 얼굴에 대한 제1 얼굴 정보를 생성하면 데이터베이스에 저장할 수 있다.
통신부(300)는 사용자로부터 제2 얼굴에 대한 검색 요청을 수신할 수 있다. 구체적으로 통신부(300)는 사용자로부터 제2 얼굴의 식별 ID에 대한 검색 요청을 수신하거나 제2 얼굴의 이미지에 대한 검색 요청을 수신할 수 있다.
제어부(400)는 사용자로부터 제2 얼굴에 대한 검색 요청을 수신하면 데이터베이스에서 제2 얼굴에 대응하는 얼굴 정보를 식별하여 제공할 수 있다.
먼저 제어부(400)는 사용자로부터 제2 얼굴의 식별 ID에 대한 검색 요청을 수신하면, 데이터베이스에서 제2 얼굴의 식별 ID와 대응되는 식별 ID를 검색하여 제4 얼굴을 식별할 수 있다. 또한 제어부(400)는 사용자로부터 제2 얼굴의 이미지에 대한 검색 요청을 수신하면, 제2 얼굴의 랜드마크를 추출하여 제2 얼굴에 대한 식별 ID를 부여하고, 데이터베이스에 제2 얼굴의 식별 ID와 대응되는 식별 ID를 검색하여 제4 얼굴을 식별할 수 있다. 또는 제어부(400)는 사용자로부터 제2 얼굴의 이미지에 대한 검색 요청을 수신하면 제2 얼굴의 랜드마크를 추출하여 데이터베이스에 저장된 얼굴 이미지와 비교하여 제4 얼굴을 식별할 수 있다.
제어부(400)는 식별된 제4 얼굴에 대한 제4 얼굴 정보를 디스플레이부(500)에 표시할 수 있다. 사용자는 디스플레이부(500)에 표시된 제4 얼굴 정보를 이용하여 관련된 영상을 찾아 제4 얼굴을 확인할 수 있다.
본 발명의 다른 실시 예에 의하면, 제어부(400)는 제4 얼굴 정보를 디스플레이부(500)에 표시함과 더불어 제2 얼굴에 대응하는 사람의 이동 경로를 파악 및 예측하여 사용자에게 제공할 수 있다. 제어부(400)는 제4 얼굴 정보에 포함된 영상 식별 ID와 시간 정보를 이용하여 이동 경로를 파악 및 예측할 수 있다.
보다 구체적으로 설명하면, 제어부(400)는 제4 얼굴 정보에 포함된 영상 식별 ID에 포함된 카메라의 위치 정보를 이용하여 제4 얼굴의 이동 경로를 파악할 수 있다. 제어부(400)는 제4 얼굴 정보에 포함된 적어도 하나의 영상 식별 ID의 카메라의 위치 정보를 지도에 마킹하여 사용자에게 제공할 수 있다. 제어부(400)는 제4 얼굴 정보의 로컬 시간 순으로 카메라의 위치 정보를 지도에 마킹하여 사용자가 제4 얼굴에 대응하는 사람의 이동 경로를 보다 직관적으로 판단할 수 있게 한다.
또한 제어부(400)는 제4 얼굴 정보에 포함된 영상 식별 ID에 대응하는 카메라의 위치 정보와 제4 얼굴 정보가 처음 식별된 시점, 그리고 마지막으로 식별된 시점의 좌표 정보를 이용하여 영상 내에서 식별된 제4 얼굴의 이동 방향 벡터를 생성할 수 있다. 제어부(400)는 방향 벡터의 방향을 제4 얼굴의 다음 경로라고 가정하고, 제4 얼굴 정보에 포함된 영상 식별 ID에 대응하는 카메라의 위치 정보에서 방향 벡터의 방향에 위치한 다른 카메라를 식별할 수 있다. 제어부(400)는 식별된 다른 카메라의 위치 정보를 제4 얼굴의 이동 경로를 표시한 지도에 이동 경로와 구별 가능하게 마킹할 수 있다. 나아가 제어부(400)는 식별된 다른 카메라의 영상과 영상 식별 ID, 위치 정보를 디스플레이부(500)에 표시하여 사용자에게 제4 얼굴의 다음 경로에 대한 정보를 제공할 수 있다.
또 다른 실시 예에 의하면, 제어부(400)는 영상에 포함된 제1 얼굴을 식별하는 과정의 진행 정도를 표시할 수 있다. 예를 들면 1분 29초의 영상에서 제1 얼굴을 식별할 때, 제어부(400)는 0분에 0.00%, 1분에 67.42%, 1분 29초에 100.00%와 같이 진행 정도를 퍼센티지로 표시하여 사용자가 진행 정도를 보다 직관적으로 파악할 수 있게 한다. 더 나아가 제어부(400)는 진행 정도 뿐만 아니라 영상에서 현재 시점까지 추출된 제1 얼굴의 수, 현재 시점까지 식별된 제1 얼굴의 수, 현재 시점까지 분석한 프레임 수, 경과 시간 및 남은 시간을 더 표시할 수 있다. 추출된 제1 얼굴의 수는 중복 여부를 반영한 수이고, 식별된 제1 얼굴의 수는 중복 여부를 반영하지 않은 수일 수 있다.
또한 제어부(400)는 영상에서 제1 얼굴을 식별하는 과정이 완료되면 제1 얼굴에 대한 식별 로그를 표시할 수 있다. 식별 로그는 영상에서 식별된 적어도 하나의 제1 얼굴에 대한 제1 얼굴 정보를 포함할 수 있다. 제어부(400)는 사용자로부터 식별 로그에 포함된 제1 얼굴 정보에 대한 선택 입력을 수신하면, 제1 얼굴이 식별된 시간 정보를 더 표시할 수 있다. 예를 들어 사용자가 영상에서 총 5회 식별된 ID00000012를 식별 ID로 하는 제1 얼굴 정보를 선택하면, 제어부(400)는 (Time[1], 00:00:11:313[00:00:01]), (Time[2], 00:02:56:463[00:00:00]), (Time[3], 00:03:08:022[00:00:01]), (Time[4], 00:05:06:443[00:00:17]), (Time[5], 00:05:31:283[00:00:00])와 같이 ID00000012를 식별 번호로 하는 제1 얼굴 정보에 포함된 시간 정보를 표시할 수 있다. 이 때 시간 정보는 HH:MM:SS[HH:MM:SS](얼굴이 처음 식별된 시간[얼굴이 식별된 총 시간])과 같은 형식으로 표시될 수 있다. 또한 제어부(400)는 사용자로부터 제1 얼굴이 식별된 시간 정보에 대한 선택 입력을 수신하면, 해당 시간의 영상을 재생하여 사용자가 영상에서 얼굴을 확인할 수 있게 한다.
본 발명의 또 다른 실시 예에 의하면, 제어부(400)는 사용자로부터 수배자, 실종자 등의 특정인의 제5 얼굴에 대한 이미지를 수신할 수 있다. 제어부(400)는 제5 얼굴에 대한 식별 ID를 생성하여 중요 얼굴 이미지로 설정할 수 있다. 제어부(400)는 하나 이상의 영상에서 제1 얼굴을 식별할 때마다 설정된 제1 얼굴의 식별 ID와 중요 얼굴 이미지의 식별 ID를 비교할 수 있다. 제1 얼굴의 식별 ID와 중요 얼굴 이미지의 식별 ID가 동일하면, 제1 얼굴이 식별된 영상 식별 ID, 로컬 시간을 이용하여 중요 얼굴 이미지, 특히 제5 얼굴에 대한 알림 정보를 생성할 수 있다. 또한 제어부(400)는 제5 얼굴이 식별된 영상 식별 ID에 대응하는 카메라의 위치 정보를 이용하여 제5 얼굴이 식별된 위치 정보를 지도에 표시할 수 있다.
이하에서는 도 2를 참조하여 영상에서 얼굴을 인덱싱하는 방법을 설명한다. 영상에서 얼굴을 인덱싱하는 방법에 관한 설명에서 전술한 얼굴 인덱싱 장치와 중복되는 세부 실시 예는 생략될 수 있다.
도 2는 본 발명의 일 실시 예에 의한 영상의 얼굴 인덱싱 방법을 설명하기 위한 도면이다. 도 2를 참조하면, 서버는 하나 이상의 카메라를 통해 촬영된 영상을 수신할 수 있다(S100). 이 때 서버는 카메라를 통해 촬영된 영상을 자동으로 수신할 수 있을 뿐 아니라 사용자로부터 특정 영상을 수신할 수도 있다.
서버는 수신한 영상에 포함된 제1 얼굴을 식별하기 위하여 전처리를 수행할 수 있다(S200). 서버는 영상에 포함된 하나 이상의 프레임에 각각 포함된 제1 얼굴을 식별하기 위하여 이하의 과정을 프레임 단위로 수행할 수 있다. 서버는 프레임을 회색조로 변환하고, 픽셀의 밝기 변화를 나타내는 그라디언트를 추출할 수 있다.
서버는 추출된 그라디언트에서 눈, 코, 입을 포함하는 얼굴 특징 벡터를 검출하여 적어도 하나의 제1 얼굴을 식별할 수 있다(S300). 이 때 사용되는 얼굴 특징 벡터는 눈썹, 눈, 코, 입, 얼굴 윤곽 등을 포함할 수 있다. 서버는 영상에서 제1 얼굴의 랜드마크를 추출하여 얼굴 특징 벡터로 사용할 수도 있다. 서버는 그라디언트에 얼굴 특징 벡터와 유사한 영역이 존재하면 프레임에 제1 얼굴이 포함되어 있다고 판단할 수 있다.
서버는 제1 얼굴에 제1 식별 ID를 부여하고, 제1 식별 ID를 이용하여 제1 얼굴 정보를 생성할 수 있다(S400). 서버는 프레임에 제1 얼굴이 포함되어 있다고 판단하면, 제1 얼굴에 식별 ID를 부여할 수 있다. 서버는 데이터베이스에 제1 얼굴의 식별 ID를 검색하여 제1 얼굴의 식별 ID에 대응되는 제3 얼굴을 검색할 수 있다. 서버는 데이터베이스에 제3 얼굴이 존재하면, 제3 얼굴 정보에 포함된 식별 시간 정보와 제1 얼굴이 식별된 시각을 비교하여 두 시간의 차이 값이 기 설정된 임계 값 이하이면 제1 얼굴에 대한 처리를 중단하고, 그렇지 않으면 제3 얼굴 정보에 포함된 횟수 정보를 증가시키고, 제3 얼굴 정보에 제1 얼굴이 식별된 영상 식별 ID와 검출 정보를 추가할 수 있다.
서버는 데이터베이스에서 제1 얼굴의 식별 ID와 일치하는 제3 얼굴이 식별되지 않으면 제1 얼굴에 대한 제1 얼굴 정보를 신규 생성할 수 있다. 제1 얼굴 정보는 제1 얼굴이 처음 식별된 시점의 이미지, 영상의 식별 ID, 식별 시간 정보, 식별 횟수 또는 식별 좌표 중 적어도 하나를 포함할 수 있다. 서버는 생성된 제1 얼굴 정보를 데이터베이스에 저장(S500)할 수 있다.
서버는 사용자로부터 제2 얼굴의 식별 ID 또는 얼굴 이미지에 대한 입력을 수신(S600)하면, 데이터베이스에서 제2 얼굴의 식별 ID 또는 얼굴 이미지에 부여한 식별 ID와 대응되는 제4 얼굴의 식별 ID를 검색(S610)하고, 제4 식별 ID에 대응되는 제4 얼굴 정보를 표시할 수 있다(S620).
본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

Claims (6)

  1. 서버가 영상에서 얼굴을 인덱싱하는 방법에 있어서,
    하나 이상의 카메라를 통해 촬영된 영상을 수신하고, 상기 영상에 대한 영상 식별 ID를 설정하는 단계;
    상기 영상에서 눈, 코, 입을 포함하는 얼굴 특징 벡터를 검출하여 적어도 하나의 제1 얼굴을 식별하는 단계;
    상기 제1 얼굴에 제1 식별 ID를 부여하고, 상기 제1 식별 ID를 이용하여 제1 얼굴 정보를 생성하여 데이터베이스에 저장하는 단계;
    사용자로부터 제2 식별 ID의 입력이 수신되면, 상기 데이터베이스에서 상기 제2 식별 ID와 대응되는 제4 식별 ID를 식별하여 상기 제4 식별 ID에 대응되는 제4 얼굴 정보를 표시하는 단계; 및
    상기 제4 얼굴 정보에 포함된 적어도 하나의 영상 식별 ID에 포함된 카메라의 위치 정보를 시간 정보 순으로 지도에 표시하여 이동 경로를 파악 및 다음 경로를 예측하는 단계를 포함하는 얼굴 인덱싱 방법.
  2. 제1항에 있어서,
    상기 제1 얼굴 정보를 생성하는 단계는,
    상기 제1 얼굴의 랜드마크를 추출하는 단계;
    상기 데이터베이스에서 상기 제1 얼굴의 랜드마크와 유사한 랜드마크를 갖는 제3 얼굴을 식별하는 단계;
    상기 제3 얼굴이 식별되면, 상기 제3 얼굴의 제3 얼굴 정보에 포함된 식별 횟수를 증가시키고, 상기 제3 얼굴이 식별된 영상 식별 ID, 검출 정보를 제3 얼굴 정보에 추가하는 단계; 및
    상기 제3 얼굴이 식별되지 않으면 상기 제1 얼굴이 식별된 영상 식별 ID, 검출 정보를 이용하여 제1 얼굴 정보를 생성하는 단계를 더 포함하는 얼굴 인덱싱 방법.
  3. 제1항에 있어서,
    상기 제4 얼굴 정보를 표시하는 단계는,
    상기 사용자로부터 제2 얼굴의 이미지에 대한 입력이 수신되면, 상기 제2 얼굴의 이미지의 랜드마크를 추출하는 단계;
    상기 랜드마크에 대응하는 식별 ID를 제2 얼굴에 부여하는 단계;
    데이터베이스에서 상기 제2 얼굴의 식별 ID와 유사한 식별 ID를 갖는 제4 얼굴을 식별하는 단계; 및
    상기 제4 얼굴에 대한 제4 얼굴 정보를 표시하는 단계를 더 포함하는 얼굴 인덱싱 방법.
  4. 영상에서 얼굴을 인덱싱하는 장치에 있어서,
    하나 이상의 카메라를 통해 촬영된 영상을 수신하고, 상기 영상에 대한 영상 식별 ID를 설정하는 영상 수신부;
    상기 영상에서 눈, 코, 입을 포함하는 얼굴 특징 벡터를 검출하여 적어도 하나의 제1 얼굴을 식별하고, 상기 제1 얼굴에 제1 식별 ID를 부여하고, 상기 제1 식별 ID를 이용하여 제1 얼굴 정보를 생성하여 데이터베이스에 저장하는 데이터 생성부;
    사용자로부터 제2 식별 ID의 입력이 수신되면, 상기 데이터베이스에서 상기 제2 식별 ID와 대응되는 제4 식별 ID를 식별하고, 상기 제4 식별 ID에 대응되는 제4 얼굴 정보 및 상기 제4 얼굴 정보에 포함된 적어도 하나의 영상 식별 ID에 포함된 카메라의 위치 정보를 시간 정보 순으로 지도에 표시하여 이동 경로를 파악 및 다음 경로를 예측하여 상기 지도를 디스플레이부에 표시하는 제어부를 포함하는 얼굴 인덱싱 장치.
  5. 제4항에 있어서,
    상기 데이터 생성부는,
    상기 제1 얼굴의 랜드마크를 추출하여 상기 데이터베이스에서 상기 제1 얼굴의 랜드마크와 유사한 랜드마크를 갖는 제3 얼굴을 식별하고, 상기 제3 얼굴이 식별되면 상기 제3 얼굴의 제3 얼굴 정보에 포함된 측정 횟수를 증가시키고 상기 제3 얼굴이 식별된 영상 식별 ID, 검출 정보를 제3 얼굴 정보에 추가하며, 상기 제3 얼굴이 식별되지 않으면 상기 제1 얼굴이 식별된 영상 식별 ID, 검출 정보를 이용하여 제1 얼굴 정보를 생성하는 것을 특징으로 하는 얼굴 인덱싱 장치.
  6. 제4항에 있어서,
    상기 제어부는,
    상기 사용자로부터 제2 얼굴의 이미지에 대한 입력이 수신되면, 상기 제2 얼굴의 이미지의 랜드마크를 추출하고, 상기 랜드마크에 대응하는 식별 ID를 제2 얼굴에 부여하며, 데이터베이스에서 상기 제2 얼굴의 식별 ID와 유사한 식별 ID를 갖는 제4 얼굴을 식별하고, 상기 제4 얼굴에 대한 제4 얼굴 정보를 표시하는 얼굴 인덱싱 장치.
KR1020190077534A 2019-06-28 2019-06-28 영상에서의 얼굴 인덱싱 방법 및 장치 KR102356165B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190077534A KR102356165B1 (ko) 2019-06-28 2019-06-28 영상에서의 얼굴 인덱싱 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190077534A KR102356165B1 (ko) 2019-06-28 2019-06-28 영상에서의 얼굴 인덱싱 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20210001438A KR20210001438A (ko) 2021-01-06
KR102356165B1 true KR102356165B1 (ko) 2022-02-03

Family

ID=74128452

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190077534A KR102356165B1 (ko) 2019-06-28 2019-06-28 영상에서의 얼굴 인덱싱 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102356165B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4219250A1 (en) 2022-01-27 2023-08-02 Volkswagen Ag Methods, computer programs, and apparatuses for an augmented reality device and for a key of a vehicle, augmented reality device and key for a vehicle

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101297295B1 (ko) * 2013-02-14 2013-08-14 우원소프트 주식회사 얼굴인식 보안 관제 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102428319B1 (ko) * 2014-12-24 2022-08-02 주식회사 케이티 고객 정보 제공 방법, 장치 및 컴퓨터 프로그램
KR20170006356A (ko) * 2015-07-08 2017-01-18 주식회사 케이티 이차원 영상 기반 고객 분석 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101297295B1 (ko) * 2013-02-14 2013-08-14 우원소프트 주식회사 얼굴인식 보안 관제 시스템

Also Published As

Publication number Publication date
KR20210001438A (ko) 2021-01-06

Similar Documents

Publication Publication Date Title
JP6898165B2 (ja) 人流分析方法、人流分析装置及び人流分析システム
JP2024075625A (ja) 映像監視システム、映像監視方法、及びプログラム
US6539100B1 (en) Method and apparatus for associating pupils with subjects
US20220180534A1 (en) Pedestrian tracking method, computing device, pedestrian tracking system and storage medium
KR20110034545A (ko) 화상 처리 장치 및 화상 처리 방법
JP2008040781A (ja) 被写体照合装置および被写体照合方法
CN110335291A (zh) 人物追踪方法及终端
KR102043922B1 (ko) Cctv 분할 운영시스템 및 그 운영방법
CN110516707B (zh) 一种图像标注方法及其装置、存储介质
KR20190118965A (ko) 시선 추적 시스템 및 방법
CN112446322B (zh) 眼球特征检测方法、装置、设备及计算机可读存储介质
JP6503079B2 (ja) 特定人物検知システム、特定人物検知方法および検知装置
JP2005086626A (ja) 広域監視装置
KR20160104953A (ko) 모드 변경 로봇 및 그 제어방법
KR20160014413A (ko) 복수의 오버헤드 카메라와 사이트 맵에 기반한 객체 추적 장치 및 그 방법
JPWO2019220589A1 (ja) 映像解析装置、映像解析方法、及びプログラム
CN111881740A (zh) 人脸识别方法、装置、电子设备及介质
KR102356165B1 (ko) 영상에서의 얼굴 인덱싱 방법 및 장치
Söveny et al. Blind guide-A virtual eye for guiding indoor and outdoor movement
CN113313062A (zh) 路径获取方法、装置、系统、电子设备及存储介质
TWI750822B (zh) 用於為目標設置可呈現的虛擬對象的方法和系統
WO2015005102A1 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
US20210026881A1 (en) System, method, and computer-readable medium for managing image
Kim A personal identity annotation overlay system using a wearable computer for augmented reality
JP7440332B2 (ja) 事象解析システムおよび事象解析方法

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant