KR20220118857A - 영상 분석 서버의 분석 데이터를 이용한 영상 검색 시스템 - Google Patents

영상 분석 서버의 분석 데이터를 이용한 영상 검색 시스템 Download PDF

Info

Publication number
KR20220118857A
KR20220118857A KR1020210022856A KR20210022856A KR20220118857A KR 20220118857 A KR20220118857 A KR 20220118857A KR 1020210022856 A KR1020210022856 A KR 1020210022856A KR 20210022856 A KR20210022856 A KR 20210022856A KR 20220118857 A KR20220118857 A KR 20220118857A
Authority
KR
South Korea
Prior art keywords
image
data
search
extraction module
feature
Prior art date
Application number
KR1020210022856A
Other languages
English (en)
Inventor
공남웅
Original Assignee
신플렛주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 신플렛주식회사 filed Critical 신플렛주식회사
Priority to KR1020210022856A priority Critical patent/KR20220118857A/ko
Publication of KR20220118857A publication Critical patent/KR20220118857A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 영상 검색 시스템 및 영상 분석 서버에 관한 것이며, 보다 구체적으로는 영상을 분석하여 영상의 대상 및 속성을 저장하고 관리하는 영상 분석 서버와 영상 분석 서버의 분석 데이터를 이용하여 영상을 검색하는 영상 검색 시스템에 관한 것이다.
본 발명의 일실시예에 다른 영상 분석 서버는 영상 데이터를 분석하여 피사체를 검색하고, 상기 영상 데이터에서 배경을 제거한 객체 인식 영상을 추출하는 객체 추출 모듈; 상기 객체 인식 영상을 분석하여 상기 피사체의 특징 데이터를 추출하고, 상기 특징 데이터를 텍스트 형식 또는 이진 형식으로 변환하여 객체 특징 데이터를 생성하고 상기 객체가 검색된 영상 데이터의 재생 시간을 객체 검색 시간으로 획득하는 특징 추출 모듈; 상기 객체 검색 시간 및 객체 특징 데이터를 함께 영상 분석 데이터로 저장하는 저장부; 및 상기 객체 검출 모듈과 상기 특징 추출 모듈을 구동시키는 제어부;를 포함할 수 있다.

Description

영상 분석 서버의 분석 데이터를 이용한 영상 검색 시스템 {Image retrieval system using the analysis data of the image analysis server}
본 발명은 영상 검색 시스템 및 영상 분석 서버에 관한 것이며, 보다 구체적으로는 영상을 분석하여 영상의 대상 및 속성을 저장하고 관리하는 영상 분석 서버와 영상 분석 서버의 분석 데이터를 이용하여 영상을 검색하는 영상 검색 시스템에 관한 것이다.
일반적으로 범죄 예방 및 범죄자 검거를 위해서 CCTV를 이용하여 시설물의 출입구 및 경계구역 등을 촬영하고 녹화한다. 이렇게 촬영된 영상 및 녹화된 영상은 범죄 수사에 이용하고 있으며, 녹화된 영상을 일일이 사람이 확인해야 하는 불편이 있으므로, 이러한 영상을 좀더 효율적으로 분석하고자 한다.
테러나 범죄의 위험성이 증가되면서 적은 수의 사람으로 여러 곳을 동시에 감시할 수 있는 감시 시스템에 대한 수요가 증가하였다. 전통적인 감시 시스템은 사람의 눈을 대신하여 단순하게 영상을 기록하는 기능을 한다. 이러한 감시 시스템의 등장으로 인하여 적은 수의 사람이 넓은 지역을 감시하는 것이 가능하게 된 것이다.
이와 관련하여, 종래 기술로는 이벤트 기능을 포함하는 ＮＶＲ 시스템 및 그에 따른 제어 방법(특허출원번호 제10-2010-0018113호)이 있다.
도 1은 종래의 NVR 시스템에 관한 것이다. 도 1를 참조하면, 종래의 NVR 시스템(10)은 수신부(12), 제어부(14), 통신부(16), 저장부(18)를 포함한다.
수신부(12)는 사용자가 감시하고자 하는 감시지역에 설치된 복수 개의 네트워크카메라로부터 상기 감시지역을 촬영한 영상정보를 수신한다.
제어부(14)는 수신한 영상정보로부터 이벤트 발생여부를 판단하고, 이벤트 발생 판단 시 이벤트발생신호를 생성한다.
통신부(16)는 생성된 이벤트 발생신호를 네트워크 전송 또는 무선랜을 이용하여 외부의 단말기로 전송한다.
저장부(18)는 상기 수신한 영상정보를 저장한다.
그러나, 종래의 시스템은 감시 카메라를 통해서 이벤트 발생 여부 만을 판단하여 알려줄 뿐이며, 사람이나 차량 등을 검출할 수 없는 문제점이 있었다.
본 발명의 목적은 영상 데이터로부터 피사체 및 이상 행위를 검색하는 영상 분석 서버를 제공하는데 있다.
또한 본 발명의 목적은 영상 데이터로부터 피사체 영역 및 이상 행위 영역을 검색하는 영상 분석 서버를 제공하는데 있다.
또한, 본 발명의 목적은 영상 데이터로부터 피사체의 특징 데이터 및 피사체의 검색 시간을 획득하는데 있다.
또한, 본 발명의 목적은 검색하고자 하는 대상 및 대상의 특징을 이용하여 분석 데이터에서 대상을 검색하고, 대상의 움직임, 동선 등을 검색하는데 있다.
본 발명의 일실시예에 다른 영상 분석 서버는 영상 데이터를 분석하여 피사체를 검색하고, 상기 영상 데이터에서 배경을 제거한 객체 인식 영상을 추출하는 객체 추출 모듈; 상기 객체 인식 영상을 분석하여 상기 피사체의 특징 데이터를 추출하고, 상기 특징 데이터를 텍스트 또는 이진 형식으로 변환하여 객체 특징 데이터를 생성하고 상기 객체가 검색된 영상 데이터의 재생 시간을 객체 검색 시간으로 획득하는 특징 추출 모듈; 상기 객체 검색 시간 및 객체 특징 데이터를 함께 영상 분석 데이터로 저장하는 저장부; 및 상기 객체 검출 모듈과 상기 특징 추출 모듈을 구동시키는 제어부를 포함할 수 있다.
상기 특징 추출 모듈은 상기 객체 인식 영상이 인물인 경우, 인물의 특징 데이터를 추출하고, 상기 특징 데이터를 텍스트 또는 이진 형식으로 변환하여 객체 특징 데이터를 생성하고, 상기 객체가 검색된 영상 데이터의 재생 시간을 객체 검색 시간으로 획득하는 인물 특징 추출 모듈을 더 포함하고, 상기 인물 특징 추출 모듈은 가보 웨이블릿을 이용하여 얼굴의 특징 데이터를 생성함을 특징으로 할 수 있다.
상기 특징 추출 모듈은 상기 객체 인식 영상이 자동차인 경우, 차량의 번호판 정보 및 특징 데이터를 추출하고, 상기 번호판 정보 및 특징 데이터를 텍스트 또는 이진 형식으로 변환하여 객체 특징 데이터를 생성하고, 상기 객체가 검색된 영상 데이터의 재생 시간을 객체 검색 시간으로 획득하는 차량 특징 추출 모듈을 더 포함할 수 있다.
상기 차량 추출 모듈은 전처리 과정, 그레이 영상 변환, SCW 기반 이진화, 번호판 검증, 후처리 과정을 통해 차량의 번호판 및 특징 데이터를 추출함을 특징으로 할 수 있다.
상기 객체 검출 모듈은 피사체의 색깔을 추출하고, 상기 피사체의 색깔을 이용하여 영상 데이터를 재 분석함으로써, 피사체의 검출 오류를 방지함을 특징으로 할 수 있다.
상기 인물 특징 추출 모듈은 동일한 사람으로 인식된 피사체의 특징 데이터 모두를 융합하는 방법으로 객체의 특징 데이터를 생성함을 특징으로 할 수 있다.
상기 인물 특징 추출 모듈은 얼굴 클러스터링 결과를 이용하여 피사체가 동일한 사람인지 여부를 판단함을 특징으로 할 수 있다.
본 발명의 일실시예에 따른 영상 검색 시스템은 영상 분석 서버와 복 수의 촬상장치가 촬영한 영상을 원본 영상으로 저장하는 영상 서버 및 사용자 단말기로부터 검색 요청을 전달받고, 상기 검색 요청을 분석하여 검색 조건을 결정하고, 상기 검색 조건과 대응되는 분석 데이터 혹은 영상을 검색하고, 사용자 단말기로 검색 완료 메시지를 전송하는 영상 검색 서버를 포함할 수 있다.
상기 영상 검색 서버는 상기 검색 조건과 대응되는 분석 데이터를 검색하고, 검색된 분석 데이터의 타임 스탬프값을 이용하여 영상을 검색함을 특징으로 할 수 있다.
상기 검색 조건이 이미지 혹은 영상인 경우, 객체 검출 모듈 및 특징 추출 모듈을 이용하여 검색하고자 하는 대상 및 검색 조건을 추출함을 특징으로 할 수 있다.
본 발명은 영상 데이터로부터 피사체 및 이상 행위를 검색하는 영상 분석 서버를 제공할 수 있다.
또한 본 발명은 영상 데이터로부터 피사체 영역 및 이상 행위 영역을 검색하는 영상 분석 서버를 제공할 수 있다.
또한 본 발명은 영상 데이터로부터 피사체의 특징 데이터 및 피사체의 검색 시간을 획득하는 영상 분석 서버를 제공할 수 있다.
또한 본 발명은 검색하고자 하는 대상 및 대상의 특징 만을 이용하여 영상 데이터에서 대상을 검색하고, 대상의 움직임, 동선 등을 검색하는데 있다.
도 1은 종래의 검색시스템을 나타내는 블록도이다.
도 2는 본 발명의 일실시예에 따른 영상 검색시스템을 나타낸다.
도 3는 본 발명의 일실시예에 따른 다른 영상 검색시스템의 블록도를 나타낸다.
도 4은 본 발명의 일실시예에 따른 영상 검색 방법의 흐름도를 나타내는 도면이다.
도 5는 본 발명의 일실시예에 따른 영상 분석 서버의 블록도를 나타낸다.
도 6은 본 발명의 일실시예에 따른 영상 분석 서버의 특징 추출 모듈의 블록도를 나타내는 도면이다.
도 7는 본 발명의 일실시예에 따른 영상 분석 서버의 영상을 분석하는 방법의 흐름도를 나타낸다.
도 8은 본 발명의 일실시예에 따른 얼굴 특징 추출 방법을 나타낸다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부된 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자하는 것은 아니다.
도 2는 본 발명의 일실시예에 따른 영상 검색시스템을 나타낸다.
도 2에 도시된 바와 같이 영상분석 서버의 메타데이터(특징 정보) 출력이 검색 서버로 전달되고, 검색 서버는 이 데이터를 분석 정보 DB에 보관한다. 사용자는 검색 클라이언트에서 특정 이미지 또는 텍스트를 이용하여 검색을 지시한다. 이때 검색 클라이언트의 요청이 이미지인 경우, 영상분석 서버에서 수행하는 영상분석과 동일한 작업을 수행하여, 특징 정보를 추출한다. 특징 정보를 검색 서버로 전달한다. 검색 서버는 전달받은 텍스트(타임스탬프, 즉 시간, 또는 특정 색상, 자동차 번호 등) 또는 특징 정보를 이용하여 분석 정보 DB로부터 이미지 혹은 영상을 검색한다.
이때 검색 클라이언트의 요청이 텍스트인 경우 일반 DB 검색과 동일하다.
만약, 검색 클라이언트의 요청이 특징 정보인 경우, 특징 정보는 이진 데이터이므로 이를 매칭하는 별도의 방식을 사용하여 매칭되는 특징 정보를 검색하는 방식으로 해당 이미지 혹은 영상을 검색한다.
그 외 영상분석 서버에서 영상을 분석하면 이벤트 여부를 감지할 수 있다. 이벤트 감지 정보는 별도의 감시(경고) 서버에 전달할 수 있으며, 영상 감시 담당자 또는 보안 업체에 통보할 수 있다.
도 3는 본 발명의 일실시예에 따른 영상 검색 시스템의 블록도를 나타낸다.
도 3에 도시된 바와 같이 영상 검색 시스템(100)은 영상 분석 서버(110), 영상 서버(120), 영상 검색 서버(130), 사용자 단말기들(140)을 포함할 수 있다.
사용자 단말기(140)를 통해 검색 요청이 입력 될 수 있다. 검색 요청은 검색하고자 하는 대상 및 대상의 특징에 해당하는 속성으로 구분 될 수 있고, 이미지를 포함할 수도 있다. 검색 대상은 사람, 동물 등의 생물과 자동차 등의 무생물이 될 수 있다.
사용자 단말기(140)는 사용자가 검색하고자 하는 영상을 입력하거나 텍스트를 입력 할 수 있다. 또한 사용자 단말기는 카메라를 탑재하고 있거나, 검색하고자 하는 이미지를 저장하는 별도의 저장부를 포함할 수 있다.
사용자 단말기(140)는 마우스, USB포트, 키보드 등의 입력 장치와 연결될 수 있다.
만약 사용자가 검색하고자 하는 이미지 및 영상을 입력한 경우에는 이미지 및 영상으로부터 검색하고자 하는 대상(사람, 자동차 등), 대상의 특징(성별, 색깔, 차종, 키, 머리 모양 등)에 대해 특징 정보를 추출할 수 있으며, 사람 얼굴의 경우, 바람직하게 도 8과 같은 방식으로 축출 할 수 있다.
사용자 단말기(140), 영상 분석 서버(110), 영상 검색 서버(130), 영상 서버(120)는 유무선 통신 방법을 이용하여 통신할 수 있다.
영상 서버(120)는 원격으로 설치된 촬상 장치로부터 실시간으로 촬영한 영상을 전달 받거나, 녹화된 영상을 전달받을 수 있다. 또한 영상 서버(120)는 영상들을 촬상 장치를 구분하는 식별정보와 함께 저장하고 관리할 수 있다.
영상 서버(120)는 촬영된 시간 순서로 영상을 저장될 수 있고, 촬상장치에 따라서 구분하여 영상을 저장할 수 있다.
여기서, 촬상장치는 CCTV 카메라, 스마트 카메라, IP 카메라, DVR, NVR 등 일 수 있다. 영상서버와 촬상 장치는 유무선 통신 방법을 이용하여 통신할 수 있다.
영상 검색 서버(130)는 사용자의 검색 요청을 전달받으면, 검색 요청을 분석하여 검색 조건으로 변환할 수 있다. 또한 영상 검색 서버(130)는 검색 조건을 이용하여 그에 상응하는 영상을 검색할 수 있다.
영상 검색 서버(130)가 검색 조건을 이용하여 영상을 검색할 때, 검색의 대상 및 속성으로 구분하여 영상 분석 서버(110)에 접근하여 검색 할 수 있다.
영상 분석 서버(110)는 영상 서버(120)로부터 입력된 영상을 분석하여, 대상 및 속성을 텍스트 형식 및 이진 형식으로 구성된 분석 데이터(특징 정보 데이터)를 저장하고 관리할 수 있다. 영상 분석 서버(110)는 영상에 대상이 등장하지 않거나, 변화가 없는 영상에 대해서는 아무런 데이터도 생성하지 않을 수 있다.
영상을 분석한 결과인 분석 데이터는 텍스트 형식 및 이진 형식으로 구성될 있으며, 대상, 속성, 타임 스탬프, 촬상장치의 식별번호 등을 포함할 수 있다.
영상 분석 서버(110)는 분석 데이터를 대상에 따라 구분하여 저장할 수 있고, 대상에 따른 분석 데이터는 속성을 기준으로 정렬될 수 있다. 또한, 영상 분석 서버(110)에 의해 분석된 대상 및 대상의 특징 등을 텍스트 또는 이진(binary) 데이터로 저장할 수 있다.
영상 검색 서버(130)가 검색한 결과는 타임 스탬프 리스트 일 수 있다. 그런 다음 영상 검색 서버(130)는 타임스탬프 리스트를 이용하여 영상 서버(120)로부터 영상 리스트를 검색할 수 있다.
영상 검색 서버(130)가 검색 시점에 영상을 분석하면서 검색하는 것이 아니라, 영상 분석 서버(110)에 의해 미리 분석된 결과 데이터(특징 정보 데이터)를 이용하여 검색을 하므로, 영상을 검색하는 것 보다 더 빠르고 신속하게 검색 결과를 얻을 수 있다. 분석된 결과 데이터는 영상 검색 서버(130)가 관리하는 영상 분석 서버에 보관되어 있다.
도 4은 본 발명의 일 실시예에 따른 검색 방법을 나타내는 도면이다.
도 4에 도시된 바와 같이 검색 방법은 사용자 단말기로부터 검색 요청을 검색 서버로 전달하는 단계(S420), 검색 서버가 검색 요청을 분석하여 검색 조건을 획득하는 단계(S430), 검색 서버가 검색 조건에 대응하는 영상 분석 데이터를 검색하는 단계(S440), 영상 분석 데이터의 타임스탬프를 통하여 영상을 검색하는 단계(S450)를 포함할 수 있다.
S420에서 영상 검색 서버는 사용자 단말기로부터 유무선 통신 방법을 이용하여 검색 요청을 수신 받는다.
S430에서 영상 검색 서버는 검색 요청을 분석하여 검색 조건을 결정하는 단계이다.
영상 검색 서버는 사용자 단말기로부터 전달받은 검색 요청을 분석하여 검색의 대상 및 검색 조건을 축출할 수 있다. 여기서, 검색 요청은 영상, 이미지, 텍스트, 키워드 일 수 있다.
만약 검색 요청이 이미지 혹은 영상이라면, 도 7의 영상 분석 서버의 분석 방법과 같이 검색의 대상 및 검색의 조건을 축출 할 수 있다.
S440에서는 검색 서버는 검색 대상 및 검색 조건에 대응되는 영상 정보 및 이미지 정보를 영상 분석 서버에서 검색할 수 있다.
텍스트인 검색 조건을 이용하는 경우, 검색의 대상 및 검색의 특징을 이용하여 검색 할 수 있다. 이때, 검색의 대상에 따라서 검색의 특징 역시 달라 질 수 있다.
예를 들어, 검색의 대상이 사람인 경우, 얼굴의 특징, 성별, 눈 코 입의 모양, 옷의 색상 등을 검색 조건으로 할 수 있다.
또한 검색의 대상이 차량인 경우, 차량 번호판을 식별자로 사용하거나, 차종, 차량의 색상 등을 검색 조건으로 할 수 있다.
영상 분석 서버는 영상을 분석하여 영상에 등장하는 대상 및 대상의 특징, 타임 스탬프, 촬상장치의 식별번호 등을 함께 저장할 수 있다. 또한, 영상 검색 서버의 검색 결과는 영상 분석 데이터의 포맷과 마찬가지로, 타임스탬프, 촬상 장치의 식별번호 등을 포함할 수 있다. 이렇게 검색된 타임 스탬프 값을 이용하여 영상 서버에서 원 영상을 획득 할 수 있다.
또한, 영상 분석 데이터를 통해 촬상 장치의 식별 번호를 획득하며 이러한 식별번호는 촬영된 위치를 알 수 있게 한다.
그러므로 본 발명의 일실시예에 따른 검색 시스템 및 동작 절차는 범죄의 발생 및 발생한 범죄에 대한 용의자 검거 등에 이용될 수 있다.
영상을 검색한 결과는 썸네일 보기, 리스트 보기, 통계 리포트 보기 등의 방법으로 제공될 수 있다. 또한 영상 검색 시스템은 프로파일 기능을 활용한 조합 검색을 제공할 수 있다.
도 5는 본 발명의 일 실시예에 따른 영상 분석 서버(110)의 블록도를 나타낸다.
도 5에 도시된 바와 같이 본 발명의 일 실시예에 따른 영상 분석 서버는 객체 검출 모듈(510), 특징 추출 모듈(520), 저장부(530), 제어부(540)를 포함할 수 있다. 또한, 영상 분석 서버(110)는 통신부 및 디스플레이부를 더 포함할 수 있다.
객체 검출 모듈(510)은 입력된 영상 데이터를 분석하여 피사체를 검색하고 상기 영상 데이터에서 배경을 제거한 객체 인식 영상을 추출한다.
입력된 영상 데이터는 CCTV 카메라, IP 카메라, 스마트 카메라, DVR 등으로 촬영된 영상 데이터일 수 있다.
객체 검출 모듈(510)은 영상 데이터에서 배경을 제거하여 피사체가 있는 객체 영역 영상만을 추출하게 된다. 이때, 객체 검출 모듈은 차영상을 이용하는 기법, 움직임을 분석하는 기법, Meanshift 및 응용 기법, Local Binary Pattern 기법을 사용할 수 있다.
만약 피사체가 인물인 경우에는 객체 검출 모듈은 영상 데이터의 전 영역을 스캔하면서 사람 얼굴 혹은 차량 일 가능성이 있는 후보영역들을 찾는다. 그런 다음 객체 검출 모듈은 직렬로 연결된 분별기들을 순차적으로 거치면서 사람 얼굴 영역이 아닌 영역을 중간에 제거하게 된다. 상기의 과정들을 반복적으로 수행하고 남은 영역들이 사람 얼굴로 결정 될 수 있다.
객체 검출 모듈(510)이 얼굴에 해당하지 않는 영역을 얼굴로 잘못 판별하는 오류를 방지하기 위하여 피부 색상 정보를 이용하여 얼굴 검증 과정을 수행할 수 있다.
특징 추출 모듈(520)은 객체 인식 영상을 분석하여 피사체의 특징 데이터를 추출하고, 특징 데이터를 텍스트 형식 또는 이진 형식으로 변환하여 객체 특징 데이터를 생성하고, 피사체가 검색된 영상 데이터의 재생 시간을 객체 검색 시간으로 획득한다.
객체 특징 데이터는 객체의 대상 및 속성 값으로 구성될 수 있다.
만약 객체의 대상이 인물이라면, 속성 값은 피부의 색깔, 눈, 코, 입의 모양, 키, 성별, 옷 색깔, 나이, 체형
등 일 수 있다. 만약 객체의 대상이 차량이라면, 속성 값은 번호판, 차량의 색깔, 차종 등 일 수 있다.
특징 추출 모듈(520)이 인물의 특징 데이터를 추출하기 위해서 먼저 객체 영역 영상을 양쪽 눈 위치를 기반으로 정규화 하여 인물의 특징 데이터를 추출 할 수 있다.
특징 추출 모듈(520)에 대해서는 도 6에서 설명하겠다.
저장부(530)는 객체 검색 시간 및 객체 특징 데이터를 함께 영상 분석 데이터로 묶어, 상기 영상 분석 데이터를 저장하고 관리한다.
객체 특징 데이터는 누가, 언제, 무엇을 어떻게에 해당하는 정보를 포함할 수 있다.
제어부(540)는 객체 검출 모듈과 특징 추출 모듈을 구동시킨다.
도 6은 본 발명의 일 실시예에 따른 영상 분석 서버의 특징 추출 모듈의 블럭도를 나타내는 도면이다.
도 6에 도시된 바와 같이 본 발명의 일 실시예에 따른 영상 분석 서버의 특징 추출 모듈은 인물 특징 추출 모듈(610)과 차량 특징 추출 모듈(620), 이벤트 추출 모듈(630)을 포함할 수 있다.
인물 특징 추출 모듈(610)은 입력된 영상으로부터 인물을 검출하고, 인물의 특징을 추출한다.
인물 특징 추출 모듈(610)은 인식된 얼굴로부터 특징정보를 추출할 때에는 인식된 얼굴 영상에서 얼굴의 주름이나, 눈, 코, 입 윤곽정보에 기반하여 얼굴에 대한 텍스처 특징정보를 추출한다.
만약 CCTV영상에서 얼굴 검출할 때, 낮은 해상도, 안경 착용 등에 의해 양쪽 눈의 위치를 정확히 찾는 것이 어려운 경우에는 인물 특징 추출 모듈은 얼굴 정렬 오류를 해결한 가보 웨이블릿 텍스처를 인식된 얼굴의 특징정보로 사용할 수 있다. 또한, 인물 특징 추출 모듈이 특징을 인식하는 성능을 향상 시키기 위해 컬러 정보를 가보 웨이블릿을 이용할 수 있다.
또한, 얼굴의 표정 변화, 자세 변화가 빈번하게 발생하는 경우에는 인물 특징 추출 모듈이 동일한 사람으로부터 추출한 컬러 텍스처 얼굴 특징정보들을 융합할 수 있다.
여기서, 동일한 사람으로부터 추출한 컬러 텍스처 얼굴 특징 정보들을 융합할 때, 얼굴 클러스터링 결과를 이용하여 동일한 사람의 얼굴을 구분하고, 그런 다음 얼굴을 인식하는데 불필요한 정보를 제거할 수 있다.
이때 얼굴이 정면을 향하는 경우가 영상으로부터 특징 정보를 추출하는데 가장 높은 인식률을 가진다.
차량 특징 추출 모듈(620)은 객체 영역 영상으로부터 차량을 검출하고, 차량의 번호판 및 차량의 특징을 추출한다.
번호판 검출 과정은 전처리 과정, 그레이 영상 변환 과정, SCW 기반 이진화 과정, 번호판 검증 과정, 후처리 과정을 통해서 이루어진다.
전처리 과정은 입력 영상의 처리를 위한 일련의 사전 처리 작업으로 영상 크기 조정과 히스토그램 평활화 과정들을 포함한다.
그레이 영상 변환 과정은 컬러 영상을 이진화 하기 위해서 그레이 영상으로 변환한다.
SCW 기반 이진화 과정은 변환된 그레이 영상을 SCW를 기반으로 이진화 한다. 번호판 검증 과정은 이진화 영상에서 번호판의 조건에 맞는 객체를 추출한다.
후처리 과정은 추출된 번호판 후보 영상들을 동일한 크기로 조정하고, 기울기 보상 등을 통해 영상을 보정한다.
이벤트 추출 모듈(630)은 사람 혹은 차량의 이상 행위를 추출한다.
추출된 움직임은 배회 행위, 도주 행위, 침입 행위, 지정 영역 침입 행위, 쓰레기 불법 투기, 불법 주정차 등의 행위 중 하나가 될 수 있다. 추출된 움직임은 미리 설정된 ID 값으로 표현될 수 있다.
배회 행위는 어슬렁거리거나, 이리저리 돌아다니는 행위를 말한다. 동일한 영역에 객체가 반복적으로 존재해야 하거나, 영상 내에서 객체가 일정 시간 이상 존재한다면, 배회 행위로 검출할 수 있다.
도주 행위는 갑자기 달리는 행위를 말한다. 등장 했을 경우는 평균 속도를 유지하다가 갑자기 급격한 속도 변화를 가지는 사람이 검출되면, 도주 행위로 볼 수 있다.
지정 영역에 대한 행위를 검출하기 위해서는 미리 지정 영역(관심 영역, region of interest)을 설정할 수 있다. 관심 영역은 포인트 기반으로 설정하거나 선 기반으로 설정할 수 있다.
객체가 나타나고 미리 설정한 소정의 시간 이상 존재할 경우, 이상 행위로 검출 할 수 있다.
도 7는 본 발명의 일 실시예에 따른 영상 분석 서버의 영상을 분석하는 방법의 흐름도를 나타낸다.
도 7에 도시된 바와 같이 본 발명의 일 실시예에 따른 영상 분석 서버의 영상을 분석하는 방법은 객체를 검출, 추적하는 단계(S710), 검출된 객체를 분석하여 이벤트를 검출하는 단계(S720), 검출된 객체가 사람인지 판단하고, 얼굴을 인식하여 얼굴의 특징을 추출하고 저장하는 단계(S730), 검출된 객체가 차량인지 판단하고 차량의 번호판 및 특징을 추출하고, 저장하는 단계(S740)를 포함할 수 있다.
S710는 영상 데이터에서 배경을 제거하여 피사체가 있는 객체 영역 영상만을 추출하게 된다. 이때, 객체 검출 모듈은 차영상을 이용하는 기법, 움직임을 분석하는 기법, Meanshift 및 응용 기법, Local Binary Pattern 기법을 사용할 수 있다.
영상 데이터에서 객체를 검출 할 때에는 움직임을 기준으로 객체를 검출할 수 있다. 움직이는 모든 대상을 객체로 검출하고 사라질 때까지 추적할 수 있다.
만약 바람이 부는 상황이라면 식물도 움직임을 가질 수 있으므로, 객체로 검출될 수 있다.
S720는 객체를 검출하고 객체를 추적하고, 객체의 움직임을 검출하는 단계이다.
검출된 움직임은 배회 행위, 도주 행위, 침입 행위, 지정 영역 침입 행위, 쓰레기 불법 투기, 불법 주정차 등의 행위 중 하나가 될 수 있다. 검출된 움직임은 미리 설정된 ID 값으로 표현될 수 있다.
배회 행위는 어슬렁거리거나, 이리저리 돌아다니는 행위를 말한다. 동일한 영역에 객체가 반복적으로 존재해야 하거나, 영상 내에서 객체가 일정 시간 이상 존재한다면, 배회 행위로 검출할 수 있다.
도주 행위는 갑자기 달리는 행위를 말한다. 객체가 처음 등장하고, 객체가 평균 속도를 유지하다가 갑자기 급격한 속도 변화를 가지게 되면 도주 행위로 볼 수 있다.
지정 영역에 대한 행위를 검출하기 위해서는 시스템 운영자는 미리 영역을 지정 영역(관심 영역, region of interest)으로 지정할 수 있다. 지정 영역은 포인트 기반으로 설정하거나 선 기반으로 설정할 수 있다.
객체가 나타나고 미리 설정한 소정의 시간 이상 존재할 경우, 이상 행위로 검출 할 수 있다.
S730는 검출된 객체가 사람인지 판단하고, 인물 특징 데이터를 추출한다.
만약 낮은 해상도, 안경 착용 등에 의해 양쪽 눈의 위치를 정확히 찾는 것이 어려운 경우에는 얼굴 정렬 오류를 해결한 가보 웨이블릿 텍스처를 인식된 얼굴의 특징정보로 사용한다. 또한, 인식 성능을 향상시키기 위해 컬러 정보를 가보 웨이블릿을 이용할 수 있다.
만약 얼굴의 표정 변화, 자세 변화가 빈번하게 발생하는 경우에는 동일한 사람으로부터 추출한 컬러 텍스처 얼굴 특징정보들을 융합할 수 있다.
여기서, 동일한 사람으로부터 추출한 컬러 텍스처 얼굴 특징 정보들을 융합할 때, 얼굴 클러스터링 결과를 이용하여 동일한 사람의 얼굴을 구분하고, 그런 다음 얼굴을 인식하는데 불필요한 정보를 제거할 수 있다.
이때 얼굴이 정면을 향하는 경우가 영상으로부터 특징 정보를 추출하는데 가장 유리할 수 있다.
S740는 검출된 객체가 차량이면, 차량의 번호판 및 특징을 추출하는 단계이다.
번호판 검출 과정은 전처리 과정, 그레이 영상 변환 과정, SCW 기반 이진화 과정, 번호판 검증 과정, 후처리 과정을 통해서 이루어진다.
전처리 과정은 입력 영상의 처리를 위한 일련의 사전 처리 작업으로 영상 크기 조정과 히스토그램 평활화 과정들을 포함할 수 있다.
그레이 영상 변환 과정은 컬러 영상을 이진화 하기 위해서 그레이 영상으로 변환한다. SCW 기반 이진화 과정은 변환된 그레이 영상을 SCW를 기반으로 이진화 한다. 번호판 검증 과정은 이진화 영상에서 번호판의 조건에 맞는 객체를 추출한다. 후처리 과정은 추출된 번호판 후보 영상들을 동일한 크기로 조정하고, 기울기 보상 등을 통해 영상을 보정한다.
도 8는 본 발명의 일실시예에 따른 인물의 특징 검출을 나타낸다.
본 발명의 일실시예에 따른 영상 분석 서버는 영상 데이터를 분석하여 텍스트의 형식으로 분석 결과를
저장하고, 저장된 분석 데이터에는 타임 스탬프 값, 촬상 장치의 식별번호를 포함할 수 있다. 분석 데이터의 타임 스탬프 값 및 촬상 장치의 식별번호는 원본 영상으로 접근 할 수 있게 한다.
또한, 본 발명의 일실시예에 따른 영상 분석 서버는 차량, 인물, 이상 행위 등을 분석하는 모듈을 포함할 수 있다.
차량 특징 추출 모듈은 차량의 번호판을 우선적으로 추출한 후 차량의 특징을 추출한다.
인물 특징 추출 모듈은 동일 인물로 인식된 대상의 특징 데이터를 모두 합쳐서, 관리할 수 있다.
이벤트 추출 모듈은 영상에 등장하는 객체를 추적하여, 특정 조건을 만족하는지 여부를 판단함으로써, 영상 데이터로부터 이상 행위를 추출할 수 있다.
이상에서는 본 발명의 바람직한 실시예 및 응용예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예 및 응용예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
100: 영상 검색 시스템
110: 영상 분석 서버
120: 영상 서버
130: 영상 검색 서버
140: 사용자 단말기
510: 객체 검출 모듈
520: 특징 추출 모듈
530: 저장부
540: 제어부
610: 인물 특징 추출 모듈
620: 차량 특징 추출 모듈
630: 이벤트 추출 모듈

Claims (10)

  1. 영상 데이터를 분석하여 피사체를 검색하고, 상기 영상 데이터에서 배경을 제거한 객체 인식 영상을 추출하는 객체 검출 모듈;
    상기 객체 인식 영상을 분석하여 상기 피사체의 특징 데이터를 추출하고 상기 특징 데이터를 텍스트 형식 또는 이진 형식으로 변환하여 객체 특징 데이터를 생성하고, 상기 객체가 검색된 영상 데이터의 재생 시간을 객체 검색 시간으로 획득하는 특징 추출 모듈;
    상기 객체 검색 시간 및 객체 특징 데이터를 함께 영상 분석 데이터로 저장하는 저장부; 및
    상기 객체 검출 모듈과 상기 특징 추출 모듈을 구동시키는 제어부;를 포함하는 영상 분석 서버
  2. 제 1 항에 있어서,
    상기 특징 추출 모듈은 상기 객체 인식 영상이 인물인 경우, 인물의 특징 데이터를 추출하고, 상기 특징 데이터를 텍스트 형식 또는 이진 형식으로 변환하여 객체 특징 데이터를 생성하고, 상기 객체가 검색된 영상 데이터의 재생 시간을 객체 검색 시간으로 획득하는 인물 특징 추출 모듈을 더 포함하고,
    상기 인물 특징 추출 모듈은 가보 웨이블릿을 이용하여 얼굴의 특징 데이터를 생성함을 특징으로 하는 영상 분석 서버.
  3. 제 1 항에 있어서,
    상기 특징 추출 모듈은 상기 객체 인식 영상이 자동차인 경우, 차량의 번호판 정보 및 특징 데이터를 추출하며, 상기 번호판 정보 및 특징 데이터를 텍스트 형식 또는 이진 형식으로 변환하여 객체 특징 데이터를 생성하고,
    상기 객체가 검색된 영상 데이터의 재생 시간을 객체 검색 시간으로 획득하는 차량 특징 추출 모듈을 더 포함함을 특징으로 하는 영상 분석 서버.
  4. 제 3 항에 있어서,
    상기 차량 특징 추출 모듈은 전처리 과정, 그레이 영상 변환, SCW 기반 이진화, 번호판 검증, 후처리 과정을 통해 차량의 번호판 및 특징 데이터를 추출함을 특징으로 하는 영상 분석 서버.
  5. 제 1 항에 있어서,
    상기 객체 검출 모듈은 피사체의 색깔을 추출하고, 상기 피사체의 색깔을 이용하여, 영상 데이터를 재 분석함으로써, 피사체의 검출 오류를 방지함을 특징으로 하는 영상 분석 서버.
  6. 제 2 항에 있어서,
    상기 인물 특징 추출 모듈은 동일한 사람으로 인식된 피사체의 특징 데이터를 융합하는 방법으로 객체 특징 데이터를 생성함을 특징으로 하는 영상 분석 서버.
  7. 제 5 항에 있어서,
    상기 인물 특징 추출 모듈이 얼굴 클러스터링 결과를 이용하여 피사체가 동일한 사람인지 여부를 판단함을 특징으로 하는 영상 분석 서버.
  8. 제 2 항 내지 제 3 항 중 하나의 항에 따른 영상 분석 서버를 포함하고,
    복수의 촬상장치가 촬영한 영상인 원본 영상을 저장하고 관리하는 영상 서버; 및
    사용자 단말기로부터 상기 검색 요청을 전달받고, 상기 검색 요청을 분석하여 검색 조건을 결정하고, 상기 검색 조건과 대응되는 분석 데이터 혹은 영상을 검색하고, 사용자 단말기로 검색 완료 메시지를 전송하는 영상 검색 서버;를 포함하는 영상 검색 시스템.
  9. 제8항에 있어서,
    상기 영상 검색 서버는 상기 검색 조건과 대응되는 분석 데이터를 검색하고, 검색된 분석 데이터의 타임 스탬프값을 이용하여 영상을 검색함을 특징으로 하는 영상 검색 시스템.
  10. 제9항에 있어서,
    상기 검색 조건이 이미지 혹은 영상인 경우, 객체 검출 모듈 및 특징 추출 모듈을 이용하여 검색하고자 하는 대상 및 검색 조건을 추출함을 특징으로 하는 영상 검색 시스템.
KR1020210022856A 2021-02-19 2021-02-19 영상 분석 서버의 분석 데이터를 이용한 영상 검색 시스템 KR20220118857A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210022856A KR20220118857A (ko) 2021-02-19 2021-02-19 영상 분석 서버의 분석 데이터를 이용한 영상 검색 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210022856A KR20220118857A (ko) 2021-02-19 2021-02-19 영상 분석 서버의 분석 데이터를 이용한 영상 검색 시스템

Publications (1)

Publication Number Publication Date
KR20220118857A true KR20220118857A (ko) 2022-08-26

Family

ID=83113350

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210022856A KR20220118857A (ko) 2021-02-19 2021-02-19 영상 분석 서버의 분석 데이터를 이용한 영상 검색 시스템

Country Status (1)

Country Link
KR (1) KR20220118857A (ko)

Similar Documents

Publication Publication Date Title
JP7317919B2 (ja) 外観検索のシステムおよび方法
US10248860B2 (en) System and method for object re-identification
US10510234B2 (en) Method for generating alerts in a video surveillance system
KR101372860B1 (ko) 영상 검색 시스템 및 영상 분석 서버
KR101615254B1 (ko) 디지털 이미지들에서 얼굴 표정들을 검출
KR101724658B1 (ko) 사람 검출 장치 및 방법
KR101570339B1 (ko) 영상분석 서버를 통한 미래 발생범죄 예측 시스템
US20140369567A1 (en) Authorized Access Using Image Capture and Recognition System
KR101781358B1 (ko) 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법
KR101513215B1 (ko) 객체 행동패턴 cctv 영상 분석서버
KR20200058260A (ko) 객체 이미지 인식 dcnn 기반 cctv 영상분석장치 및 그 장치의 구동방법
KR20190030960A (ko) 차량 번호 인식 시스템을 사용한 출입 관리 시스템 및 방법
JP5726596B2 (ja) 画像監視装置
KR20190093799A (ko) Cctv를 통한 실시간 실종자 얼굴 인식 시스템 및 그 방법
KR101350882B1 (ko) 영상 분석 서버
KR101547255B1 (ko) 지능형 감시 시스템의 객체기반 검색방법
KR101485512B1 (ko) 객체 행동패턴의 해마 신경망 학습을 이용한 미래범죄 발생확률 우선순위 이벤트 cctv 영상처리 방법
KR102263512B1 (ko) 스마트 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템
KR20150112712A (ko) 객체 행동패턴 cctv 영상 분석서버
WO2023093241A1 (zh) 行人重识别方法及装置、存储介质
KR102423934B1 (ko) 안면인식 및 유사한 옷 색상의 다수 객체 추적기술을 통한 스마트 휴먼검색 통합 솔루션
KR20220118857A (ko) 영상 분석 서버의 분석 데이터를 이용한 영상 검색 시스템
KR101436283B1 (ko) 영상분석 서버를 통한 미래 발생범죄 예측 시스템
US20220036114A1 (en) Edge detection image capture and recognition system
Senior An introduction to automatic video surveillance