KR102254037B1 - 영상분석장치 및 그 장치의 구동방법 - Google Patents

영상분석장치 및 그 장치의 구동방법 Download PDF

Info

Publication number
KR102254037B1
KR102254037B1 KR1020200152171A KR20200152171A KR102254037B1 KR 102254037 B1 KR102254037 B1 KR 102254037B1 KR 1020200152171 A KR1020200152171 A KR 1020200152171A KR 20200152171 A KR20200152171 A KR 20200152171A KR 102254037 B1 KR102254037 B1 KR 102254037B1
Authority
KR
South Korea
Prior art keywords
image analysis
search
metadata
image
authentication
Prior art date
Application number
KR1020200152171A
Other languages
English (en)
Inventor
이재명
Original Assignee
주식회사 인텔리빅스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 인텔리빅스 filed Critical 주식회사 인텔리빅스
Priority to KR1020200152171A priority Critical patent/KR102254037B1/ko
Application granted granted Critical
Publication of KR102254037B1 publication Critical patent/KR102254037B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G06F16/7328—Query by example, e.g. a complete video frame or video sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 영상분석장치 및 그 장치의 구동방법에 관한 것으로서, 본 발명의 실시예에 따른 영상분석장치는, 영상 분석 및 검색의 타깃이 되는 적어도 하나의 제1 객체에 대한 특징 정보를 저장하는 저장부, 및 사용자가 제공하는 영상의 비디오 프레임을 분석하여 복수의 제2 객체를 검출하고, 저장한 제1 객체에 대한 특징 정보를 근거로 (기)검출한 제2 객체의 인증을 수행하여 인증 결과를 근거로 제2 객체와 관련한 메타데이터를 취득해 저장부 또는 DB에 저장시키며, 저장한 제2 객체의 메타데이터를 근거로 사용자가 요청하는 검색 서비스를 제공하는 제어부를 포함할 수 있다.

Description

영상분석장치 및 그 장치의 구동방법{Apparatus for Image Analysis and Driving Method Thereof}
본 발명은 영상분석장치 및 그 장치의 구동방법에 관한 것으로서, 더 상세하게는 가령 컴퓨터나 서버와 같은 시스템에서 특정 객체에 대한 메타데이터만을 데이터베이스에 저장하는 인증 방식을 사용함으로써 보다 빠른 시간에 찾기 원하는 객체만을 검색하는 효율적인 디지털 영상 포렌식 분석 기법을 제공하는 영상분석장치 및 그 장치의 구동방법에 관한 것이다.
현재 오프라인(Offline) 비디오 분석 시스템은 AVI/MP4 등과 같은 표준 영상 포맷의 비디오 파일에 대해 영상 분석을 통하여 객체를 검지하고 검지된 객체에 대해 메타데이터를 추출하여 데이터베이스에 저장하고 분석이 종료된 이후 다양한 검색 항목(예: 검색 기간/사람/차량 등)과 필터(예: 색상/사람 속성/차량 속성 등)로 효과적인 객체 검색을 도와준다. Offline 비디오 분석 시스템의 기존 객체 검지 방법은 불특정 다수의 객체에 대한 메타데이터를 추출하여 검지된 모든 객체를 데이터베이스에 저장하는 식별 방식(Identification)을 사용하고 있다. 이와 같이 기존의 Offline 비디오 분석 시스템은 분석 프레임에 따라 모든 검지된 객체에 대해 메타데이터를 추출하여 데이터베이스에 저장하고 이후 저장된 메타데이터를 기반으로 검색 필터링(예: 속성 정보)을 이용하여 찾기 원하는 객체를 검색하는 구조였다.
그런데, 기존과 같이 검지된 모든 객체에 대해 메타데이터를 추출하여 데이터베이스에 저장하는 과정때문에 영상 분석 시간이 길어지고 데이터베이스에 저장되는 건수가 많아지는 문제가 있다.
또한 기존의 기술은 비디오 영상 시간이 길거나 객체가 다수 출연하는 영상인 경우 검색시 검색 건수도 그만큼 많아지게 되어 긴 시간이 소요되고 원하는 객체가 아닌 다른 객체도 검색 결과에 다수가 표출됨으로 해서 빠른 시간을 요하는 객체 검색을 제공하지 못하고 찾기 원하는 객체 검색시 상세한 검색조건(예: 필터)으로 검색을 해야하는 단점이 있다.
한국공개특허공보 제10-2017-0034226호(2017.03.28) 한국공개특허공보 제10-2016-0061856호(2016.06.01) 한국공개특허공보 제10-2017-0137350호(2017.12.13)
본 발명의 실시예는 가령 컴퓨터나 서버와 같은 시스템에서 특정 객체에 대한 메타데이터만을 데이터베이스에 저장하는 인증 방식을 사용함으로써 보다 빠른 시간에 찾기 원하는 객체만을 검색하는 효율적인 디지털 영상 포렌식 분석 기법을 제공하는 영상분석장치 및 그 장치의 구동방법을 제공함에 그 목적이 있다.
본 발명의 실시예에 따른 영상분석장치는, 영상 분석 및 검색의 타깃(target)이 되는 적어도 하나의 제1 객체(object)에 대한 특징 정보를 저장하는 저장부, 및 사용자가 제공하는 영상의 비디오 프레임을 분석하여 복수의 제2 객체를 검출하고, 상기 저장한 제1 객체에 대한 특징 정보를 근거로 상기 검출한 제2 객체의 인증을 수행하여 인증 결과를 근거로 상기 제2 객체와 관련한 메타데이터를 취득하여 상기 저장부 또는 DB에 저장시키며, 상기 저장한 제2 객체의 메타데이터를 근거로 사용자가 요청하는 검색 서비스를 제공하는 제어부를 포함한다.
상기 제어부는, 상기 인증을 수행하기 위하여 상기 검출한 제2 객체의 특징 정보와 상기 제1 객체의 특징 정보의 유사도를 측정해 측정한 유사도가 기설정한 임계값의 범위에 있는지를 판단할 수 있다.
상기 제어부는, 상기 임계값의 범위에 있는 상기 제2 객체에 한하여 DNN(Deep Neural Network) 기반으로 속성 메타데이터를 추출해 저장시킬 수 있다.
상기 제어부는, 상기 검출한 제2 객체 중 상기 인증 결과를 근거로 일부를 필터링한 후의 나머지 제2 객체에 대한 메타데이터를 저장시킬 수 있다.
상기 제어부는, 상기 특징 정보로서 지정 객체의 식별이 가능한 특성 벡터(feature vector)를 이용할 수 있다.
상기 제어부는, 상기 검색 서비스의 제공시 속성(attribute)을 포함하는 세부검색 조건이 배제된 기본검색 조건만으로 검색 서비스를 제공할 수 있다.
또한, 본 발명의 실시예에 따른 영상분석장치의 구동방법은, 저장부가, 영상 분석 및 검색의 타깃이 되는 적어도 하나의 제1 객체에 대한 특징 정보를 저장하는 단계, 및 제어부가, 사용자가 제공하는 영상의 비디오 프레임을 분석하여 복수의 제2 객체를 검출하고, 상기 저장한 제1 객체에 대한 특징 정보를 근거로 상기 검출한 제2 객체의 인증을 수행하여 인증 결과를 근거로 상기 제2 객체와 관련한 메타데이터를 취득하여 상기 저장부 또는 DB에 저장시키며, 상기 저장한 제2 객체의 메타데이터를 근거로 사용자가 요청하는 검색 서비스를 제공하는 단계를 포함한다.
상기 제공하는 단계는, 상기 인증을 수행하기 위하여 상기 검출한 제2 객체의 특징 정보와 상기 제1 객체의 특징 정보의 유사도를 측정해 측정한 유사도가 기설정한 임계값의 범위에 있는지를 판단하는 단계를 포함할 수 있다.
상기 제공하는 단계는, 상기 임계값의 범위에 있는 상기 제2 객체에 한하여 DNN 기반으로 속성 메타데이터를 추출해 저장시키는 단계를 더 포함할 수 있다.
상기 제공하는 단계는, 상기 검출한 제2 객체 중 상기 인증 결과를 근거로 일부를 필터링한 후의 나머지 제2 객체에 대한 메타데이터를 저장시키는 단계를 더 포함할 수 있다.
상기 제공하는 단계는, 상기 특징 정보로서 지정 객체의 식별이 가능한 특성 벡터를 이용할 수 있다.
상기 제공하는 단계는, 상기 검색 서비스의 제공시 속성을 포함하는 세부검색 조건이 배제된 기본검색 조건만으로 검색 서비스를 제공할 수 있다.
본 발명의 실시예에 따르면 기본 검색 조건으로 기존 방식과 본 발명의 실시예에 따른 방식으로 검색을 수행하게 되면 검색 건수에서 차이가 나고, 즉 본 발명의 실시예에 따른 방식이 검색 건수가 매우 적으며, 기존 방식으로 검색을 하게 되는 경우 세부적인 검색 속성 필터링을 거쳐야만 찾기 원하는 검색을 할 수 있지만, 본 발명의 실시예에 따른 검색을 하게 되면 별도의 세부 검색을 거치지 않아도 기본 검색 조건으로만 빠른 시간에 찾기 원하는 검색이 가능할 수 있게 될 것이다.
이와 같이 본 발명의 실시예에 따르면 영상분석시스템에서 가장 중요한 빠른 시간 내에 영상 분석과 검색이 이루어질 수 있게 된다.
결론적으로, 본 발명의 실시예에 따르면 기본 검색 조건만으로도 검색 건수를 적게 검색할 수 있고 이로 인해 검색의 편의성이 증대되며, 빠른 시간 내에 검색이 이루어지며, 원하는 객체를 정확하게 검색할 수 있게 될 것이다.
도 1a는 본 발명의 실시예에 따른 영상분석시스템을 예시한 도면,
도 1b는 본 발명의 다른 실시예에 따른 영상분석시스템을 예시한 도면,
도 2 및 도 3은 도 1a의 영상분석장치의 동작을 설명하기 위한 도면,
도 4는 도 1a의 영상분석장치의 세부구조를 예시한 블록다이어그램, 그리고
도 5는 본 발명의 실시예에 따른 영상분석장치의 구동과정을 나타내는 흐름도이다.
이하, 도면을 참조하여 본 발명의 실시예에 대하여 상세히 설명한다.
도 1a는 본 발명의 실시예에 따른 영상분석시스템을 예시한 도면이고, 도 1b는 본 발명의 다른 실시예에 따른 영상분석시스템을 예시한 도면이며, 도 2 및 도 3은 도 1a 및 도 1b의 영상분석장치의 동작을 설명하기 위한 도면이다.
도 1a 및 도 1b에 도시된 바와 같이, 본 발명의 실시예에 따른 영상분석시스템(90)은 사용자장치(100), 통신망(110), 영상분석장치(120) 및 서드파티장치(130)의 일부 또는 전부를 포함한다.
여기서, "일부 또는 전부를 포함한다"는 것은 사용자장치(100) 또는 서드파티장치(130)와 같은 일부 구성요소가 생략되어 영상분석시스템(90)이 구성되거나 이에 따라 영상분석장치(120)가 독립적으로 즉 스탠드얼론(stand alone) 형태로 동작하거나, 영상분석장치(120)와 같은 구성요소의 일부 또는 전부가 통신망(110)을 구성하는 네트워크장치(예: 교환장치 등)에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.
구체적인 설명에 앞서, 본 발명의 실시예에 따른 영상분석시스템(90)은 온라인상에서 영상 분석 및 검색 서비스를 제공하는 것을 도시하고 있지만, 도 1a의 영상분석장치(120)는 컴퓨터로서 도 1b에서와 같이 오프라인(Offline)상에서 독립적으로 동작하는 것도 얼마든지 가능하므로, 도 1a의 온라인 동작에 특별히 한정하지는 않을 것이다. 예를 들어, 영상분석장치(120)는 포렌식을 수행하는 서버나 컴퓨터를 포함할 수 있다.
사용자장치(100)는 지정된 장소에 설치되어 사건, 사고를 감시하는 CCTV와 같은 촬영장치, 사용자들이 소유하는 데스크탑컴퓨터, 랩탑컴퓨터, 휴대폰(예: 스마트폰), 태블릿PC 및 스마트TV 등을 포함하며, 도 1b에서와 같이 이동식저장매체(예: USB)(101)를 더 포함할 수 있다. 물론 이러한 이동식저장매체(101)는 차량의 블랙박스에 구비되는 메모리를 포함할 수도 있다. 도 1b에서와 같이 이동식저장매체(101)는 영상분석장치(120)를 구성하는 관제컴퓨터에 바로 연결될 수도 있다.
사용자장치(100)는 카메라를 통해 촬영된 영상을 저장(임시저장 포함)하며, 영상분석장치(120)로 촬영영상을 제공하여 영상분석을 요청할 수 있다. 물론 영상분석장치(120)가 관제장치의 역할을 수행하고, 사용자장치(100)가 CCTV와 같은 촬영장치인 경우 촬영영상은 실시간으로 혹은 주기적으로 영상분석장치(120)로 제공되어 분석을 통해 관제가 이루어질 수 있을 것이다.
영상분석장치(120)는 단순히 영상 분석 동작만을 수행하는 것이 아니라, 영상 검색 서비스를 제공할 수도 있다. 따라서, 사용자장치(100)는 사용자들이 온라인에서 사용하는 스마트폰, 컴퓨터 등의 영상표시장치가 될 수 있으며, 자신이 제공한 영상 분석 결과에 대하여 영상 검색이 필요할 때 영상분석장치(120)에 접속하여 검색 서비스를 제공받을 수도 있다. 또한, 사용자장치(100)는 포렌식 작업을 수행하는 관계자 혹은 관리자의 컴퓨터를 포함할 수 있다. 따라서, 사용자로부터 이동매체 등을 통해 분석하고자 하는 영상을 제공받은 경우 관계자는 해당 영상을 분석하고 분석에 따라 검색을 수행할 수 있을 것이다.
도 1a에서 통신망(110)은 유무선 통신망을 모두 포함한다. 가령 통신망(110)으로서 유무선 인터넷망이 이용되거나 연동될 수 있다. 여기서 유선망은 케이블망이나 공중 전화망(PSTN)과 같은 인터넷망을 포함하는 것이고, 무선 통신망은 CDMA, WCDMA, GSM, EPC(Evolved Packet Core), LTE(Long Term Evolution), 와이브로(Wibro) 망 등을 포함하는 의미이다. 물론 본 발명의 실시예에 따른 통신망(110)은 이에 한정되는 것이 아니며, 향후 구현될 차세대 이동통신 시스템의 접속망으로서 가령 클라우드 컴퓨팅 환경하의 클라우드 컴퓨팅망, 5G망 등에 사용될 수 있다. 가령, 통신망(110)이 유선 통신망인 경우 통신망(110) 내의 액세스포인트는 전화국의 교환국 등에 접속할 수 있지만, 무선 통신망인 경우에는 통신사에서 운용하는 SGSN 또는 GGSN(Gateway GPRS Support Node)에 접속하여 데이터를 처리하거나, BTS(Base Transceiver Station), NodeB, e-NodeB 등의 다양한 중계기에 접속하여 데이터를 처리할 수 있다.
통신망(110)은 액세스포인트를 포함할 수 있다. 액세스포인트는 건물 내에 많이 설치되는 펨토(femto) 또는 피코(pico) 기지국과 같은 소형 기지국을 포함한다. 여기서, 펨토 또는 피코 기지국은 소형 기지국의 분류상 사용자장치(100)를 최대 몇 대까지 접속할 수 있느냐에 따라 구분된다. 물론 액세스포인트는 사용자장치(100)와 지그비 및 와이파이(Wi-Fi) 등의 근거리 통신을 수행하기 위한 근거리 통신 모듈을 포함한다. 액세스포인트는 무선통신을 위하여 TCP/IP 혹은 RTSP(Real-Time Streaming Protocol)를 이용할 수 있다. 여기서, 근거리 통신은 와이파이 이외에 블루투스, 지그비, 적외선(IrDA), UHF(Ultra High Frequency) 및 VHF(Very High Frequency)와 같은 RF(Radio Frequency) 및 초광대역 통신(UWB) 등의 다양한 규격으로 수행될 수 있다. 이에 따라 액세스포인트는 데이터 패킷의 위치를 추출하고, 추출된 위치에 대한 최상의 통신 경로를 지정하며, 지정된 통신 경로를 따라 데이터 패킷을 다음 장치, 예컨대 영상분석장치(120)로 전달할 수 있다. 액세스포인트는 일반적인 네트워크 환경에서 여러 회선을 공유할 수 있으며, 예컨대 라우터(router), 리피터(repeater) 및 중계기 등이 포함된다.
물론 도 1a의 영상분석시스템(90)에서 통신망(110)이 생략되어 본 발명의 다른 실시예에 따른 오프라인상의 분석처리시스템을 구성할 수 있으며, 이의 경우 도 1b에서와 같이 이동식저장매체(101)는 도 1a의 영상분석장치(120)에 바로 연결될 수 있다. 여기서, 영상분석장치(120)는 컴퓨터를 포함할 수 있다.
영상분석장치(120)는 가령 지정된 구역에 설치되는 사용자장치(100), 가령 CCTV에서 제공되는 촬영영상을 통해 해당 구역을 모니터링하는 관제장치의 역할을 수행할 수 있다. 물론 그것에 특별히 한정하지는 않을 것이다. 가령 본 발명의 실시예에 따라 영상의 고속분석 동작을 수행하여 서비스로 제공하기 위한 업체의 서버를 포함할 수도 있다. 영상분석장치(120)는 방대한 양의 영상 데이터를 저장하기 위한 DB(120a)를 포함하며, 서버와 관제컴퓨터 등을 더 포함할 수 있다.
또한, 영상분석장치(120)는 다양한 형태로 시스템이 구축될 수 있다. 가령 단독서버의 형태로 동작할 수 있으며, 여러 대의 서버가 연동할 수 있다. 예컨대, 영상분석장치(120)는 가령 제1 영상처리장치와 제2 영상처리장치를 포함할 수 있다. 이를 통해 도 1a의 영상분석장치(120)는 영상처리 동작을 협업 또는 분산 처리함으로써 영상처리속도를 급격하게 증가시킬 수 있다.
무엇보다 본 발명의 실시예에 따른 영상분석장치(120)는 도 1b에서와 같이 오프라인상에서 분석처리 시스템으로서 동작하여 불특정 다수의 객체에 대한 메타데이터를 저장하는 게 아니라, 특정 객체인지 아닌지를 판단하여 해당 객체로 판단이 되면 그 객체에 대해 추출한 메타데이터를 데이터베이스에 저장하는 인증 방식(Verification)을 제공한다. 물론 인증방식은 다양하게 이루어질 수 있으며, 메타데이터는 영상 소스를 제공하는 측에서 제공될 수도 있다. 예를 들어, 사용자장치(100)가 카메라 등의 촬영장치인 경우 해당 촬영장치에 의해 메타데이터가 생성되어 제공된다. 또한, 사용자장치(100)가 방송국 등의 서버인 경우, 자막 등의 정보는 메타데이터에 포함되어 제공될 수 있다. 메타데이터는 제공되는 영상과 관련되는 총체적인 정보를 포함한다고 볼 수 있다. 물론 본 발명의 실시예에서는 가령 유사도가 일치 또는 유사하여 인증이 완료된 제2 객체에 대하여 D(C)NN 기반으로 속성 메타데이터를 추출하기 위한 동작을 수행할 수도 있다. 이를 통해 속성 메타데이터의 저장시 정확도가 높은 속성 메타데이터를 저장시킬 수 있다
사전적인 의미를 보면 메타데이터는 데이터에 관한 구조화된 데이터로 다른 데이터를 설명해 주는 데이터이다. 따라서 속성정보라고도 한다. 대량의 정보 가운데에서 찾고 있는 정보를 효율적으로 찾아내서 이용하기 위해 일정한 규칙에 따라 콘텐츠에 대하여 부여되는 데이터이다. 여기에는 콘텐츠의 위치와 내용, 작성자에 관한 정보, 권리 조건, 이용 조건, 이용 내력 등이 기록되어 있다. 물론 본 발명의 실시예에서는 이외에 다양한 정보를 포함한다. 컴퓨터에서는 보통 메타데이터를 데이터를 표현하기 위한 목적과 데이터를 빨리 찾기 위한 목적으로 사용하고 있다.
영상분석장치(120)는 특정 객체에 대한 메타데이터만을 데이터베이스에 저장하는 인증 방식을 수행하기 위하여 선행 조건으로 특정 객체의 이미지에 대해 먼저 특성 정보로서 특징점 정보 또는 특성 벡터(feature　Vector)를 미리 추출한 다음 오프라인 또는 온라인 비디오 영상에서 분석 프레임마다 각 객체를 검지하면서 검지한 객체에 대해 Feature　Vector(1) ~ Feature　Vector(n)를 추출하게 되어 순간순간 Feature　Vector와 Feature　Vector(1) ~ Feature　Vector(n)와 Feature　Vector를 비교하고 유사도를 계산하여 임계값 이상이 되면(혹은 임계값 범위에 있으면) 해당 객체에 대한 메타데이터를 추출하여 데이터베이스에 저장하게 된다. 가령, 유사도의 임계값을 85%로 설정하였다면, 85% 이상이 될 때 인증이 이루어질 수 있다.
이와 같이 본 발명의 실시예에 따른 영상분석장치(120)는 시스템에서 특정 객체에 대한 메타데이터만을 DB(120a)에 저장하는 인증 방식을 사용함으로써 보다 빠른 시간에 찾기 원하는 객체만를 검색하는 효율적인 디지털 영상 포렌식 분석 기법을 제공할 수 있을 것이다.
요약하면, 본 발명의 실시예에 따른 도 1a의 영상분석장치(120)는 도 1b에서와 같이 오프라인상의 분석처리시스템을 구성할 수 있다. 그 결과 입력된 비디오 영상에 대하여 영상분석 동작을 수행할 수 있으며, 이의 과정에서 객체 특징 벡터(Feature vector) 추출, 특징 벡터 비교, 유사도 이상이면 객체에 대한 DNN 속성 메타데이터를 추출하여 도 1b의 DB(120a)에 저장시킬 수 있다. 또한, 사용자로부터 객체 검색 요청이 있는 경우에는 DB(120a)를 검색하여 검색 결과를 도 1a의 사용자장치(100) 등으로 제공할 수 있다.
좀더 구체적으로 도 2 및 도 3을 참조하면, 본 발명의 실시예에 따른 영상분석장치(120)는 가령 영상분석시스템(90)에서 DNN 기반으로 추출된 객체의 Feature　Vector와 특정 객체 이미지에서 추출된 Feature　Vector와의 유사도 임계값에 따른 분석 메타데이터 저장 동작을 수행한다. 다시 말해, 본 발명의 실시예에서는 분석 및 검색 서비스를 제공하기에 앞서 관심 대상 객체(혹은 제1 객체)에 대한 이미지를 확보하여 이를 분석해 특징점 정보 등의 특성 벡터를 미리 추출하여 기저장한다. 물론 관심대상객체는 사람, 차량 등이 될 수 있으며, 사람의 경우에는 얼굴의 특징점 정보가 사용될 수 있고, 차량의 경우 모양이나 색상 등의 속성을 나타내는 특징점 정보가 사용될 수 있다. 또한 확보한 객체 이미지에 대한 분석 결과는 인공지능의 딥러닝이나 오프라인상에서 관리자의 관리하에 정확도를 판별하여 저장되는 것이 바람직하며 이를 통해 정확도는 매우 높아진다고 볼 수 있다. 다시 말해 인증이나 인증을 통한 필터링을 위해 기준이 되는 제1 객체의 특징 정보에 대한 정확도가 곧 사용자가 요청하는 영상의 분석 결과에 대한 정확도로 이어지지 때문이다.
이와 같이 관심 대상 객체와 관련한 기준 데이터를 구축한 후, 사용자가 분석을 요청하는 비디오 영상에서 분석 프레임마다 각 객체를 검지하면서 검지한 객체에 대해 Feature　Vector(1) ~ Feature　Vector(n)를 추출하게 되어 순간순간 Feature　Vector와 Feature　Vector(1) ~ Feature　Vector(n) 의 Feature　Vector를 비교하고 유사도를 계산하여 임계값 이상이 되면 해당 객체에 대한 메타데이터를 추출하여 데이터베이스에 저장시킨다. 도 2에서 볼 때, 비디오 영상이 총 100개의 비디오 프레임으로 구성된다고 가정할 때, 비디오 프레임마다 불특정 다수의 객체가 추출되며, 이는 DCNN 등의 딥러닝 동작을 통해 우선적으로 객체의 선별이 이루어질 수 있다. 예를 들어, 본 발명의 실시예에서는 DCNN을 통해 관심이 없는 나무 등의 객체는 필터링해 낼 수 있다. 물론 본 발명의 실시예에서는 DCNN 기반으로 객체를 추출하는 것에 대하여 특별히 한정하지는 않을 것이다.
이와 같이 DCNN 기반으로 불특정 다수의 객체(혹은 제2 객체)가 추출되면 영상분석장치(120)는 도 2에서와 같이 기저장된 가령 특성 벡터를 근거로 추출한 제2 객체에 대한 인증 혹은 검증을 수행한다. 물론 이의 과정에서 제2 객체에 대한 특징 분석을 수행할 수 있으며, 이의 과정에서 제2 객체의 외부 테두리선의 특징으 로 분석할 수도 있을 것이다. 기저장된 제1 객체의 특성 벡터와 추출한 불특정 다수의 제2 객체에 대한 특성 벡터를 비교하여 서로 일치하거나 유사도가 임계값 이상, 더 정확하게는 오차 범위(예: -15%)를 넘지 않는 제2 객체를 판별하고, 그 판별한 제2 객체에 대한 메타데이터를 확보하여 도 1b의 DB(120a)에 저장시킬 수 있다. 본 발명의 실시예에 따른 영상분석장치(120)는 사전에 속성 정보 등의 특성 벡터를 이용해 영상 분석을 수행하고, 그에 따른 메타데이터를 DB(120a)에 저장시킨 상태이기 때문에 분석을 요청한 해당 영상에 대하여도 검색을 수행할 때 기존과 같이 검색을 위해 속성 정보 등의 세부 검색을 수행하는 것이 아니라 날짜 등의 기본 검색을 통해서도 원하는 검색을 쉽게 수행할 수 있게 된다고 볼 수 있다. 물론 그만큼 검색의 수량도 적어진다고 볼 수 있다.
요약하면, 본 발명의 실시예에 따른 영상분석장치(120)는 영상의 분석 및 검색을 위해 사전에 확보한 필요 객체에 대한 속성 정보 등을 기저장하고 이를 통해 사용자가 요청한 비디오 영상에 대한 분석을 수행하고 그 결과를 근거로 DB(120a)에 최종적으로 필터링된 혹은 인증이 완료된 객체의 메타데이터를 가령 DNN 기반으로 저장하게 되므로, 검색량이 그만큼 줄어들게 되고, 검색도 그만큼 쉬워진다고 볼 수 있다.
상기한 바와 같이 영상분석장치(120)는 또는 영상분석시스템(90)은 특정 객체에 대한 메타데이터만을 DB(120a)에 저장하는 인증 방식을 수행하기 위하여 크게 3가지 단계로 나눌 수 있다. 첫번째가 Feature Vector 추출 단계로 찾고자 하는 특정 객체 이미지의 Feature Vector와 타깃(target)이 되는 비디오 영상 파일에서 분석 프레임에서 검지한 객체의 Feature Vector(1) ~ Feature Vector(n)을 추출하는 과정이다. 두번째는 두 Feature Vector를 비교하는 단계로 특정 객체 이미지의 Feature Vector와 분석 프레임에서 검지한 객체의 Feature Vector(1) ~ Feature Vector(n) 각각을 실시간으로 비교하여 유사도 값을 산출한 후 유사도 임계값 이상인지를 판별하는 과정이다. 세번째 단계는 메타데이터를 데이터베이스에 저장하는 단계로 두번째 단계에서 유사도 임계값 이상인 경우에 해당하는 객체에 대해서만 DNN 기반의 속성 메타 데이터를 추출하여 DB(120a)에 저장하는 과정이다.
도 3에서는 도 1a 및/또는 도 1b의 영상분석장치(120)에서 위의 3가지 단계를 거쳐 DB(120a)에 저장한 객체에 대한 검색 과정을 보여주고 있다. 도 3의 (a)는 기존 모든 객체에 대한 메타데이터를 DB에 저장하는 식별 방식을 사용한 검색을 보여주고 있으며, 도 3의 (b)는 본 발명의 실시예에 따라 특정 객체에 대한 메타데이터만을 DB(120)a)에 저장하는 인증 방식을 사용한 검색을 보여주고 있다. 도 3에서와 같이 기본 검색 조건으로 기존 방식과 본 발명의 실시예를 이용한 방식으로 검색을 수행하면 검색 건수에서도 차이가 나고, 또 기존 방식으로 검색을 하게 되는 경우 세부적인 검색 속성 필터링을 거쳐야만 찾기 원하는 검색을 할 수 있지만 본 발명의 실시예를 이용한 검색을 하게 되면 기본 검색 조건으로 빠른 시간에 찾기 원하는 검색이 가능하게 된다. 따라서, 영상분석시스템(90)의 가장 중요한 빠른 시간 내에 영상 분석과 검색이 이루어진다.
서드파티장치(130)는 경찰서 등의 관공서에서 운영하는 서버, 기타 콘텐츠 영상을 제공하는 업체의 서버를 포함한다. 가령, 지방자치단체에서 운영하는 관제장치는 서드파티장치(130)가 될 수도 있다. 물론 이러한 관제장치는 본 발명의 실시예에 따른 영상분석장치(120)인 것이 바람직할 수 있다. 하지만, 특별히 한정하지는 않을 것이다. 서드파티장치(130)는 영상분석을 통해 다양한 목적에 사용할 수 있기 때문에 콘텐츠 즉 비디오영상을 제공하는 제공업체로 이해해도 좋다.
도 4는 도 1b의 영상분석장치의 세부구조를 예시한 블록다이어그램이다.
도 4에 도시된 바와 같이, 본 발명의 실시예에 따른 영상분석장치(120)는 인터페이스부(400), 제어부(410), 인증기반 영상처리부(420) 및 저장부(430)의 일부 또는 전부를 포함한다.
여기서, "일부 또는 전부를 포함한다"는 것은 저장부(430)와 같은 일부 구성요소가 생략되어 영상분석장치(120)가 구성되거나, 인증기반 영상처리부(420)와 같은 일부 구성요소가 제어부(410)와 같은 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.
인터페이스부(400)는 통신 인터페이스부 및 사용자 인터페이스부 중 적어도 하나를 포함할 수 있다. 예를 들어, 인터페이스부(400)는 영상분석장치(120)가 온라인상에서 동작할 때, 통신 인터페이스부로서 도 1a의 통신망(110)을 경유하여 사용자장치(100)나 서드파티장치(130)와 통신을 수행할 수 있다. 예를 들어, 사용자장치(100)에서 영상을 제공하여 영상 분석을 요청한 경우, 해당 영상을 수신하여 제어부(410)에 제공할 수 있다. 또한, 통신 인터페이스는 사용자장치(100)에서 기제공한 영상에 대한 분석 결과를 토대로 검색을 수행할 때, 기본 검색만으로도 검색 결과를 추출하여 제공할 수 있다. 통신 인터페이스부는 이러한 동작에 관여할 수 있다. 물론 통신 인터페이스부는 사용자장치(100)와 통신을 수행하는 과정에서 변/복조, 먹싱/디먹싱, 인코딩/디코딩, 해상도 변환의 스케일링 등의 동작을 수행할 수 있으며, 이는 당업자에게 자명하므로 더 이상의 설명은 생략하도록 한다.
또한, 인터페이스부(400)는 큰 범주에서는 이것도 통신 인터페이스부에 포함될 수 있지만, 본 발명의 실시예에서는 온라인상의 통신 인터페이스부와 구분하기 위하여 사용자 인터페이스부라 명명한다. 다시 말해, 사용자 인터페이스부는 사용자나 관리자가 이동매체 등을 통해 영상을 제공하는 경로를 포함할 수 있다. 즉 USB 포트(port) 등을 포함할 수 있다. 예를 들어 본 발명의 실시예에 따른 프로그램이 포렌식 작업을 수행하는 경찰서 등의 관공서에만 제공되는 경우, 경찰은 CCTV 등의 영상을 USB 등의 매체에 저장한 후 이를 자신들이 소지하는 컴퓨터에 연결하여 영상 분석을 수행한 후 검색을 수행할 수 있다.
물론 본 발명의 실시예에 따른 사용자 인터페이스부는 사용자 명령을 수신하기 위한 디스플레이부나, 마우스와 같은 주변장치를 더 포함할 수 있으며, 본 발명의 실시예에 따른 검색을 수행하기 위하여 음성명령어를 이용한 방법도 충분히 이루어질 수 있으므로, 사용자 인터페이스부는 음성인식모듈을 포함할 수도 있다. 따라서, 본 발명의 실시예에서는 위의 어느 하나의 형태에 특별히 한정하지는 않을 것이다.
제어부(410)는 영상분석장치(120)를 구성하는 도 4의 인터페이스부(400), 인증기반 영상처리부(420) 및 저장부(430)의 전반적인 제어 동작을 담당한다. 제어부(410)는 대표적으로 인터페이스부(400)를 통해 제공되는 영상에 대한 사용자 등으로부터 분석 요청이 있을 때 이를 인증기반 영상처리부(420)로 제공하여 본 발명의 실시예에 따른 영상분석 동작을 수행한다. 이러한 영상 분석 동작은 도 2에서 설명한 바 있다.
또한, 제어부(410)는 인터페이스부(400)를 통해 기제공한 영상 분석에 대한 검색 서비스 요청이 있을 때, 도 1a의 사용자장치(100)나 모니터 등의 검색 화면으로 기본 검색을 위한 검색 화면을 제공할 수 있으며, 물론 이를 위하여 인증기반 영상처리부(420)의 프로그램을 실행시킬 수 있으며, 검색 화면을 통해 검색 조건, 본 발명의 실시예에서는 속성 정보를 배제한 기본 검색 조건에 대한 정보가 입력되면 이를 근거로 검색을 수행하여 검색 결과를 제공할 수 있다. 이러한 검색 결과의 제공은 도 3을 통해 이미 살펴본 바 있다.
인증기반 영상처리부(420)는 관심 객체에 대한 이미지를 확보하여 이를 분석해 속성 정보 등의 특성 벡터를 추출하여 기저장한다. 여기서, 관심 객체는 다양한 객체를 포함할 수 있지만, 교통분야에서는 사람이나, 차량 등이 이에 포함될 수 있다. 또한, 치안분야에서는 용의자 등의 사람 객체일 수 있다. 본 발명의 실시예에 따른 인증기반 영상처리부(420)는 관심 객체에 대한 가령 특성 벡터를 추출하여 저장부(430)나 도 1b의 DB(120a), 또는 내부 프로그램의 레지스트리 등에 저장할 수 있다. 물론 이러한 관심 대상 객체는 삭제되거나 주기적으로 갱신될 수 있다.
인증기반 영상처리부(420)는 관심 객체에 대한 특성 벡터 정보를 저장한 후 이를 기반으로 사용자가 제공하여 분석을 요청하는 비디오 영상에서 추출되는 불특정 다수의 객체들에 대한 인증 혹은 검증을 수행한다. 예를 들어, 분석을 요청한 사용자의 비디오 영상에서는 객체로 판단되는 다양한 유형의 객체가 추출될 수 있다. 예를 들어, 배경을 제외한 모든 대상, 가령 나무 등도 객체로서 추출될 수 있다. 그러나, 본 발명의 실시예에서는 이러한 나무 등의 객체는 DCNN 등을 통해 객체를 구별할 수 있다.
또한, 인증기반 영상처리부(420)는 비디오 영상에서 추출한 사람, 차량 등의 객체라 하더라도, 도 3에서 이미 살펴본 바와 같이 기저장한 관심 대상 객체 즉 제1 객체의 가령 특성 벡터와 분석된 비디오 영상에서 추출된 불특정 다수의 제2 객체의 특성 벡터를 비교하여 유사도를 측정할 수 있고, 측정한 유사도 결과가 임계값을 벗어나지 않는지 판단할 수 있다. 다시 말해, 유사도가 정확히 일치하는 것이 바람직하지만 오차 범위 내의 제2 객체는 유사하다고 판단할 수 있고, 해당 제2 객체들에 대한 메타데이터를 취득하여 저장시킬 수 있다. 인증기반 영상처리부(420)는 유사도의 동일 또는 유사 범주에 포함되는 제2 객체에 대하여 메타데이터를 추출할 때 D(C)NN 기반으로 속성 메타데이터를 추출할 수 있다. 반면, 임계값의 범주에 포함되지 않는 제2 객체는 별도의 영상 처리 절차를 진행하지 않게 된다.
물론 본 발명의 실시예에서는 특성 벡터의 유사도를 측정하는 것으로 설명하고 있지만, 인증기반 영상처리부(420)는 유사도 값을 제시하기보다는 인증 처리 결과로서 단순히 true와 false에 해당하는 결과를 출력할 수 있다. 예를 들어, 특정 제2 객체에 대하여 true(예: 2진비트정보 "1"을 출력)를 제시함으로써 이후에 해당 제2 객체에 대한 DCNN 기반의 속성 메타데이터 추출 동작을 수행할 수 있다. 반면, 특정 제2 객체에 대하여 false(예: 2진비트정보 "0"을 출력)를 제시함으로써 인증기반 영상처리부(420)의 내부 프로그램을 구성하는 매니저(manager)는 이후의 메타데이터 추출 동작을 미진행할 수 있다. 이러한 점에서, 본 발명의 실시예에서는 인증 또는 검증, 그리고 필터링이라는 용어가 적절히 사용될 수 있다.
또한, 인증기반 영상처리부(420)는 분석이 이루어진 속성 메타데이터를 근거로 검색 서비스를 제공할 수 있다. 다시 말해, 인증기반 영상처리부(420)는 이미 데이터 구축시에 특성 정보를 근거로 객체를 분류하여 메타데이터를 저장하였으므로, 단순히 기본검색을 통해서도 검색 결과의 수가 줄어들 수 있고, 속성과 같은 세부 정보를 굳이 검색창에 제공하지 않는다 하더라도 객체 유형이나 날짜와 같은 기본정보만으로도 검색량이 줄어 쉽게 검색이 이루어질 수 있다. 다시 말해, 도 4에서 볼 때, 기존에는 도 3의 (a) 및 (a')에서와 같이 일반 검색 이후에 다시 속성 등을 이용한 상세 검색이 이루어졌다면, 본 발명의 실시예에서는 도 3의 (b)에서와 같이 도 3의 (a)에서와 같은 동일한 일반 검색 조건을 통해 도 3의 (b)에서와 같은 동일 결과를 얻을 수 있다. 이와 같이 검색 과정이 간편하게 이루어지게 된다.
저장부(430)는 제어부(410)의 제어하에 처리되는 다양한 정보나 데이터를 저장할 수 있다. 정보와 데이터의 용어는 실무상 혼용되므로 그러한 용어의 개념에 특별히 한정하지는 않을 것이다. 다시 말해, 메타데이터는 메타정보라고도 명명될 수도 있다. 제어부(410)는 가령 도 1b의 DB(120a)로부터 데이터를 불러와 저장부(430)에 임시 저장할 수 있다. 또한, 제어부(410)는 사용자가 비디오 영상의 분석을 요청할 때, 해당 비디오 영상을 저장부(430)에 임시 저장한 후 불러내어 인증기반 영상처리부(420)로 제공할 수도 있다.
한편, 본 발명의 다른 실시예로서 제어부(410)는 CPU 및 메모리를 포함할 수 있으며, 원칩화하여 형성될 수 있다. CPU는 제어회로, 연산부(ALU), 명령어해석부 및 레지스트리 등을 포함하며, 메모리는 램을 포함할 수 있다. 제어회로는 제어동작을, 그리고 연산부는 2진비트정보의 연산동작을, 그리고 명령어해석부는 인터프리터나 컴파일러 등을 포함하여 고급언어를 기계어로, 또 기계어를 고급언어로 변환하는 동작을 수행할 수 있으며, 레지스트리는 소프트웨어적인 데이터 저장에 관여할 수 있다. 상기의 구성에 따라, 가령 도 1a 또는 도 1b의 영상분석장치(120)의 동작 초기에 인증기반 영상처리부(420)에 저장되어 있는 프로그램을 복사하여 메모리 즉 램(RAM)에 로딩한 후 이를 실행시킴으로써 데이터 연산 처리 속도를 빠르게 증가시킬 수 있다.
도 5는 본 발명의 실시예에 따른 영상분석장치의 구동과정을 나타내는 흐름도이다.
설명의 편의상 도 5를 도 1b와 함께 참조하면, 본 발명의 실시예에 따른 영상분석장치(120)는 영상 분석 및 검색의 타깃이 되는 적어도 하나의 제1 객체에 대한 특징 정보를 저장한다(S500).
또한, 영상분석장치(120)는 사용자가 제공하는 영상의 비디오 프레임을 분석하여 복수의 제2 객체를 검출하고, 저장한 제1 객체에 대한 특징 정보를 근거로 (기)검출한 제2 객체의 인증을 수행하여 인증 결과를 근거로 제2 객체와 관련한 메타데이터를 취득해 저장부에 저장시키며, 저장한 제2 객체의 메타데이터를 근거로 사용자가 요청하는 검색 서비스를 제공한다(S510).
상기한 내용 이외에도 본 발명의 실시예에 따른 영상분석장치(120)는 다양한 동작을 수행할 수 있으며, 기타 자세한 내용은 앞서 충분히 설명하였으므로 그 내용들로 대신하고자 한다.
한편, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 비일시적 저장매체(non-transitory computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다.
여기서 비일시적 판독 가능 기록매체란, 레지스터, 캐시(cache), 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라, 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리 카드, ROM 등과 같은 비일시적 판독가능 기록매체에 저장되어 제공될 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.
100: 사용자장치 110: 통신망
120: 영상분석장치 130: 서드파티장치
400: 인터페이스부 410: 제어부
420: 인증기반 영상처리부 430: 저장부

Claims (12)

  1. 영상 분석 및 검색의 타깃(target)이 되는 적어도 하나의 제1 객체(object)에 대한 특징 정보를 저장하는 저장부; 및
    사용자가 제공하는 영상의 비디오 프레임을 분석하여 복수의 제2 객체를 검출하고, 상기 저장한 제1 객체에 대한 특징 정보를 근거로 상기 검출한 제2 객체의 인증을 수행하여 인증 결과를 근거로 상기 제2 객체와 관련한 메타데이터를 취득해 상기 저장부 또는 데이터베이스(DB)에 저장시키며, 상기 저장한 제2 객체의 메타데이터를 근거로 사용자가 요청하는 검색 서비스를 제공하는 제어부;를 포함하되,
    상기 제어부는, 상기 인증을 수행하기 위하여 상기 검출한 제2 객체의 특징 정보와 상기 제1 객체의 특징 정보의 유사도를 측정해 측정한 유사도가 기설정한 임계값의 범위에 있는지를 판단하고,
    상기 제어부는, 상기 임계값의 범위에 있는 상기 제2 객체에 한하여 DNN(Deep Neural Network) 기반으로 속성 메타데이터를 추출해 저장시키며,
    상기 제어부는, 상기 검출한 제2 객체 중 상기 인증 결과를 근거로 일부를 필터링한 후의 나머지 제2 객체에 대한 메타데이터를 저장시키는 영상분석장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 제어부는, 상기 특징 정보로서 지정 객체의 식별이 가능한 특성 벡터(feature vector)를 이용하는 영상분석장치.
  6. 제1항에 있어서,
    상기 제어부는, 상기 검색 서비스의 제공시 객체의 속성(attribute)을 포함하는 세부검색 조건을 배제하여 날짜를 포함하는 기본검색 조건만으로 검색 서비스를 제공하는 영상분석장치.
  7. 저장부가, 영상 분석 및 검색의 타깃(target)이 되는 적어도 하나의 제1 객체(object)에 대한 특징 정보를 저장하는 단계; 및
    제어부가, 사용자가 제공하는 영상의 비디오 프레임을 분석하여 복수의 제2 객체를 검출하고, 상기 저장한 제1 객체에 대한 특징 정보를 근거로 상기 검출한 제2 객체의 인증을 수행하여 인증 결과를 근거로 상기 제2 객체와 관련한 메타데이터를 취득해 상기 저장부 또는 DB에 저장시키며, 상기 저장한 제2 객체의 메타데이터를 근거로 사용자가 요청하는 검색 서비스를 제공하는 단계;를 포함하되,
    상기 제공하는 단계는,
    상기 인증을 수행하기 위하여 상기 검출한 제2 객체의 특징 정보와 상기 제1 객체의 특징 정보의 유사도를 측정해 측정한 유사도가 기설정한 임계값의 범위에 있는지를 판단하는 단계;
    상기 임계값의 범위에 있는 상기 제2 객체에 한하여 DNN 기반으로 속성 메타데이터를 추출해 저장시키는 단계; 및
    상기 검출한 제2 객체 중 상기 인증 결과를 근거로 일부를 필터링한 후의 나머지 제2 객체에 대한 메타데이터를 저장시키는 단계;를
    더 포함하는 영상분석장치의 구동방법.
  8. 삭제
  9. 삭제
  10. 삭제
  11. 제7항에 있어서,
    상기 제공하는 단계는,
    상기 특징 정보로서 지정 객체의 식별이 가능한 특성 벡터를 이용하는 영상분석장치의 구동방법.
  12. 제7항에 있어서,
    상기 제공하는 단계는,
    상기 검색 서비스의 제공시 객체의 속성을 포함하는 세부검색 조건을 배제하여 날짜를 포함하는 기본검색 조건만으로 검색 서비스를 제공하는 영상분석장치의 구동방법.
KR1020200152171A 2020-11-13 2020-11-13 영상분석장치 및 그 장치의 구동방법 KR102254037B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200152171A KR102254037B1 (ko) 2020-11-13 2020-11-13 영상분석장치 및 그 장치의 구동방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200152171A KR102254037B1 (ko) 2020-11-13 2020-11-13 영상분석장치 및 그 장치의 구동방법

Publications (1)

Publication Number Publication Date
KR102254037B1 true KR102254037B1 (ko) 2021-05-20

Family

ID=76142849

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200152171A KR102254037B1 (ko) 2020-11-13 2020-11-13 영상분석장치 및 그 장치의 구동방법

Country Status (1)

Country Link
KR (1) KR102254037B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023200187A1 (ko) * 2022-04-14 2023-10-19 한화비전 주식회사 영상 검색 장치 및 방법
KR20240074636A (ko) 2022-11-18 2024-05-28 주식회사 위트콘 인공지능 기반의 포렌식 영상 처리 시스템 및 그 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160061856A (ko) 2014-11-24 2016-06-01 삼성전자주식회사 객체 인식 방법 및 장치, 및 인식기 학습 방법 및 장치
KR20170034226A (ko) 2015-09-18 2017-03-28 삼성전자주식회사 객체 인식 장치 및 방법, 객체 인식 모델 학습 장치 및 방법
KR20170137350A (ko) 2016-06-03 2017-12-13 (주)싸이언테크 신경망 생성 모델을 이용한 객체 움직임 패턴 학습장치 및 그 방법
KR102167414B1 (ko) * 2020-04-27 2020-10-19 이한구 드론을 이용한 교통법규 위반차량 단속 서비스 제공 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160061856A (ko) 2014-11-24 2016-06-01 삼성전자주식회사 객체 인식 방법 및 장치, 및 인식기 학습 방법 및 장치
KR20170034226A (ko) 2015-09-18 2017-03-28 삼성전자주식회사 객체 인식 장치 및 방법, 객체 인식 모델 학습 장치 및 방법
KR20170137350A (ko) 2016-06-03 2017-12-13 (주)싸이언테크 신경망 생성 모델을 이용한 객체 움직임 패턴 학습장치 및 그 방법
KR102167414B1 (ko) * 2020-04-27 2020-10-19 이한구 드론을 이용한 교통법규 위반차량 단속 서비스 제공 시스템 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023200187A1 (ko) * 2022-04-14 2023-10-19 한화비전 주식회사 영상 검색 장치 및 방법
KR20240074636A (ko) 2022-11-18 2024-05-28 주식회사 위트콘 인공지능 기반의 포렌식 영상 처리 시스템 및 그 방법

Similar Documents

Publication Publication Date Title
CN109284729B (zh) 基于视频获取人脸识别模型训练数据的方法、装置和介质
US9560323B2 (en) Method and system for metadata extraction from master-slave cameras tracking system
US20200059978A1 (en) Method and apparatus for connecting to wireless access point
US8358837B2 (en) Apparatus and methods for detecting adult videos
US9514225B2 (en) Video recording apparatus supporting smart search and smart search method performed using video recording apparatus
US11625433B2 (en) Method and apparatus for searching video segment, device, and medium
KR102254037B1 (ko) 영상분석장치 및 그 장치의 구동방법
KR101954717B1 (ko) 고속분석 영상처리장치 및 그 장치의 구동방법
US20160189395A1 (en) Information processing apparatus, recording medium, and information processing method
US11756301B2 (en) System and method for automatically detecting and marking logical scenes in media content
CN111563398A (zh) 用于确定目标物的信息的方法和装置
US8705800B2 (en) Profiling activity through video surveillance
KR102313338B1 (ko) 영상 검색 장치 및 방법
CN113705650B (zh) 一种人脸图片集的处理方法、装置、介质和计算设备
CN111191591A (zh) 一种水印检测、视频处理方法和相关设备
KR102336480B1 (ko) 자동 세그먼트 분류를 위한 영상처리장치 및 그 장치의 구동방법
KR102192039B1 (ko) 촬영장치를 이용한 교통법규 위반 신고처리 방법 및 시스템
US20200311401A1 (en) Analyzing apparatus, control method, and program
CN113076961A (zh) 一种图像特征库更新方法、图像检测方法和装置
KR102293570B1 (ko) 객체의 gps 좌표정보를 이용한 검색 서비스를 제공하는 영상분석장치 및 그 장치의 구동방법
CN112069357B (zh) 视频资源处理方法、装置、电子设备及存储介质
CN104268446A (zh) 防止视频二次传播的方法及装置
KR102449534B1 (ko) 지능형 세포 관리 시스템
US9490976B2 (en) Systems and methods for providing recommendations to obfuscate an entity context
KR102274913B1 (ko) 경계박스 중복제거장치 및 그 장치의 구동방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant