KR101954717B1 - 고속분석 영상처리장치 및 그 장치의 구동방법 - Google Patents

Abstract

본 발명은 고속분석 영상처리장치 및 그 장치의 구동방법에 관한 것으로서, 본 발명의 실시예에 따른 고속분석 영상처리장치는, 비디오 영상을 수신하는 통신 인터페이스부, 및 수신한 비디오 영상에서 분석대상 객체를 추출해 분석하여 객체의 속성 정보를 생성하고, 생성한 객체의 속성 정보를 근거로 비디오 영상을 분석하여 분석 결과를 메타 데이터로서 생성하는 제어부를 포함할 수 있다.

Description

고속분석 영상처리장치 및 그 장치의 구동방법{Apparatus for Processing Image by High Speed Analysis and Driving Method Thereof}

본 발명은 고속분석 영상처리장치 및 그 장치의 구동방법에 관한 것으로서, 더 상세하게는 가령 다양한 포맷의 비디오 영상에 대하여 사람의 얼굴이나 사람과 관련한 이벤트 옵션 정보 등에 기초해 영상 분석과 검색을 신속하게 처리하는 고속분석 영상처리장치 및 그 장치의 구동방법에 관한 것이다.

현대인들의 삶이 점점더 복잡하고 다변화되면서 그에 따른 사건·사고도 더불어 증가하고 있다. 이러한 이유의 일환으로 공공장소를 감시하기 위해 CCTV 카메라로 공공 장소를 촬영하고 자동으로 영상을 분석하여 불특정 다수의 물체들을 추출하고 움직임을 분석하여, 비정상적인 움직임이 감지될 경우에 자동으로 관리자에게 경고하거나 그 밖의 연계된 자동화 시스템에 정보를 전달하는 지능형 영상 감시 시스템에 대한 요구가 점점 커지고 있다.

최근 몇년 사이에 감시용 CCTV를 통해 확보된 이미지나 동영상을 통해 특정 이벤트를 감지하는 장치 및 그 방법에 대한 많은 설비들이 설치되어 있는데, 기존의 장치는 특정 지역에 따라 발생할 수 있는 특정 이벤트 감지(예: 중앙선 침범, 과속 등)를 위해 영상에서 추적객체를 추출하고 추출된 객체가 일정한 행위를 하는 설정된 값에 의해 이벤트 발생을 감지하는 것이 일반적이다.

그런데, 종래의 이러한 객체추적 방식은 객체의 다양한 환경 요인에 의해 발생하는 노이즈 모션 때문에 객체 오검출이 발생하고, 또 기존 룰(rule) 기반의 객체 분류기의 성능 한계로 잦은 객체 오분류가 발생하며, 영상에서 객체들 간의 겹침이 크고 자주 발생하는 복잡한 환경에서는 개별 객체의 영역을 제대로 검출하기 어려운 문제가 있다. 또한, 이동 중인 카메라 영상에서는 배경이 자주 바뀌기 때문에 배경 모델과의 비교를 통한 객체 검출 방식을 적용할 수 없는 문제도 있다.

한국공개특허공보 제10-2017-0034226호(2017.03.28) 한국공개특허공보 제10-2016-0061856호(2016.06.01) 한국공개특허공보 제10-2017-0137350호(2017.12.13)

본 발명의 실시예는, 가령 다양한 포맷의 비디오 영상에 대하여 사람의 얼굴이나 사람과 관련한 이벤트 옵션 정보 등에 기초해 영상 분석과 검색을 신속히 처리하는 고속분석 영상처리장치 및 그 장치의 구동방법을 제공함에 그 목적이 있다.

본 발명의 실시예에 따른 고속분석 영상처리장치는, 비디오 영상을 수신하는 통신 인터페이스부, 및 상기 수신한 비디오 영상에서 분석대상 객체를 추출해 분석하여 객체의 속성 정보를 생성하고, 상기 생성한 객체의 속성 정보를 근거로 상기 비디오 영상을 분석하여 분석 결과를 메타 데이터로서 생성하는 제어부를 포함한다.

상기 통신 인터페이스부는, 객체추적 기반의 영상처리를 수행하는 외부장치에 연동하며, 상기 제어부는 상기 외부장치의 요청시 상기 수신한 비디오 영상을 이용해 지정 객체 중심의 고속분석 영상처리를 수행할 수 있다.

상기 제어부는, 상기 분석대상 객체와 관련한 이벤트를 분석해 이벤트 정보를 더 생성하며, 상기 생성한 이벤트 정보를 상기 메타 데이터에 포함하여 저장할 수 있다.

상기 제어부는, 상기 객체의 속성 정보 및 상기 메타 데이터를 이용하여 딥러닝 기반의 메타 데이터를 더 생성할 수 있다.

상기 제어부는, 상기 통신 인터페이스부를 통해 수신된 서로 다른 포맷의 비디오 영상을 처리하는 비디오 처리부를 포함할 수 있다.

상기 제어부는, 상기 통신 인터페이스부를 통해 수신되는 시나리오 기반의 검색 명령어를 근거로, 상기 검색 명령어에 매칭되는 상기 생성한 메타 데이터를 검색하여 제공할 수 있다.

상기 통신 인터페이스부는 지정된 장소의 촬영장치, 이동식저장매체(USB) 및 서드파티장치의 비디오 영상을 선택적으로 수신할 수 있다.

또한, 본 발명의 실시예에 따른 고속분석 영상처리장치의 구동방법은 통신 인터페이스부 및 제어부를 포함하는 고속분석 영상처리장치의 구동방법으로서, 상기 통신 인터페이스부에서 비디오 영상을 수신하는 단계, 및 상기 제어부가 상기 수신한 비디오 영상에서 분석대상 객체를 추출해 분석하여 객체의 속성 정보를 생성하고, 상기 생성한 객체의 속성 정보를 근거로 상기 비디오 영상을 분석하여 분석 결과를 메타 데이터로서 생성하는 단계를 포함한다.

상기 통신 인터페이스부는, 객체추적 기반의 영상처리를 수행하는 외부장치에 연동하며, 상기 고속분석 영상처리장치의 구동방법은 상기 외부장치의 요청시 상기 수신한 비디오 영상을 이용해 지정 객체 중심의 고속분석 영상처리를 수행하는 단계를 더 포함할 수 있다.

상기 고속분석 영상처리장치의 구동방법은 상기 분석대상 객체와 관련한 이벤트를 분석해 이벤트 정보를 더 생성하는 단계, 및 상기 생성한 이벤트 정보를 상기 메타 데이터에 포함하여 저장하는 단계를 더 포함할 수 있다.

상기 고속분석 영상처리장치의 구동방법은 상기 객체의 속성 정보 및 상기 메타 데이터를 이용하여 딥러닝 기반의 메타 데이터를 생성하는 단계를 더 포함할 수 있다.

상기 고속분석 영상처리장치의 구동방법은 상기 통신 인터페이스부를 통해 수신된 서로 다른 포맷의 비디오 영상을 처리하는 단계를 더 포함할 수 있다.

상기 고속분석 영상처리장치의 구동방법은 상기 통신 인터페이스부를 통해 수신되는 시나리오 기반의 검색 명령어를 근거로, 상기 검색 명령어에 매칭되는 상기 생성한 메타 데이터를 검색하여 제공하는 단계를 더 포함할 수 있다.

상기 고속분석 영상처리장치의 구동방법은 지정된 장소의 촬영장치, 이동식저장매체 및 서드파티장치의 비디오 영상을 선택적으로 수신하는 단계를 더 포함할 수 있다.

본 발명의 실시예에 따르면 다양한 루트(route)로 제공되는 서로 다른 포맷의 비디오 영상 즉 포렌식 영상을 수신하여 신속하게 분석함으로써 사건 및 사고의 대체에 정확성을 높일 수 있을 것이다.

또한, 객체추적 방식이 아닌 비디오 영상에서 분석대상 객체를 추출해 분석하여 객체의 속성 정보를 생성하고 메타 데이터를 저장한 후, 해당 속성 기반의 검색어를 기반으로 메타 데이터 및 그에 매칭되는 비디오 영상을 제공하므로 검색이 신속하게 이루어질 수 있을 것이다.

나아가, 객체의 속성 기반으로 검색을 수행할 때 인물과 관련한 이벤트 정보를 더 추가할 수 있게 되어 검색의 속도를 더 증가시킬 수 있을 것이다. 본 발명의 실시예에 따라 영상 분석시 이벤트 옵션 정보를 더 추가하여 데이터를 저장하였으므로 이를 이용함으로써 검색 카테고리(예: 배회, 멈춤, 차량정차 등의 이벤트)의 추가에 따라 검색량이 줄어들어 검색 속도는 당연히 증가하게 될 것이다.

뿐만 아니라, 시나리오 기반(예: 문장어)의 검색어를 통해서도 검색이 이루어지도록 함으로써 검색의 다양성을 확보하고 또한 검색의 속도를 증가시킬 수 있을 것이다.

인물이나 인물과 관련한 이벤트, 또 시나리오 기반의 검색어를 입력하기 위한 검색창(예: UI)을 간단하고 직관적으로 형성함으로써 사용자들의 검색 편의를 도모할 수 있을 것이다.

또한, 메타 데이터로서 저장된 객체의 속성, 인물 속성 정보, 이벤트 정보 등을 이용하여 딥러닝을 수행함으로써 검색의 정확도를 높이고, 또 다른 부가정보를 추가적으로 생성하여 사건 및 사고에 유연하게 대처할 수 있을 것이다.

도 1은 본 발명의 실시예에 따른 고속분석 영상서비스시스템을 나타내는 도면,
도 2는 도 1을 도식화하여 나타낸 예시도,
도 3은 도 2의 제1 영상처리장치의 구조를 예시한 블록다이어그램,
도 4는 도 2의 제2 영상처리장치의 구조를 예시한 블록다이어그램,
도 5는 도 2의 제2 영상처리장치의 다른 구조를 예시한 블록다이어그램,
도 6은 도 5의 영상 고속분석부의 세부구조를 예시한 블록다이어그램,
도 7은 본 발명의 실시예에 따른 고속분석 영상서비스 과정을 나타내는 도면,
도 8은 도 2의 제1 영상처리장치를 구성하는 포렌식 매니저와 검색 클라이언트 사이의 동작 과정을 설명하기 위한 도면,
도 9는 도 2의 제1 영상처리장치와 서드파티장치의 동작 과정을 설명하기 위한 도면,
도 10은 검색 메인 화면을 예시한 도면,
도 11은 FRS 설정 과정을 예시한 도면,
도 12 내지 도 20은 오프라인 분석 화면을 설명하기 위한 도면,
도 21 내지 도 30은 오프라인 검색 화면을 설명하기 위한 도면, 그리고
도 31은 본 발명의 실시예에 따른 고속분석 영상처리장치의 동작 과정을 나타내는 흐름도이다

이하, 도면을 참조하여 본 발명의 실시예에 대하여 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 고속분석 영상서비스시스템을 나타내는 도면이며, 도 2는 도 1을 도식화하여 나타낸 예시도이다.

도 1 및 도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 고속분석 영상서비스시스템(90)은 사용자장치(100), 통신망(110), 영상서비스장치(120) 및 서드파티장치(130)의 일부 또는 전부를 포함한다.

여기서, "일부 또는 전부를 포함한다"는 것은 사용자장치(100) 또는 서드파티장치(130)와 같은 일부 구성요소가 생략되어 영상서비스시스템(90)이 구성되거나 영상서비스장치(120)와 같은 구성요소가 통신망(110) 내의 네트워크장치(예: 교환장치 등)에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.

사용자장치(100)는 지정된 장소에 설치되어 사건, 사고를 감시하는 CCTV와 같은 촬영장치, 사용자들이 소유하는 데스크탑컴퓨터, 랩탑컴퓨터, 휴대폰(예: 스마트폰), 태블릿PC 및 스마트TV 등을 포함하며, 이동식저장매체(예: USB)(101)를 더 포함할 수 있다. 물론 이러한 이동식저장매체는 차량의 블랙박스에 구비되는 메모리를 포함할 수도 있다. 이동식저장매체(101)는 영상서비스장치(120)를 구성하는 관제컴퓨터에 바로 연결될 수도 있을 것이다.

사용자장치(100)는 카메라를 통해 촬영된 영상을 저장(임시저장 포함)하며, 영상서비스장치(120)로 촬영영상을 제공하여 영상분석을 요청할 수 있다. 물론 영상서비스장치(120)가 관제장치의 역할을 수행하고, 사용자장치(100)가 CCTV와 같은 촬영장치인 경우 촬영영상은 실시간으로 혹은 주기적으로 영상서비스장치(120)로 제공되어 분석을 통해 관제가 이루어질 수 있을 것이다.

통신망(110)은 유무선 통신망을 모두 포함한다. 가령 통신망(110)으로서 유무선 인터넷망이 이용되거나 연동될 수 있다. 여기서 유선망은 케이블망이나 공중 전화망(PSTN)과 같은 인터넷망을 포함하는 것이고, 무선 통신망은 CDMA, WCDMA, GSM, EPC(Evolved Packet Core), LTE(Long Term Evolution), 와이브로(Wibro) 망 등을 포함하는 의미이다. 물론 본 발명의 실시예에 따른 통신망(110)은 이에 한정되는 것이 아니며, 향후 구현될 차세대 이동통신 시스템의 접속망으로서 가령 클라우드 컴퓨팅 환경하의 클라우드 컴퓨팅망, 5G망 등에 사용될 수 있다. 가령, 통신망(110)이 유선 통신망인 경우 통신망(110) 내의 액세스포인트는 전화국의 교환국 등에 접속할 수 있지만, 무선 통신망인 경우에는 통신사에서 운용하는 SGSN 또는 GGSN(Gateway GPRS Support Node)에 접속하여 데이터를 처리하거나, BTS(Base Station Transmission), NodeB, e-NodeB 등의 다양한 중계기에 접속하여 데이터를 처리할 수 있다.

통신망(110)은 액세스포인트를 포함할 수 있다. 액세스포인트는 건물 내에 많이 설치되는 펨토(femto) 또는 피코(pico) 기지국과 같은 소형 기지국을 포함한다. 여기서, 펨토 또는 피코 기지국은 소형 기지국의 분류상 사용자장치(100)를 최대 몇 대까지 접속할 수 있느냐에 따라 구분된다. 물론 액세스포인트는 사용자장치(100)와 지그비 및 와이파이(Wi-Fi) 등의 근거리 통신을 수행하기 위한 근거리 통신 모듈을 포함한다. 액세스포인트는 무선통신을 위하여 TCP/IP 혹은 RTSP(Real-Time Streaming Protocol)를 이용할 수 있다. 여기서, 근거리 통신은 와이파이 이외에 블루투스, 지그비, 적외선(IrDA), UHF(Ultra High Frequency) 및 VHF(Very High Frequency)와 같은 RF(Radio Frequency) 및 초광대역 통신(UWB) 등의 다양한 규격으로 수행될 수 있다. 이에 따라 액세스포인트는 데이터 패킷의 위치를 추출하고, 추출된 위치에 대한 최상의 통신 경로를 지정하며, 지정된 통신 경로를 따라 데이터 패킷을 다음 장치, 예컨대 영상서비스장치(120)로 전달할 수 있다. 액세스포인트는 일반적인 네트워크 환경에서 여러 회선을 공유할 수 있으며, 예컨대 라우터(router), 리피터(repeater) 및 중계기 등이 포함된다.

영상서비스장치(120)는 가령 지정된 구역에 설치되는 사용자장치(100), 가령 CCTV에서 제공되는 촬영영상을 통해 해당 구역을 모니터링하는 관제장치의 역할을 수행할 수 있다. 물론 그것에 특별히 한정하지는 않을 것이다. 가령 본 발명의 실시예에 따라 영상의 고속분석 동작을 수행하여 서비스로 제공하기 위한 업체의 서버를 포함할 수도 있다. 영상서비스장치(120)는 방대한 양의 영상 데이터를 저장하기 위한 DB(120a)를 포함하며, 서버와 관제컴퓨터 등을 더 포함할 수 있다.

또한, 영상서비스장치(120)는 다양한 형태로 시스템이 구축될 수 있다. 가령 단독서버의 형태로 동작할 수 있으며, 여러 대의 서버가 연동할 수 있다. 예컨대, 영상서비스장치(120)는 가령 도 2에서와 같이 제1 영상처리장치(121)와 제2 영상처리장치(123)를 포함할 수 있다. 이를 통해 도 1의 영상서비스장치(120)는 영상처리 동작을 협업 또는 분산 처리함으로써 영상처리속도를 급격하게 증가시킬 수 있다.

본 발명의 실시예에 따라 제1 영상처리장치(121)는 객체추적 기반의 영상처리 동작을 수행한다면, 제2 영상처리장치(123)는 객체이미지 기반의 영상처리 동작을 수행한다. 객체추적은 영상의 최초 단위영상에서 객체를 추출하여 추출한 객체의 움직임을 예측하는 방식으로 추적한다고 볼 수 있다. 움직임 추적은 통상 벡터 즉 방향과 거리를 계산하는 형태로 이루어진다. 반면, 객체이미지 기반의 영상처리는 단위 영상들(예: 제1번째 내지 제N번째 단위영상)마다 분석대상이 되는 지정된 객체(예: 사람, 차량 등)를 추출하고, 그 단위 영상들마다 추출한 객체의 속성 정보를 비교하여 동일 객체인지를 판단하는 방식이다. 따라서, 사람의 경우 얼굴에 특징점이 있다면 해당 특징점 정보가 속성 정보가 되는 것이다. 또한 차량의 경우 모양이나 색상 등이 속성 정보가 될 수 있다. 이때, 객체의 최종 결정은 딥러닝을 통해 이루어질 수도 있다. 가령, 유사한 객체들을 후보군으로 분류하였다가 딥러닝을 통해 해당 객체의 속성을 최종적으로 결정하는 것이다.

이와 같이 제2 영상처리장치(123)는 속성 정보를 기반으로 객체를 판단하고, 주변 사물 또는 객체와의 상관 관계를 분석한다. 이를 통해 이벤트를 도출해 낸다. 그리고, 속성 정보와 이벤트 정보, 그리고 그에 매칭되는 촬영영상의 일부 또는 전부를 메타 데이터로 생성한다. 물론 이벤트를 도출하는 과정에서 제2 영상처리장치(123)는 기설정된 규칙(혹은 정책)을 참고할 수도 있을 것이다. 또한, 제2 영상처리장치(123)는 저장된 메타 데이터를 이용하여 딥러닝 동작을 수행함으로써 새로운 정보를 더 생성할 수 있고, 이의 과정에서 예측 정보도 생성할 수 있을 것이다.

이와 같이 생성되는 특정 비디오 영상에 대한 메타 데이터는 검색을 수월하게 한다. 제1 영상처리장치(121)는 가령 관제장치로서 경찰서나 관공서 등의 서드파티장치(130)로부터 영상 분석 요청이 있다고 가정해 보자. 이의 경우, 제1 영상처리장치(121)는 자체적으로 객체추적 기반의 영상 분석을 수행할 수 있고, 또는 제2 영상처리장치(123)로 요청하여 객체이미지 기반의 영상 분석을 수행할 수도 있을 것이다. 그리고, 그 영상 분석 결과를 확인해 볼 수 있다. 가령 이는 데이터를 DB(120a)에 저장한 후 공유함으로써 가능할 수 있을 것이다.

검색과 관련해서는 이후에 자세히 살펴보겠지만, 우선 제1 영상처리장치(121)와 제2 영상처리장치(123)는 검색의 카테고리가 다르며, 검색 결과도 무척 다르다. 다시 말해, 제2 영상처리장치(123)는 속성 정보(예: 얼굴)를 더 이용하여 영상 분석결과의 검색이 가능할 수 있고, (가령 제1 영상처리장치(121)와 같이) 지정된 이벤트만을 검출하는 것이 아니라 그보다 더 확장되어 다양한 이벤트 옵션을 추가하여 검색을 수행할 수 있다. 여기서, 이벤트 옵션 정보는 배회, 멈춤, 차량 정차 등을 포함할 수 있다. 따라서, 검색의 속도도 빠르고 검색어가 추가되므로 검색의 정확도가 높아지게 된다.

무엇보다 제1 영상처리장치(121)는 시나리오 기반의 검색어를 제공하여 단어가 아니라 문장 즉 자연어 검색이 가능할 수 있으며, 딥러닝 동작에 의해 정보의 정확도를 높이고 아울러 예측 정보도 함께 제공받을 수 있다. 가령, 비디오 영상이 범죄 영상이라 가정해 보자. 해당 인물을 근거로 다양한 채널을 통해 영상을 즉 빅데이터를 확보할 수 있기 때문에 이를 근거로 정확한 예측도 수행하여 예측 결과를 제공할 수 있게 되는 것이다. 시나리오 기반의 검색어는 가령 '불법 유턴하는 차량 중 검정색이고, 택시인 경우' 또는 '모자를 쓴 사람이 가방을 들고 달려가는 모습' 등과 같이 이벤트가 연속되는 형태를 가질 수 있다.

본 발명의 실시예에서는 다양한 경로로 획득되는 서로 다른 포맷의 비디오 영상을 처리한다는 점에서 i-포렌식(forensic)이라는 용어를 사용한다. 이는 가령 픽쳐(picture) 기반의 영상분석을 수행하되, 다양한 포맷으로 녹화된 영상을 제공받아 단시간에 분석과 검색을 수행할 수 있는 것을 함축하는 것이라 볼 수 있다. 비디오 영상은 영상 신호를 의미한다. 통상 영상 신호라 함은 비디오 신호와 음성 신호로 구분되고, 부가 정보를 더 포함한다. 물론 부가 정보는 날짜나 시간 정보 등의 다양한 정보를 포함한다. 본 발명의 실시예에서는 비디오 영상이라는 용어를 주로 사용하지만 그것은 비디오 신호만으로 의미하지 않을 수 있다. 따라서, 비디오 영상은 비디오 데이터, 영상 데이터와 같이 혼용되어 사용될 수 있을 것이다.

첨언하면, 제2 영상처리장치(123)에서 수행하는 객체이미지 기반의 영상분석 등의 영상처리 동작은 가령 픽쳐(혹은 매크로블록) 영상에서 화소값들을 분석하여 객체들의 경계를 구분하고, 또한 구분한 객체의 화소값을 분석하여 어떠한 유형의 객체인지를 분석할 수 있다. 가령 사람은 머리가 검고, 얼굴은 살색, 그리고 그 2개의 부분이 서로 연결되어 있을 것이다. 따라서, 블랙과 살색의 영역을 추출하여 사람 객체를 구분하고, 해당 부분을 분석해 특징점을 분석해 낼 수 있다. 사람 혹은 사람의 얼굴과 관련해서는 다양한 유형이 있으므로 이는 템플릿의 형태로 저장된 데이터를 기준으로 분류하는 것도 얼마든지 가능할 수 있다. 따라서, 특정 인물의 특징점을 찾으면 해당 인물이 안경을 착용하는 등의 사사로운 변화가 있더라도 동일 인물로 판단할 수 있게 되는 것이다.

가령 코의 형상이나 귀의 형상, 또는 턱선의 모양 등이 사람의 특징점이 될 수 있고, 이를 근거로 후속 단위영상들과 동일 인물 여부를 판단하게 된다. 이와 같은 방식으로 검출된 인물과 주변 사물이나 객체와의 상관관계를 통해 이벤트를 도출하게 된다. 예컨대, 단위 영상에서 특정 인물이 발견되었고, 해당 인물이 쓰레기를 들고 있는 것이 분석되었다. 그리고, N번째 영상에서 쓰레기가 손에서 없어졌고, 또 해당 영상에서 쓰레기 투기장소에서 발견된 경우, 해당 인물이 쓰레기를 적절하지 않는 곳에 투기한 것으로 판단하는 것이다. 이러한 이벤트 생성은 다양한 형태로 분석될 수 있으므로 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다.

한편, 본 발명의 실시예에서는 영상서비스장치(120)를 제1 영상처리장치(121)와 제2 영상처리장치(123)가 연동하는 것으로 설명하였지만, 이는 가령 단독 서버의 형태로 구성되어 해당 서버 내에 제1 모듈과 제2 모듈을 구성하는 형태로 형성될 수도 있을 것이다. 여기서, 제1 모듈은 객체추적 기반의 영상처리를 수행한다면, 제2 모듈은 객체 이미지(혹은 사진) 기반의 영상처리를 수행할 수 있다. 해당 동작과 관련해서는 위에서 이미 자세히 설명하였으므로 더 이상의 설명은 생략한다. 또한, 영상서비스장치(120)는 고속분석 및 검색 동작을 위하여 제3 영상처리장치를 더 연동할 수 있다. 가령, 제3 영상처리장치는 수신한 비디오 영상에서 차량에 대한 분석만 객체이미지 기반의 분석동작을 수행하여 분석 결과를 제공하는 것이다. 이와 같이 다양한 형태의 시스템 설계가 가능하므로 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다.

서드파티장치(130)는 경찰서 등의 관공서에서 운영하는 서버, 기타 콘텐츠 영상을 제공하는 업체의 서버를 포함한다. 가령, 지방자치단체에서 운영하는 관제장치는 서드파티장치(130)가 될 수도 있다. 물론 이러한 관제장치는 본 발명의 실시예에 따른 영상서비스장치(120)인 것이 바람직할 수 있다. 하지만, 특별히 한정하지는 않을 것이다. 서드파티장치(130)는 영상분석을 통해 다양한 목적에 사용할 수 있기 때문에 콘텐츠 즉 비디오영상을 제공하는 제공업체로 이해하면 좋다.

도 3은 도 2의 제1 영상처리장치의 구조를 예시한 블록다이어그램이다.

도 3에 도시된 바와 같이, 본 발명의 실시예에 따른 제1 영상처리장치(121)는 통신 인터페이스부(300), 제어부(310), 포렌식 영상실행부(320) 및 저장부(330)의 일부 또는 전부를 포함한다.

여기서, "일부 또는 전부를 포함한다"는 것은 통신 인터페이스부(300)나 저장부(330)와 같은 일부 구성요소가 생략되어 구성되거나, 포렌식 영상실행부(320)와 같은 일부 구성요소가 제어부(310)와 같은 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.

가령, 포렌식 영상실행부(320)가 제어부(310)와 통합되는 경우, '포렌식 영상처리부'라 명명될 수 있다. 포렌식 영상처리부는 하나의 소프트웨어를 실행시켜 제어 동작과 포렌식 영상처리 동작을 함께 수행할 수 있다. 또는 포렌식 영상처리부가 하드웨어나 소프트웨어적으로, 또는 그 조합에 의해 구성되어 동작하는 것도 얼마든지 가능할 수 있다. 나아가, 제어부(310)는 CPU와 메모리를 포함할 수도 있다. IC 칩(chip)의 형태로 구성될 때 메모리에 포렌식 영상처리를 위한 프로그램을 저장하고, CPU가 이를 실행시키는 것이다. 연산처리속도가 빠르게 증가하게 된다.

나아가, 포렌식 영상실행부(320)는 앞서 언급한 대로, 객체이미지 기반의 영상분석을 수행할 수 있지만, 객체추적 기반의 영상처리동작도 병행할 수 있다. 가령 전자는 제1 모듈에서 실행하고, 후자는 제2 모듈에서 실행하면 된다.

상기한 바와 같이, 본 발명의 실시예에 따른 제1 영상처리장치(121)는 시스템을 어떻게 구성하느냐에 따라 그 구성이 상이할 수 있다. 무엇보다 객체이미지 기반의 영상 분석을 수행하고, 그 결과를 메타 데이터의 형태로 저장하여 검색 요청시 신속하게 검색 결과를 제공하는 것은 분명하다. 따라서, 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다.

통신 인터페이스부(300)는 도 1의 사용자장치(100) 및 서브파티장치(130)와 각각 통신을 수행할 수 있다. 이를 위해 통신모듈을 포함할 수 있다. 통신 인터페이스부(300)는 비디오 영상을 처리하므로 변복조, 인코딩 및 디코딩, 먹싱 및 디먹싱 등의 동작을 수행할 수 있지만, 이는 제어부(310)에서 수행될 수도 있다.

통신 인터페이스부(300)는 가령 서드파티장치(130)에서 비디오 영상에 대한 분석을 요청한 경우, 또는 사용자장치(100)로서 CCTV와 같은 촬영장치에서 영상이 제공되는 경우, 이를 제어부(310)에 전달할 수 있다.

또한, 통신 인터페이스부(300)는 제어부(310)의 요청에 따라 포렌식 동작을 수행하기 위한 설정 동작을 제2 영상처리장치(123)와 수행할 수 있으며, 이를 통해 제2 영상처리장치(123)로 영상처리를 요청하여 분석 결과를 제공받을 수 있다.

제어부(310)는 제1 영상처리장치(121)를 구성하는 통신 인터페이스부(300), 포렌식 영상실행부(320) 및 저장부(330)의 전반적인 제어 동작을 담당한다. 가령, 제어부(310)는 포렌식 영상실행부(320)를 제어하여 제2 영상처리장치(123)와 포렌식 동작을 수행하기 위한 동작을 수행할 수 있다. 다시 말해, 제어부(310)는 제1 영상처리장치(121)와 제2 영상처리장치(123)가 영상분석 동작을 연동하기 위한 설정 과정을 수행한 후, 가령 제어부(310)가 포렌식 영상실행부(320)의 요청에 따라 제2 영상처리장치(123)로 비디오 영상에 대한 영상 분석을 요청하고, 이후 검색어를 제공하여 검색된 결과를 제공받을 수 있을 것이다.

가령 제어부(310)는 포렌식 영상실행부(320)의 동작에 따라 검색어로서 사람의 얼굴 즉 인물 카테고리를 더 설정할 수 있도록 함으로써 이를 선택해 비디오 영상을 검색할 수 있고, 시나리오 기반의 검색어나 이벤트 옵션 정보를 기반으로 다양한 형태의 검색을 추가로 수행할 수 있다. 다시 말해, 제1 영상처리장치(121)가 A 범위를 분석하여 검색이 가능하고, 제2 영상처리장치(123)가 B 범위를 분석하여 검색이 가능한데, 포렌식 동작을 통해 제1 영상처리장치(121)에서 제2 영상처리장치(123)로 분석 및 검색을 요청하면 제1 영상처리장치(121)에서 B 범위에 있는 제2 영상처리장치(123)의 분석 혹은 검색 결과를 볼 수 있도록 동작하는 것이다. 이를 제어부(310)와 포렌식 영상실행부(320)가 수행한다고 볼 수 있다.

포렌식 영상실행부(320)는 위에서 설명한 대로, 제1 영상처리장치(121)에서 제2 영상처리장치(123)의 비디오 영상 분석에 대한 분석 결과를 볼 수 있도록 하기 위한 연동 프로그램을 실행한다. 여기에는 다양한 UX/UI 프로그램이 포함될 수 있다 가령, UI 창을 통해 포렌식 동작을 위해 설정하거나 사용자가 인물의 속성, 가령 '얼굴' 카테고리로 검색어를 제공할 때 이를 기반으로 제2 영상처리장치(123)에서 검색 결과를 제공하도록 하는 등의 다양한 동작을 수행할 수 있다.

저장부(330)는 제1 영상처리장치(121)에서 처리되는 다양한 데이터를 저장할 수 있으며, 임시 저장할 수 있다. 가령 제1 영상처리장치(121)가 DB(120a)에 연동하는 경우, 임시 데이터는 저장부(330)에 저장하고 영구 데이터는 DB(120a)에 저장될 수 있다. 이와 같이 저장부(330)에 저장된 데이터는 제어부(310)의 요청시 출력하게 된다.

도 4는 도 2의 제2 영상처리장치의 구조를 예시한 블록다이어그램이다.

도 4에 도시된 바와 같이, 본 발명의 실시예에 따른 제2 영상처리장치(123)는 통신 인터페이스부(400) 및 영상 고속처리부(410)의 일부 또는 전부를 포함하며, 여기서 "일부 또는 전부를 포함"한다는 것은 앞서서의 의미와 동일하다.

통신 인터페이스부(400)는 본 발명의 실시예에 따라 도 2의 제1 영상처리장치(121)와 통신을 수행할 수 있다. 제1 영상처리장치(121)에서 비디오 영상을 제공하여 분석을 요청하면 해당 비디오 영상과 분석 요청을 영상 고속처리부(410)에 전달한다.

또한, 통신 인터페이스부(400)는 비디오 영상에 대한 분석 결과를, 가령 인물 속성 정보, 이벤트 정보, 상관관계 정보, 또 그 정보들에 매칭되는 비디오 영상을 메타 데이터의 형태로 영상 고속처리부(410)의 요청하에 DB(120a)에 저장할 수 있다.

그리고, 통신 인터페이스부(400)는 제1 영상처리장치(121)에서 검색어, 가령 속성기반의 검색어, 시나리오기반의 검색어, 또 이벤트 옵션 기반의 검색어를 제공하면 이를 영상 고속처리부(410)에 제공하여 그에 따른 검색결과가 제공되도록 한다.

영상 고속처리부(410)는 수신된 비디오 영상에 대하여 분석요청이 있으면 객체이미지 기반의 분석 동작을 수행한다. 이와 관련해서는 앞서 충분히 설명하였으므로 더 이상의 설명은 생략한다.

또한, 영상 고속처리부(410)는 분석 결과를 DB(120a)에 저장하여 제1 영상처리장치(121)가 해당 DB(120a)에 접속하여 위에서와 같은 검색이 이루어지도록 할 수 있다. 즉 검색은 제1 영상처리장치(121)가 직접 DB(120a)에 접속하여 수행할 수 있지만, 영상 고속처리부(410)를 경유하여 간접적으로 검색 결과를 수신하는 등 다양한 방법이 가능하고, 이는 시스템 설계자의 의도에 따라 달라질 수 있는 것이므로 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다. 다만, 전자가 데이터 처리의 신속성이 있다는 점에서 바람직할 것이다.

도 5는 도 2의 제2 영상처리장치의 다른 구조를 예시한 블록다이어그램이며, 도 6은 도 5의 고속분석영상실행부의 세부구조를 예시한 블록다이어그램이다.

도 5에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 제2 영상처리장치(123')는 통신 인터페이스부(500), 제어부(510), 영상 고속분석부(520) 및 저장부(530)의 일부 또는 전부를 포함할 수 있다.

여기서, "일부 또는 전부를 포함한다"는 것은 저장부(530)와 같은 일부 구성요소가 생략되어 제2 영상처리장치(123')가 구성되거나 영상 고속분석부(520)와 같은 일부 구성요소가 제어부(510)와 같은 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.

도 4의 제2 영상처리장치(123)와 비교해 볼 때, 도 5의 제2 영상처리장치(123')는 제어 동작과 영상의 고속분석 (및 검색) 동작을 이원화하여 처리한다는 데에 있다고 볼 수 있다. 이를 위해 하드웨어, 소프트웨어 또는 그 조합에 의해 분리되어 서로 다른 동작을 수행할 수 있다. 즉 제어부(510)는 제어 동작만을 담당하고, 영상의 고속분석 동작은 영상 고속분석부(520)에서 수행한다고 볼 수 있다. 물론 영상 고속분석부(520)는 객체이미지 기반의 분석을 수행한다. 가령 이미지 형태로 객체를 갭쳐해와 캡쳐된 이미지의 객체에 대한 화소값을 분석해 속성을 분석하고, 특징점을 찾는 방식이라 볼 수 있다.

상기한 점들을 제외하면, 도 5의 통신 인터페이스부(500), 제어부(510), 영상 고속분석부(520) 및 저장부(530)는 도 1의 영상서비스장치(120)나 도 4의 통신 인터페이스부(400) 및 영상 고속처리부(410)의 내용과 크게 다르지 않으므로 그 내용들로 대신하고자 한다.

한편, 도 5의 영상 고속분석부(520)는 도 6의 영상 고속분석부(520')와 같은 구조를 가질 수 있다. 도 5의 영상 고속분석부(520)는 도 6에서와 같이 비디오 처리부(600), 비디오 검색부(610), 스케줄링부(620), 매뉴얼 처리부(630) 및 북마크 처리부(640)의 일부 또는 전부를 포함할 수 있다. 여기서, "일부 또는 전부를 포함"한다는 것은 앞서서의 의미와 동일하다.

도 5의 영상 고속분석부(520)는 앞서 설명한 바 있는 고속 분석 이외에도 다양한 동작을 더 수행할 수 있다. 비디오 처리부(600)는 다양한 포맷으로 제공되는 비디오 영상을 해당 영상의 포맷으로 데이터를 처리하거나 지정된 포맷의 데이터로 변환하여 처리하고, 다시 동일한 포맷으로 변환하여 제공할 수 있다. 본 발명의 실시예에서는 다양한 포맷으로 제공되는 비디오 데이터를 지정된 포맷으로 변환한 후 분석을 수행하고 이를 다시 동일 포맷으로 변환하여 내보내는 형태가 될 수 있다.

비디오 검색부(610)는 속성기반의 검색, 가령 '얼굴' 카테고리로 검색이 이루어지도록 하거나, 이벤트 옵션 정보에 기반한 검색, 나아가 시나리오 기반의 검색이 이루어지도록 할 수 있다. 여기서 시나리오 기반은 문장, 더 정확하게는 단문장의 형태로 검색어가 제공되면 이를 분석하여 이를 기반으로 검색결과를 제공하는 것이다. 즉 키워드 기반의 검색과 유사하다고 볼 수 있지만, 키워드는 단어에 해당되고 시나리오는 문장이라는 점에서 차이가 있을 수 있다. 가령, 시나리오 문장은 "불법 유턴하는 차량중 검정색이고, 택시인 경우' 또는 "모자를 쓴 사람이 가방을 들고 달려가는 모습' 등과 같이 복잡한 시나리오를 포함할 수 있다.

스케줄링부(620)는 스케줄 관리 동작을 수행하며, 한번 또는 주기적으로 (일일, 주간, 월간) 지정한 시간에 자동으로 비디오 분석이 등록되고 자동 생성되도록 하는 동작을 담당할 수 있다.

매뉴얼 처리부(630)는 매뉴얼 기능, 가령 도움말을 제공하는 동작을 수행할 수 있다. 매뉴얼을 i-포렌식상에서 바로 사용할 수 있도록 제공하는 것이다.

북마크 처리부(640)는 북마크(관심목록) 지정, 북마크 삭제, 북마크 목록 내보내기, 다수의 북마크 관리 기능, 북마크 삭제 방제(보호기능) 등 즐겨찾는 영상을 북마크하는 것에 관련된 다양한 동작을 수행할 수 있다.

그 이외에도 도 5의 영상 고속분석부(520)는 [표 1] 및 [표 2]에서 볼 수 있는 바와 같이 다양한 동작을 수행하기 위한 구성을 더 포함할 수 있다. 즉 도 6은 하나의 예에 불과하므로 [표 1] 및 [표 1]의 내용에 기반한 SW 모듈, HW 모듈 및 그 조합에 의해 구성을 도 6의 구성에 더 추가할 수 있을 것이다. 도 6은 대표적인 동작만을 모듈의 형태로 구성하여 설명한 것이다.

도 7은 본 발명의 실시예에 따른 고속분석 영상서비스 과정을 나타내는 도면이다.

도 7을 참조하면, 도 2의 제1 영상처리장치(121)는 포렌식 매니저(121a) 및 검색 클라이언트(121b)를 포함할 수 있다. 이는 가령 SW모듈의 형태일 수 있다. 포렌식 매니저(121a)는 제1 영상처리장치(121)의 관리 혹은 제어를 담당할 수 있고, 검색 클라이언트(121b)는 검색 관련 동작을 수행할 수 있다. 도 7은 가령 DB(120a)나 서드파티장치(130), 제1 영상처리장치(121) 내의 매니저(120a)와 클라이언트(121b), 나아가 제2 영상처리장치(123) 간의 동작을 보여주고 있다.

도 7에서 볼 때 제1 영상처리장치(121)가 VMS(Virtual Memory System)와 같은 DB(120a) 또는 서드파티장치(130)로 비디오 영상을 요청하여 제공받은 후 제2 영상처리장치(123)로 문의(query) 혹은 요청하여 비디오 영상에 대한 분석을 완료하는 것을 보여준다(S701 ~ S712). 여기서 S705 내지 S707 단계는 제2 영상처리장치(123)로 문의 즉 분석을 요청하는 과정이고, S708 내지 S710 단계는 고속 분석 동작을 수행하기 위한 과정이며, S711 및 S712 단계는 분석이 완료되는 과정이다.

도 8은 도 2의 제1 영상처리장치를 구성하는 포렌식 매니저와 검색 클라이언트 사이의 동작 과정을 설명하기 위한 도면이다.

도 8을 참조하면, 포렌식 매니저(121a)와 클라이언트(121b)는 구체적으로 도 8에서와 같이 비디오 리스트(list)를 처리하는 형태로 동작할 수 있다(S800 ~ S804). 가령 제1 영상처리장치(121)를 통해 관제요원과 같은 사용자가 특정 검색어를 입력하였을 때, 해당 검색어에 해당되는 다양한 비디오 영상에 대한 리스트가 먼저 사용자에게 제공될 수 있을 것이다. 이러한 리스트를 통해 자신이 찾고자 하는 영상을 선택하고, 그 선택된 비디오 영상을 제공받아 재생시킬 수 있을 것이다. 또는 분석된 결과를 제공받아 화면에 표시해 줄 수 있을 것이다.

도 9는 도 2의 제1 영상처리장치와 서드파티장치의 동작 과정을 설명하기 위한 도면이다.

도 9를 참조하면, 제1 영상처리장치(121)는 DB(120a)에 저장되어 있는 메타 데이터를 요청하여 비디오 영상과 함께 스트림으로 제공받아 화면에 표시할 수 있다(S900 ~ S905). 이러한 과정은 매니저(121a)와 클라이언트(121b) 간에 협업 동작을 통해 DB(120a)로부터 메타 데이터, 가령 특정 검색어에 따른 비디오 영상과 그에 매칭되는 다양한 정보를 제공받아 화면에 표시할 수 있을 것이다.

도 10은 검색 메인 화면을 예시한 도면이고, 도 11은 FRS 설정 과정을 예시한 도면이다.

설명의 편의상 도 10 및 도 11을 도 2와 함께 참조하면, 본 발명의 실시예에 따른 제1 영상처리장치(121)는 관제컴퓨터, 관제컴퓨터에 연결되는 관제모니터 혹은 전광판을 포함할 수 있다. 해당 관제컴퓨터에서 본 발명의 실시예에 따른 i-포렌식 동작이 수행될 수 있도록 하기 위해 도 10 및 도 11과 같이 FRS 접속 설정 동작을 수행할 수 있다. 도 10에서 우측 상단의 환경설정 버튼(1000)을 선택할 때 나타나는 화면에서 도 11에서와 같이 FRS 접속 설정 항목(1010)을 클릭하면 구체적인 설정 화면이 팝업되어 나타난다. 이후, 팝업창에 제2 영상처리장치(123)의 IP 주소를 입력하여 서로 연동시킬 수 있게 된다. 팝업창의 하단에는 도 11에서와 같이 접속 여부를 알려주는 상태정보(1100)가 표시될 수 있다. 이를 통해 제1 영상처리장치(121)와 제2 영상처리장치(123)의 i-포렌식 연동 과정이 완료된다.

도 12 내지 도 20은 오프라인 분석 화면을 설명하기 위한 도면이다.

설명의 편의상 도 12 내지 도 20을 도 2와 함께 참조하면, 도 2의 제1 영상처리장치(121)는 도 12에서와 같이 화면에 표시되는 파일 불러오기 버튼(1200)을 클릭하여 원하는 파일을 불러오기할 수 있다. 이때 불러오기한 파일들은 화면 좌측의 분석채널 리스트영역(1210) 즉 제1 영역에 등록된다. 파일 불러오기 과정에서 이미 분석된 파일의 경우에는 파일이 리스트영역(1210)에 담기지만 분석은 불가할 수 있다.

이어, 도 13에서와 같이 분석채널 리스트영역(1210)에서 특정 비디오 파일을 선택한 후, 오프라인 분석 버튼(1300)을 선택하면 영상 표시영역 즉 제2 영역에 분석을 요청한 비디오 영상의 재생이 이루어질 수 있다. 비디오 영상이 재생되는 제2 영역의 하단에는 썸네일 이미지와 같은 형태로 영상이 작게 재생되고 그 영상에는 시간과 같은 부가 정보가 함께 표시될 수 있다.

또한, 오프라인 분석을 수행할 때, 사용자는 분석채널 리스트영역(1210)에서 도 14에서와 같이 분석대상(1410)인 비디오 영상에 대하여 분석하기를 요청할 때, 분석 타입을 설정하는 팝업창(1400)을 불러내어 분석 타입을 설정할 수 있다. 팝업창(1400)에는 '얼굴' 카테고리가 추가되어 있는 것을 확인할 수 있다. 이는 본 발명의 실시예에 따른 사람의 객체이미지 기반으로 분석된 속성정보를 확인하기 위한 항목이라 볼 수 있다.

본 발명의 실시예에 따라 선택된 분석대상(1410)의 비디오 영상은 하나의 파일당 3가지 유형으로 메타 데이터 분석이 이루어질 수 있다. 이는 본 발명의 실시예에 따른 지정된 방식에 따라 이루어지는 것이므로 얼마든지 변경될 수 있다. 다만, 본 발명의 실시예는 다양한 포맷의 비디오 영상에 대한 데이터를 제공하므로 그보다 더 많은 지원을 하는 것이 바람직하다. 또한, 분석대상에 대하여 재분석이 불가능하도록 설계하거나 분석 결과값은 삭제 요청이 없는 한 유지될 수 있다.

도 14 및 도 15에서와 같은 과정을 통해 선택된 비디오 영상들에 대한 분석이 완료되면 분석채널 리스트영역에서 비디오 영상들이 사라지고, 분석이 완료된 비디오 영상들은 도 15에서와 같이 분석대기/진행 리스트영역(1600)으로 이동될 수 있다. 해당 영역은 제3 영역이 될 수 있다. 제3 영역은 소 영역으로서 분석대기/진행 리스트를 포함하는 영역, 분석완료 리스트를 포함하는 영역 및 분석실패 리스트를 포함하는 영역으로 구분될 수 있다.

이때, 제3 영역에 담긴 다양한 비디오 영상들은 도 17에서와 같이 다시 분석 채널 리스트영역으로 가져와 다시 분석을 수행할 수 있다. 제3 영역은 도 18에서와 같이 원하는 분석 결과의 개체가 있는 경우 분석 완료로 구분되고, 분석을 완료했으나 오브젝트 즉 객체가 없는 경우, 네트워크 오류나 파일상의 문제로 분석을 완료하지 못한 경우에는 분석실패 리스트 영역에 포함되게 된다.

도 18에서와 같이 분석이 실패한 비디오 영상의 경우, 도 19에서와 같이 다른 조건으로 분석을 재시도해 볼 수 있다. 가령 도 19에서와 같이 일반 객체 항목으로 검색을 시도한 결과 분석이 실패하였다면 본 발명의 실시예에 따른 인물 즉 인물의 속성 정보를 기반으로 도 20과 같이 분석을 재시도하는 것이다.

그 결과, 인물 검색에 따른 결과를 수신하게 될 것이다.

도 21 내지 도 30은 오프라인 검색 화면을 설명하기 위한 도면이다.

설명의 편의상 도 21 내지 도 30을 도 2와 함께 참조하면, 본 발명의 실시예에 따른 도 2의 제1 영상처리장치(121)는 모니터화면에 도 21과 같은 검색화면을 표시할 수 있다. 즉 메인화면에서 검색항목(2100)을 선택한다. 이어 검색할 비디오 리스트 항목(2110)을 선택하여 도 22와 같이 검색된 리스트를 불러올 수 있다. 이는 분석이 완료된 리스트에서 제공된다. 물론 사용자는 리스트상의 특정 항목을 삭제할 수 있다.

해당 리스트의 비디오 영상들을 검색할 비디오 리스트영역, 즉 제4 영역에 담은 후, 특정 비디오 영상이 선택되지 상태에서는 도 23과 같이 화면에 재생되는 비디오 나타나지 않게 된다.

이어 사용자가 도 24에서와 같이, 특정 비디오 영상을 선택한 후 다양한 검색식을 설정하게 되는데, 이때 서로 다른 포맷의 비디오 영상의 경우 해당 비디오 영상에 맞춤화된 검색조건(식)이 화면에 표시된다. 가령 제1 포맷의 비디오 영상과 제2 포맷의 비디오 영상에 대한 검색창(2500)은 다른 항목을 표시해줄 수 있다.

비디오 영상을 재생할 시에 도 25에서와 같이 일반 재생 이외에 객체 구간 연속 재생과 같은 재생 옵션이 추가되어 있으므로 이를 선택하여 재생 방식을 결정할 수 있을 것이다.

또한, 검색조건을 설정할 때 검색창(2500)의 검색타입 항목을 선택하여 일반객체를 구성하는 사람, 차량, 또 그 이외의 미확인 객체에 대하여 검색을 수행할 수 있고, 나아가 사람 중심, 즉 얼굴 기반의 검색을 수행할 수 있다.

검색을 수행한 후, 화면에 비디오가 재생되면 도 27과 같이 플레이바를 통해 재생할 기간을 지정할 수 있으며 재생 시간도 설정할 수 있다. 만약 도 28과 같이 객체 구간 연속 재생인 경우에는 연속재생이 이루어지게 된다.

도 29는 썸네일 다중 선택과 그에 대한 연속재생을 수행할 수 있는 것을 보여주고 있으며, 도 30은 즐겨찾기 버튼(3000)을 선택하여 특정 비디오영상, 가령 클립 영상을 즐겨찾기로 설정할 수 있는 것을 보여주고 있다.

도 31은 본 발명의 실시예에 따른 고속분석 영상처리장치의 동작 과정을 나타내는 흐름도이다.

설명의 편의상 도 31을 도 1 및 도 2와 함께 참조하면, 고속분석 영상처리장치로서 본 발명의 실시예에 따른 영상서비스장치(120) 또는 제1 영상처리장치(121)(이하, 제1 영상처리장치로 설명함)는 비디오 영상을 수신한다(S3100). 이때 수신된 비디오 영상은 서로 다른 포맷의 영상을 포함한다.

이어, 제1 영상처리장치(121)는 수신한 비디오 영상에서 사람의 얼굴 이미지를 추출해 분석하여 얼굴 속성 정보를 생성하고, 생성한 얼굴 속성 정보를 근거로 비디오 영상을 분석하여 분석 결과를 메타 데이터로서 생성한다(S3110).

이러한 분석 결과로서 저장된 메타 데이터는 도 1과 같은 DB(120a)에 저장된 후, 제1 영상처리장치(121)는 사용자의 다양한 검색식에 따른 비디오 분석결과를 제공해 준다. 무엇보다 본 발명의 실시예에서는 인물 중심의 분석이 더 수행되었고, 물론 그 분석은 영상에서 객체이미지를 분석하는 방식에 의해 이루어지지만, 해당 인물의 속성 정보를 기반으로 비디어 영상의 분석 결과를 더 제공하게 된다.

이때, 해당 인물의 이벤트 옵션 정보를 추가하여 검색이 이루어질 수 있으며, 무엇보다 시나리오 기반의 검색이 이루어질 수 있다는 것이다.

이러한 내용들은 앞서 충분히 설명하였으므로 더 이상의 설명은 생략한다.

한편, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 비일시적 저장매체(non-transitory computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다.

여기서 비일시적 판독 가능 기록매체란, 레지스터, 캐시(cache), 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라, 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리 카드, ROM 등과 같은 비일시적 판독가능 기록매체에 저장되어 제공될 수 있다.

이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

100: 사용자장치 101: 이동식저장매체
110: 통신망 120: 영상서비스장치
121: 제1 영상처리장치 123, 123': 제2 영상처리장치
130: 서드파티장치 300, 400, 500: 통신 인터페이스부
310, 510: 제어부 320: 포렌식 영상실행부
330, 530: 저장부 410: 영상 고속처리부
520, 520': 영상 고속분석부 600: 비디오 처리부
610: 비디오 검색부 620: 스케줄링부
630: 매뉴얼 처리부 640: 북마크 처리부

Claims (14)

1. 비디오 영상을 수신하는 통신 인터페이스부; 및
   상기 수신한 비디오 영상에서 분석대상 객체를 추출해 분석하여 객체의 속성 정보를 생성하고, 상기 생성한 객체의 속성 정보를 근거로 상기 비디오 영상을 분석하여 분석 결과를 메타 데이터로서 생성하는 제어부;를 포함하며,
   상기 제어부는,
   상기 수신한 비디오 영상 중 제1 단위영상에서 이미지 캡쳐 방식으로 추출한 객체의 속성 정보와 상기 제1 단위영상의 전후에 입력된 제2 단위영상에서 이미지 캡쳐 방식으로 추출한 객체의 속성 정보를 비교해 동일 객체 여부를 판단하고 동일 객체로 판단한 객체의 주변 사물 또는 주변 객체와의 상관 관계를 분석하여 이벤트를 도출해 내며, 상기 생성한 속성 정보 및 상기 도출한 이벤트의 이벤트 정보를 상기 메타 데이터로서 생성하고, 유사 객체들은 후보군으로 분류하였다가 딥러닝을 통해 상기 유사 객체들의 속성을 최종적으로 결정하는 고속분석 영상처리장치.
2. 제1항에 있어서,
   상기 통신 인터페이스부는, 객체추적 기반의 영상처리를 수행하는 외부장치에 연동하며, 상기 제어부는 상기 외부장치의 요청시 상기 수신한 비디오 영상을 이용해 지정 객체 중심의 고속분석 영상처리를 수행하는 고속분석 영상처리장치.
3. 삭제
4. 제1항에 있어서,
   상기 제어부는, 상기 객체의 속성 정보 및 상기 메타 데이터를 이용하여 딥러닝 기반의 메타 데이터를 더 생성하는 고속분석 영상처리장치.
5. 제1항에 있어서,
   상기 제어부는, 상기 통신 인터페이스부를 통해 수신된 서로 다른 포맷의 비디오 영상을 처리하는 비디오 처리부를 포함하는 고속분석 영상처리장치.
6. 제1항에 있어서,
   상기 제어부는, 상기 통신 인터페이스부를 통해 수신되는 시나리오 기반의 검색 명령어를 근거로, 상기 검색 명령어에 매칭되는 상기 생성한 메타 데이터를 검색하여 제공하는 고속분석 영상처리장치.
7. 제1항에 있어서,
   상기 통신 인터페이스부는 지정된 장소의 촬영장치, 이동식저장매체(USB) 및 서드파티장치의 비디오 영상을 선택적으로 수신하는 고속분석 영상처리장치.
8. 통신 인터페이스부 및 제어부를 포함하는 고속분석 영상처리장치의 구동방법으로서,
   상기 통신 인터페이스부에서 비디오 영상을 수신하는 단계; 및
   상기 제어부가, 상기 수신한 비디오 영상에서 분석대상 객체를 추출해 분석하여 객체의 속성 정보를 생성하고, 상기 생성한 객체의 속성 정보를 근거로 상기 비디오 영상을 분석하여 분석 결과를 메타 데이터로서 생성하는 단계;를 포함하며,
   상기 제어부는,
   상기 수신한 비디오 영상 중 제1 단위영상에서 이미지 캡쳐 방식으로 추출한 객체의 속성 정보와 상기 제1 단위영상의 전후에 입력된 제2 단위영상에서 이미지 캡쳐 방식으로 추출한 객체의 속성 정보를 비교해 동일 객체 여부를 판단하고 동일 객체로 판단한 객체의 주변 사물 또는 주변 객체와의 상관 관계를 분석하여 이벤트를 도출해 내며, 상기 생성한 속성 정보 및 상기 도출한 이벤트의 이벤트 정보를 상기 메타 데이터로서 생성하고, 유사 객체들은 후보군으로 분류하였다가 딥러닝을 통해 상기 유사 객체들의 속성을 최종적으로 결정하는 고속분석 영상처리장치의 구동방법.
9. 제8항에 있어서,
   상기 통신 인터페이스부는, 객체추적 기반의 영상처리를 수행하는 외부장치에 연동하며, 상기 외부장치의 요청시 상기 수신한 비디오 영상을 이용해 지정 객체 중심의 고속분석 영상처리를 수행하는 단계;를 더 포함하는 고속분석 영상처리장치의 구동방법.
10. 삭제
11. 제8항에 있어서,
    상기 객체의 속성 정보 및 상기 메타 데이터를 이용하여 딥러닝 기반의 메타 데이터를 생성하는 단계;를 더 포함하는 고속분석 영상처리장치의 구동방법.
12. 제8항에 있어서,
    상기 통신 인터페이스부를 통해 수신된 서로 다른 포맷의 비디오 영상을 처리하는 단계;를 더 포함하는 고속분석 영상처리장치의 구동방법.
13. 제8항에 있어서,
    상기 통신 인터페이스부를 통해 수신되는 시나리오 기반의 검색 명령어를 근거로, 상기 검색 명령어에 매칭되는 상기 생성한 메타 데이터를 검색하여 제공하는 단계;를 더 포함하는 고속분석 영상처리장치의 구동방법.
14. 제8항에 있어서,
    지정된 장소의 촬영장치, 이동식저장매체 및 서드파티장치의 비디오 영상을 선택적으로 수신하는 단계;를 더 포함하는 고속분석 영상처리장치의 구동방법.

Images