KR20150047941A

KR20150047941A - 검색 시스템 및 그의 동작 방법

Info

Publication number: KR20150047941A
Application number: KR1020130128036A
Authority: KR
Inventors: 박동준; 유연걸; 신학철; 정동환
Original assignee: 삼성테크윈 주식회사
Priority date: 2013-10-25
Filing date: 2013-10-25
Publication date: 2015-05-06
Also published as: US9858297B2; KR102016545B1; CN104572806B; US20150117759A1; CN104572806A

Abstract

본 발명은 데이터에서 이루어지고 있는 내용을 파악하여 트렌드를 분석하고 클라이언트에게 제공하는 검색 시스템 및 그의 동작 방법에 관한 것이다. 검색 시스템은 입력되는 영상 분석을 통해 여러 가지 속성을 추출하고, 영상 분석 결과에 대하여 클라이언트가 요청하는 정보로써의 카테고리에 대한 트렌드를 분석하고, 트렌드 분석결과를 메타데이터로 저장하는 사전 자료 분석 파트, 영상 분석 결과를 저장하고, 저장한 메타데이터를 구조화 및 정리하여 검색하기 용이하도록 저장하는 색인 파트 및 클라이언트가 입력한 카테고리와 일치하는 트렌드 정보를 색인파트로부터 추출하여 소정의 형식으로 제공하는 검색 파트를 포함한다.

Description

검색 시스템 및 그의 동작 방법{SYSTEM FOR SEARCH AND METHOD FOR OPERATING THEREOF}

본 발명은 데이터에서 이루어지고 있는 내용을 파악하여 트렌드를 분석하고 클라이언트에게 제공하는 검색 시스템 및 그의 동작 방법에 관한 것이다.

일반적인 검색 시스템은 클라이언트가 필요로 하는 검색 아이템에 대해 특화된 서비스를 제공하고 있다. 예를 들어 영상 데이터에서 사람과 차의 분류 정보 검색이 중요할 경우, 검색 시스템은 이러한 정보를 생성할 수 있는 영상분석 알고리즘을 이용하여 카테고리 정보를 구성하고, 클라이언트는 특정 카테고리의 정보를 검색하게 된다. 즉, 종래의 검색 시스템은 클라이언트의 요구사항을 분석하여 찾아주는 프로세스로 구성되어 있다. 이러한 검색 시스템의 구성이 국내 공개특허 공보 제2007-0007031호 및 일본 공개특허 공보 제 1995-325832에 개시되어 있다.

국내 공개특허 공보 제2007-0007031호 일본 공개특허 공보 제1995-325832호

본 발명이 해결하고자 하는 기술적인 과제는 클라이언트의 요구사항을 분석하여 찾아주는 프로세스가 아닌, 데이터에서 이루어지고 있는 내용을 파악하여 트렌드를 분석하고 클라이언트에게 제공하는 시맨틱 기술과 온톨로지를 이용한 검색 시스템 및 그의 동작 방법을 제공하는데 있다.

본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 일 실시 예에 따른 검색 시스템은 입력되는 영상 분석을 통해 여러 가지 속성을 추출하고, 상기 영상 분석 결과에 대하여 클라이언트가 요청하는 정보로써의 카테고리에 대한 트렌드를 분석하고, 상기 트렌드 분석결과를 메타데이터로 저장하는 사전 자료 분석 파트; 상기 영상 분석 결과를 저장하고, 상기 저장한 메타데이터를 구조화 및 정리하여 검색하기 용이하도록 저장하는 색인 파트; 및 상기 클라이언트가 입력한 카테고리와 일치하는 상기 트렌드 정보를 상기 색인파트로부터 추출하여 소정의 형식으로 제공하는 검색 파트;를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 사전 자료 분석 파트는, 상기 입력되는 영상 분석을 통해 여러 가지 속성을 추출하는 영상 분석 엔진; 상기 속정정보가 추출될 때마다 상기 카테고리에 대한 트렌드를 분석하고 상기 분석결과를 트렌드 정보를 제공하는 트렌드 분석 엔진; 및 상기 트렌드 정보를 메타데이터로 저장하는 제1 저장부;를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 트렌드 분석 엔진은, 임의의 시간 내에 상기 카테고리의 발생빈도를 제1 트렌드 정보로 분석하는 발생빈도 분석부; 임의의 시간 내에 상기 카테고리의 발생빈도를 제1 트렌드 정보로 분석하고, 상기 제1 트렌드 정보의 변화를 제2 트렌드 정보로 분석하는 변화 분석부; 및 상기 카테고리에 대한 움직임 검출 및 추적을 통하여 상기 카테고리의 동선 분석 결과를 제3 트렌드 정보로 제공하는 동선 분석부;를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 검색 파트는, 상기 색인파트로부터 검색된 상기 제1 트렌드 정보 메타데이터를, 가로축에는 상위 카테고리들을 표시하고, 세로축에는 상기 각 상위 카테고리에 포함되는 하위 카테고리들의 발생빈도를 비쥬얼한 그래픽으로 표시하는, 출력화면 형식으로 제공하는 것을 특징으로 한다.

본 발명에 있어서, 임의의 어느 한 상기 하위 카테고리가 선택되면, 선택된 상기 하위 카테고리의 상세 정보를 표시하는 것을 특징으로 한다.

본 발명에 있어서, 상기 검색 파트는, 상기 색인파트로부터 검색된 상기 제2 트렌드 정보 메타데이터를, 설정된 시간에 따라 발생빈도의 차이를 열분포 형태의 비쥬얼한 그래픽으로 표시하는, 히트맵 형식으로 제공하는 것을 특징으로 한다.

본 발명에 있어서, 상기 검색 파트는, 상기 색인파트로부터 검색된 상기 변화 분석결과 메타데이터를, 설정된 시간에 따라 발생빈도의 차이를 비쥬얼한 그래픽으로 표시하는, 그래프 형식으로 제공하는 것을 특징으로 한다.

본 발명에 있어서, 상기 동선 분석부는, 상기 입력되는 영상 프레임으로부터 상기 카테고리에 대한 움직임 검출 및 추적을 통하여 동선정보를 생성하는 동선정보 생성부; 상기 동선정보에 대한 노이즈를 제거하는 노이즈 제거부; 상기 노이즈가 제거된 유사한 동선정보끼리 군집화하는 클러스터링부; 및 상기 군집화된 동선정보에 인공지능 신경망 학습을 수행하여 유사한 동선정보끼리 그룹화한 결과를 상기 제3 트렌드 정보로 제공하는 그룹화부;를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 검색 파트는, 상기 색인파트로부터 검색된 상기 제3 트렌드 정보 메타데이터를, 상기 영상 내에 동선을 표시하는 제1 영역 및 상기 인공지능 신경망 학습을 수행하여 유사한 동선정보끼리 그룹화한 결과를 자기 조직화 지도로 표시한 제2 영역으로 구성된, 출력화면 형식으로 제공하는 것을 특징으로 한다.

본 발명에 있어서, 상기 제2 영역 중 어느 한 그룹이 선택되면, 상기 제1 영역에는 선택된 그룹에 해당하는 동선이 표시되는 것을 특징으로 한다.

본 발명에 있어서, 상기 동선 분석부는, 상기 입력되는 영상 프레임으로부터 상기 카테고리에 대한 움직임 검출 및 추적을 통하여 동선정보를 생성하는 동선정보 생성부; 상기 동선정보에 대한 노이즈를 제거하는 노이즈 제거부; 상기 노이즈가 제거된 동선정보에 포함되는 임의의 포인트들을 선택하는 포인트 선택부; 상기 포인트들을 포함하는 유사한 동선정보끼리 군집화하는 클러스터링부; 및 상기 군집화된 어느 한 포인트에서 상기 군집화된 다른 포인트로 이동할 확률을 산출하여 상기 제3 트렌드 정보로 제공하는 전이확률 산출부;를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 색인파트로부터 검색된 상기 제3 트렌드 정보 메타데이터를, 상기 영상 내에 상기 군집화된 포인트들을 표시하고, 상기 군집화된 어느 한 포인트에서 상기 군집화된 다른 포인트로 이동할 확률을 화살표로 표시한 출력화면 형식으로 제공하는 것을 특징으로 한다.

본 발명에 있어서, 상기 확률의 크기와 상기 화살표의 크기는 비례하는 것을 특징으로 한다.

본 발명에 있어서, 상기 색인 파트는, 상기 영상 분석 엔진의 출력을 저장하는 제2 저장부; 상기 제1 저장부에 저장된 메타데이터를 구조화 및 정리하여 검색하기 용이하도록 처리하는 인덱싱 엔진; 및 상기 인덱싱 엔진의 처리 결과를 저장하는 제3 저장부;를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 검색 파트는, 상기 클라이언트로부터 입력된 검색어를 카테고리로 분류하는 쿼리 엔진; 상기 분류된 카테고리에 해당하는 트렌드 정보를 상기 제2 저장부 및 제3 저장부로부터 검색하는 검색엔진; 및 상기 검색엔진에 의한 상기 트렌드 정보 검색 결과를 소정의 형식으로 제공하는 브라우징 엔진;을 포함하는 것을 특징으로 한다.

본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 일 실시 예에 따른 검색 시스템의 동작 방법은 입력되는 영상 분석을 통해 여러 가지 속성을 추출하고, 상기 영상 분석 결과에 대하여 클라이언트가 요청하는 정보로써의 카테고리에 대한 트렌드를 분석하고, 상기 트렌드 분석결과를 메타데이터로 저장하는 사전 자료 분석 단계; 상기 영상 분석 결과를 저장하고, 상기 저장한 메타데이터를 구조화 및 정리하여 검색하기 용이하도록 저장하는 색인 단계; 및 상기 클라이언트가 입력한 카테고리와 일치하는 상기 트렌드 정보를 상기 색인파트로부터 추출하여 소정의 형식으로 제공하는 검색 단계;를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 사전 자료 분석 단계는, 상기 입력되는 영상 분석을 통해 여러 가지 속성을 추출하는 영상 분석 단계; 및 상기 속정정보가 추출될 때마다 상기 카테고리에 대한 트렌드를 분석하고 상기 분석결과를 트렌드 정보를 제공하는 트렌드 분석 단계;를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 트렌드 분석 단계는, 임의의 시간 내에 상기 카테고리의 발생빈도를 제1 트렌드 정보로 분석하고, 상기 제1 트렌드 정보를 누적하여 제공하는 발생빈도 분석 단계; 임의의 시간 내에 상기 카테고리의 발생빈도를 제1 트렌드 정보로 분석하고, 상기 제1 트렌드 정보의 변화를 제2 트렌드 정보로 분석하고, 상기 제2 트렌드 정보를 누적하여 제공하는 변화 분석 단계; 및 상기 카테고리에 대한 움직임 검출 및 추적을 통하여 상기 카테고리의 동선 분석 결과를 제3 트렌드 정보로 제공하는 동선 분석 단계;를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 동선 분석 단계는, 상기 입력되는 영상 프레임으로부터 상기 카테고리에 대한 움직임 검출 및 추적을 통하여 동선정보를 생성하는 동선정보 생성 단계; 상기 동선정보에 대한 노이즈를 제거하는 노이즈 제거 단계; 상기 노이즈가 제거된 유사한 동선정보끼리 군집화하는 클러스터링 단계; 및 상기 군집화된 동선정보에 인공지능 신경망 학습을 수행하여 유사한 동선정보끼리 그룹화한 결과를 상기 제3 트렌드 정보로 제공하는 그룹화 단계;를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 동선 분석 단계는, 상기 입력되는 영상 프레임으로부터 상기 카테고리에 대한 움직임 검출 및 추적을 통하여 동선정보를 생성하는 동선정보 생성 단계; 상기 동선정보에 대한 노이즈를 제거하는 노이즈 제거 단계; 상기 노이즈가 제거된 동선정보에 포함되는 임의의 포인트들을 선택하는 포인트 선택 단계; 유사한 상기 포인트들을 포함하는 동선정보끼리 군집화하는 클러스터링 단계; 및 상기 군집화된 어느 한 포인트에서 상기 군집화된 다른 포인트로 이동할 확률을 산출하여 상기 제3 트렌드 정보로 제공하는 전이확률 산출 단계;를 포함하는 것을 특징으로 한다.

상술한 바와 같이 본 발명에 따르면, 클라이언트의 요구사항을 분석하여 찾아주는 프로세스가 아니라 클라이언트의 요구사항을 분석하여 찾아주는 프로세스가 아닌, 데이터에서 이루어지고 있는 내용을 파악하여 트렌드를 분석하고 클라이언트에게 제공해 줌으로써 클라이언트가 보다 직관적으로 검색 결과를 파악할 수 있게 된다.

도 1은 본 발명의 일 실시 예에 따른 검색 시스템의 구성을 보이는 블록도 이다.
도 2는 도 1 중 트렌드 분석 엔진의 상세 블록도 이다.
도 3은 검색 파트에서 카테고리 분포 분석 결과를 클라이언트에게 제공해 주는 일 실시 예를 보이는 도면이다.
도 4는 검색 파트에서 카테고리 변화 분석 결과를 클라이언트에게 제공해 주는 일 실시 예를 보이는 도면이다.
도 5는 도 2 중 일 실시 예에 따른 카테고리 동선 분석부의 상세 블록도 이다.
도 6은 도 5에 의한 카테고리 동선 분석 결과를 클라이언트에게 제공해 주는 일 실시 예를 보이는 도면이다.
도 7은 도 2 중 다른 실시 예에 따른 카테고리 동선 분석부의 상세 블록도 이다.
도 8은 도 7에 의한 카테고리 동선 분석 결과를 클라이언트에게 제공해 주는 일 실시 예를 보이는 도면이다.
도 9는 본 발명의 일 실시 예에 따른 검색 시스템의 동작 방법을 보이는 흐름도 이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 발명은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 잇는 것과 유사하게, 본 발명은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. 매커니즘, 요소, 수단, 구성과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.

이하, 본 발명의 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 본 발명의 일 실시 예에 따른 검색 시스템의 구성을 보이는 블록도 이다. 도 1을 참조하면, 검색 시스템은 사전 자료 분석 파트(P1), 색인 파트(P2) 및 검색 파트(P3)를 포함한다.

사전 자료 분석 파트(P1)는 입력되는 영상 분석을 통해 여러 가지 속성을 추출하고, 영상 분석 결과에 대하여 클라이언트가 요청하는 정보로써의 카테고리에 대한 트렌드를 분석하고, 트렌드 분석결과를 메타데이터로 저장한다. 이러한 사전 자료 분석 파트(P1)는 영상 분석 엔진(100), 트렌드 분석 엔진(200) 및 제1 저장부(300)를 포함한다.

색인 파트(P2)는 영상 분석 결과를 저장하고, 저장한 메타데이터를 구조화 및 정리하여 검색하기 용이하도록 저장한다. 이러한 색인 파트(P2)는 제2 저장부(400), 인덱싱 엔진(500) 및 제3 저장부(600)를 포함한다.

검색 파트(P3)는 클라이언트가 입력한 카테고리와 일치하는 트렌드 정보를 색인 파트(P2)로부터 추출하여 소정의 형식으로 제공한다. 이러한 검색 파트(P3)는 쿼리 엔진(700), 검색 엔진(800) 및 브라우징 엔진(900)을 포함한다.

영상 분석 엔진(100)은 입력되는 영상 데이터 분석을 통해 여러 가지 속성을 추출한다. 여기서, 입력되는 영상 데이터라 함은, 검색 시스템에 연결된 카메라(미도시)로부터 전송되는 영상 데이터일 수 있고, 검색 시스템에 연결된 디지털 비디오 레코더(DVR: digital video recorder) 또는 네트워크 비디오 레코더(NVR: network video recorder)에 저장된 영상 데이터일 수 있고, 또는 네트워크(미도시)를 통하여 다양한 경로로 입력되는 영상 데이터 일 수 있다.

또한 영상 분석 엔진(100)은 영상 내에서 물체의 사라짐, 등장, 클라이언트가 입력한 특정 이미지와 비슷한 대상에 대한 영상 추적, 물체의 움직임 감지, 영상 꺼짐 등과 같은 영상 분석을 수행할 수 있다. 또한 영상 분석 엔진(100)은 배경 영역 검출, 전경 및 물체 검출, 물체 카운팅, 카메라 탬퍼링(camera tampering) 검출, 얼굴 검출 등을 수행할 수 있다. 또한 영상 분석 엔진(100)은 영상의 밝기(brightness), 색상(color), 질감(texture) 및 윤곽선(shape)정보도 산출할 수 있다.

더 나아가 영상 분석 엔진(100)은 영상 분석을 수행하여 설정된 이벤트 발생 조건에 만족하는 경우 이벤트를 발생시킨다. 여기서 이벤트라 함은, 네트워크 에러가 발생한 경우, 새로운 카메라(미도시)가 설정된 경우 등과 같이 시스템 내부에 설정된 이벤트를 포함할 수 있다. 또한 입력 영상의 경우에 물체의 출현, 클라이언트가 특정한 이미지(예를 들어 얼굴 인식이 불가능한 얼굴 등장) 발생, 화면 색깔이 바뀌는 경우, 설정된 영역에서 움직임 발생한 경우, 음원의 경우에 비정상적인 음원(자동차 타이어 마찰음(스키드), 유리 깨지는 소리, 경보음, 충돌음 등) 발생, 클라이언트가 특정한 음원(예를 들어 남자 고함, 여자 비명, 아이 울음 소리 등) 발생, 임계값 이상의 음성이 발생한 경우 등과 같이 클라이언트에 의해 설정된 이벤트를 포함할 수 있다. 영상 분석 엔진(100)의 영상 분석 결과는 색인 파트(P2)의 제2 저장부(400)에 저장된다.

트렌드 분석 엔진(200)은 영상 분석 엔진(100)이 영상 분석을 통해 여러 가지 속성 정보를 추출할 카테고리에 대한 트렌드를 분석하고, 분석결과를 트렌드 정보로 제공한다. 여기서 카테고리라 함은, 클라이언트가 결과로 제공받고자 입력하는 검색어의 종류일 수 있다. 도 2는 트렌드 분석 엔진(200)의 상세 블록도로서, 카테고리 분포 분석부(210), 카테고리 변화 분석부(220) 및 카테고리 동선 분석부(230)를 포함할 수 있다.

도 2를 참조하면, 카테고리 분포 분석부(210)는 임의의 시간 내에 카테고리의 발생빈도를 제1 트렌드 정보로 분석한다. 임의의 시간 구간에 대해 카테고리 발생 빈도를 빠르게 알기 위해, 즉, 제1 트렌드 정보 메타데이터를 빠르게 계산하기 위해, 카테고리 분포 분석부(210)는 누적 해싱(cumulative hashing)을 수행한다. 이는 각 시간 단위에 입력되는 카테고리의 발생빈도가 그 전 시간까지의 카테고리 발생빈도의 합을 포함한다는 것을 나타낸다. M_n을 시간 n의 카테고리 발생빈도라고 정의하고, H_n을 실제로 입력되는 카테고리 발생빈도라고 가정하면, 다음 수학식1이 성립한다.

수학식 1에 의하면, 임의의 시간 구간 사이의 카테고리 발생빈도의 합은 두 시간 사이의 카테고리 발생빈도 차이이다. 즉, 클라이언트가 t2 및 t1(t2>t1) 시간구간 사이의 카테고리 발생빈도를 요청하면, 두 시간구간 사이의 카테고리 발생빈도 M_d는 수학식 2와 같다.

이와 같은 카테고리 발생빈도 분포 분석을 통하여, 제1 저장부(300)에 직접 접근하여 리니어하게 계산하지 않아도 고속의 카테고리 발생빈도 분포 파악이 가능하게 된다.

도 3은 카테고리 분포 분석부(210)에서 임의의 시간 내에서 분석한 제1 트렌드 정보 메타데이터를 브라우징 엔진(900)의 처리에 의해 클라이언트에게 제공해 주는 일 실시 예를 보이는 도면이다. 도 3a를 참조하면, 제1 트렌드 정보 메타데이터를 출력화면 형식으로 제공하는데, 가로축은 상위 카테고리들을 표시하고, 세로축은 각 상위 카테고리에 포함되는 하위 카테고리들의 발생빈도를 비쥬얼한 그래픽으로 표시한다. 여기서 상위 카테고리라 함은, 영상 분석 결과로써의 물체, 행동, 색상, 시스템 이벤트 및 클라이언트 이벤트 등을 포함할 수 있으며, 하위 카테고리라 함은, 영상 분석 결과에 포함되며, 물체라는 상위 카테고리에 대하여 자동차, 사람 등을 포함할 수 있고, 색상이라는 상위 카테고리에 대하여 빨강, 파랑 등을 포함할 수 있다.

도 3b는 하위 카테고리 중 어느 한 카테고리를 선택하는 경우, 해당 카테고리의 상세 정보를 제공해 주는 일 실시 예를 보이는 도면으로, 하위 카테고리 중 자동차가 선택된 경우, 자동차에 대하여 영상 내 출현한 일시, 자동차의 종류, 색상 및 크기등과 같은 상세 정보를 제공해 주는 예를 보이고 있다.

도 3c는 슬라이드 바(340)의 조작에 따라 다양한 상위 카테고리 및 하위 카테고리의 디스플레이를 보여주고 있다.

카테고리 변화 분석부(220)는 임의의 시간 내에 카테고리의 발생빈도를 제1 트렌드 정보로 분석하고, 제1 트렌드 정보의 변화를 제2 트렌드 정보로 분석한다. 카테고리 변화 분석부(220) 또한 임의의 시간 구간(예를 들어, 시간 별, 요일 별, 월 별 등)에 대해 제2 트렌드 정보 메타데이터의 변화를 빠르게 알기 위해, 누적 해싱(cumulative hashing)을 수행한다.

도 4는 카테고리 변화 분석부(220)에서 임의의 시간 내에서 분석한 제1 트렌드 정보 메타데이터의 변화를 브라우징 엔진(900)의 처리에 의해 클라이언트에게 제공해 주는 일 실시 예를 보이는 도면이다. 도 4a는 제2 트렌드 정보 메타데이터를 월 별 단위의 히트맵 형식으로 표시한 예를 보여준다. 여기서 히트맵이라 함은, 열을 뜻하는 히트(heat)와 지도를 뜻하는 맵(map)을 결합시킨 단어로, 색상으로 표현할 수 있는 다양한 정보를 일정한 영상 위에 열분포 형태의 비쥬얼한 그래픽으로 출력하는 것이 특징이다. 일 실시 예로, 카테고리 발생빈도가 많이 발생하는 영역은 붉은색으로 표현할 수 있고, 카테고리 발생빈도가 적게 발생하는 영역은 푸른색으로 표현할 수 있다.

도 4b는 히트맵이 한 화면이 아닌, 여러 화면으로 구성되어, 하단에 슬라이드 바(미도시)를 제공하여 클라이언트가 임의로 히트맵을 볼 수 있도록 한다. 이와 같이 카테고리 발생빈도의 변화를 히트맵 형식으로 제공해 줌으로써 클라이언트는 카테고리 발생빈도의 변화를 직관적으로 파악할 수 있게 된다.

도 4b는 제2 트렌드 정보 메타데이터를 시간 단위의 그래프 형식으로 표시한 예를 보여준다. 여기서 일 실시 예로 시간 단위는 6시 12시 18시 24시로 설정되어 있으나, 이에 한정되지 않고, 다양한 시간 단위 설정이 가능하다. 도 4b를 참조하면, 설정된 시간에 따란 카테고리 발생빈도의 변화를 비쥬얼한 그래픽으로 표시한 그래프 형식으로 제공해 줌으로써 클라이언트는 카테고리 발생빈도의 변화를 직관적으로 파악할 수 있게 된다.

카테고리 동선 분석부(230)는 카테고리에 대한 움직임 검출 및 추적을 통하여 카테고리의 동선 분석 결과를 제3 트렌드 정보로 제공한다. 도 5는 일 실시 예에 따른 카테고리 동선 분석부(230)의 상세 블록도를 도시하고 있다. 도 5를 참조하면, 카테고리 동선 분석부(230)는 동선정보 생성부(231), 노이즈 제거부(232), 클러스터링부(233) 및 그룹화부(234)를 포함한다.

동선정보 생성부(231)는 입력되는 영상 프레임으로부터 카테고리에 대한 움직임을 검출하고, 프레임간 유사성을 통해 궤적을 추적하여 동선정보를 생성한다.

노이즈 제거부(232)는 생성된 동선정보의 패턴 분석을 위해 노이즈를 제거한다.

클러스터링부(233)는 노이즈가 제거된 유사한 동선정보끼리 군집화 한다. 클러스터링부(233)는 유사한 동선정보끼리 군집화 하기 위해 주제 모델링(topic modeling) 알고리즘을 적용하고, 주제 모델링 알고리즘에 의해 동선의 공간 확률 모델(spatial probabilistic model)을 생성할 수 있다. 주제 모델링은 단어 주머니(bag-of-words) 방식으로 내용이 주제(topic)의 확률 분포로 설명할 수 있다는 자동 생성 모델링(generative modeling)의 한 방법이다. 이 알고리즘을 통하여 문서 주제 확률 분포(document topic probability distribution)를 획득할 수 있게 된다. 이 알고리즘을 사용하기 위해서는 단어(vocabulary)의 주제가 무엇이 될지를 정해야 한다. 단어를 동선의 각 위치(x, y) 또는 위치 + 방향으로 할 수 있다. 이를 통해 두 개의 다른 동선이 화면의 (x,y) 위치 상에서는 유사하더라도, 확률분포 상에서는 상이한 내용이라는 측면을 부각하게 된다. 특정 주제 모델링 알고리즘은 주제의 수가 미리 정해지지 않고 데이터의 분포를 측정하여 자동적으로 정할 수 있다. 그러나 이러한 알고리즘은 속도가 느리다는 단점이 있다. 주제의 개수를 미리 정해야 하는 알고리즘의 경우, 미리 학습을 통해 얻어지는 적정한 수의 주제 개수 보다 많은 주제 개수를 사용한다.

그룹화부(234)는 군집화된 동선정보에 인공지능 신경망 학습을 수행하여 유사한 동선정보끼리 그룹화한 결과를 상기 제3 트렌드 정보로 제공한다. 주제 모델링(topic modeling)은 동선을 여러 주제의 분포로 표현하게 된다. 따라서 서로 다른 동선을 확률 분포의 유사성을 통해 비교할 수 있다. 그러나, 주제의 수가 최적화되지 않을 가능성이 있으며, 주제 모델링의 특성 상 유사한 동선을 서로 다른 카테고리에 분포시킬 수 있다. 즉, 클라이언트에게 직관적인 정보 전달이 어려운 약점이 있다. 따라서, 본 실시 예에서는 주제 모델링을 통한 클러스터링 결과를 최적화 하는데, 이를 위해 클러스터링 결과에 자기 조직화 지도(self organizing map; SOM)을 적용하여 최적화를 수행한다. 여기서, SOM은 Kohonen에 의해 개발된 목적 패턴이 주어지지 않은 비교사 학습(unsupervised learning) 신경망 모델의 한 종류로서, 유사한 입력패턴을 같은 군집으로 묶기 위해 스스로 연결 강도를 조절하여 특정지도(feature map)로 자기 조직화하는 방법이다. 클러스터링 결과에 SOM을 적용하여 최적화를 수행하는 이유는, SOM이 토폴로지(topology) 성질을 보존하는 주제 맵(topic map)을 출력하기 때문이다. 따라서 클라이언트는 화면상에서 몇 가지의 대표 동선이 존재하는지 손쉽게 파악할 수 있다.

도 6은 카테고리 동선 분석부(230)에서 분석한 제3 트렌드 정보 메타데이터를 브라우징 엔진(900)의 처리에 의해 클라이언트에게 제공해 주는 일 실시 예를 보이는 도면이다. 도 6a를 참조하면, 제3 트렌드 정보 메타데이터를 출력화면 형식으로 제공하는데, 출력화면은 영상 내에 동선을 표시하는 제1 영역(260) 및 유사한 동선정보끼리 그룹화한 토픽 맵을 표시한 제2 영역(270)으로 구성된다. 클라이언트가 제2 영역(270) 중 어느 한 그룹(토픽)을 선택하면, 제1 영역(260)에는 선택된 그룹에 해당하는 동선이 표시된다. 도 6b에는 클라이언트가 제2 영역(270) 중 다른 한 그룹(토픽)을 선택하여, 제1 영역(260)에는 선택된 그룹에 해당하는 동선이 표시된 예가 도시되어 있다.

도 7은 다른 실시 예에 따른 카테고리 동선 분석부(230)의 상세 블록도를 도시하고 있다. 도 7을 참조하면, 카테고리 동선 분석부(230)는 동선정보 생성부(235), 노이즈 제거부(236), 포인트 선택부(237), 클러스터링부(238) 및 이동 확률 산출부(239)를 포함한다.

동선정보 생성부(235)는 입력되는 영상 프레임으로부터 카테고리에 대한 움직임을 검출하고, 프레임간 유사성을 통해 궤적을 추적하여 동선정보를 생성한다. 노이즈 제거부(236)는 생성된 동선정보의 패턴 분석을 위해 노이즈를 제거한다. 포인트 선택부(237)는 노이즈가 제거된 동선정보에 포함되는 임의의 포인트들을 선택한다. 여기서 포인트 선택 조건은 변화가 많은 즉, 방향이 많이 변하는 포인트를 선택할 수 있다. 예를 들어, 포인트로써 동선정보에 포함되는 시작 포인트, 종료 포인트 및 방향이 많이 변하는 임의의 포인트를 선택할 수 있다. 클러스터링부(238)는 포인트들을 포함하는 유사한 동선정보끼리 군집화한다. 이하 클러스터링부(238)의 상세한 설명은 상기에 이미 개시되어 있으므로 생략하기로 한다. 이동 확률 산출부(239)는 군집화된 어느 한 포인트에서 군집화된 다른 포인트로 이동할 확률을 산출하여 제3 트렌드 정보로 제공한다.

도 8은 카테고리 동선 분석부(230)에서 분석한 제3 트렌드 정보 메타데이터를 브라우징 엔진(900)의 처리에 의해 클라이언트에게 제공해 주는 일 실시 예를 보이는 도면이다. 도 8를 참조하면, 제3 트렌드 정보 메타데이터를 출력화면 형식으로 제공하는데, 출력화면은 영상 내에 클러스터링된 포인트들을 표시하고, 어느 하나 포인트에서 다른 포인트로 이동할 확률을 화살표로 표시한다. 여기서 이동 확률의 크기와 화살표의 크기는 비례한다.

제1 저장부(300)에는 트렌드 분석 엔진(200)으로부터 제공되는 제1 트렌드 정보, 제2 트렌드 정보 및 제3 트렌드 정보를 메타데이터로 저장한다.

이와 같은 사전 자료 분석 파트(P1)의 동작이 완료되면, 인덱싱 엔진(500)은 제1 저장부(300)에 저장된 메타데이터를 구조화 및 정리하여 검색하기 용이하도록 처리하고, 처리 결과를 제3 저장부(600)에 저장한다. 제2 저장부(400)는 영상 분석 엔진(100)의 영상 분석 결과를 저장한다.

사전 자료 분석 파트(P1) 및 색인 파트(P2)의 동작이 완료되면, 쿼리 엔진(700)은 클라이언트로부터 입력된 검색어를 카테고리로 분류한다. 여기서 쿼리 엔진(700)은 클라이언트로부터 트렌드 정보를 검색하기 위한 트렌드 정보 관련 검색어를 수신하고 분류한다. 검색 엔진(800)은 분류된 카테고리에 해당하는 내용을 제3 저장부(600) 및 제2 저장부(400)로부터 검색하고, 브라우징 엔진(900)은 검색 엔진(800)의 트렌드 정보 검색 결과를 소정의 형식으로 클라이언트에게 제공한다.

이와 같이 본 실시예의 검색 시스템은 기존의 클라이언트의 요구사항을 분석하여 찾아주는 프로세스가 아니라, 클라이언트의 요구사항을 분석하여 찾아주는 프로세스가 아닌, 데이터에서 이루어지고 있는 내용을 파악하여 트렌드를 분석하고 클라이언트에게 제공해 줌으로써 클라이언트가 보다 직관적으로 검색 결과를 파악할 수 있게 된다.

도 9는 본 발명의 일 실시 예에 따른 검색 시스템의 동작 방법을 보이는 흐름도 이다.

사전 자료 분석 파트(P1)는 입력되는 영상 분석을 통해 여러 가지 속성을 추출하고, 영상 분석 결과에 대하여 클라이언트가 요청하는 정보로써의 카테고리에 대한 트렌드를 분석하고, 트렌드 분석결과를 메타데이터로 저장하는 단계(S100)를 수행한다.

사전 자료 분석 파트(P1)는 입력되는 영상 데이터 분석을 통해 여러 가지 속성을 추출하고, 영상 분석을 통해 여러 가지 속성 정보를 추출할 카테고리에 대한 트렌드를 분석하고, 분석결과를 트렌드 정보로 제공한다. 여기서 카테고리라 함은, 클라이언트가 결과로 제공받고자 입력하는 검색어의 종류일 수 있다. 또한 사전 자료 분석 파트(P1)는 임의의 시간 내에 카테고리의 발생빈도를 제1 트렌드 정보로 분석하여 출력 화면 형식으로 클라이언트에게 제공하는데, 이 출력화면은 가로축은 상위 카테고리들을 표시하고, 세로축은 각 상위 카테고리에 포함되는 하위 카테고리들의 발생빈도를 비쥬얼한 그래픽으로 표시한다. 사전 자료 분석 파트(P1)는 임의의 시간 내에 카테고리의 발생빈도를 제1 트렌드 정보로 분석하고, 제1 트렌드 정보의 변화를 제2 트렌드 정보로 분석하고, 정해진 시간 단위의 히트맵 형식으로 표시하거나, 그래프 형식으로 표시한다. 더 나아가 사전 자료 분석 파트(P1)는 카테고리에 대한 움직임 검출 및 추적을 통하여 카테고리의 동선 분석 결과를 제3 트렌드 정보로 제공한다.

사전 자료 분석 파트(P1)의 동선 분석은 두 가지 실시 예를 포함하고 있는데, 첫 번째 실시 예는 입력되는 영상 프레임으로부터 카테고리에 대한 움직임을 검출하고, 프레임간 유사성을 통해 궤적을 추적하여 동선정보를 생성하고, 생성된 동선정보의 노이즈를 제거하여 노이즈가 제거된 유사한 동선정보끼리 클러스터링 한 후 군집화된 동선정보에 인공지능 신경망 학습을 수행하여 유사한 동선정보끼리 그룹화한 결과를 상기 제3 트렌드 정보로 제공한다. 여기서 제3 트렌드 정보는 출력 화면 형식으로 클라이언트에게 제공하는데, 영상 내에 동선을 표시하는 제1 영역 및 유사한 동선정보끼리 그룹화한 토픽 맵을 표시한 제2 영역으로 구성되어 클라이언트가 제2 영역 중 어느 한 그룹(토픽)을 선택하면, 제1 영역에는 선택된 그룹에 해당하는 동선이 표시된다.

두 번째 실시 예는 입력되는 영상 프레임으로부터 카테고리에 대한 움직임을 검출하고, 프레임간 유사성을 통해 궤적을 추적하여 동선정보를 생성하고, 생성된 동선정보의 노이즈를 제거한 후, 노이즈가 제거된 동선정보에 포함되는 임의의 포인트들을 선택한다. 이 후 선택된 포인트들을 포함하는 유사한 동선정보끼리 클러스터링 하고, 클러스터링된 어느 한 포인트에서 군집화된 다른 포인트로 이동할 확률을 산출하여 제3 트렌드 정보로 제공한다. 여기서 제3 트렌드 정보는 출력 화면 형식으로 클라이언트에게 제공하는데, 영상 내에 클러스터링된 포인트들을 표시하고, 어느 하나 포인트에서 다른 포인트로 이동할 확률을 화살표로 표시한다. 여기서 이동 확률의 크기와 화살표의 크기는 비례한다.

사전 자료 분석 파트(P1)의 동작이 완료되면, 색인 파트(P2)는 사전 자료 분석 파트(P1)에서 저장된 메타데이터를 구조화 및 정리하여 검색하기 용이하도록 처리하고, 처리 결과를 저장하는 단계(S200)를 수행한다.

사전 자료 분석 파트(P1) 및 색인 파트(P2)의 동작이 완료되면, 검색 파트(P3)는 클라이언트로부터 입력된 검색어를 카테고리로 분류하고, 분류된 카테고리에 해당하는 내용을 색인 파트(P2)로부터 검색하고, 트렌드 정보 검색 결과로써 소정의 형식으로 클라이언트에게 제공하는 단계(S300)를 수행한다.

한편, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.

컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.

이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.

100: 영상 분석 엔진 200: 트렌드 분석 엔진
210: 카테고리 분포 분석부 220: 카테고리 변화 분석부
230: 카테고리 동선 분석부 231,235: 동선정보 생성부
232,236: 노이즈 제거부 233,238:클러스터링부
234: 그룹화부 237: 포인트 선택부
239: 이동 확률 산출부 300: 제1 저장부
400: 제2 저장부 500: 인덱싱 엔진
600: 제3 저장부 700: 쿼리 엔진
800: 검색 엔진 900: 브라우징 엔진

Claims

입력되는 영상 분석을 통해 여러 가지 속성을 추출하고, 상기 영상 분석 결과에 대하여 클라이언트가 요청하는 정보로써의 카테고리에 대한 트렌드를 분석하고, 상기 트렌드 분석결과를 메타데이터로 저장하는 사전 자료 분석 파트;
상기 영상 분석 결과를 저장하고, 상기 저장한 메타데이터를 구조화 및 정리하여 검색하기 용이하도록 저장하는 색인 파트; 및
상기 클라이언트가 입력한 카테고리와 일치하는 상기 트렌드 정보를 상기 색인파트로부터 추출하여 소정의 형식으로 제공하는 검색 파트;를 포함하는 것을 특징으로 하는 검색 시스템.
제 1항에 있어서, 상기 사전 자료 분석 파트는,
상기 입력되는 영상 분석을 통해 여러 가지 속성을 추출하는 영상 분석 엔진;
상기 속정정보가 추출될 때마다 상기 카테고리에 대한 트렌드를 분석하고 상기 분석결과를 트렌드 정보로 제공하는 트렌드 분석 엔진; 및
상기 트렌드 정보를 메타데이터로 저장하는 제1 저장부;를 포함하는 것을 특징으로 하는 검색 시스템.
제 2항에 있어서, 상기 트렌드 분석 엔진은,
임의의 시간 내에 상기 카테고리의 발생빈도를 제1 트렌드 정보로 분석하여 제공하는 발생빈도 분석부;
임의의 시간 내에 상기 카테고리의 발생빈도를 제1 트렌드 정보로 분석하고, 상기 제1 트렌드 정보의 변화를 제2 트렌드 정보로 제공하는 변화 분석부; 및
상기 카테고리에 대한 움직임 검출 및 추적을 통하여 상기 카테고리의 동선 분석 결과를 제3 트렌드 정보로 제공하는 동선 분석부;를 포함하는 것을 특징으로 하는 검색 시스템.
제 3항에 있어서, 상기 검색 파트는,
상기 색인파트로부터 검색된 상기 제1 트렌드 정보 메타데이터를, 가로축에는 상위 카테고리들을 표시하고, 세로축에는 상기 각 상위 카테고리에 포함되는 하위 카테고리들의 발생빈도를 비쥬얼한 그래픽으로 표시하는, 출력화면 형식으로 제공하는 것을 특징으로 하는 검색 시스템.
제 4항에 있어서,
임의의 어느 한 상기 하위 카테고리가 선택되면, 선택된 상기 하위 카테고리의 상세 정보를 표시하는 것을 특징으로 하는 검색 시스템.
제 3항에 있어서, 상기 검색 파트는,
상기 색인파트로부터 검색된 상기 제2 트렌드 정보 메타데이터를, 설정된 시간에 따라 발생빈도의 변화를 열분포 형태의 비쥬얼한 그래픽으로 표시하는, 히트맵 형식으로 제공하는 것을 특징으로 하는 검색 시스템.
제 3항에 있어서, 상기 검색 파트는,
상기 색인파트로부터 검색된 상기 변화 분석결과 메타데이터를, 설정된 시간에 따라 발생빈도의 변화를 비쥬얼한 그래픽으로 표시하는, 그래프 형식으로 제공하는 것을 특징으로 하는 검색 시스템.
제 3항에 있어서, 상기 동선 분석부는,
상기 입력되는 영상 프레임으로부터 상기 카테고리에 대한 움직임 검출 및 추적을 통하여 동선정보를 생성하는 동선정보 생성부;
상기 동선정보에 대한 노이즈를 제거하는 노이즈 제거부;
상기 노이즈가 제거된 유사한 동선정보끼리 군집화하는 클러스터링부; 및
상기 군집화된 동선정보에 인공지능 신경망 학습을 수행하여 유사한 동선정보끼리 그룹화한 결과를 상기 제3 트렌드 정보로 제공하는 그룹화부;를 포함하는 것을 특징으로 하는 검색 시스템.
제 8항에 있어서, 상기 검색 파트는,
상기 색인파트로부터 검색된 상기 제3 트렌드 정보 메타데이터를, 상기 영상 내에 동선을 표시하는 제1 영역 및 상기 인공지능 신경망 학습을 수행하여 유사한 동선정보끼리 그룹화한 결과를 자기 조직화 지도로 표시한 제2 영역으로 구성된, 출력화면 형식으로 제공하는 것을 특징으로 하는 검색 시스템.
제 9항에 있어서,
상기 제2 영역 중 어느 한 그룹이 선택되면, 상기 제1 영역에는 선택된 그룹에 해당하는 동선이 표시되는 것을 특징으로 하는 검색 시스템.
제 3항에 있어서, 상기 동선 분석부는,
상기 입력되는 영상 프레임으로부터 상기 카테고리에 대한 움직임 검출 및 추적을 통하여 동선정보를 생성하는 동선정보 생성부;
상기 동선정보에 대한 노이즈를 제거하는 노이즈 제거부;
상기 노이즈가 제거된 동선정보에 포함되는 임의의 포인트들을 선택하는 포인트 선택부;
상기 포인트들을 포함하는 유사한 동선정보끼리 군집화하는 클러스터링부; 및
상기 군집화된 어느 한 포인트에서 상기 군집화된 다른 포인트로 이동할 확률을 산출하여 상기 제3 트렌드 정보로 제공하는 이동 확률 산출부;를 포함하는 것을 특징으로 하는 검색 시스템.
제 11항에 있어서,
상기 색인파트로부터 검색된 상기 제3 트렌드 정보 메타데이터를, 상기 영상 내에 상기 군집화된 포인트들을 표시하고, 상기 군집화된 어느 한 포인트에서 상기 군집화된 다른 포인트로 이동할 확률을 화살표로 표시한 출력화면 형식으로 제공하는 것을 특징으로 하는 검색 시스템.
제 12항에 있어서,
상기 이동 확률의 크기와 상기 화살표의 크기는 비례하는 것을 특징으로 하는 검색 시스템.
제 2항에 있어서, 상기 색인 파트는,
상기 영상 분석 엔진의 출력을 저장하는 제2 저장부;
상기 제1 저장부에 저장된 메타데이터를 구조화 및 정리하여 검색하기 용이하도록 처리하는 인덱싱 엔진; 및
상기 인덱싱 엔진의 처리 결과를 저장하는 제3 저장부;를 포함하는 것을 특징으로 하는 검색 시스템.
제 16항에 있어서, 상기 검색 파트는,
상기 클라이언트로부터 입력된 검색어를 카테고리로 분류하는 쿼리 엔진;
상기 분류된 카테고리에 해당하는 트렌드 정보를 상기 제2 저장부 및 제3 저장부로부터 검색하는 검색엔진; 및
상기 검색엔진에 의한 상기 트렌드 정보 검색 결과를 소정의 형식으로 제공하는 브라우징 엔진;을 포함하는 것을 특징으로 하는 검색 시스템.
입력되는 영상 분석을 통해 여러 가지 속성을 추출하고, 상기 영상 분석 결과에 대하여 클라이언트가 요청하는 정보로써의 카테고리에 대한 트렌드를 분석하고, 상기 트렌드 분석결과를 메타데이터로 저장하는 사전 자료 분석 단계;
상기 영상 분석 결과를 저장하고, 상기 저장한 메타데이터를 구조화 및 정리하여 검색하기 용이하도록 저장하는 색인 단계; 및
상기 클라이언트가 입력한 카테고리와 일치하는 상기 트렌드 정보를 상기 색인파트로부터 추출하여 소정의 형식으로 제공하는 검색 단계;를 포함하는 검색 시스템의 동작 방법.
제 16항에 있어서, 상기 사전 자료 분석 단계는,
상기 입력되는 영상 분석을 통해 여러 가지 속성을 추출하는 영상 분석 단계; 및
상기 속정정보가 추출될 때마다 상기 카테고리에 대한 트렌드를 분석하고 상기 분석결과를 트렌드 정보로 제공하는 트렌드 분석 단계;를 포함하는 것을 특징으로 하는 검색 시스템의 동작 방법.
제 17항에 있어서, 상기 트렌드 분석 단계는,
임의의 시간 내에 상기 카테고리의 발생빈도를 제1 트렌드 정보로 분석하는 발생빈도 분석 단계;
임의의 시간 내에 상기 카테고리의 발생빈도를 제1 트렌드 정보로 분석하고, 상기 제1 트렌드 정보의 변화를 제2 트렌드 정보로 분석하는 변화 분석 단계; 및
상기 카테고리에 대한 움직임 검출 및 추적을 통하여 상기 카테고리의 동선 분석 결과를 제3 트렌드 정보로 제공하는 동선 분석 단계;를 포함하는 것을 특징으로 하는 검색 시스템의 동작 방법.
제 18항에 있어서, 상기 동선 분석 단계는,
상기 입력되는 영상 프레임으로부터 상기 카테고리에 대한 움직임 검출 및 추적을 통하여 동선정보를 생성하는 동선정보 생성 단계;
상기 동선정보에 대한 노이즈를 제거하는 노이즈 제거 단계;
상기 노이즈가 제거된 유사한 동선정보끼리 군집화하는 클러스터링 단계; 및
상기 군집화된 동선정보에 인공지능 신경망 학습을 수행하여 유사한 동선정보끼리 그룹화한 결과를 상기 제3 트렌드 정보로 제공하는 그룹화 단계;를 포함하는 것을 특징으로 하는 검색 시스템.
제 18항에 있어서, 상기 동선 분석 단계는,
상기 입력되는 영상 프레임으로부터 상기 카테고리에 대한 움직임 검출 및 추적을 통하여 동선정보를 생성하는 동선정보 생성 단계;
상기 동선정보에 대한 노이즈를 제거하는 노이즈 제거 단계;
상기 노이즈가 제거된 동선정보에 포함되는 임의의 포인트들을 선택하는 포인트 선택 단계;
유사한 상기 포인트들을 포함하는 동선정보끼리 군집화하는 클러스터링 단계; 및
상기 군집화된 어느 한 포인트에서 상기 군집화된 다른 포인트로 이동할 확률을 산출하여 상기 제3 트렌드 정보로 제공하는 전이확률 산출 단계;를 포함하는 것을 특징으로 하는 검색 시스템의 동작 방법.