KR102111135B1 - 영상 인식 기반의 영상 검색 방법 및 이를 적용한 영상 검색 장치 - Google Patents

Abstract

본 발명은 영상 인식 기반의 영상 검색 방법 및 이를 적용한 영상 검색 장치에 관한 것으로, 특히, 대량으로 저장된 영상데이터 중 원하는 조건에 매칭되는 영상을 검색한다. 이를 통해, 영상 검색의 경우 운용자가 원하는 최적의 검색을 수행할 수 있고, 사용자가 선택된 오브젝트의 특성에 맞게 검색이 수행되는 것을 직접 확인할 수 있고, 시스템 개발자는 고객이 검색 내용을 확인할 수 있게 제공하여 간접적으로 품질 만족도를 높일 수 있고, UI/UX 분야로 영상검색 시 차별화된 서비스를 제공할 수 있다.

Description

영상 인식 기반의 영상 검색 방법 및 이를 적용한 영상 검색 장치{Method for searching image based on image recognition and applying image search apparatus thereof}

본 발명은 영상 인식 기술에 관한 것으로, 더욱 상세하게는 대량으로 저장된 영상데이터 중 원하는 조건에 매칭되는 영상데이터만을 검색하는 영상 인식 기반의 영상 검색 방법 및 이를 적용한 영상 검색 장치에 관한 것이다.

이동통신망의 발달과 단말기 사양의 발전에 따라 종래의 단순한 통신장치 또는 정보 제공 장치의 범주를 벗어나 이동통신단말기는 현대인의 필수 소지품이 되었고, 토탈 엔터테인먼트 기기로 진화해 가고 있는 추세에 있다.

일반적으로, TV, DMB, CCTV, IPTV, 휴대폰, 노래방 기기 등과 같은 영상기기는 외부로부터 수신된 영상신호를 화면을 통해 시각적인 정보를 제공하고 있다. 또한, 최근에는 방송 및 통신의 디지털화로 인해, 방송 및 통신은 독자적인 영역을 고집해 온 시대를 벗어나 양자의 구분이 어려운 융합화로 빠르게 진화되고 있다. 예를 들면, 통신위성을 이용한 위성방송, 통신 전주를 이용한 케이블 망의 시설, 케이블 망을 이용한 전화사업, 지상 방송용 전파를 이용한 데이터 전송, 초고속 통신망을 이용한 인터넷전화 등과 같이, 방송 및 통신은 각각의 분리된 개념이 아닌 하나의 개념으로 융합되고 있다.

특히, 기존의 VMS(Video Management System)는 복수개의 CCTV 영상을 표출, 저장, 분석 및 검색 서비스를 제공하고 있다.

이중 영상 검색 서비스를 제공함에 있어서 사용자 편의성도 함께 제공하는 것이 필요하다. 따라서, 대량의 영상 데이터 중 원하는 영상 데이터만을 빠르게 검색하기 위해서는 사용자로부터 입력하는 UI/UX(User Interface / eXperience) 편의성이 중요하다.

하지만, 기존에는 영상 검색 과정에서 텍스트나 색깔 등의 이미지 특성만을 고려하여 영상 검색이 수행되고 있으며, 입력된 텍스트나 색깔 등의 이미지 특성을 기반으로 전체 영상에서 해당 특성을 검출하여 결과 값으로 제공하고 있어 보다 효율적인 영상 검색에는 비효율적이다.

한국공개특허 10-2009-0002362 A, 2009년 01월 09일 공개(명칭: 비디오 객체 지정을 이용한 비디오 객체 검색 장치 및 그 방법과, 이를 위한 비디오 객체 요청 장치 및 그를 이용한 홈쇼핑 시스템 및 그 방법)

본 발명은 기존에는 영상 검색 과정에서 텍스트나 색깔 등의 이미지 특성만을 고려하여 영상 검색이 수행되고 있으며, 입력된 텍스트나 색깔 등의 이미지 특성을 기반으로 전체 영상에서 해당 특성을 검출하여 결과 값으로 제공하고 있어 보다 효율적인 영상 검색에는 비효율적인 것을 해결하기 위한 것이며, 본 발명의 목적은 대량으로 저장된 영상데이터 중 원하는 조건에 매칭되는 영상데이터만을 검색할 수 있는 영상 인식 기반의 영상 검색 방법 및 이를 적용한 영상 검색 장치를 제공하고자 한다.

즉, 본 발명은 CCTV 기반 영상 보안 솔루션에서의 영상검색 서비스 편리한 사용자 인터페이스를 제공하고자 하며, 알고리즘 측면에서 사용자의 의도와 관련된 검색 결과만을 제공하고자 한다.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 영상 인식 기반의 영상 검색 방법은 영상 검색 장치가 화면에 표시된 영상에서 적어도 하나의 오브젝트를 포함하는 일 영역을 관심 영역으로 지정하는 단계와, 영상 검색 장치가 지정된 관심 영역에 포함된 오브젝트를 인식하고, 인식된 오브젝트에 대한 특징을 분석하는 단계와, 영상 검색 장치가 분석된 결과를 기반으로 오브젝트 후보 리스트에 적어도 하나의 특징 정보가 포함되도록 제시하는 단계와, 영상 검색 장치가 오브젝트 후보 리스트에서 검색할 오브젝트와 검색할 오브젝트의 특징정보를 결정하는 단계 및 영상 검색 장치가 결정된 오브젝트와 오브젝트 특징정보를 검색 조건으로 파라미터를 설정하여 기 설정된 검색 구간 내 영상 검색을 수행하는 단계를 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록매체를 제공한다.

또한, 본 발명에 따른 영상 인식 기반의 영상 검색 방법에 있어서, 관심 영역으로 지정하는 단계 이전에, 영상 검색 장치가 영상 검색을 위한 영상 검색 구간 또는 영상 검색 기간을 설정하는 단계를 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록매체를 제공한다.

또한, 본 발명에 따른 영상 인식 기반의 영상 검색 방법에 있어서, 오브젝트에 대한 특징을 분석하는 단계는 영상 검색 장치가 오브젝트와 기 설정된 영상 검색 구간에 대한 정보를 영상 검색 엔진에 적용함으로써, 관심 영역 내 포함된 오브젝트에 대한 특징을 분석하는 단계를 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록매체를 제공한다.

또한, 본 발명에 따른 영상 인식 기반의 영상 검색 방법에 있어서, 오브젝트 후보 리스트를 제시하는 단계는 영상 검색 장치가 팝업 창 형태의 테이블로 화면의 일 측에 각 오브젝트 별 타입, 크기, 색상, 이동 여부, 방향 중 적어도 하나에 대한 특징 정보를 포함하는 오브젝트 후보 리스트를 제시하는 단계를 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록매체를 제공한다.

또한, 본 발명에 따른 영상 인식 기반의 영상 검색 방법에 있어서, 특징 정보를 결정하는 단계는 영상 검색 장치가 오브젝트 후보 리스트에서 적어도 하나의 특징 정보를 삭제하는 단계 및 영상 검색 장치가 삭제된 특징 정보를 제외한 나머지 특징 정보를 결정하는 단계를 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록매체를 제공한다.

또한, 본 발명에 따른 영상 인식 기반의 영상 검색 방법에 있어서, 특징 정보를 결정하는 단계는 영상 검색 장치가 오브젝트 후보 리스트에 포함된 특징 정보 이외에 다른 특징 정보를 추가하는 단계를 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록매체를 제공한다.

또한, 본 발명에 따른 영상 인식 기반의 영상 검색 방법에 있어서, 영상 검색을 수행하는 단계는 영상 검색 장치가 결정된 특징 정보와 관련된 오브젝트를 포함하는 영상을 검색하는 단계 및 영상 검색 장치가 검색된 결과를 썸네일, 요약 정보 및 그래프, 도표 중 적어도 하나의 표시 수단으로 제공하는 단계를 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록매체를 제공한다.

본 발명의 실시 예에 따른 영상 검색 장치는 특정 영상을 화면 상에 표시하는 표시모듈 및 영상에서 적어도 하나의 오브젝트를 포함하는 일 영역을 관심 영역으로 지정하고, 지정된 관심 영역에 포함된 오브젝트를 인식하고, 인식된 오브젝트에 대한 특징을 분석하고, 분석된 결과를 기반으로 오브젝트 후보 리스트에 적어도 하나의 특징 정보가 포함되도록 제시하고, 오브젝트 후보 리스트에서 검색할 오브젝트와 검색할 오브젝트의 특징정보를 결정하고, 결정된 오브젝트와 오브젝트 특징정보를 검색 조건으로 파라미터를 설정하여 기 설정된 검색 구간 내 영상 검색을 수행하는 영상제공모듈을 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 영상 검색 장치에 있어서, 동영상 또는 정지영상을 포함하는 적어도 하나의 영상 및 영상 내 지정되는 오브젝트와 기 설정된 영상 검색 구간에 대한 정보를 이용하여 관심 영역에 내 포함된 오브젝트에 대한 특징을 분석하는 영상 검색 엔진을 저장하는 저장모듈을 더 포함하는 것을 특징으로 한다.

본 발명에 따르면, 영상 검색의 경우 사용자가 원하는 최적의 검색을 수행할 수 있다.

또한, 사용자가 선택한 오브젝트의 특성에 맞게 검색이 수행되며, 사용자가 검색 수행 과정을 직접 확인할 수 있다.

또한, 시스템 개발자는 고객이 검색 내용을 확인할 수 있게 제공하여 간접적으로 품질 만족도를 높일 수 있다.

또한, UI/UX 분야로 영상 검색 시 차별화된 서비스를 제공할 수 있다.

도 1은 본 발명의 실시 예에 따른 영상 검색 장치의 구성을 나타내는 블록도 이다.
도 2는 본 발명의 실시 예에 따른 영상 인식 기반의 영상 검색 방법을 설명하기 위한 흐름도이다.
도 3a 내지 도 4는 본 발명의 실시 예에 따른 영상 인식 기반의 영상 검색 방법을 설명하기 위한 예시도 이다.

이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.

이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.

이하에서는 본 발명의 실시 예에 따른 영상 검색 장치는 통신망에 연결되어 영상 검색을 수행할 수 있는 이동통신단말기를 대표적인 예로서 설명하지만 단말기는 이동통신단말기에 한정된 것이 아니고, 모든 정보통신기기, 멀티미디어 단말기, 유선 단말기, 고정형 단말기 및 IP(Internet Protocol) 단말기 등의 다양한 단말기에 적용될 수 있다. 또한, 단말기는 휴대폰, PMP(Portable Multimedia Player), MID(Mobile Internet Device), 스마트폰(Smart Phone), 데스크톱(Desktop), 태블릿컴퓨터(Tablet PC), 노트북(Note book), 넷북(Net book) 및 정보통신 기기 등과 같은 다양한 이동통신 사양을 갖는 모바일(Mobile) 단말기일 때 유리하게 활용될 수 있다.

또한, 본 발명에 따른 영상 검색 장치(10)에 탑재되는 프로세서는 본 발명에 따른 방법을 실행하기 위한 프로그램 명령을 처리할 수 있다. 일 구현 예에서, 이 프로세서는 싱글 쓰레드(Single-threaded) 프로세서일 수 있으며, 다른 구현 예에서 본 프로세서는 멀티 쓰레드(Multi-threaded) 프로세서일 수 있다. 나아가 본 프로세서는 메모리 혹은 저장 장치 상에 저장된 명령을 처리하는 것이 가능하다.

상술한 본 발명의 실시 예에 따른 영상 인식 기반의 영상 검색을 수행하는 영상 검색 장치(10)에 대하여 보다 구체적으로 설명하도록 한다.

도 1은 본 발명의 실시 예에 따른 영상 검색 장치의 구성을 나타내는 블록도 이다.

도 1을 참조하면, 본 발명에 따른 영상 검색 장치(10)는 영상 제공모듈(10), 표시모듈(20), 저장모듈(30), 입력모듈(40) 및 통신모듈(50)로 구성된다.

통신모듈(50)은 통신망을 통해 데이터를 송수신하기 위한 기능을 수행한다. 여기서, 통신모듈(50)은 송신되는 신호의 주파수를 상승 변환 및 증폭하는 RF 송신 수단과 수신되는 신호를 저잡음 증폭하고 주파수를 하강 변환하는 RF 수신 수단 등을 포함한다. 특히, 본 발명에 따른 통신모듈(50)은 영상 검색 과정에서 필요한 데이터를 송수신할 수 있으며, 영상 검색 결과를 외부의 다른 장치로 전달하여 기능 연동을 수행하기 위한 데이터를 송수신한다.

입력모듈(40)은 숫자 및 문자 정보 등의 다양한 정보를 입력 받고, 각종 기능을 설정 및 단말기(10)의 기능 제어와 관련하여 입력되는 신호를 영상 제공모듈(10)로 전달한다. 또한, 입력모듈(40)은 사용자의 터치 또는 조작에 따른 입력 신호를 발생하는 키패드와 터치패드 중 적어도 하나를 포함하여 구성될 수 있다. 이때, 입력모듈(40)은 표시모듈(20)과 함께 하나의 터치패널(또는 터치스크린(Touch Screen))의 형태로 구성되어 입력과 표시 기능을 동시에 수행할 수 있다. 또한, 입력모듈(40)은 키보드, 키패드, 마우스, 조이스틱 등과 같은 입력 장치 외에도 향후 개발될 수 있는 모든 형태의 입력 수단이 사용될 수 있다. 특히, 본 발명에 따른 입력모듈(40)은 영상 검색을 위한 오브젝트를 지정하는 입력 신호, 오브젝트 후보 리스트 중 영상 검색에 적용되는 특징 정보를 선택하는 신호를 감지하여 영상 제공모듈(10)로 전달한다.

표시모듈(20)은 영상 검색 장치(10)의 기능 수행 중에 발생하는 일련의 동작상태 및 동작결과 등에 대한 정보를 표시한다. 또한, 표시모듈(20)은 영상 검색 장치(10)의 메뉴 및 사용자가 입력한 사용자 데이터 등을 표시할 수 있다. 여기서, 표시모듈(20)은 액정표시장치(LCD, Liquid Crystal Display), 초박막 액정표시장치(TFT-LCD, Thin Film Transistor LCD), 발광다이오드(LED, Light Emitting Diode), 유기 발광다이오드(OLED, Organic LED), 능동형 유기발광다이오드(AMOLED, Active Matrix OLED), 레티나 디스플레이(Retina Display), 플렉시블 디스플레이(Flexible display) 및 3차원(3 Dimension) 디스플레이 등으로 구성될 수 있다. 이때, 표시모듈(20)이 터치스크린(Touch screen) 형태로 구성된 경우, 표시모듈(20)은 입력모듈(40)의 기능 중 일부 또는 전부를 수행할 수 있다. 특히, 본 발명에 따른 표시모듈(20)은 특정 영상, 오브젝트 설정 화면, 오브젝트 후보 리스트 및 영상 검색 결과 등을 화면 상에 출력한다.

저장모듈(30)은 데이터를 저장하기 위한 장치로, 주 기억 장치 및 보조 기억 장치를 포함하고, 영상 검색 장치(10)의 기능 동작에 필요한 응용 프로그램을 저장한다. 이러한 저장모듈(30)은 크게 프로그램 영역과 데이터 영역을 포함할 수 있다. 여기서, 영상 검색 장치(10)는 사용자의 요청에 상응하여 각 기능을 활성화하는 경우, 영상 제공모듈(10)의 제어 하에 해당 응용 프로그램들을 실행하여 각 기능을 제공하게 된다. 특히, 본 발명에 따른 저장모듈(30)은 영상 검색 장치(10)를 부팅시키는 운영체제, 동영상 또는 정지영상을 표시하는 프로그램, 관심 영역을 지정하는 프로그램, 관심 영역 내 포함된 오브젝트에 대한 특징을 분석하는 프로그램, 오브젝트 후보 리스트를 제시하는 프로그램, 오브젝트 후보 리스트에서 특징 정보를 결정하는 프로그램 및 특징 정보를 파라미터(parameter)로 설정하여 특정 구간 내 영상 검색을 수행하는 프로그램 등을 저장한다. 또한, 저장모듈(30)은 동영상 또는 정지영상을 포함하는 적어도 하나의 영상 및 영상 내 지정되는 오브젝트와 기 설정된 영상 검색 구간에 대한 정보를 이용하여 관심 영역에 내 포함된 오브젝트에 대한 특징을 분석하는 영상 검색 엔진을 저장한다.

영상 제공모듈(10)은 운영 체제(OS, Operation System) 및 각 구성을 구동시키는 프로세스 장치가 될 수 있다. 특히, 본 발명에 따른 영상 제공모듈(10)은 화면에 표시된 영상에서 복수의 오브젝트를 포함하는 일 영역을 관심 영역으로 지정한다. 이에 앞서, 영상 제공모듈(10)은 영상 검색을 위한 영상 검색 구간 또는 영상 검색 기간을 설정한다. 즉, 영상 제공모듈(10)은 영상의 일정 부분을 영상 검색 구간으로 지정하거나, 특정 일정을 기준으로 영상 검색 구간을 지정할 수 있다.

영상 제공모듈(10)은 지정된 관심 영역에 포함된 오브젝트를 인식하고, 인식된 오브젝트에 대한 특징을 분석한다. 이때, 영상 제공모듈(10)은 인식된 오브젝트와 기 설정된 영상 검색 구간에 대한 정보를 영상 검색 엔진에 적용함으로써, 관심 영역 내 포함된 오브젝트에 대한 특징을 분석한다. 예를 들어, 영상 제공모듈(10)은 관심 영역 내 포함된 오브젝트 별로 크기, 색상, 이동성, 방향 등에 대한 정보를 추출할 수 있다.

영상 제공모듈(10)은 분석된 결과를 기반으로 오브젝트 후보 리스트를 제시한다. 여기서, 영상 제공모듈(10)은 팝업(Pop up) 창 형태의 테이블로 화면의 일 측에 각 오브젝트 별 타입, 크기, 색상, 이동 여부, 방향 중 적어도 하나에 대한 특징 정보를 포함하는 오브젝트 후보 리스트를 제시한다.

영상 제공모듈(10)은 오브젝트 후보 리스트 중에서 검색할 오브젝트와 검색할 오브젝트의 특징 정보를 결정한다. 여기서, 영상 제공모듈(10)은 오브젝트 후보 리스트에서 적어도 하나의 특징 정보를 삭제하고, 삭제된 특징 정보를 제외한 나머지 특징 정보를 결정할 수 있다. 예를 들어, 영상 제공모듈(10)은 오브젝트 후보 리스트에 포함된 특정 오브젝트의 특징 정보(타입, 크기, 색상, 이동 여부, 방향) 중 사용자 입력에 따라 일부 특징 정보(이동 여부, 방향)를 제외할 수 있다. 또한, 영상 제공모듈(10)은 오브젝트 후보 리스트에 포함된 특징 정보 이외에 다른 특징 정보를 추가할 수 있다. 예를 들어, 영상 제공모듈(10)은 오브젝트 후보 리스트에 기재된 특징 정보(타입, 크기, 색상, 이동 여부, 방향) 이외에 사용자 입력에 따라 일부 특징 정보(종류, 썬루프 장착 여부)를 추가할 수 있다.

영상 제공모듈(10)은 결정된 오브젝트와 오브젝트의 특징 정보를 검색 조건으로 파라미터를 설정하여 기 설정된 검색 구간 내 영상 검색을 수행한다. 즉, 영상 제공모듈(10)은 결정된 특징 정보와 관련된 오브젝트를 포함하는 영상을 검색하고, 검색된 결과를 썸네일(Thumbnail), 요약 정보 및 그래프, 도표 등의 표시 수단으로 제공한다.

즉, 본 발명에 따른 영상 제공모듈(10)은 운용자가 모니터링 하고 있는 CCTV 라이브 영상 또는 기 저장된 영상 중 검색하고자 하는 객체(오브젝트)를 결정하여 관심 영역으로 지정한다. 그리고, 영상 제공모듈(10)은 관심 영역에 대한 정보인 객체 원본과 검색 구간 정보를 영상검색 엔진으로 전달한다.

영상 제공모듈(10)은 영상검색 엔진을 이용하여, 기 선택된 관심 영역 부분에 대해 특징 후보를 복수 개로 분석한다. 이때, 영상 제공모듈(10)은 관심 영역 내 복수 개의 오브젝트에 대한 분석을 동시에 수행한다. 이후, 영상 제공모듈(10)은 분석된 오브젝트 후보 리스트를 UI/UX 처리한다.

영상 제공모듈(10)은 오브젝트 후보 리스트를 팝업 형태로 출력하며, 팝업 창으로 표시된 오브젝트 후보 리스트 중 사용자의 입력에 따라 검색 의도에 맞는 특징 정보를 결정한다.

영상 제공모듈(10)은 영상검색 엔진으로 결정된 오브젝트의 특징 정보를 파라미터로 하여 정해진 구간의 영상을 검색한다. 이후, 영상 제공모듈(10)은 검색 결과를 다양한 방식으로 표출할 수 있다.

한편, 영상 검색 장치(10)에 탑재되는 메모리는 그 장치 내에서 정보를 저장한다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛 일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛 일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.

비록 본 명세서와 도면에서는 예시적인 장치 구성을 기술하고 있지만, 본 명세서에서 설명하는 기능적인 동작과 주제의 구현물들은 다른 유형의 디지털 전자 회로로 구현되거나, 본 명세서에서 개시하는 구조 및 그 구조적인 등가물들을 포함하는 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나, 이들 중 하나 이상의 결합으로 구현 가능하다. 본 명세서에서 설명하는 주제의 구현물들은 하나 이상의 컴퓨터 프로그램 제품, 다시 말해 본 발명에 따른 장치의 동작을 제어하기 위하여 혹은 이것에 의한 실행을 위하여 유형의 프로그램 저장매체 상에 인코딩된 컴퓨터 프로그램 명령에 관한 하나 이상의 모듈로서 구현될 수 있다. 컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장 장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 기계로 판독 가능한 전파형 신호에 영향을 미치는 물질의 조성물 혹은 이들 중 하나 이상의 조합일 수 있다.

도 2는 본 발명의 실시 예에 따른 영상 인식 기반의 영상 검색 방법을 설명하기 위한 흐름도이고, 도 3 내지 도 5는 본 발명의 실시 예에 따른 영상 인식 기반의 영상 검색 방법을 설명하기 위한 예시도 이다.

도 2를 참조하면, 본 발명에 따른 영상 인식 기반의 영상 검색 방법에 있어서, 영상 검색 장치(10)는 S10 단계에서 화면 상에 영상을 표시한다. 그리고, 영상 검색 장치(10)는 S20 단계에서 화면에 표시된 영상에서 적어도 하나의 오브젝트를 포함하는 일 영역을 관심 영역으로 지정한다. 이에 앞서, 영상 제공 장치(10)는 영상 검색을 위한 영상 검색 구간 또는 영상 검색 기간을 설정한다. 즉, 영상 제공 장치(10)는 영상의 일정 부분을 영상 검색 구간으로 지정하거나, 특정 일정을 기준으로 영상 검색 구간을 지정할 수 있다.

예를 들어, 도 3a 및 도 3b에 도시된 바와 같이, 영상 검색 장치(10)는 특정 영상의 화면 중에서 사용자 입력(예를 들면, 터치 입력이나 마우스 등을 이용한 드래그 입력 신호 등)에 따라 특정 영역을 관심 영역(301)으로 지정한다.

영상 검색 장치(10)는 S30 단계에서 지정된 관심 영역에 포함된 오브젝트를 인식하고, 인식된 오브젝트에 대한 특징을 분석한다. 이때, 영상 검색 장치(10)는 지정된 오브젝트와 기 설정된 영상 검색 구간에 대한 정보를 영상 검색 엔진에 적용함으로써, 관심 영역 내 포함된 오브젝트에 대한 특징을 분석한다. 예를 들어, 영상 제공 장치(10)는 관심 영역 내 포함된 오브젝트 별로 크기, 색상, 이동성, 방향 등에 대한 정보를 추출할 수 있다.

영상 검색 장치(10)는 S40 단계에서 분석된 결과를 기반으로 오브젝트 후보 리스트를 제시한다. 여기서, 영상 검색 장치(10)는 팝업 창 형태의 테이블로 화면의 일 측에 각 오브젝트 별 타입, 크기, 색상, 이동 여부, 방향 중 적어도 하나에 대한 특징 정보를 포함하는 오브젝트 후보 리스트를 제시한다.

예를 들어, 도 4에 도시된 바와 같이, 영상 검색 장치(10)는 지정된 관심 영역(301) 내 포함된 오브젝트를 추출하고, 추출된 오브젝트를 분석하여 오브젝트 타입, 오브젝트 크기, 오브젝트 색상, 오브젝트 이동 여부 및 오브젝트 방향 등을 확인한다. 즉, 차량 오브젝트(401)는 오브젝트 타입으로 차량, 오브젝트 크기로 중간 크기, 오브젝트 색상으로 회색, 오브젝트 이동 여부로 10km ~ 20km, 오브젝트 방향으로 왼쪽으로 분석될 수 있다. 또한, 차량 오브젝트(402)는 오브젝트 타입으로 차량, 오브젝트 크기로 중간 크기, 오브젝트 색상으로 검정색, 오브젝트 이동 여부로 0 ~ 20km, 오브젝트 방향으로 오른쪽으로 분석될 수 있다. 또한, 사람 오브젝트(403)는 오브젝트 타입으로 사람, 오브젝트 크기로 작은 크기, 오브젝트 색상으로 검정색, 오브젝트 이동 여부로 0 ~ 5km, 오브젝트 방향으로 왼쪽으로 분석될 수 있다.

영상 검색 장치(10)는 S50 단계에서 오브젝트 후보 리스트 중에서 검색할 오브젝트와 검색할 오브젝트의 특징 정보를 결정한다. 여기서, 영상 검색 장치(10)는 오브젝트 후보 리스트에서 적어도 하나의 특징 정보를 삭제하고, 삭제된 특징 정보를 제외한 나머지 특징 정보를 결정할 수 있다. 예를 들어, 영상 제공 장치(10)는 오브젝트 후보 리스트에 포함된 특정 오브젝트의 특징 정보(타입, 크기, 색상, 이동 여부, 방향) 중 사용자 입력에 따라 일부 특징 정보(이동 여부, 방향)를 제외할 수 있다. 또한, 영상 검색 장치(10)는 오브젝트 후보 리스트에 포함된 특징 정보 이외에 다른 특징 정보를 추가할 수 있다. 예를 들어, 영상 제공 장치(10)는 오브젝트 후보 리스트에 기재된 특징 정보(타입, 크기, 색상, 이동 여부, 방향) 이외에 사용자 입력에 따라 일부 특징 정보(종류, 썬루프 장착 여부)를 추가할 수 있다.

영상 검색 장치(10)는 S60 단계에서 결정된 오브젝트와 오브젝트의 특징 정보를 검색 조건으로 파라미터를 설정하여 기 설정된 검색 구간 내 영상 검색을 수행한다. 즉, 영상 제공모듈(10)은 결정된 특징 정보와 관련된 오브젝트를 포함하는 영상을 검색하고, 검색된 결과를 썸네일, 요약 정보 및 그래프, 도표 중 적어도 하나의 표시 수단으로 제공한다. 그리고 나서, 영상 검색 장치(10)는 S70 단계에서 검색 결과를 제공한다. 예를 들어, 영상 검색 장치(10)는 사용자가 선택한 오브젝트가 차량 오브젝트인 경우, 차량 오브젝트와 관련된 특징 정보를 포함하는 영상을 검색하여 제공한다.

이를 통해, 본 발명은 영상 검색의 경우 운용자가 원하는 최적의 검색을 수행할 수 있다. 또한, 사용자가 선택된 오브젝트의 특성에 맞게 검색이 수행되는 것을 직접 확인할 수 있다. 또한, 시스템 개발자는 고객이 검색 내용을 확인할 수 있게 제공하여 간접적으로 품질 만족도를 높일 수 있다. 또한, UI/UX 분야로 영상검색 시 차별화된 서비스를 제공할 수 있다.

컴퓨터 프로그램 명령어와 데이터를 저장하기에 적합한 컴퓨터로 판독 가능한 매체는, 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리, EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM)과 같은 반도체 메모리를 포함한다. 프로세서와 메모리는 특수 목적의 논리 회로에 의해 보충되거나, 그것에 통합될 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.

마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징 될 수 있다는 점을 이해하여야 한다.

한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.

본 발명은 영상 인식 기술에 관한 것으로, 대량으로 저장된 영상데이터 중 원하는 조건에 매칭되는 영상을 검색한다. 이를 통해, 영상 검색의 경우 운용자가 원하는 최적의 검색을 수행할 수 있다. 또한, 사용자가 선택된 오브젝트의 특성에 맞게 검색이 수행되는 것을 직접 확인할 수 있다. 또한, 시스템 개발자는 고객이 검색 내용을 확인할 수 있게 제공하여 간접적으로 품질 만족도를 높일 수 있다. 또한, UI/UX 분야로 영상검색 시 차별화된 서비스를 제공할 수 있다. 이는 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있다.

100: 영상 검색 장치
10: 영상 제공모듈 20: 표시모듈
30: 저장모듈 40: 입력모듈
50: 통신모듈

Claims (9)

1. 영상 검색 장치가 화면에 표시된 영상에서 적어도 하나의 오브젝트를 포함하는 일 영역을 관심 영역으로 지정하는 단계;
   상기 영상 검색 장치가 상기 지정된 관심 영역에 포함된 오브젝트를 인식하고, 상기 인식된 오브젝트에 대한 특징을 분석하는 단계;
   상기 영상 검색 장치가 상기 분석된 결과를 기반으로 오브젝트 후보 리스트에 적어도 하나의 특징 정보가 포함되도록 제시하는 단계;
   상기 영상 검색 장치가 상기 오브젝트 후보 리스트에서 검색할 오브젝트와 상기 검색할 오브젝트의 특징정보를 선택 받아, 선택된 오브젝트 및 특징정보를 결정하는 단계; 및
   상기 영상 검색 장치가 상기 결정된 오브젝트와 오브젝트 특징 정보를 검색 조건으로 파라미터를 설정하여 기 설정된 검색 구간 내 영상 검색을 수행하는 단계를 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.
2. 제1항에 있어서, 상기 관심 영역으로 지정하는 단계 이전에,
   상기 영상 검색 장치가 영상 검색을 위한 영상 검색 구간 또는 영상 검색 기간을 설정하는 단계를 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.
3. 제1항에 있어서, 상기 오브젝트에 대한 특징을 분석하는 단계는
   상기 영상 검색 장치가 상기 오브젝트와 기 설정된 영상 검색 구간에 대한 정보를 영상 검색 엔진에 적용함으로써, 상기 관심 영역 내 포함된 오브젝트에 대한 특징을 분석하는 단계를 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.
4. 제1항에 있어서, 상기 오브젝트 후보 리스트를 제시하는 단계는
   상기 영상 검색 장치가 팝업 창 형태의 테이블로 화면의 일 측에 각 오브젝트 별 타입, 크기, 색상, 이동 여부, 방향 중 적어도 하나에 대한 특징 정보를 포함하는 상기 오브젝트 후보 리스트를 제시하는 단계를 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.
5. 제1항에 있어서, 상기 특징 정보를 결정하는 단계는
   상기 영상 검색 장치가 상기 오브젝트 후보 리스트에서 적어도 하나의 특징 정보를 삭제하는 단계; 및
   상기 영상 검색 장치가 상기 삭제된 특징 정보를 제외한 나머지 특징 정보를 결정하는 단계를 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.
6. 제1항에 있어서, 상기 특징 정보를 결정하는 단계는
   상기 영상 검색 장치가 상기 오브젝트 후보 리스트에 포함된 특징 정보 이외에 다른 특징 정보를 추가하는 단계를 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.
7. 제1항에 있어서, 상기 영상 검색을 수행하는 단계는
   상기 영상 검색 장치가 상기 결정된 특징 정보와 관련된 오브젝트를 포함하는 영상을 검색하는 단계; 및
   상기 영상 검색 장치가 상기 검색된 결과를 썸네일(Thumbnail), 요약 정보 및 그래프, 도표 중 적어도 하나의 표시 수단으로 제공하는 단계를 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.
8. 특정 영상을 화면 상에 표시하는 표시모듈; 및
   상기 영상에서 적어도 하나의 오브젝트를 포함하는 일 영역을 관심 영역으로 지정하고, 상기 지정된 관심 영역에 포함된 오브젝트를 인식하고, 상기 인식된 오브젝트에 대한 특징을 분석하고, 상기 분석된 결과를 기반으로 오브젝트 후보 리스트에 적어도 하나의 특징 정보가 포함되도록 제시하고, 상기 오브젝트 후보 리스트에서 검색할 오브젝트와 상기 검색할 오브젝트의 특징정보를 선택 받아, 선택된 오브젝트 및 특징정보를 결정하고, 상기 결정된 오브젝트와 오브젝트 특징정보를 검색 조건으로 파라미터를 설정하여 기 설정된 검색 구간 내 영상 검색을 수행하는 영상제공모듈;
   을 포함하는 것을 특징으로 하는 영상 검색 장치.
9. 제8항에 있어서,
   동영상 또는 정지영상을 포함하는 적어도 하나의 영상 및 상기 영상 내 지정되는 오브젝트와 기 설정된 영상 검색 구간에 대한 정보를 이용하여 상기 관심 영역에 내 포함된 오브젝트에 대한 특징을 분석하는 영상 검색 엔진을 저장하는 저장모듈;
   을 더 포함하는 것을 특징으로 하는 영상 검색 장치.

Images