KR101289085B1 - 객체 기반 영상 검색시스템 및 검색방법 - Google Patents

객체 기반 영상 검색시스템 및 검색방법 Download PDF

Info

Publication number
KR101289085B1
KR101289085B1 KR1020130002728A KR20130002728A KR101289085B1 KR 101289085 B1 KR101289085 B1 KR 101289085B1 KR 1020130002728 A KR1020130002728 A KR 1020130002728A KR 20130002728 A KR20130002728 A KR 20130002728A KR 101289085 B1 KR101289085 B1 KR 101289085B1
Authority
KR
South Korea
Prior art keywords
image
information
search
class
registered
Prior art date
Application number
KR1020130002728A
Other languages
English (en)
Inventor
김정태
구경모
Original Assignee
오드컨셉 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오드컨셉 주식회사 filed Critical 오드컨셉 주식회사
Application granted granted Critical
Publication of KR101289085B1 publication Critical patent/KR101289085B1/ko
Priority to US14/649,840 priority Critical patent/US20150310012A1/en
Priority to CN201380067598.XA priority patent/CN104903892B/zh
Priority to PCT/KR2013/011451 priority patent/WO2014092446A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G06F16/434—Query formulation using image data, e.g. images, photos, pictures taken by a user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/289—Object oriented databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 사용자에 의해 입력된 정보와 객체 기반 정보의 구성이 유사한 등록 이미지 또는 동영상 또는 이와 관련된 정보를 효과적으로 검색할 수 있는 객체 기반 영상 검색시스템에 관한 것이다.
본 발명의 제1실시예에 따른 객체 기반 영상 검색시스템은, 검색대상이 되는 등록된 이미지 또는 동영상을 저장하는 제1 등록영상 관리모듈(202)과; 등록된 이미지 또는 동영상으로부터 특징점 또는 특징점의 시각적 속성을 영상정보로 추출하는 제1 등록영상정보 추출모듈(203)과; 제1 등록영상정보 추출모듈(203)을 통해 추출된 영상정보의 유사성에 따라 하나 이상의 클래스를 생성하거나 분류하는 클래스 생성모듈(209)과; 생성된 클래스에 대한 정보를 저장하고 관리하는 제1 클래스정보 관리모듈(210)과; 사용자 단말기를 통해 접수된 이미지 또는 동영상 또는 음성 또는 텍스트로부터 검색을 위해 검색콘텐츠의 관련 정보를 추출하는 제1 검색콘텐츠정보 추출모듈(211)과; 제1 검색콘텐츠정보 추출모듈(211)을 통해 추출된 검색콘텐츠정보를 기 분류된 클래스정보와 비교하여 동일 또는 유사하게 매치되는 클래스 또는 등록영상을 검색하는 제1 등록영상 검색모듈(216)과; 제1 등록영상 검색모듈(216)에서 검색된 등록영상 또는 등록영상의 클래스정보를 사용자 단말기에 검색결과로 제공하는 제1 검색결과 표시모듈(219)을 포함하며, 제2 검색콘텐츠정보 추출모듈(311)은 사용자로부터 접수된 검색이미지에 포함된 영상정보를 추출하는 제2 검색이미지 처리부(312), 검색동영상을 분석하여 시각적 요소가 변환되는 지점을 기준으로 전후의 동영상의 구간을 씬으로 분할하고, 각각의 씬에서 대표되는 하나 이상의 프레임을 대표프레임으로 선정하며, 선정된 대표프레임으로부터 영상정보를 추출하는 제2 검색동영상 처리부(313), 사용자 단말기로부터 제공받은 음성을 분석하여 음성을 텍스트로 변환시키는 제2 검색음성 처리부(314), 사용자 단말기로부터 제공받은 검색텍스트 또는 제2 검색음성 처리부(314)에서 변환된 텍스트를 분석하는 제2 검색텍스트 처리부(315) 중 하나 이상을 포함하는 것을 특징으로 한다.

Description

객체 기반 영상 검색시스템 및 검색방법{IMAGES SEARCHING SYSTEM BASED ON OBJECT AND METHOD THEREOF}
본 발명은 사용자에 의해 입력된 정보와 객체 기반 정보의 구성이 유사한 등록 이미지 또는 동영상 또는 이와 관련된 정보를 효과적으로 검색할 수 있는 객체 기반 영상 검색시스템 및 검색방법에 관한 것이다.
일반적으로 인터넷은 많은 컴퓨터 이용자들에게 유효 적절한 통신 및 정보검색수단을 제공한다. 특히, 최근에는 사용자가 이미지 또는 동영상을 업로드하면 이에 대응되는 이미지 또는 동영상을 비교하여 제공하는 검색방법들이 속속 개발되어 인터넷상에서 텍스트나 영상에 대한 정보검색에 상당한 진보를 이루어냈다.
그러나, 이러한 검색방법들은 사용자가 질의한 이미지 또는 동영상 내 다수의 객체들에 대한 정보를 반영하지 못 할뿐더러 유사 영상을 검색하는 과정에서 수반되는 활용 정보의 부족 또는 오인식 등에 의해 최초 사용자의 의도를 정확히 반영하는 결과를 제공하지 못 하는 문제가 있다.
또한 대용량의 이미지 또는 동영상 DB 내에서 정보의 손실을 최소화하면서 빠른 검색을 가능하게 하기 위해서 많은 정보의 요약방법이 거론되어 왔으나 일반적으로 DB의 양에 비례하여 검색속도가 증가할 수밖에 없었고 특정 단위의 메모리 사용량 내에서 더 많은 이미지 정보를 처리하기 위해서는 그에 비례한 정보의 손실이 수반되었다.
이를 극복하기 위해 이미지 또는 동영상으로 구성된 DB를 색상, 모양, 질감, 패턴 등의 1차원적 요소로 카테고리화할 경우 사용이 번거로워지거나 검색의 정확도가 심각히 훼손되는 문제가 있었다.
본 발명이 해결하고자 하는 과제는 사용자의 다양한 질의 수단이 포함하는 복합적인 정보에 대응 가능하기 위해 등록된 이미지 또는 동영상 각각의 객체정보를 검색에 반영하는 객체 기반 영상 검색시스템 및 검색방법을 제공하는 데 있다.
본 발명의 다른 해결과제는 등록된 이미지 또는 동영상을 객체 기반으로 클러스터링 함으로써 정보의 손실을 최소화한 상태에서 특정 단위의 메모리 사용량 내에서 보다 많은 이미지와 동영상의 정보를 빠르게 처리하는 객체 기반 영상 검색시스템 및 검색방법을 제공하는 데 있다.
본 발명의 또다른 해결과제는 단일 검색시스템에 있어 동일한 객체의 인식뿐만 아니라 객체의 구성정보를 활용해 육안과 흡사한 기준의 유사 이미지 또는 동영상 또는 이와 관련된 정보를 검색할 수 있는 객체 기반 영상 검색시스템 및 검색방법을 제공하는 데 있다.
본 발명의 제1실시예에 따른 객체 기반 영상 검색시스템은, 검색대상이 되는 등록된 각종 이미지 또는 동영상을 저장하고 관리하는 제1 등록영상 관리모듈(202)과; 등록된 이미지 또는 동영상으로부터 특징점 또는 특징점의 시각적 속성을 영상정보로 추출하는 제1 등록영상정보 추출모듈(203)과; 제1 등록영상정보 추출모듈(203)을 통해 추출된 영상정보의 유사성에 따라 하나 이상의 클래스를 생성하거나 분류하는 클래스 생성모듈(209)과; 클래스 생성모듈(209)을 통해 생성된 클래스에 대한 정보를 저장하고 관리하는 제1 클래스정보 관리모듈(210)과; 사용자 단말기를 통해 접수된 이미지 또는 동영상 또는 음성 또는 텍스트로부터 검색을 위해 검색콘텐츠의 관련 정보를 추출하는 제1 검색콘텐츠정보 추출모듈(211)과; 제1 검색콘텐츠정보 추출모듈(211)을 통해 추출된 검색콘텐츠정보를 기 분류된 클래스정보와 비교하여 동일 또는 유사하게 매치되는 클래스 또는 등록영상을 검색하는 제1 등록영상 검색모듈(216)과; 제1 등록영상 검색모듈(216)에서 검색된 등록영상 또는 등록영상의 클래스정보를 사용자 단말기에 검색결과로 제공하는 제1 검색결과 표시모듈(219)을 포함하며, 제1 검색콘텐츠정보 추출모듈(211)은 사용자로부터 접수된 검색이미지에 포함된 영상정보를 추출하는 제1 검색이미지 처리부(212), 또는 검색동영상을 분석하여 시각적 요소가 변환되는 지점을 기준으로 전후의 동영상의 구간을 씬으로 분할하고, 각각의 씬에서 대표되는 하나 이상의 프레임을 대표프레임으로 선정하며, 선정된 대표프레임으로부터 영상정보를 추출하는 제1 검색동영상 처리부(213)를 포함하는 것을 특징으로 한다.
바람직하게, 제1 등록영상정보 추출모듈(203)에서 추출되는 영상정보를 구성하는 특징점은 이미지 또는 동영상에 포함된 윤곽선 또는 코너 또는 극점(주변 밝기보다 어둡거나 또는 밝은 부분)에 의해 생성되는 정보이고, 특징점의 시각적 속성은 특징점 주변의 영상들이 갖는 밝기정보 또는 색상정보 또는 패턴정보인 것을 특징으로 한다.
바람직하게, 제1 등록영상정보 추출모듈(203)은 등록된 이미지들에 포함된 특징점 또는 특징점의 시각적 속성을 영상정보로 추출하고 저장하는 제1 등록이미지 영상정보 추출부(204)와; 등록된 동영상을 분석하여 시각적 요소가 변환되는 지점을 기준으로 전후의 동영상의 구간을 씬으로 분할하는 제1 씬 분할부(206)와, 각각의 씬에서 대표되는 하나 이상의 프레임을 대표프레임으로 선정하는 제1 대표프레임 선정부(207)와, 선정된 대표프레임으로부터 특징점 또는 특징점의 시각적 속성을 영상정보로 추출하고 저장하는 제1 대표프레임 영상정보 추출부(208)로 이루어진 제1 등록동영상 영상정보 추출부(205)를 포함하는 것을 특징으로 한다.
바람직하게, 제1 씬 분할부(206)는 동영상 콘텐츠의 각 프레임을 HSV(색상/채도/밝기)의 빈도수 그래프로 작성하여 이전 프레임과 현재 프레임의 그래프를 비교하여 정해진 그래프간 거리값을 넘는 경우에는 프레임이 변하는 것으로 판단하여 씬으로 확인하는 것을 특징으로 한다.
바람직하게, 클래스 생성모듈(209)은 영상정보인 특징점 또는 특징점의 시각적 속성이 등록이미지 또는 등록동영상 내의 영상정보가 상호 유사할 경우 이를 군집화 하여 하나 이상의 클래스로 생성하거나 분류하며 이때 생성된 클래스가 기존에 생성된 클래스와 유사한 영상정보를 갖는 경우 동일하거나 유사한 클래스로 함께 분류하는 것을 특징으로 한다.
바람직하게, 제1 클래스정보 관리모듈(210)의 클래스정보는 클래스를 설명하는 텍스트정보, 영상정보, 카테고리정보, 특화정보 중 하나 이상인 것을 특징으로 한다.
삭제
바람직하게, 제1 검색콘텐츠정보 추출모듈(211)은 사용자 단말기로부터 제공받은 음성을 분석하여 텍스트로 변환시키는 제1 검색음성 처리부(214)와; 사용자 단말기로부터 제공받은 검색텍스트 또는 제1 검색음성 처리부(214)에서 변환된 텍스트를 분석하는 제1 검색텍스트 처리부(215)를 포함하는 것을 특징으로 한다.
바람직하게, 제1 등록영상 검색모듈(216)은 사용자에 의해 접수된 검색이미지 또는 검색동영상으로부터 추출된 영상정보를 클래스정보 내의 클래스별 영상정보와 비교하여 동일 또는 유사하게 매치되는 클래스를 검색하고, 검색된 클래스를 일부 또는 모두 포함하는 등록이미지 또는 등록동영상을 검색하는 제1 영상 검색부(217)와; 사용자에 의해 접수된 텍스트 또는 음성으로부터 추출되거나 변환된 텍스트정보를 클래스정보 내의 텍스트정보와 비교하여 동일 또는 유사하게 매치되는 클래스를 검색하고, 검색된 클래스를 일부 또는 모두 포함하는 등록이미지 또는 등록동영상을 검색하는 제1 텍스트 검색부(218)를 포함하는 것을 특징으로 한다.
또한, 본 발명의 제2실시예에 따른 객체 기반 영상 검색시스템은, 객체가 하나 이상 포함된 객체이미지를 등록받아 저장하고 등록받은 객체이미지에서 영상정보를 추출하여 저장하는 객체이미지 관리모듈(301)과; 객체이미지 관리모듈(301)을 통해 추출된 객체이미지의 영상정보의 유사성에 따라 군집화 하여 하나 이상의 동일한 클래스로 분류한 후 해당 클래스를 설명하는 클래스의 텍스트를 클래스정보로 함께 저장하는 제2 클래스정보 관리모듈(302)과; 검색대상이 되는 등록된 각종 이미지 또는 동영상을 등록영상으로 저장하고 관리하는 제2 등록영상 관리모듈(303)과; 등록된 이미지 또는 동영상의 전체 또는 일부로부터 특징점 또는 특징점의 시각적 속성을 영상정보로 추출하는 제2 등록영상정보 추출모듈(304)과; 등록된 이미지 또는 등록된 동영상으로부터 각각의 영상정보가 추출되면 해당 영상정보를 기 생성된 클래스의 영상정보와 비교하여 동일하거나 유사한 영상정보를 갖는 클래스에 대한 정보를 등록된 이미지 또는 동영상에 함께 저장하는 등록영상 분류모듈(310)과; 사용자 단말기를 통해 접수된 이미지 또는 동영상 또는 음성 또는 텍스트의 검색콘텐츠로부터 검색콘텐츠정보를 추출하는 제2 검색콘텐츠정보 추출모듈(311)과; 제2 검색콘텐츠정보 추출모듈(216)을 통해 추출된 검색콘텐츠정보를 기 생성된 클래스의 영상정보 또는 클래스의 텍스트와 비교하여 동일 또는 유사하게 매치되는 클래스를 검색하고 검색된 클래스를 모두 또는 일부 포함하는 등록이미지 또는 등록동영상을 검색하는 제2 등록영상 검색모듈(316)과; 제2 등록영상 검색모듈(316)에서 검색된 클래스정보 또는 등록영상정보를 사용자 단말기에 검색결과로 제공하는 제2 검색결과 표시모듈(319)을 포함하며, 제2 검색콘텐츠정보 추출모듈(311)은 사용자로부터 접수된 검색이미지에 포함된 영상정보를 추출하는 제2 검색이미지 처리부(312), 검색동영상을 분석하여 시각적 요소가 변환되는 지점을 기준으로 전후의 동영상의 구간을 씬으로 분할하고, 각각의 씬에서 대표되는 하나 이상의 프레임을 대표프레임으로 선정하며, 선정된 대표프레임으로부터 영상정보를 추출하는 제2 검색동영상 처리부(313), 사용자 단말기로부터 제공받은 음성을 분석하여 음성을 텍스트로 변환시키는 제2 검색음성 처리부(314), 사용자 단말기로부터 제공받은 검색텍스트 또는 제2 검색음성 처리부(314)에서 변환된 텍스트를 분석하는 제2 검색텍스트 처리부(315) 중 하나 이상을 포함하는 것을 특징으로 한다.
본 발명에 따른 객체 기반 영상 검색시스템은 이미지 또는 동영상에서 추출된 복수의 객체 기반 정보를 이용함으로써 다양한 질의 수단을 통해 입력된 복합적인 정보에 효과적으로 대응할 수 있는 장점이 있다.
또한, 등록된 이미지 또는 동영상을 객체 기반으로 클러스터링함으로써 정보의 손실을 최소화한 상태에서 특정 단위의 메모리 사용량 내에서 보다 많은 이미지와 동영상의 정보를 빠르게 처리할 수 있는 장점이 있다.
또한, 동일 객체의 인식뿐만 아니라 객체의 구성정보를 활용해 육안과 흡사한 기준의 유사 이미지 또는 동영상 또는 이와 관련된 정보를 단일 시스템에서 검색 가능함으로써 사용자의 의도에 부합하는 입체적인 검색 방법을 제공하는 장점이 있다.
도 1은 본 발명의 제1실시예에 따른 객체 기반 영상 검색시스템의 블록도.
도 2는 본 발명의 제1실시예에 따른 객체 기반 영상 검색시스템을 이용한 영상 콘텐츠 검색과정의 플로차트.
도 3은 본 발명의 제1실시예에 따라 클래스를 생성하는 예시도.
도 4는 본 발명의 제1실시예에 따른 객체 기반 영상 검색시스템을 이용한 음성 또는 텍스트를 이용한 검색과정의 플로차트.
도 5는 본 발명의 제2실시예에 따른 객체 기반 영상 검색시스템의 블록도.
도 6은 본 발명의 제2실시예에 따른 객체 기반 영상 검색시스템을 이용한 영상 콘텐츠 검색과정의 플로차트.
이하, 첨부된 도면을 참조하여 본 발명의 객체 기반 영상 검색시스템에 대하여 자세히 살펴본다.
본 발명의 제1실시예에 따른 영상 콘텐츠 검색시스템의 기본 개념은 등록된 이미지 또는 동영상을 특징점 및 특징점의 속성에　따라 객체 기반으로 분류 또는 클러스터링하여 사용자가 PC, 태블릿, 모바일 및 커넥티드 TV 등의 사용자 단말기를 통해 이미지, 동영상을 업로드하거나 또는 음성, 텍스트로로 검색하면 간단하게 매치되는 등록이미지 또는 등록동영상을 검색하여 사용자 단말기로 해당 결과 또는 관련 정보를 제공하는 것이다.
도 1을 참조하여 영상 콘텐츠 검색시스템에 자세히 살펴보면, 영상 콘텐츠 검색시스템은 제1 등록영상 관리모듈(202), 제1 등록영상정보 추출모듈(203), 클래스 생성모듈(209), 제1 클래스정보 관리모듈(210), 제1 검색콘텐츠정보 추출모듈(211), 제1 등록영상 검색모듈(216), 제1 검색결과 표시모듈(219)을 포함한다.
제1 등록영상 관리모듈(202)은 검색대상이 되는 등록된 각종 이미지 또는 동영상을 제1 등록영상DB(221)에 저장하고 관리한다. 이때, 제1 등록영상 관리모듈(202)은 검색대상이 되는 이미지 또는 동영상을 등록이미지 또는 등록동영상으로 저장하거나 또는 실시간으로 웹을 검색하여 사용할 수 있다. 또한 제1 등록영상 관리모듈(202)에 이미지와 동영상이 등록되는 경우에는 등록된 이미지 또는 동영상의 이름, 저작권자 등을 포함한 관련정보가 함께 저장될 수 있다.
제1 등록영상정보 추출모듈(203)은 등록된 이미지 또는 동영상으로부터 특징점 또는 특징점의 시각적 속성을 영상정보로 추출한다. 영상정보로 추출되는 특징점은 이미지 또는 동영상에 포함된 윤곽선 또는 코너 또는 극점(주변 밝기보다 어둡거나 또는 밝은 부분)에 의해 생성되는 정보이고, 특징점의 시각적 속성은 특징점 주변의 영상들이 갖는 밝기정보 또는 색상정보 또는 패턴정보 등을 의미한다.
이러한 제1 등록영상정보 추출모듈(203)은 등록된 이미지로부터 영상정보를 추출하는 제1 등록이미지 영상정보 추출부(204)와, 등록된 동영상으로부터 영상정보를 추출하는 제1 등록동영상 영상정보 추출부(205)로 이루어진다.
제1 등록이미지 영상정보 추출부(204)는 등록된 이미지들에 포함된 하나 이상의 특징점 또는 특징점의 시각적 속성을 영상정보로 추출하고 추출된 영상정보를 등록이미지와 함께 저장한다. 이러한 제1 등록이미지 영상정보 추출부(204)를 통해 등록된 각각의 이미지들이 포함하는 영상정보를 모두 추출할 수 있다.
제1 등록동영상 영상정보 추출부(205)는 등록된 동영상을 분석하여 시각적 요소가 변환되는 지점을 기준으로 전후의 동영상의 구간을 씬으로 분할하는 제1 씬 분할부(206)와, 각각의 씬에서 대표되는 하나 이상의 프레임을 대표프레임으로 선정하는 제1 대표프레임 선정부(207)와, 선정된 대표프레임으로부터 하나 이상의 특징점 또는 특징점의 시각적 속성을 영상정보로 추출하고 등록동영상과 함께 저장하는 제1 대표프레임 영상정보 추출부(208)로 이루어진다. 이때, 제1 씬 분할부(206)는 동영상 콘텐츠의 각 프레임을 HSV(색상/채도/밝기)의 빈도수 그래프로 작성하여 이전 프레임과 현재 프레임의 그래프를 비교하여 정해진 그래프간 거리값을 넘는 경우에는 프레임이 변하는 것으로 판단하여 씬으로 확인할 수 있으며, 확인된 각각의 씬에는 고유 ID가 부여되는 것이 바람직하다. 이때, 변화가 시작되는 프레임은 S(Start)로 표시하고, 변화가 종료되는 프레임은 E(End)로 표시하여 구분하는 것이 바람직하다. 또한, 제1 대표프레임 선정부(207)에서 선정되는 대표프레임은 씬을 구성하는 프레임들이 거의 유사하므로 전단, 중간 또는 후단의 어느 프레임을 선정하더라도 무방하다. 이러한 제1 등록영상정보 추출모듈(203)에 의하여 등록된 이미지의 영상정보 뿐만아니라 등록된 동영상에 포함된 영상정보도 모두 추출할 수 있다.
클래스 생성모듈(209)은 제1 등록영상정보 추출모듈(203)을 통해 추출된 등록이미지 또는 등록동영상의 특징점 또는 특징점의 시각적 속성에 대한 영상정보를 서로 비교하여 동일 또는 유사한 경우 이를 함께 군집화 하여 하나 이상의 클래스로 생성하거나 기존에 생성된 클래스와 동일하면 기존의 클래스로 함께 분류한다. 예를 들면, 클래스는 자연>>산, 바다, 하늘, 땅>>하늘>>푸른하늘, 저녁 하늘 등과 같이 분류될 수 있다.
제1 클래스정보 관리모듈(210)은 클래스 생성모듈(209)을 통해 생성된 클래스의 클래스정보를 클래스정보DB(222)에 저장하고 관리한다. 이때 클래스정보DB(222)에 저장되는 클래스정보는 각 클래스의 영상정보, 카테고리정보, 클래스의 설명에 대한 텍스트정보, 특화정보 중 하나 이상을 포함하여 구성된다. 영상정보는 제1 클래스 생성모듈(209)을 통해 생성된 각 클래스의 특징점 또는 특징점의 시각적 속성을 포함하며, 카테고리정보는 각 클래스 간의 상 하위 개념, 종속성, 연관성 등에 의해 구분된 클래스정보를 의미한다. 예를 들어 상 하위 개념에 의한 카테고리정보의 경우 도 2에 도시된 바와 같이, 이미지의 영상정보로부터 푸른 하늘(sky), 횡단보도가 있는 도로(street), 시가지 고층 빌딩(building), LG, 펩시, 사람들(people), 차량(car) 등을 클래스로 분류할 수 있다. 또한, 푸른 하늘에 대한 클래스는 자연>하늘>푸른 하늘이라는 카테고리로 상 하위 개념에 의해 구분된다. 그리고 종속성에 의한 카테고리정보는 각 클래스 별로 해당 클래스 및 이와 유사한 클래스를 포함하고 있는 DB 내 다른 등록 이미지 또는 등록 동영상의 정보가 포함되며, 연관성에 의한 카테고리정보는 각 클래스별로 해당 클래스와 유사한 DB내 다른 클래스의 정보가 포함된다. 텍스트정보는 각 클래스를 설명하거나 나타내는 키워드 또는 텍스트를 포함하며 이러한 정보는 등록된 이미지 또는 동영상의 이름, 저작권자 정보 등을 함께 저장한 제1 등록영상 관리모듈(202) 또는 관리자로부터 제공받을 수 있다.
제1 검색콘텐츠정보 추출모듈(211)은 사용자 단말기를 통해 접수된 이미지 또는 동영상 또는 음성 또는 텍스트로부터 검색을 위해 검색콘텐츠의 관련 정보를 추출한다. 사용자 단말기는 PC, 태블릿, 모바일 및 커넥티드 TV 등의 단말기를 포함하며, 검색영상은 사용자 단말기에서 재생되거나 촬영 중인 영상 또는 저장된 이미지 파일 또는 영상을 제공받는다.
제1 검색콘텐츠정보 추출모듈(211)은 제1 검색이미지 처리부(212), 제1 검색동영상 처리부(213), 제1 검색음성 처리부(214), 제1 검색텍스트 처리부(215)로 이루어진다.
제1 검색이미지 처리부(212)는 사용자로부터 접수된 검색이미지로부터 영상정보를 추출한다. 이러한, 제1 검색이미지 처리부(212)에서 추출되는 영상정보는 제1 등록이미지 영상정보 추출부(204)에서 영상정보를 추출하는 방법과 동일하게 검색이미지에 포함된 객체의 윤곽선 또는 코너 또는 극점(주변 밝기보다 어둡거나 또는 밝은 부분)에 대한 특징점 정보와 특징점 주변의 영상들이 갖는 밝기정보 또는 색상정보 또는 패턴정보 등의 시각적 정보를 포함한다. 이러한 제1 검색이미지 처리부(212)를 통해 사용자가 접수한 검색이미지에 포함된 영상정보를 추출할 수 있다.
제1 검색동영상 처리부(213)는 검색동영상을 분석하여 시각적 요소가 변환되는 지점을 기준으로 전후의 동영상의 구간을 씬으로 분할하고, 각각의 씬에서 대표되는 프레임을 대표프레임으로 선정하며, 선정된 대표프레임으로부터 영상정보를 추출한다. 이러한 제1 검색동영상 처리부(213)에서 추출되는 영상정보는 전술한 제1 등록동영상 영상정보 추출부(205)의 제1 씬 분할부(206), 제1 대표프레임 선정부(207), 제1 대표프레임 영상정보 추출부(208)와 동일한 과정으로 검색동영상으로부터 대표프레임에 대한 영상정보를 추출한다. 이에 따라 제1 검색동영상 처리부(213)를 통해 사용자가 접수한 검색동영상에 포함된 영상정보를 추출할 수 있다.
제1 검색음성 처리부(214)는 사용자 단말기로부터 제공받은 음성을 분석하여 음성을 텍스트로 변환시킨다. 이러한 제1 검색음성 처리부(214)는 음성인식기를 이용하여 음성을 텍스트로 변환시킬 수 있다. 예를 들면, "사람과 자동차와 빌딩이 있는 시가지 영상을 찾아줘, 대신 저녁 시간에 촬영된 영상은 제외해"라는 내용이면 이를 텍스트로 변환한다.
제1 검색텍스트 처리부(215)는 사용자 단말기로부터 제공받은 검색텍스트 또는 제1 검색음성 처리부(214)에서 변환된 텍스트를 분석한다.
제1 등록영상 검색모듈(216)은 제1 검색콘텐츠정보 추출모듈(211)을 통해 추출된 검색콘텐츠의 정보를 기 분류된 클래스정보와 비교하여 동일 또는 유사하게 매치되는 하나 이상의 클래스를 검색하고 해당 클래스를 모두 또는 일부 포함하는 등록이미지 또는 등록동영상을 검색한다. 제1 등록영상 검색모듈(216)은 영상정보를 검색하는 제1 영상 검색부(217)와 텍스트를 비교하는 제1 텍스트 검색부(218)로 이루어진다.
제1 영상 검색부(217)는 사용자에 의해 접수된 검색이미지 또는 검색동영상으로부터 추출된 영상정보를 클래스 내의 클래스별 영상정보와 비교하여 동일 또는 유사하게 매치되는 클래스를 검색하거나 검색된 클래스를 일부 또는 모두 포함하는 등록이미지 또는 등록동영상을 검색한다. 이때, 검색이미지 또는 검색동영상의 영상정보로부터 1차로 각각의 영상정보에 대응되는 하나 이상의 클래스를 검색할 수 있고, 2차로 검색된 하나 이상의 클래스를 모두 또는 일부 포함하는 등록이미지 또는 등록동영상을 검색할 있다.
제1 텍스트 검색부(218)는 사용자에 의해 접수된 텍스트 또는 음성으로부터 추출되거나 변환된 텍스트정보를 클래스정보 내의 텍스트와 비교하여 동일 또는 유사하게 매치되는 클래스를 검색하고, 검색된 클래스를 일부 또는 모두 포함하는 등록이미지 또는 등록동영상을 검색한다. 이때, 제1 텍스트 검색부(218)가 1차로 동일 또는 유사한 클래스를 검색하고, 2차로 해당 클래스를 모두 또는 일부 포함하는 등록이미지 또는 등록동영상을 검색한다. 예를 들면 제1 텍스트 검색부(218)가 분석한 텍스트정보가 "사람과 자동차와 빌딩이 있는 시가지 영상을 찾아줘, 대신 저녁 시간에 촬영된 영상은 제외해"인 경우 사람과 자동차와 빌딩에 대한 텍스트정보와 클래스정보로 저장된 텍스트를 비교하여 매치되는 클래스를 검출하되 클래스의 영상정보로부터 추출된 색상에 대한 텍스트 정보를 반영하여 붉은색 계열의 클래스는 제외할 수 있다. 이와 같이 선택과 제어를 통해 검출된 클래스와 동일하거나 유사한 클래스를 모두 또는 일부 포함하는 등록이미지 또는 등록동영상을 검색할 수 있다.
제1 검색결과 표시모듈(219)은 제1 등록영상 검색모듈(216)에서 검색된 클래스의 정보 또는 등록영상의 정보를 사용자 단말기에 검색결과로 제공한다.
이하, 도 3의 플로차트를 참조하여 본 발명의 제1실시예에 따른 객체기반 영상검색 시스템의 검색과정에 대하여 자세히 살펴한다.
먼저, 제1 등록영상정보 추출모듈(203)을 통해 검색대상이 되는 등록이미지의 특징점 또는 특징점의 시각적 속성을 영상정보로 추출하고(단계 S101), 등록동영상으로부터 각 대표프레임의 특징점 또는 특징점의 시각적 속성을 영상정보로 추출한다(단계 S102). 이때, 영상정보로 추출되는 특징점은 이미지 또는 동영상에 포함된 윤곽선 또는 코너 또는 극점(주변 밝기보다 어둡거나 또는 밝은 부분)에 의해 생성되는 정보이고, 특징점의 시각적 속성은 특징점 주변의 영상들이 갖는 밝기정보 또는 색상정보 또는 패턴정보 등을 의미한다. 또한, 등록동영상은 시각적 요소가 변환되는 지점을 기준으로 전후의 동영상의 구간을 씬으로 분할하고, 각각의 씬에서 대표되는 프레임을 대표프레임으로 선정하며, 선정된 대표프레임으로부터 특징점 또는 특징점의 시각적 속성을 영상정보로 추출할 수 있다. 이러한 과정을 통해 등록이미지 또는 대표프레임으로부터 특징점 또는 특징점의 시각적 속성에 대한 영상정보를 추출할 수 있다.
한편, 클래스 생성모듈(209)은 추출된 영상정보의 동일성 또는 유사성에 따라 군집화 하여 하나 이상의 클래스로 생성하거나 분류하고 등록된 이미지 또는 동영상과 등록된 이미지 또는 동영상 내의 각 클래스정보가 상호 호출되기 용이한 형태로 함께 연동하거나 저장한다(단계 S103). 이때, 기존에 생성된 클래스와 유사한 영상정보를 갖는 신규 생성된 클래스는 기존에 생성된 클래스와 동일하거나 유사한 클래스로 함께 분류할 수 있다.
한편, 제1 클래스정보 관리모듈(210)은 클래스 생성모듈(209)을 통해 생성된 클래스의 클래스정보를 클래스정보DB(222)에 저장한다(단계 S104). 클래스정보는 각 클래스 별 영상정보, 카테고리정보, 텍스트정보, 특화정보 중 하나 이상을 포함하며 등록된 이미지 또는 동영상의 이름, 저작권자 정보 등을 함께 저장한 제1 등록영상 관리모듈(202) 또는 제 1 등록영상 관리모듈(202)이 제공하는 데이터로 웹을 통해 2차 검색한 결과 또는 관리자로부터 이러한 정보를 제공받을 수 있다. 이에 따라 등록이미지 또는 동록동영상에 다수의 클래스가 포함되어 있더라도 클래스정보를 함께 저장하여 간단하게 어떠한 클래스가 포함되어 있는 지를 확인할 수 있다.
한편, 사용자 단말기로부터 검색하고자 하는 이미지, 검색동영상 등의 검색콘텐츠를 제공받으면(단계 S105), 제1 검색콘텐츠정보 추출모듈(211)은 사용자로부터 제공받은 검색콘텐츠의 영상정보를 추출한다.
즉, 사용자 단말기로부터 제공받은 검색이미지 또는 검색동영상은 검색영상정보 추출모듈의 제1 검색이미지 처리부(212)에서 검색이미지로부터 특징점 또는 특징점의 시각적 속성을 영상정보로 추출하고(단계 S106), 제1 검색동영상 처리부(213)에서 검색동영상으로부터 대표프레임에 포함된 특징점 또는 특징점의 시각적 속성을 영상정보로 추출한다(단계 S107). 이러한 과정을 통해 검색이미지뿐만 아니라 또는 검색동영상에서도 특징점 및 특징점의 시각적 속성으로부터 영상정보를 추출할 수 있다.
그리고 제1 등록영상 검색모듈(216)은 검색이미지 또는 검색동영상으로부터 추출된 특징점 또는 특징점의 시각적 속성 등의 영상정보를 클래스의 영상정보와 비교하여 동일 또는 유사한 클래스를 검색하고(단계 S108), 검색된 클래스를 모두 또는 일부 포함하는 등록이미지 또는 등록동영상을 검색한다(단계 S109).
한편, 검색된 클래스정보 또는 등록영상에 대한 정보는 리스트화되어 제1 검색결과 표시모듈(219)을 통해 사용자 단말기에 검색결과로 제공한다(단계 S110).
한편, 도 4에 도시된 바와 같이, 검색콘텐츠 접수모듈을 통해서 사용자 단말기로부터 검색하고자 하는 음성 및 텍스트 등의 검색콘텐츠를 제공받으면(단계 S202), 제1 검색콘텐츠정보 추출모듈(211)의 제1 검색음성 처리부(214)는 제공받은 음성을 음성인식기 등으로 음성을 텍스트로 변환시킨다(단계 S203).
그리고, 제1 등록영상 검색모듈(216)의 제1 텍스트 검색부(218)는 음성에서 변환된 텍스트 또는 사용자 단말기로부터 직접 텍스트로 제공받는 검색텍스트를 클래스정보의 텍스트와 비교하여 동일 또는 유사하게 매치되는 텍스트를 갖는 클래스를 검색하고(단계 S204), 검색된 클래스를 모두 또는 일부 포함하는 등록이미지 또는 등록동영상을 검색한다(단계 S205). 이에 따라 이미지 또는 동영상을 설명하는 음성 또는 텍스트로부터 관련된 등록이미지 또는 등록동영상을 검색할 수 있다.
한편, 검색된 클래스정보 또는 등록영상에 대한 정보는 리스트화되어 제1 검색결과 표시모듈(219)을 통해 사용자 단말기에 검색결과로 제공된다(단계 S206).
본 발명의 제2 실시예에 따른 영상 콘텐츠 검색시스템의 기본 개념은 영상 콘텐츠 검색시스템에 하나 이상의 객체가 포함된 객체이미지를 입력하고 이로부터 영상정보를 추출하여 영상정보의 유사성 또는 동일성에 따라 하나 이상의 클래스로 생성하거나 분류한 후 생성된 클래스의 영상정보를 검색대상이 되는 등록이미지 또는 등록동영상의 영상정보와 매치시킨 상태에서 사용자가 이미지, 동영상, 음성 또는 텍스트의 검색콘텐츠로 영상의 검색을 요청하면 검색콘텐츠로부터 검색콘텐츠정보를 추출하여 이와 매치되는 클래스정보를 검색한 후 검색된 결과와 유사하거나 동일한 하나 이상의 클래스를 공유하는 등록이미지 또는 등록동영상을 검색하는 것이다.
도 6을 참조하여 본 발명의 제2실시예에 따른 영상 콘텐츠 검색시스템에 자세히 살펴보면, 영상 콘텐츠 검색시스템은 객체이미지 관리모듈(301), 제2 클래스정보 관리모듈(302), 제2 등록영상 관리모듈(303), 제2 등록영상정보 추출모듈(304), 제2 검색콘텐츠정보 추출모듈(311), 제2 등록영상 검색모듈(316), 제2 검색결과 표시모듈(319)을 포함한다.
객체이미지 관리모듈(301)은 하늘, 사람, 빌딩, 거리 등의 각종 객체가 하나 이상 포함된 객체이미지를 등록받아 객체이미지DB(320)에 저장하고 등록받은 객체이미지에서 영상정보를 추출한 후 영상정보의 동일성 또는 유사성에 따라 군집화하여 하나 이상의 클래스로 생성하거나 분류하여 객체이미지DB(320)에 함께 저장한다. 이때, 객체이미지의 영상정보는 이미지에 포함된 객체의 윤곽선 또는 코너 또는 극점(주변 밝기보다 어둡거나 또는 밝은 부분)에 대한 특징점 정보와 특징점의 시각적 속성(특징점 주변의 영상들이 갖는 밝기정보 또는 색상정보 또는 패턴정보 등)에 따라 추출할 수 있다. 추출된 객체 이미지의 영상정보의 유사성에 따라 군집화 하여 하나 이상의 클래스로 생성하거나 분류하며 기존에 생성된 클래스와 유사한 영상정보를 갖는 신규 생성된 클래스는 동일하거나 유사한 클래스로 함께 분류될 수 있다.
제2 클래스정보 관리모듈(302)은 객체이미지 관리모듈(301)을 통해 생성된 클래스의 정보를 객체이미지DB(320)에 함께 저장한다. 이때, 클래스는 각각 고유 ID가 부여될 수 있으며, 클래스정보는 각 클래스 별 영상정보, 카테고리정보, 텍스트정보, 특화정보 중 하나 이상이 포함된다.
제2 등록영상 관리모듈(303)은 실시예1의 제1 등록영상 관리모듈(202)과 동일하게 검색대상이 되는 등록된 각종 이미지 또는 동영상을 제2 등록영상DB(321)에 저장하고 관리한다. 제2 등록영상 관리모듈(303)에 이미지와 동영상이 등록되는 경우에는 등록된 이미지 또는 동영상의 이름, 저작권자 등을 포함한 관련정보가 함께 저장될 수 있다.
제2 등록영상정보 추출모듈(304)은 실시예1의 제1 등록영상정보 추출모듈(203)과 동일하게 등록된 이미지 또는 동영상의 특징점 또는 특징점의 시각적 속성을 영상정보로 추출한다. 제2 등록영상정보 추출모듈(304)은 등록된 이미지로부터 영상정보를 추출하는 제2 등록이미지 영상정보 추출부(305)와, 등록된 동영상으로부터 영상정보를 추출하는 제2 등록동영상 영상정보 추출부(306)로 이루어지고, 또한, 등록동영상 영상정보 추출부(306)는 제2 씬 분할부(307)와, 제2 대표프레임 선정부(308)와, 제2 대표프레임 영상정보 추출부(309)로 이루어진다. 제2 등록이미지 영상정보 추출부(305)와 제2 등록동영상 영상정보 추출부(306)는 실시예1의 제1 등록이미지 영상정보 추출부(204)와 제1 등록동영상 영상정보 추출부(205)와 동일하므로 이에 대한 설명은 생략한다.
등록영상 분류모듈(310)은 제2 등록영상정보 추출모듈(304)을 통해 등록된 이미지 또는 등록된 동영상으로부터 각각의 영상정보가 추출되면 영상정보를 객체이미지DB(320)에 저장된 각 클래스의 영상정보와 비교하여 동일하거나 유사한 영상정보를 갖는 클래스에 대한 정보를 저장한다. 이때, 등록영상 분류모듈(310)은 각각 등록영상에 매치된 클래스의 ID 정보를 함께 저장하여 기록할 수 있다.
제2 검색콘텐츠정보 추출모듈(311)은 실시예1의 제1 검색콘텐츠정보 추출모듈(211)과 동일하게 사용자 단말기를 통해 접수된 이미지 또는 동영상 또는 음성 또는 텍스트로부터 검색을 위해 검색콘텐츠의 정보를 추출한다. 제2 검색콘텐츠정보 추출모듈(311)은 제1 검색콘텐츠정보 추출모듈(211)과 동일하게 제2 검색이미지 처리부(312), 제2 검색동영상 처리부(313), 제2 검색음성 처리부(314), 제2 검색텍스트 처리부(315)로 이루어진다.
제2 등록영상 검색모듈(316)은 제2 검색콘텐츠정보 추출모듈(311)을 통해 추출된 검색콘텐츠의 영상정보를 객체이미지DB(320)에 저장된 클래스의 영상정보와 비교하여 동일 또는 유사하게 매치되는 하나 이상의 클래스를 검색하고 해당 클래스를 모두 또는 일부 포함하는 등록이미지 또는 등록동영상을 검색한다. 제2 등록영상 검색모듈(316)은 영상정보를 검색하는 제2 영상 검색부(317)와 텍스트를 비교하는 제2 텍스트 검색부(318)로 이루어진다.
제2 영상 검색부(317)는 사용자에 의해 접수된 검색이미지 또는 검색동영상으로부터 추출된 영상정보를 클래스의 영상정보와 비교하여 동일 또는 유사하게 매치되는 클래스를 검색하고, 검색된 클래스를 일부 또는 모두 포함하는 등록이미지 또는 등록동영상을 검색한다. 이때, 1차로 검색이미지 또는 검색동영상의 영상정보에 대응되는 하나 이상의 클래스를 검색할 수 있고, 2차로 해당 클래스를 모두 또는 일부 포함하는 등록이미지 또는 등록동영상을 검색할 있다.
제2 텍스트 검색부(318)는 사용자에 의해 접수된 텍스트 또는 음성으로부터 추출되거나 변환된 텍스트정보를 클래스정보 내의 텍스트와 비교하여 동일 또는 유사하게 매치되는 클래스를 검색하고, 검색된 클래스를 일부 또는 모두 포함하는 등록이미지 또는 등록동영상을 검색한다. 이때, 제2 텍스트 검색부(318)는 1차로 동일 또는 유사한 클래스를 검색하고, 2차로 등록이미지 또는 등록동영상을 검색한다.
제2 검색결과 표시모듈(319)은 제2 등록영상 검색모듈(316)에서 검색된 클래스의 정보 또는 등록영상의 정보를 사용자 단말기에 검색결과로 제공한다.
이하, 도 5의 플로차트를 참조하여 본 발명에 따른 영상 콘텐츠 검색과정에 대하여 자세히 살펴한다.
먼저, 객체이미지 관리모듈(301)은 하늘, 빌딩, 사람, 거리 등의 각종 객체가 하나 이상 포함된 이미지를 등록받아 객체이미지DB(320)에 저장하고 등록받은 객체이미지의 영상정보를 추출한 후 영상정보의 동일성 또는 유사성에 따라 군집화하여 하나 이상의 클래스로 생성하거나 분류(단계 S301). 이때, 객체이미지는 이미지에 포함된 객체의 윤곽선 또는 코너 또는 극점(주변 밝기보다 어둡거나 또는 밝은 부분)에 대한 특징점 정보와 특징점의 시각적 속성의 유사성에 따라 군집화 하여 클래스로 생성하거나 분류할 수 있다.
그리고, 제2 클래스정보 관리모듈(302)은 클래스의 영상정보와 클래스에 관련된 정보를 객체이미지DB(320)에 함께 저장한다(단계 S302). 이때, 클래스는 각각 고유 ID가 부여될 수 있으며, 클래스에 관련된 정보는 클래스를 설명하는 텍스트정보, 카테고리정보, 특화정보 중 하나 이상으로 구성된다.
한편, 검색대상이 되는 등록이미지 또는 등록동영상은 제2 등록영상 관리모듈(303)을 통해서 등록받아 저장하며(단계 S303), 등록된 등록이미지 또는 등록동영상은 제2 등록영상정보 추출모듈(304)을 통해 등록이미지로부터 영상정보를 추출하고(단계 S304), 등록동영상으로부터 각 대표프레임의 영상정보를 추출한다(단계 S305).
그리고, 제2 등록영상 관리모듈(303)을 통해 추출된 등록된 이미지 또는 동영상의 영상정보를 클래스 내의 영상정보와 비교하여 동일 또는 유사하게 매치되는 클래스를 확인하고(단계 S306), 매치되는 클래스에 대한 정보를 등록영상에 함께 저장한다(단계 S307). 이에 따라 등록이미지 또는 등록동영상에 다수의 객체가 포함되어 있더라도 매치되는 클래스의 ID를 함께 저장하면 간단하게 어떠한 객체가 포함되어 있는 지를 확인할 수 있다.
한편, 사용자 단말기로부터 검색하고자 하는 이미지, 검색동영상의 검색콘텐츠를 제공받으면(단계 S308), 제2 검색콘텐츠정보 추출모듈(311)은 검색을 위해 사용자로부터 제공받은 검색콘텐츠의 영상정보를 추출한다.
즉, 사용자 단말기로부터 제공받은 검색이미지로부터 특징점 또는 특징점의 시각적 속성을 영상정보로 추출하거나(단계 S309), 검색동영상으로부터 대표프레임에 포함된 특징점 또는 특징점의 시각적 속성을 영상정보로 추출한다.(단계 S310). 이러한 과정을 통해 검색이미지뿐만 아니라 검색동영상에서도 영상정보를 추출할 수 있다.
그리고 제2 등록영상 검색모듈(316)은 사용자 단말기를 통해 입력된 검색이미지 또는 검색동영상으로부터 추출된 영상정보를 클래스의 영상정보와 비교하여 매치되는 클래스를 검색하고(단계 S311), 검색된 클래스를 모두 또는 일부 포함하는 등록이미지 또는 등록동영상을 검색한다(단계 S312).
검색된 클래스정보 또는 등록영상에 대한 정보는 리스트화되어 제2 검색결과 표시모듈(319)을 통해 사용자 단말기에 검색결과로 제공한다(단계 S313).
한편, 실시예2의 객체 기반 영상 검색시스템을 이용하여 검색콘텐츠가 음성 또는 텍스트인 경우에 검색하는 과정은 실시예 1과 동일하므로 이에 대한 설명은 생략한다.
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
202 : 제1 등록영상 관리모듈 203 : 제1 등록영상정보 추출모듈
204 : 제1 등록이미지 영상정보 추출부
205 : 제1 등록동영상 영상정보추출부
206 : 제1 씬 분할부 207 : 제1 대표프레임 선정부
208 : 제1 대표프레임 영상정보 추출부
209 : 클래스 생성모듈
210 : 제1 클래스정보 관리모듈 211 : 제1 검색콘텐츠정보 추출모듈
212 : 제1 검색이미지 처리부 213 : 제1 검색동영상 처리부
214 : 제1 검색음성 처리부 215 : 제1 검색텍스트 처리부
216 : 제1 등록영상 검색모듈 217 : 제1 영상 검색부
218 : 제1 텍스트 검색부 219 : 제1 검색결과 표시모듈

Claims (22)

  1. 검색대상이 되는 등록된 각종 이미지 또는 동영상을 저장하고 관리하는 제1 등록영상 관리모듈(202)과;
    등록된 이미지 또는 동영상으로부터 특징점 또는 특징점의 시각적 속성을 영상정보로 추출하는 제1 등록영상정보 추출모듈(203)과;
    제1 등록영상정보 추출모듈(203)을 통해 추출된 영상정보의 유사성에 따라 하나 이상의 클래스를 생성하거나 분류하는 클래스 생성모듈(209)과;
    클래스 생성모듈(209)을 통해 생성된 클래스에 대한 정보를 저장하고 관리하는 제1 클래스정보 관리모듈(210)과;
    사용자 단말기를 통해 접수된 이미지 또는 동영상 또는 음성 또는 텍스트로부터 검색을 위해 검색콘텐츠정보를 추출하는 제1 검색콘텐츠정보 추출모듈(211)과;
    제1 검색콘텐츠정보 추출모듈(211)을 통해 추출된 검색콘텐츠정보를 클래스정보와 비교하여 동일 또는 유사하게 매치되는 클래스 또는 등록영상을 검색하는 제1 등록영상 검색모듈(216)과;
    제1 등록영상 검색모듈(216)에서 검색된 클래스의 정보 또는 등록영상의 정보를 사용자 단말기에 검색결과로 제공하는 제1 검색결과 표시모듈(219)을 포함하며,
    제1 검색콘텐츠정보 추출모듈(211)은 사용자로부터 접수된 검색이미지에 포함된 영상정보를 추출하는 제1 검색이미지 처리부(212), 또는 검색동영상을 분석하여 시각적 요소가 변환되는 지점을 기준으로 전후의 동영상의 구간을 씬으로 분할하고, 각각의 씬에서 대표되는 하나 이상의 프레임을 대표프레임으로 선정하며, 선정된 대표프레임으로부터 영상정보를 추출하는 제1 검색동영상 처리부(213)를 포함하는 것을 특징으로 하는 객체 기반 영상 검색시스템.
  2. 청구항 1에 있어서, 제1 등록영상 관리모듈(202)은 검색대상이 되는 이미지 또는 동영상을 등록이미지 또는 등록동영상으로 저장하거나 또는 실시간으로 웹을 검색하여 사용하는 것을 특징으로 하는 객체 기반 영상 검색시스템.
  3. 청구항 1에 있어서, 제1 등록영상정보 추출모듈(203)에서 추출되는 영상정보로 추출되는 특징점은 이미지 또는 동영상에 포함된 윤곽선 또는 코너 또는 극점(주변 밝기보다 어둡거나 또는 밝은 부분)에 의해 생성되는 정보이고, 특징점의 시각적 속성은 특징점 주변의 영상들이 갖는 밝기정보 또는 색상정보 또는 패턴정보인 것을 특징으로 하는 객체 기반 영상 검색시스템.
  4. 청구항 1에 있어서, 제1 등록영상정보 추출모듈(203)은 등록된 이미지들에 포함된 특징점 또는 특징점의 시각적 속성을 영상정보로 추출하고 추출된 영상정보를 저장하는 제1 등록이미지 영상정보 추출부(204)와; 등록된 동영상을 분석하여 시각적 요소가 변환되는 지점을 기준으로 전후의 동영상의 구간을 씬으로 분할하는 제1 씬 분할부(206)와, 각각의 씬에서 대표되는 하나 이상의 프레임을 대표프레임으로 선정하는 제1 대표프레임 선정부(207)와, 선정된 대표프레임으로부터 특징점 또는 특징점의 시각적 속성을 영상정보로 추출하는 제1 대표프레임 영상정보 추출부(208)로 이루어진 제1 등록동영상 영상정보 추출부(205)를 포함하는 것을 특징으로 하는 객체 기반 영상 검색시스템.
  5. 청구항 4에 있어서, 제1 씬 분할부(206)는 동영상 콘텐츠의 각 프레임을 HSV(색상/채도/밝기)의 빈도수 그래프로 작성하여 이전 프레임과 현재 프레임의 그래프를 비교하여 정해진 그래프간 거리값을 넘는 경우에는 프레임이 변하는 것으로 판단하여 씬으로 확인하며, 확인된 각각의 씬에는 고유 ID가 부여되는 것을 특징으로 하는 객체 기반 영상 검색시스템.
  6. 청구항 1에 있어서, 클래스 생성모듈(209)은 영상정보인 특징점 또는 특징점의 시각적 속성이 등록이미지 또는 등록동영상 내의 영상정보가 상호 유사할 경우 이를 군집화 하여 하나 이상의 클래스로 생성하거나 분류하며 이때 생성된 클래스가 기존에 생성된 클래스와 유사한 영상정보를 갖는 경우 동일하거나 유사한 클래스로 함께 분류하는 것을 특징으로 하는 객체 기반 영상 검색시스템.
  7. 청구항 1에 있어서, 제1 클래스정보 관리모듈(210)의 클래스정보는 클래스 별 영상정보, 카테고리정보, 클래스를 설명하는 텍스트정보, 특화정보 중 하나 이상을 포함하는 것을 특징으로 하는 객체 기반 영상 검색시스템.
  8. 청구항 1에 있어서, 사용자 단말기는 PC, 태블릿, 모바일 및 커넥티드 TV인 것을 특징으로 하는 객체 기반 영상 검색시스템.
  9. 삭제
  10. 청구항 1에 있어서, 제1 검색콘텐츠정보 추출모듈(211)은 사용자 단말기로부터 제공받은 음성을 분석하여 음성을 텍스트로 변환시키는 제1 검색음성 처리부(214)와; 사용자 단말기로부터 제공받은 검색텍스트 또는 제1 검색음성 처리부(214)에서 변환된 텍스트를 분석하는 제1 검색텍스트 처리부(215)를 포함하는 것을 특징으로 하는 객체 기반 영상 검색시스템.
  11. 청구항 1에 있어서, 제1 등록영상 검색모듈(216)은 사용자에 의해 접수된 검색이미지 또는 검색동영상으로부터 추출된 영상정보를 클래스 내의 클래스별 영상정보와 비교하여 동일 또는 유사하게 매치되는 클래스를 검색하고, 검색된 클래스를 일부 또는 모두 포함하는 등록이미지 또는 등록동영상을 검색하는 제1 영상 검색부(217)와; 사용자에 의해 접수된 텍스트 또는 음성으로부터 추출되거나 변환된 텍스트정보를 클래스 내의 텍스트정보와 비교하여 동일 또는 유사하게 매치되는 클래스를 검색하고, 검색된 클래스를 일부 또는 모두 포함하는 등록이미지 또는 등록동영상을 검색하는 제1 텍스트 검색부(218)를 포함하는 것을 특징으로 하는 객체 기반 영상 검색시스템.
  12. 하나 이상의 객체가 포함된 객체이미지를 등록받아 저장하고 등록받은 객체이미지에서 영상정보를 추출하여 함께 저장하는 객체이미지 관리모듈(301)과;
    객체이미지 관리모듈(301)을 통해 추출된 객체이미지의 영상정보를 유사성에 따라 하나 이상의 클래스로 생성하거나 분류하는 제2 클래스정보 관리모듈(302)과;
    검색대상이 되는 등록된 각종 이미지 또는 동영상을 저장하고 관리하는 제2 등록영상 관리모듈(303)과;
    등록된 이미지 또는 동영상으로부터 특징점 또는 특징점의 시각적 속성을 영상정보로 추출하는 제2 등록영상정보 추출모듈(304)과;
    제2 등록영상정보 추출모듈(304)을 통해 추출된 영상정보를 클래스의 영상정보와 비교하여 동일하거나 유사한 영상정보를 갖는 클래스에 대한 정보를 등록된 이미지 또는 동영상에 함께 저장하는 등록영상 분류모듈(310)과;
    사용자 단말기를 통해 접수된 이미지 또는 동영상 또는 음성 또는 텍스트로부터 검색을 위한 정보를 추출하는 제2 검색콘텐츠정보 추출모듈(311)과;
    제2 검색콘텐츠정보 추출모듈(216)을 통해 추출된 검색콘텐츠정보를 클래스의 영상정보와 비교하여 동일 또는 유사하게 매치되는 클래스를 검색하고 검색된 클래스를 모두 또는 일부 포함하는 등록이미지 또는 등록동영상을 검색하는 제2 등록영상 검색모듈(316)과;
    제2 등록영상 검색모듈(316)에서 검색된 클래스의 정보 또는 등록영상의 정보를 사용자 단말기에 검색결과로 제공하는 제2 검색결과 표시모듈(319)을 포함하며,
    제2 검색콘텐츠정보 추출모듈(311)은 사용자로부터 접수된 검색이미지에 포함된 영상정보를 추출하는 제2 검색이미지 처리부(312), 검색동영상을 분석하여 시각적 요소가 변환되는 지점을 기준으로 전후의 동영상의 구간을 씬으로 분할하고, 각각의 씬에서 대표되는 하나 이상의 프레임을 대표프레임으로 선정하며, 선정된 대표프레임으로부터 영상정보를 추출하는 제2 검색동영상 처리부(313), 사용자 단말기로부터 제공받은 음성을 분석하여 음성을 텍스트로 변환시키는 제2 검색음성 처리부(314), 사용자 단말기로부터 제공받은 검색텍스트 또는 제2 검색음성 처리부(314)에서 변환된 텍스트를 분석하는 제2 검색텍스트 처리부(315) 중 하나 이상을 포함하는 것을 특징으로 하는 객체 기반 영상 검색시스템.
  13. 청구항 12에 있어서, 객체이미지의 영상정보는 윤곽선 또는 코너 또는 극점(주변 밝기보다 어둡거나 또는 밝은 부분)에 대한 특징점 정보와 특징점의 시각적 속성에 따라 생성되며, 영상정보를 유사성에 따라 군집화 하여 하나 이상의 클래스로 생성하거나 분류하는 것을 특징으로 하는 객체 기반 영상 검색시스템.
  14. 청구항 12에 있어서, 클래스는 각각 고유 ID가 부여되며, 클래스정보는 클래스 별 영상정보, 카테고리정보, 클래스를 설명하는 텍스트정보, 특화정보 중 하나 이상을 포함하는 것을 특징으로 하는 객체 기반 영상 검색시스템.
  15. 청구항 12에 있어서, 제2 등록영상정보 추출모듈(304)은 등록된 이미지로부터 영상정보를 추출하는 제2 등록이미지 영상정보 추출부(305)와, 등록된 동영상으로부터 영상정보를 추출하는 제2 등록동영상 영상정보 추출부(306)로 이루어진 것을 특징으로 하는 객체 기반 영상 검색시스템.
  16. 삭제
  17. 청구항 12에 있어서, 제2 등록영상 검색모듈(316)은 영상정보를 검색하는 제2 영상 검색부(317)와 텍스트를 비교하는 제2 텍스트 검색부(318)로 이루어진 것을 특징으로 하는 객체 기반 영상 검색시스템.
  18. 검색대상이 되는 등록이미지의 특징점 또는 특징점의 시각적 속성을 제1 등록영상정보 추출모듈(203)을 통해 영상정보로 추출하는 단계와;
    추출된 영상정보의 동일성 또는 유사성에 따라 클래스 생성모듈(209)은 군집화하여 이를 하나 이상의 클래스로 생성하거나 분류하는 단계와;
    제1 클래스정보 관리모듈(210)을 통해 생성된 클래스의 클래스에 대한 정보를 제공받아 클래스정보로 저장하는 단계와;
    사용자 단말기로부터 검색하고자 하는 이미지, 검색동영상, 음성 또는 텍스트에서 선택한 어느 하나의 검색콘텐츠를 제공받으면, 제1 검색콘텐츠정보 추출모듈(211)은 제공받은 검색콘텐츠의 영상정보를 추출하는 단계와;
    제1 등록영상 검색모듈(216)은 검색콘텐츠에서 추출된 영상정보를 클래스의 영상정보와 비교하여 동일 또는 유사한 클래스와 검색된 클래스를 모두 또는 일부 포함하는 등록이미지 또는 등록동영상을 검색하는 단계; 및
    검색된 클래스정보 또는 등록영상에 대한 정보를 리스트화되어 제1 검색결과 표시모듈(219)을 통해 사용자 단말기에 검색결과로 제공하는 단계; 및
    검색콘텐츠가 음성이면 제공받은 음성을 텍스트로 변환시키는 단계를 더 포함하며,
    음성에서 변환된 텍스트 또는 사용자 단말기로부터 직접 텍스트로 제공받는 검색텍스트를 클래스정보의 텍스트와 비교하여 동일 또는 유사하게 매치되는 텍스트를 갖는 클래스를 검색하는 것을 특징으로 하는 객체 기반 영상 검색방법
  19. 각종 객체가 하나 이상 포함된 이미지를 객체이미지 관리모듈(301)을 통해 등록받아 저장하고 등록받은 객체이미지의 영상정보를 추출한 후 영상정보의 동일성 또는 유사성에 따라 군집화하여 하나 이상의 클래스로 생성하거나 분류하는 단계와;
    제2 클래스정보 관리모듈(302)을 통해 생성된 클래스의 클래스에 대한 정보를 제공받아 클래스정보로 저장하는 단계와;
    검색대상이 되는 이미지 또는 동영상을 등록받으면, 제2 등록영상정보 추출모듈(304)을 통해 등록된 등록이미지 또는 등록동영상으로부터 영상정보를 추출하는 단계와;
    제2 등록영상 관리모듈(303)을 통해서 추출된 등록된 이미지 또는 동영상의 영상정보를 클래스 내의 영상정보와 비교하여 동일 또는 유사하게 매치되는 클래스를 확인하고, 매치되는 클래스에 대한 정보를 등록영상에 함께 저장하는 단계와;
    사용자 단말기로부터 검색하고자 하는 이미지, 검색동영상, 음성 또는 텍스트에서 선택한 어느 하나의 검색콘텐츠를 제공받으면, 제2 검색콘텐츠정보 추출모듈(311)은 제공받은 검색콘텐츠의 영상정보를 추출하는 단계와;
    제2 등록영상 검색모듈(316)은 검색콘텐츠에서 추출된 영상정보를 클래스의 영상정보와 비교하여 매치되는 동일 또는 유사한 클래스와 검색된 클래스를 모두 또는 일부 포함하는 등록이미지 또는 등록동영상을 검색하는 단계와;
    검색된 클래스정보 또는 등록영상에 대한 정보를 리스트화되어 제2 검색결과 표시모듈(319)을 통해 사용자 단말기에 검색결과로 제공하는 단계; 및
    검색콘텐츠가 음성이면 제공받은 음성을 텍스트로 변환시키는 단계를 더 포함하며,
    음성에서 변환된 텍스트 또는 사용자 단말기로부터 직접 텍스트로 제공받는 검색텍스트를 클래스정보의 텍스트와 비교하여 동일 또는 유사하게 매치되는 텍스트를 갖는 클래스를 검색하는 것을 특징으로 하는 객체 기반 영상 검색방법.
  20. 삭제
  21. 청구항 18 또는 청구항 19에 있어서, 등록이미지 또는 검색이미지의 영상정보로 추출되는 특징점은 이미지 또는 동영상에 포함된 윤곽선 또는 코너 또는 극점(주변 밝기보다 어둡거나 또는 밝은 부분)에 의해 생성되는 정보이고, 특징점의 시각적 속성은 특징점 주변의 영상들이 갖는 밝기정보 또는 색상정보 또는 패턴정보 인 것을 특징으로 하는 객체 기반 영상 검색방법.
  22. 청구항 18 또는 청구항 19에 있어서, 등록동영상 또는 검색동영상은 시각적 요소가 변환되는 지점을 기준으로 전후의 동영상의 구간을 씬으로 분할하고, 각각의 씬에서 대표되는 프레임을 대표프레임으로 선정하며, 선정된 대표프레임으로부터 특징점 또는 특징점의 시각적 속성을 영상정보로 추출할 수 있다. 이러한 과정을 통해 등록이미지 또는 대표프레임으로부터 특징점 또는 특징점의 시각적 속성에 대한 영상정보를 추출하는 것을 특징으로 하는 객체 기반 영상 검색방법.
KR1020130002728A 2012-12-12 2013-01-10 객체 기반 영상 검색시스템 및 검색방법 KR101289085B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US14/649,840 US20150310012A1 (en) 2012-12-12 2013-12-11 Object-based image search system and search method thereof
CN201380067598.XA CN104903892B (zh) 2012-12-12 2013-12-11 基于对象的影像检索系统及检索方法
PCT/KR2013/011451 WO2014092446A1 (ko) 2012-12-12 2013-12-11 객체 기반 영상 검색시스템 및 검색방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20120144059 2012-12-12
KR1020120144059 2012-12-12

Publications (1)

Publication Number Publication Date
KR101289085B1 true KR101289085B1 (ko) 2013-07-30

Family

ID=48997925

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130002728A KR101289085B1 (ko) 2012-12-12 2013-01-10 객체 기반 영상 검색시스템 및 검색방법

Country Status (4)

Country Link
US (1) US20150310012A1 (ko)
KR (1) KR101289085B1 (ko)
CN (1) CN104903892B (ko)
WO (1) WO2014092446A1 (ko)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150022250A (ko) * 2013-08-22 2015-03-04 에스케이텔레콤 주식회사 시간 기준을 이용한 영상 검색장치, 방법 및 컴퓨터로 읽을 수 있는 기록매체
CN104580802A (zh) * 2014-12-20 2015-04-29 佛山市海科知识产权服务有限公司 一种移动智能终端的图像传送系统及其实现方法
KR20160008389A (ko) * 2014-07-14 2016-01-22 장수진 온라인을 이용한 오프라인 매장의 상품을 검색하기 위한 시스템 및 그 처리 방법
WO2016036049A1 (ko) * 2014-09-05 2016-03-10 네이버 주식회사 검색 서비스 제공 장치, 시스템, 방법 및 컴퓨터 프로그램
KR20170083892A (ko) * 2016-01-11 2017-07-19 한국전자통신연구원 도시 거리 검색 서비스 제공 서버 및 방법
WO2018043990A1 (ko) * 2016-08-29 2018-03-08 오드컨셉 주식회사 영상 검색 정보 제공 방법, 장치 및 컴퓨터 프로그램
KR20180098098A (ko) * 2017-02-24 2018-09-03 권오민 이미지광고 온라인 제공 방법
KR20200003619A (ko) * 2018-07-02 2020-01-10 주식회사 넥슨코리아 게임 제공 장치 및 방법
WO2020027442A1 (ko) * 2018-08-01 2020-02-06 삼성전자 주식회사 카메라 모듈을 통해 획득한 영상에 기반하여 정보를 저장하는 방법 및 이를 사용하는 전자 장치
KR102110894B1 (ko) * 2019-11-27 2020-05-14 주식회사 종달랩 의류 원단을 촬영한 동영상을 이용하여 유사한 원단을 검색하고 추천하는 인공지능 원단 검색 시스템
WO2021075694A1 (ko) * 2019-10-17 2021-04-22 주식회사 지오비전 이벤트의 등장 객체간 관련성 파악이 용이한 비디오 서머리방법

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170235828A1 (en) * 2016-02-12 2017-08-17 Microsoft Technology Licensing, Llc Text Digest Generation For Searching Multiple Video Streams
US9984314B2 (en) 2016-05-06 2018-05-29 Microsoft Technology Licensing, Llc Dynamic classifier selection based on class skew
KR101859050B1 (ko) * 2016-06-02 2018-05-21 네이버 주식회사 내용 기반의 지도 이미지 탐색 방법 및 시스템
CN106372607A (zh) * 2016-09-05 2017-02-01 努比亚技术有限公司 一种从视频中提取图片的方法及移动终端
CN106550268B (zh) * 2016-12-26 2020-08-07 Tcl科技集团股份有限公司 视频处理方法和视频处理装置
US10423659B2 (en) 2017-06-30 2019-09-24 Wipro Limited Method and system for generating a contextual audio related to an image
CN110019938A (zh) * 2017-11-29 2019-07-16 深圳Tcl新技术有限公司 基于rgb分类的视频信息检索方法、装置及存储介质
CN108710653B (zh) * 2018-05-09 2021-05-07 北京儒博科技有限公司 一种绘本朗读点播方法、装置及系统
CN111368106B (zh) * 2018-12-26 2024-04-26 中兴通讯股份有限公司 野广告处理方法、装置以及计算机可读存储介质
CN110134830A (zh) * 2019-04-15 2019-08-16 深圳壹账通智能科技有限公司 视频信息数据处理方法、装置、计算机设备和存储介质
CN112019789B (zh) * 2019-05-31 2022-05-31 杭州海康威视数字技术股份有限公司 录像回放方法及装置
CN112397180B (zh) * 2019-08-19 2024-05-07 台北医学大学 手术影像的智能标记系统及其方法
US10771965B1 (en) * 2020-01-09 2020-09-08 Lexisnexis Risk Solutions Inc. Systems and methods for photo recognition-based identity authentication
CN111524518B (zh) * 2020-04-01 2023-04-18 Oppo广东移动通信有限公司 增强现实处理方法及装置、存储介质和电子设备
CN111916065B (zh) * 2020-08-05 2024-07-02 北京百度网讯科技有限公司 用于处理语音的方法和装置
CN115278326A (zh) * 2021-04-29 2022-11-01 腾讯科技（深圳）有限公司 视频展示方法、装置、计算机可读介质及电子设备
CN114741557B (zh) * 2022-03-31 2022-11-15 慧之安信息技术股份有限公司 视图数据库管理分类方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040016906A (ko) * 2001-06-30 2004-02-25 주식회사 케이티 객체 형상 정보를 이용한 요약영상 추출 장치 및 그방법과 그를 이용한 동영상 요약 및 색인 시스템
KR20070009338A (ko) * 2005-07-15 2007-01-18 (주)첫눈 이미지 상호간의 유사도를 고려한 이미지 검색 방법 및장치
KR20070058927A (ko) * 2005-12-05 2007-06-11 주식회사 대우일렉트로닉스 Ｐｖｒ 장치가 내장된 텔레비전의 녹화방법
JP2008262279A (ja) 2007-04-10 2008-10-30 Mitsubishi Electric Corp 音声検索装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6263507B1 (en) * 1996-12-05 2001-07-17 Interval Research Corporation Browser for use in navigating a body of information, with particular application to browsing information represented by audiovisual data
US6100900A (en) * 1997-12-11 2000-08-08 Synopsys, Inc. Displaying numerical data in various colors based upon their relative contribution to the whole
US20050028194A1 (en) * 1998-01-13 2005-02-03 Elenbaas Jan Hermanus Personalized news retrieval system
KR20010108159A (ko) * 1999-01-29 2001-12-07 다니구찌 이찌로오, 기타오카 다카시 화상 특징 부호화 방법 및 화상 검색 방법
JP2004280254A (ja) * 2003-03-13 2004-10-07 Sanyo Electric Co Ltd コンテンツ分類方法および装置
US20050234992A1 (en) * 2004-04-07 2005-10-20 Seth Haberman Method and system for display guide for video selection
US7657126B2 (en) * 2005-05-09 2010-02-02 Like.Com System and method for search portions of objects in images and features thereof
CN100493195C (zh) * 2007-05-24 2009-05-27 上海交通大学 结合节目内容元数据和内容分析的时移电视视频匹配方法
US8719288B2 (en) * 2008-04-15 2014-05-06 Alexander Bronstein Universal lookup of video-related data
CN102207966B (zh) * 2011-06-01 2013-07-10 华南理工大学 基于对象标签的视频内容快速检索方法
CN102663015B (zh) * 2012-03-21 2015-05-06 上海大学 基于特征袋模型和监督学习的视频语义标注方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040016906A (ko) * 2001-06-30 2004-02-25 주식회사 케이티 객체 형상 정보를 이용한 요약영상 추출 장치 및 그방법과 그를 이용한 동영상 요약 및 색인 시스템
KR20070009338A (ko) * 2005-07-15 2007-01-18 (주)첫눈 이미지 상호간의 유사도를 고려한 이미지 검색 방법 및장치
KR20070058927A (ko) * 2005-12-05 2007-06-11 주식회사 대우일렉트로닉스 Ｐｖｒ 장치가 내장된 텔레비전의 녹화방법
JP2008262279A (ja) 2007-04-10 2008-10-30 Mitsubishi Electric Corp 音声検索装置

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102085036B1 (ko) * 2013-08-22 2020-03-05 에스케이 텔레콤주식회사 시간 기준을 이용한 영상 검색장치, 방법 및 컴퓨터로 읽을 수 있는 기록매체
KR20150022250A (ko) * 2013-08-22 2015-03-04 에스케이텔레콤 주식회사 시간 기준을 이용한 영상 검색장치, 방법 및 컴퓨터로 읽을 수 있는 기록매체
KR20160008389A (ko) * 2014-07-14 2016-01-22 장수진 온라인을 이용한 오프라인 매장의 상품을 검색하기 위한 시스템 및 그 처리 방법
KR101664400B1 (ko) * 2014-07-14 2016-10-10 장수진 온라인을 이용한 오프라인 매장의 상품을 검색하기 위한 시스템 및 그 처리 방법
WO2016036049A1 (ko) * 2014-09-05 2016-03-10 네이버 주식회사 검색 서비스 제공 장치, 시스템, 방법 및 컴퓨터 프로그램
KR20160029603A (ko) * 2014-09-05 2016-03-15 네이버 주식회사 검색 서비스 제공 장치, 시스템, 방법 및 컴퓨터 프로그램
KR101724143B1 (ko) * 2014-09-05 2017-04-06 네이버 주식회사 검색 서비스 제공 장치, 시스템, 방법 및 컴퓨터 프로그램
CN104580802A (zh) * 2014-12-20 2015-04-29 佛山市海科知识产权服务有限公司 一种移动智能终端的图像传送系统及其实现方法
KR20170083892A (ko) * 2016-01-11 2017-07-19 한국전자통신연구원 도시 거리 검색 서비스 제공 서버 및 방법
KR102565485B1 (ko) * 2016-01-11 2023-08-14 한국전자통신연구원 도시 거리 검색 서비스 제공 서버 및 방법
WO2018043990A1 (ko) * 2016-08-29 2018-03-08 오드컨셉 주식회사 영상 검색 정보 제공 방법, 장치 및 컴퓨터 프로그램
US11049163B2 (en) 2016-08-29 2021-06-29 Odd Concepts Inc. Method, device and computer program for providing image search information
KR102055733B1 (ko) 2017-02-24 2019-12-13 권오민 이미지광고 온라인 제공 방법
KR20180098098A (ko) * 2017-02-24 2018-09-03 권오민 이미지광고 온라인 제공 방법
KR20200003619A (ko) * 2018-07-02 2020-01-10 주식회사 넥슨코리아 게임 제공 장치 및 방법
KR102639278B1 (ko) * 2018-07-02 2024-02-22 주식회사 넥슨코리아 게임 제공 장치 및 방법
WO2020027442A1 (ko) * 2018-08-01 2020-02-06 삼성전자 주식회사 카메라 모듈을 통해 획득한 영상에 기반하여 정보를 저장하는 방법 및 이를 사용하는 전자 장치
US11449134B2 (en) 2018-08-01 2022-09-20 Samsung Electronics Co., Ltd. Method for storing information on basis of image acquired through camera module, and electronic device using same
WO2021075694A1 (ko) * 2019-10-17 2021-04-22 주식회사 지오비전 이벤트의 등장 객체간 관련성 파악이 용이한 비디오 서머리방법
KR20210045769A (ko) * 2019-10-17 2021-04-27 주식회사 지오비전 이벤트의 등장 객체간 관련성 파악이 용이한 비디오 서머리방법
KR102252083B1 (ko) * 2019-10-17 2021-05-14 주식회사 지오비전 이벤트의 등장 객체간 관련성 파악이 용이한 비디오 서머리방법
KR102110894B1 (ko) * 2019-11-27 2020-05-14 주식회사 종달랩 의류 원단을 촬영한 동영상을 이용하여 유사한 원단을 검색하고 추천하는 인공지능 원단 검색 시스템

Also Published As

Publication number Publication date
CN104903892A (zh) 2015-09-09
US20150310012A1 (en) 2015-10-29
CN104903892B (zh) 2018-02-02
WO2014092446A1 (ko) 2014-06-19

Similar Documents

Publication Publication Date Title
KR101289085B1 (ko) 객체 기반 영상 검색시스템 및 검색방법
Karayev et al. Recognizing image style
JP4553650B2 (ja) 画像グループの表現方法および表現方法によって導出される記述子、探索方法、装置、コンピュータプログラム、ならびに記憶媒体
Sajjad et al. Integrating salient colors with rotational invariant texture features for image representation in retrieval systems
CN104520875B (zh) 优选用于搜索和检索目的的从视频内容提取描述符的方法和装置
US20130101209A1 (en) Method and system for extraction and association of object of interest in video
CN105117399B (zh) 一种图像搜索方法和装置
CN105493078B (zh) 彩色草图图像搜索
KR101606760B1 (ko) 영상 내 객체 기반 영상 감정 변환 장치 및 그 방법
KR102102164B1 (ko) 영상 전처리 방법, 장치 및 컴퓨터 프로그램
CN105320705A (zh) 相似车辆的检索方法及装置
JP5180922B2 (ja) 画像検索システム及び画像検索方法
CN110166851A (zh) 一种视频摘要生成方法、装置和存储介质
CN110263202A (zh) 图像搜索方法及设备
CN102236714A (zh) 一种基于xml的交互应用多媒体信息检索方法
KR101833943B1 (ko) 동영상의 주요 장면을 추출 및 탐색하는 방법 및 시스템
JP6173754B2 (ja) 画像検索システム、画像検索装置および画像検索方法
CN115379290A (zh) 视频处理方法、装置、设备及存储介质
JP5116017B2 (ja) 動画検索方法およびシステム
CN110287369A (zh) 一种基于语义的视频检索方法及系统
Kim et al. Classification and indexing scheme of large-scale image repository for spatio-temporal landmark recognition
KR101059480B1 (ko) 영상 색인 장치 및 방법
Mylonas et al. Context modelling for multimedia analysis
Darji et al. A review of video classification techniques
Zhang et al. Automatic preview frame selection for online videos

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160630

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170710

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180625

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190703

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20200210

Year of fee payment: 8