KR102054211B1 - 이미지 쿼리 기반의 영상 검색 방법 및 시스템 - Google Patents

이미지 쿼리 기반의 영상 검색 방법 및 시스템 Download PDF

Info

Publication number
KR102054211B1
KR102054211B1 KR1020170169547A KR20170169547A KR102054211B1 KR 102054211 B1 KR102054211 B1 KR 102054211B1 KR 1020170169547 A KR1020170169547 A KR 1020170169547A KR 20170169547 A KR20170169547 A KR 20170169547A KR 102054211 B1 KR102054211 B1 KR 102054211B1
Authority
KR
South Korea
Prior art keywords
image
feature information
query
input data
value
Prior art date
Application number
KR1020170169547A
Other languages
English (en)
Other versions
KR20190069136A (ko
Inventor
이영구
줄리 줄레카
김태연
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020170169547A priority Critical patent/KR102054211B1/ko
Publication of KR20190069136A publication Critical patent/KR20190069136A/ko
Application granted granted Critical
Publication of KR102054211B1 publication Critical patent/KR102054211B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G06F16/7335—Graphical querying, e.g. query-by-region, query-by-sketch, query-by-trajectory, GUIs for designating a person/face/object as a query predicate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 서버의 이미지 쿼리 기반 영상 검색 방법에 대한 것으로, 영상 데이터베이스에 저장된 하나 이상의 영상 데이터를 이용하여 영상 특징 정보 데이터베이스를 구축하는 a단계, 이미지 쿼리를 수신하면, 상기 이미지 쿼리를 이용하여 특징 정보 쿼리를 생성하는 b단계, 상기 특징 정보 쿼리에 대응되는 영상 특징 정보를 상기 영상 특징 정보 데이터베이스에서 검색하는 c단계를 포함하며, 상기 a단계는 상기 영상 데이터에 포함된 하나 이상의 프레임에서 기 설정된 개수의 키 프레임을 선정하는 전처리 단계, 상기 키 프레임을 입력 데이터로 하여 입력 데이터의 특징 정보 쿼리를 추출하는 단계를 포함하고, 상기 b단계는 상기 이미지 쿼리를 입력 데이터로 하여 입력 데이터의 특징 정보 쿼리를 추출하는 단계를 포함하며, 상기 입력 데이터의 특징 정보 쿼리를 추출하는 단계는 입력 데이터에서 정방형의 블록을 추출하는 단계, 상기 블록을 구성하는 하나 이상의 픽셀 값의 평균 값과 기 설정된 임계 값을 이용하여 상부 및 하부 임계 값을 생성하는 단계, 상기 블록의 픽셀 값이 상기 상부 및 하부 임계 값과 갖는 차이를 이용하여 상부 및 하부 패턴을 생성하는 단계, 상기 상부 및 하부 패턴을 각각 히스토그램으로 변환하여 상기 입력 데이터의 특징 정보 쿼리를 추출하는 단계를 포함하는 것을 특징으로 한다.

Description

이미지 쿼리 기반의 영상 검색 방법 및 시스템{METHOD AND SYSTEM FOR VIDEO RETRIEVAL BASED ON IMAGE QUERIES}
본 발명은 이미지 쿼리 기반의 영상 검색 방법 및 시스템에 관한 것으로, 보다 구체적으로 영상에서 추출한 이미지를 기반으로 유사한 영상을 검색하는 방법 및 시스템에 관한 것이다.
증강 현실은 가상 현실의 한 분야로, 실제 환경에 가상의 사물 또는 정보를 합성하여 기존의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법으로, 최근 교육, 네비게이션, 관광, 엔터테인먼트, 전자 상거래, 의료, 건설 등 다양한 분야에서 적용되고 있다. 그 중 모바일에서 구동되는 증강 현실인 e-러닝, 증강 현실 기반 박물관 및 모바일 어플리케이션에 대한 관심이 대두되고 있다. 모바일 증강 현실은 영상을 실시간으로 인식하여 유사한 영상을 검색하는 기술이 중요하다. 이는 영상 데이터베이스에서 인식한 텍스트, 이미지 또는 영상의 쿼리에 기초하여 검색할 수 있다. 그러나 영상 검색 기술에 있어서 가장 널리 사용되는 SIFT(Scale Invariant Feature Transform), HOG(Histogram of Oriented Gradient), Haar, Frens, LBP(Local Binary Pattern), 그리고 MCT(Modified Census Transform)와 같은 특징 추출 알고리즘은 그 복잡성으로 인하여 실시간 환경에 적합하지 않다는 단점이 있다.
영상 검색에 있어서 종래의 기술에는 대한민국 등록특허공보 10-1713189호 비디오 객체 행동 분류를 위한 HOG/HOF 기반 특징정보 추출 방법 및 추출기가 있다. 상기 기술은 HOG 알고리즘을 도입하였는데, HOG 알고리즘의 계산 과정 중 제곱근을 연산하는 단계와 방향 히스토그램의 정규화를 연산하는 단계가 포함되어 계산 속도가 빠르지 않다는 문제점이 있다.
대한민국 등록특허공보 10-1713189호(2017년 02월 28일)
본 발명은 전술한 문제를 해결하기 위한 것으로, 영상에서 추출한 상위 프레임을 이용하여 영상 처리에 소모되는 메모리와 계산 속도를 감소시켜 효율성을 향상시키는 것을 일 목적으로 한다.
또한 본 발명은 영상 처리에 사용되는 연산을 간소화함으로써 영상 처리에 소요되는 시간을 단축시키면서도 일정 수준 이상의 검색 정확도를 확보하는 것을 일 목적으로 한다.
또한 본 발명은 임계 값을 이용하여 생성한 히스토그램으로 유사 영상을 검색하여 처리 속도를 감소시켜 효율성을 향상시키는 것을 일 목적으로 한다.
이러한 목적을 달성하기 위한 본 발명은 서버의 이미지 쿼리 기반 영상 검색 방법에 있어서, 영상 데이터베이스에 저장된 하나 이상의 영상 데이터를 이용하여 영상 특징 정보 데이터베이스를 구축하는 a단계, 이미지 쿼리를 수신하면, 상기 이미지 쿼리를 이용하여 특징 정보 쿼리를 생성하는 b단계, 상기 특징 정보 쿼리에 대응되는 영상 특징 정보를 상기 영상 특징 정보 데이터베이스에서 검색하는 c단계를 포함하며, 상기 a단계는 상기 영상 데이터에 포함된 하나 이상의 프레임에서 기 설정된 개수의 키 프레임을 선정하는 전처리 단계, 상기 키 프레임을 입력 데이터로 하여 입력 데이터의 특징 정보 쿼리를 추출하는 단계를 포함하고, 상기 b단계는 상기 이미지 쿼리를 입력 데이터로 하여 입력 데이터의 특징 정보 쿼리를 추출하는 단계를 포함하며, 상기 입력 데이터의 특징 정보 쿼리를 추출하는 단계는 입력 데이터에서 정방형의 블록을 추출하는 단계, 상기 블록을 구성하는 하나 이상의 픽셀 값의 평균 값과 기 설정된 임계 값을 이용하여 상부 및 하부 임계 값을 생성하는 단계, 상기 블록의 픽셀 값이 상기 상부 및 하부 임계 값과 갖는 차이를 이용하여 상부 및 하부 패턴을 생성하는 단계, 상기 상부 및 하부 패턴을 각각 히스토그램으로 변환하여 상기 입력 데이터의 특징 정보 쿼리를 추출하는 단계를 포함하는 일 특징으로 한다.
또한 상기 전처리 단계는 상기 영상 데이터에 포함된 하나 이상의 프레임을 그레이 스케일로 변환하는 단계, 상기 프레임의 크기를 변경하는 단계를 포함하는 것을 일 특징으로 한다.
나아가 상기 전처리 단계는 상기 하나 이상의 프레임 각각의 히스토그램을 획득하는 단계, 연속하는 제1 프레임 및 제2 프레임의 히스토그램 차이 값을 연산하는 단계, 상기 히스토그램 차이 값을 크기에 따라 정렬하여, 기 설정된 상위 n개의 차이 값을 선정하는 단계, 상기 선정된 차이 값에 대응되는 제2 프레임을 키 프레임으로 설정하는 단계를 포함하는 것을 일 특징으로 한다.
또한 상기 상부 및 하부 임계 값을 생성하는 단계는 상기 블록을 구성하는 픽셀 값의 평균 값을 연산하는 단계, 상기 평균 값에 상기 임계 값을 더하여 상기 상부 임계 값을 도출하고, 상기 평균 값에서 상기 임계 값을 제하여 상기 하부 임계 값을 도출하는 단계를 포함하는 것을 일 특징으로 한다.
나아가 상기 상부 패턴을 생성하는 단계는 상기 블록의 픽셀 값이 상기 상부 임계 값보다 크거나 같으면 1을, 그렇지 않으면 0을 각 픽셀에 맵핑하고, 상기 하부 패턴을 생성하는 단계는 상기 블록의 픽셀 값이 상기 하부 임계 값보다 작거나 같으면 1을, 그렇지 않으면 0을 각 픽셀에 맵핑하는 것을 일 특징으로 한다.
또한 상기 상부 및 하부 패턴을 히스토그램으로 변환하는 단계는 상기 상부 및 하부 패턴을 기 설정된 순서대로 이진수의 n비트 값에 대응시키고, 상기 n비트 값을 10진수로 변환하여 히스토그램을 생성하는 것을 일 특징으로 한다.
나아가 본 발명은 이미지 쿼리 기반 영상 검색 시스템에 있어서, 이미지 쿼리를 수신하면, 상기 이미지 쿼리를 이용하여 특징 정보 쿼리를 생성하는 생성부, 상기 특징 정보 쿼리에 대응되는 영상 특징 정보를 상기 영상 특징 정보 데이터베이스에서 검색하는 검색부, 하나 이상의 영상 데이터를 저장하는 영상 데이터베이스와 영상 특징 정보를 저장하는 영상 특징 정보 데이터베이스를 포함하는 데이터베이스부를 포함하는 것을 일 특징으로 한다.
또한 상기 생성부는 상기 영상 데이터에 포함된 하나 이상의 프레임에서 기 설정된 개수의 키 프레임을 선정하는 전처리부, 영상 데이터베이스에 저장된 하나 이상의 영상 데이터를 이용하여 영상 특징 정보 데이터베이스를 구축하는 데이터베이스 생성부, 상기 키 프레임 및 상기 이미지 쿼리를 입력 데이터로 하여 입력 데이터의 특징 정보 쿼리를 추출하는 특징 정보 쿼리 추출부를 포함하는 것을 일 특징으로 한다.
나아가 상기 특징 정보 쿼리 추출부는 입력 데이터에서 정방형의 블록을 추출하는 블록 추출부, 상기 블록을 구성하는 하나 이상의 픽셀 값의 평균 값과 기 설정된 임계 값을 이용하여 상부 및 하부 임계 값을 생성하는 임계 값 생성부, 상기 블록의 픽셀 값이 상기 상부 및 하부 임계 값과 갖는 차이를 이용하여 상부 및 하부 패턴을 생성하는 패턴 생성부, 상기 상부 및 하부 패턴을 각각 히스토그램으로 변환하여 상기 입력 데이터의 특징 정보 쿼리를 추출하는 특징 정보 쿼리 생성부를 포함하는 것을 일 특징으로 한다.
전술한 바와 같은 본 발명에 의하면, 영상에서 추출한 상위 프레임을 이용하여 영상 처리에 소모되는 메모리와 계산 속도를 감소시켜 효율성을 향상시킬 수 있다.
또한 본 발명은 영상 처리에 사용되는 연산을 간소화함으로써 영상 처리에 소요되는 시간을 단축시키면서도 일정 수준 이상의 검색 정확도를 확보할 수 있다.
또한 본 발명은 임계 값을 이용하여 생성한 히스토그램으로 유사 영상을 검색하여 처리 속도를 감소시켜 효율성을 향상시킬 수 있다.
도1은 본 발명의 일 실시 예에 의한 영상 검색 시스템의 구성을 도시한 도면이다.
도2는 본 발명의 일 실시 예에 의한 특징 정보 쿼리 추출부의 구성을 도시한 도면이다.
도3은 본 발명의 일 실시 예에 의한 영상 검색 방법을 설명하기 위한 도면이다.
도4는 본 발명의 일 실시 예에 의한 데이터베이스 구축 방법을 설명하기 위한 도면이다.
도5는 본 발명의 일 실시 예에 의한 키 프레임 추출 방법을 설명하기 위한 도면이다.
도6은 본 발명의 일 실시 예에 의한 특징 정보 쿼리 생성 방법을 설명하기 위한 도면이다.
도7은 본 발명의 일 실시 예에 의한 영상 검색 방법의 예시를 나타낸 도면이다.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다.
도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용되며, 명세서 및 특허청구의 범위에 기재된 모든 조합은 임의의 방식으로 조합될 수 있다. 그리고 다른 식으로 규정하지 않는 한, 단수에 대한 언급은 하나 이상을 포함할 수 있고, 단수 표현에 대한 언급은 또한 복수 표현을 포함할 수 있음이 이해되어야 한다.
본 명세서에서 사용되는 용어는 단지 특정 예시적 실시 예들을 설명할 목적을 가지고 있으며 한정할 의도로 사용되는 것이 아니다. 본 명세서에서 사용된 바와 같은 단수적 표현들은 또한, 해당 문장에서 명확하게 달리 표시하지 않는 한, 복수의 의미를 포함하도록 의도될 수 있다. 용어 "및/또는," "그리고/또는"은 그 관련되어 나열되는 항목들의 모든 조합들 및 어느 하나를 포함한다. 용어 "포함한다", "포함하는", "포함하고 있는", "구비하는", "갖는", "가지고 있는" 등은 내포적 의미를 갖는 바, 이에 따라 이러한 용어들은 그 기재된 특징, 정수, 단계, 동작, 요소, 및/또는 컴포넌트를 특정하며, 하나 이상의 다른 특징, 정수, 단계, 동작, 요소, 컴포넌트, 및/또는 이들의 그룹의 존재 혹은 추가를 배제하지 않는다. 본 명세서에서 설명되는 방법의 단계들, 프로세스들, 동작들은, 구체적으로 그 수행 순서가 확정되는 경우가 아니라면, 이들의 수행을 논의된 혹은 예시된 그러한 특정 순서로 반드시 해야 하는 것으로 해석돼서는 안 된다. 추가적인 혹은 대안적인 단계들이 사용될 수 있음을 또한 이해해야 한다.
또한, 각각의 구성요소는 각각 하드웨어 프로세서로 구현될 수 있고, 위 구성요소들이 통합되어 하나의 하드웨어 프로세서로 구현될 수 있으며, 또는 위 구성요소들이 서로 조합되어 복수 개의 하드웨어 프로세서로 구현될 수도 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다.
도1은 본 본 발명의 일 실시 예에 의한 영상 검색 시스템의 구성을 도시한 도면이다. 도1을 참조하면, 본 발명의 일 실시 예에 의한 영상 검색 시스템은 생성부(110), 검색부(170), 그리고 데이터베이스부(190)를 포함할 수 있다.
생성부(110)는 수신한 이미지 쿼리를 이용하여 특징 정보 쿼리를 생성할 수 있다. 보다 구체적으로, 생성부(110)는 전처리부(120), 데이터베이스 생성부(140), 그리고 특징 정보 쿼리 추출부(160)를 포함할 수 있다.
전처리부(120)는 영상 데이터에 포함된 하나 이상의 프레임에서 기 설정된 개수의 키 프레임을 선정할 수 있다. 전처리부(120)는 영상 데이터에 포함된 하나 이상의 프레임을 그레이 스케일로 변환할 수 있고, 프레임의 크기를 변경할 수 있다. 예를 들어 변경된 프레임의 크기는 320 x 240일 수 있으며, 그 외의 크기를 가질 수도 있다.
전처리부(120)는 하나 이상의 프레임 각각의 히스토그램을 획득하고, 연속하는 제1 프레임 및 제2 프레임의 히스토그램 차이 값을 연산하고, 히스토그램 차이 값을 크기에 따라 정렬하여, 기 설정된 상위 n개의 차이 값을 선정하고, 선정된 차이 값에 대응되는 제2 프레임을 키 프레임으로 설정할 수 있다. 키 프레임은 영상 데이터를 대표하는 프레임으로, 영상 데이터 처리에 필요한 메모리와 복잡성을 감소시킬 수 있다는 효과가 있다. 예를 들어 n의 값을 4로, 영상 데이터를 구성하는 10개 프레임의 히스토그램 값이 -10, 20, 90, 70, 30, 50, -30, -25, 10, 20라고 가정하면, 10개 프레임의 히스토그램 차이 값은 30, 70, 20, 40, 20, 80, 5, 35, 10의 값을 가질 수 있다. 이 때, 상위 4개의 차이 값은 80, 70, 40, 35이므로 3, 5, 7, 9번 프레임을 키 프레임으로 설정할 수 있다.
데이터베이스 생성부(140)는 영상 데이터베이스에 저장된 하나 이상의 영상 데이터를 이용하여 영상 특징 정보 데이터베이스를 구축할 수 있다. 본 발명은 구축된 영상 특징 정보 데이터베이스를 기반으로 수신한 이미지 쿼리의 특징 정보 쿼리와 유사한 영상 특징 정보를 검색할 수 있다.
특징 정보 쿼리 추출부(160)는 상기 키 프레임 및 상기 이미지 쿼리를 입력 데이터로 하여 입력 데이터의 특징 정보 쿼리를 추출할 수 있다. 보다 구체적으로 도2를 참조하면 특징 정보 쿼리 추출부(160)는 블록 추출부(162), 임계 값 생성부(164), 패턴 생성부(166), 그리고 특징 정보 쿼리 생성부(168)를 포함할 수 있다.
블록 추출부(162)는 입력 데이터에서 정방형의 블록을 추출할 수 있다. 정방형 블록의 크기는 3 x 3이 될 수 있으나, 그 이상 또는 그 이하가 될 수도 있다.
임계 값 생성부(164)는 블록을 구성하는 하나 이상의 픽셀 값의 평균 값과 기 설정된 임계 값을 이용하여 상부 및 하부 임계 값을 생성할 수 있다. 보다 구체적으로 임계 값 생성부(164)는 블록 추출부(162)에서 추출한 정방형 블록을 구성하는 픽셀 값의 평균 값을 연산하고, 연산된 평균 값에 기 설정된 임계 값을 더하여 상부 임계 값을 도출하고, 평균 값에 기 설정된 임계 값을 제하여 하부 임계 값을 도출할 수 있다. 예를 들어 블록 추출부(162)에서 추출한 정방형 블록을 구성하는 픽셀 값이 (0,0)=10, (0,1)=25, (0,2)=85, (1,0)=75, (1,1)=30, (1,2)=20, (2,0)=80, (2,1)=5, (2,2)=35일 때, 임계 값 생성부(164)는 정방형 블록을 구성하는 픽셀 값의 평균 값을 (10+25+85+75+30+20+80+5+35)/9의 값인 40.6으로 연산할 수 있다. 이 때 기 설정된 임계 값을 10으로 가정하면, 임계 값 생성부(164)는 상부 임계 값을 40.6+10=50.6으로, 하부 임계 값을 40.6-10=30.6으로 도출할 수 있다.
패턴 생성부(166)는 블록의 픽셀 값이 상기 상부 및 하부 임계 값과 갖는 차이를 이용하여 상부 및 하부 패턴을 생성할 수 있다. 보다 구체적으로 패턴 생성부(166)는 블록의 픽셀 값이 상부 임계 값보다 크거나 같으면 1을, 그렇지 않으면 0을 각 픽셀에 맵핑하여 상부 패턴을 생성할 수 있다. 도7의 예시를 참고하면, 상부 임계 값이 50.6이고 정방형 블록의 (1,1) 위치의 픽셀 값이 30일 경우, 픽셀 값이 상부 임계 값보다 작기 때문에 상부 패턴의 (1,1) 위치의 픽셀의 값은 0의 값을 가질 수 있다. 패턴 생성부(166)는 정방형 블록의 모든 픽셀 값과 상부 임계 값을 비교하여 상부 패턴을 생성할 수 있다.
또한 패턴 생성부(166)는 블록의 픽셀 값이 하부 임계 값보다 작거나 같으면 1을, 그렇지 않으면 0을 각 픽셀에 맵핑하여 하부 패턴을 생성할 수 있다. 도7의 예시를 참고하면, 하부 임계 값이 30.6이고 정방형 블록의 (1,1) 위치의 픽셀 값이 30일 경우, 픽셀 값이 하부 임계 값보다 작기 때문에 하부 패턴의 (1,1) 위치의 픽셀의 값은 1의 값을 가질 수 있다. 패턴 생성부(166)는 정방형 블록의 모든 픽셀 값과 하부 임계 값을 비교하여 하부 패턴을 생성할 수 있다.
특징 정보 쿼리 생성부(168)는 상부 및 하부 패턴을 각각 히스토그램으로 변환하여 상기 입력 데이터의 특징 정보 쿼리를 추출할 수 있다. 보다 구체적으로, 상부 및 하부 패턴이 0과 1만의 값으로 구성되어 있기 때문에, 특징 정보 쿼리 생성부(168)은 상부 및 하부 패턴을 기 설정된 순서대로 이진수의 n비트 값에 대응시키고, n비트 값을 10진수로 변환하여 히스토그램을 생성할 수 있다. 도7의 예시를 참조하면, 상부 및 하부 패턴의 순서를 (0,0)을 1번, (0,1)을 2번, (0,2)를 3번, (1,0)을 4번, (1,1)을 5번, (1,2)를 6번, (2,0)을 7번, (2,1)을 8번, (2,2)를 9번으로 설정할 수 있다. 상부 패턴의 값을 (0,0)=0, (0,1)=0, (0,2)=1, (1,0)=1, (1,1)=0, (1,2)=0, (2,0)=1, (2,1)=0, (2,2)=0이라고 가정하면, 특징 정보 쿼리 생성부(168)는 상부 패턴의 픽셀 값을 이진수의 9비트 값에 대응시킬 수 있다. 대응된 이진수 값은 001100100일 수 있다.
특징 정보 쿼리 생성부(168)가 상부 패턴의 픽셀 값에 대한 9비트 값을 생성하면, 생성된 9비트 값을 10진수 값으로 변환할 수 있다. 도7의 예시를 참고하면 상부 패턴의 픽셀 값에 대한 9비트 값이 001100100일 경우, 001100100의 10진수 값은 76이 될 수 있다. 이 때, 특징 정보 쿼리 생성부(168)는 상부 패턴의 히스토그램 값을 76으로 설정할 수 있다.
특징 정보 쿼리 생성부(168)가 상부 패턴의 히스토그램 값을 연산하는 과정은 하부 패턴의 히스토그램 값을 연산하는 과정에도 동일하게 적용될 수 있다.
특징 정보 쿼리 추출부(160)가 수행하는 연산의 수식은 식1 내지 식3와 같다. 식1의 THOG는 블록의 히스토그램을 연산하는 식으로, p는 픽셀을 나타내고, HOG식은 블록의 각 픽셀 값을 나타낸다.
Figure 112017123215848-pat00001
Figure 112017123215848-pat00002
Figure 112017123215848-pat00003
검색부(170)는 특징 정보 쿼리에 대응되는 영상 특징 정보와 유사한 영상 데이터를 영상 특징 정보 데이터베이스에서 검색할 수 있다. 유사한 영상 데이터를 검색하는 데에 영상 데이터 전부를 스캐닝해야 하기 때문에 해싱 알고리즘을 사용하여 계산 속도를 단축시킬 수 있다. 유사 영상 데이터 검색에 사용되는 해싱 알고리즘에는 SBQ(Single Bit Quantization)과 DBQ(Double Bit Quantization)가 있는데, SBQ는 임계 값이 대부분 고밀도 영역에 존재하기 때문에 임계 값에 근접한 많은 비트가 완전히 다른 비트로 해싱될 수 있다는 단점이 있어 본 발명에서는 DBQ를 사용한다. 또한 DBQ는 SBQ와 비교하여 수행 속도가 빠르며 처리 횟수 또한 적다는 단점이 있다. DBQ는 두 개의 임계 값을 설정하여 이중 비트를 통해 코드를 생성할 수 있다. 검색부(170)는 DBQ에 상부 임계 값과 하부 임계 값을 적용하여 생성된 코드를 이용하여 유사한 영상 데이터를 검색할 수 있다.
검색부(170)는 검색된 수신된 이미지 쿼리와 유사한 영상 데이터의 순위를 지정할 수 있다. 이 때 유사한 영상 데이터의 순위를 설정하기 위해 본 발명은 코사인 유사성을 사용할 수 있다. 코사인 유사성은 수신된 이미지 쿼리(Dq)에 대응되는 상부 및 하부 히스토그램 값과 후보 영상 데이터(Dd)의 각 키 프레임 사이의 각도를 연산하는 것으로, 보다 구체적으로 식4와 같이 연산될 수 있다.
Figure 112017123215848-pat00004
데이터베이스부(190)는 하나 이상의 영상 데이터를 저장하는 영상 데이터베이스와 영상 특징 정보를 저장하는 영상 특징 정보 데이터베이스를 포함할 수 있다.
이하에서는 도3 내지 도6을 참조하여 본 발명의 일 실시 예에 의한 영상 검색 방법을 설명한다. 영상 검색 방법에 관한 설명에서 전술한 영상 검색 시스템과 중복되는 세부 실시 예는 생략될 수 있다.
도3은 본 발명의 일 실시 예에 의한 영상 검색 방법을 설명하기 위한 도면이다. 도3을 참조하면, 서버는 데이터베이스를 구축할 수 있다(S100). 데이터베이스를 구축하는 과정은 하기 도4의 설명에서 자세히 기술한다.
서버가 데이터베이스를 구축하면, 이미지 쿼리를 수신하여 이미지 쿼리의 특징 정보 쿼리를 생성할 수 있다(S500). 특징 정보 쿼리를 생성하는 과정은 하기 도6의 설명에서 자세히 기술한다.
서버가 수신한 이미지 쿼리의 특징 정보 쿼리를 생성하면, 생성된 특징 정보 쿼리를 이용하여 영상 데이터의 특징 정보 쿼리가 저장된 특징 정보 데이터베이스에 유사한 특징 정보 쿼리를 검색할 수 있다(S900).
도4는 본 발명의 일 실시 예에 의한 데이터베이스 구축 방법을 설명하기 위한 도면이다. 도4를 참조하면, 서버는 영상 데이터에서 하나 이상의 프레임을 추출할 수 있다(S110).
서버는 추출한 프레임을 그레이 스케일로 변환하고, 프레임의 크기를 변경할 수 있다(S120).
프레임의 크기가 변경되면, 서버는 하나 이상의 프레임에서 키 프레임을 추출할 수 있다(S130). 키 프레임을 추출하는 과정은 하기 도5의 설명에서 자세히 기술한다.
서버가 키 프레임을 추출하면, 키 프레임의 특징 정보 쿼리를 추출할 수 있다(S150).
서버는 키 프레임의 특징 정보 쿼리를 특징 정보 데이터베이스에 저장할 수 있다(S160). 생성된 특징 정보 데이터베이스를 통하여 서버는 수신한 이미지 쿼리에 대한 특징 정보 쿼리와 유사한 특징 정보를 포함하는 영상 데이터를 검색할 수 있다.
도5는 본 발명의 일 실시 예에 의한 키 프레임 추출 방법을 설명하기 위한 도면이다. 도5를 참조하면, 서버는 영상 데이터로부터 추출한 프레임의 히스토그램을 획득할 수 있다(S151).
서버는 하나 이상의 프레임 중 연속하는 제1 프레임과 제2 프레임의 히스토그램의 차이 값을 연산할 수 있다(S153).
서버가 차이 값을 모두 연산하면, 연산된 하나 이상의 차이 값 중 상위 n개의 차이 값을 추출할 수 있다(S155).
상위 n개의 차이 값이 추출되면, 서버는 추출된 차이 값에 대응되는 제2 프레임을 키 프레임으로 설정할 수 있다(S157).
도6은 본 발명의 일 실시 예에 의한 특징 정보 쿼리 생성 방법을 설명하기 위한 도면이다. 도6을 참조하면, 서버는 추출한 프레임에서 정방형 블록을 추출할 수 있다(S510). 정방형 블록의 크기는 3 x 3일 수 있으나, 그 외의 크기를 가질 수도 있다.
서버는 추출한 블록을 구성하는 픽셀 값의 평균 값을 연산하여, 상부 및 하부 임계 값을 생성할 수 있다(S520). 보다 구체적으로 서버는 연산된 평균 값에 기 설정된 임계 값을 더하여 상부 임계 값을 생성하고, 평균 값에 기 설정된 임계 값을 제하여 하부 임계 값을 생성할 수 있다.
서버는 생성된 상부 및 하부 임계 값과 블록을 구성하는 픽셀의 값을 비교하여 상부 및 하부 패턴을 생성할 수 있다(S530).
서버는 생성된 상부 및 하부 패턴을 9비트의 이진수 값에 대응시켜 특징 정보 쿼리를 추출할 수 있다(S540).
본 발명에 대한 일 실시 예에 의하면, 유사한 영상 데이터를 검색하는 데에 소요되는 시간과 정확도를 측정할 수 있다. 이 때 사용되는 영상 데이터는 UCSB 데이터 및 UCF-50 데이터를 포함할 수 있으나 이에 한정되지는 않는다. UCSB 데이터는 640 x 480 해상도를 갖는 6889 개의 영상과 6개의 상이한 평면 텍스처, 그리고 방대한 모션 패턴을 포함할 수 있으며, UCF-50 데이터는 320 x 240 해상도를 갖는 6681 개의 영상으로 구성될 수 있다.
UCSB 데이터, UCF-50 데이터에 대한 유사한 영상 데이터를 검색하는 데에 소요되는 시간은 표1과 같으며, 정확도는 표2와 같다.
알고리즘 특징 정보 추출 시간 검색 시간
HOG 60.71 1820.7
LBP 53.39 1569.8
SIFT 3420.2 2376.2
STPM 5167.8 2837.4
LAID 59.35 1765.2
THOG 56.63 1692.5
알고리즘 UCSB 데이터 정확도 UCF-50 데이터 정확도
HOG 79.3% 85.6%
LBP 81.8% 87.3%
SIFT 87.5% 94.7%
STPM 89.1% 95.3%
LAID 83.1% 89.6%
THOG 85.2% 93.8%
표1과 표2는 UCSB 데이터와 UCF-50 데이터에서 랜덤하게 선택된 데이터를 추출하여 유사한 영상 데이터를 검색한 결과로, 본 발명의 알고리즘인 THOG 뿐 아니라 HOG, LBP, SIFT, STPM, LAID 알고리즘을 사용하였을 때 소요되는 시간과 정확도를 확인할 수 있다.
표1과 표2를 참고하면, SIFT와 STPM 알고리즘은 정확도는 높으나 계산 속도에는 그 효율성이 떨어지는 반면 본 발명의 THOG 알고리즘은 경쟁력 있는 정확도와 효율적인 계산 속도를 가질 수 있어 기존 알고리즘과 대비하여 효율적이다.
본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

Claims (9)

  1. 서버의 이미지 쿼리 기반 영상 검색 방법에 있어서,
    영상 데이터베이스에 저장된 하나 이상의 영상 데이터를 이용하여 영상 특징 정보 데이터베이스를 구축하는 a단계;
    이미지 쿼리를 수신하면, 상기 이미지 쿼리를 이용하여 특징 정보 쿼리를 생성하는 b단계;
    상기 특징 정보 쿼리에 대응되는 영상 특징 정보를 상기 영상 특징 정보 데이터베이스에서 검색하는 c단계를 포함하며,
    상기 a단계는
    상기 영상 데이터에 포함된 하나 이상의 프레임에서 기 설정된 개수의 키 프레임을 선정하는 전처리 단계;
    상기 키 프레임을 입력 데이터로 하여 입력 데이터의 특징 정보 쿼리를 추출하는 단계를 포함하고,
    상기 b단계는 상기 이미지 쿼리를 입력 데이터로 하여 입력 데이터의 특징 정보 쿼리를 추출하는 단계를 포함하며,
    상기 입력 데이터의 특징 정보 쿼리를 추출하는 단계는
    입력 데이터에서 정방형의 블록을 추출하는 단계;
    상기 블록을 구성하는 하나 이상의 픽셀 값의 평균 값과 기 설정된 임계 값을 이용하여 상부 및 하부 임계 값을 생성하는 단계;
    상기 블록의 픽셀 값이 상기 상부 및 하부 임계 값과 갖는 차이를 이용하여 상부 및 하부 패턴을 생성하는 단계;
    상기 상부 및 하부 패턴을 각각 히스토그램으로 변환하여 상기 입력 데이터의 특징 정보 쿼리를 추출하는 단계를 포함하는 영상 검색 방법.
  2. 제1항에 있어서,
    상기 전처리 단계는
    상기 영상 데이터에 포함된 하나 이상의 프레임을 그레이 스케일로 변환하는 단계;
    상기 프레임의 크기를 변경하는 단계를 포함하는 영상 검색 방법.
  3. 제1항에 있어서,
    상기 전처리 단계는
    상기 하나 이상의 프레임 각각의 히스토그램을 획득하는 단계;
    연속하는 제1 프레임 및 제2 프레임의 히스토그램 차이 값을 연산하는 단계;
    상기 히스토그램 차이 값을 크기에 따라 정렬하여, 기 설정된 상위 n개의 차이 값을 선정하는 단계;
    상기 선정된 차이 값에 대응되는 제2 프레임을 키 프레임으로 설정하는 단계를 포함하는 영상 검색 방법.
  4. 제1항에 있어서,
    상기 상부 및 하부 임계 값을 생성하는 단계는
    상기 블록을 구성하는 픽셀 값의 평균 값을 연산하는 단계;
    상기 평균 값에 상기 임계 값을 더하여 상기 상부 임계 값을 도출하고, 상기 평균 값에서 상기 임계 값을 제하여 상기 하부 임계 값을 도출하는 단계를 포함하는 영상 검색 방법.
  5. 제1항에 있어서,
    상기 상부 패턴을 생성하는 단계는
    상기 블록의 픽셀 값이 상기 상부 임계 값보다 크거나 같으면 1을, 그렇지 않으면 0을 각 픽셀에 맵핑하고,
    상기 하부 패턴을 생성하는 단계는
    상기 블록의 픽셀 값이 상기 하부 임계 값보다 작거나 같으면 1을, 그렇지 않으면 0을 각 픽셀에 맵핑하는 것을 특징으로 하는 영상 검색 방법.
  6. 제1항에 있어서,
    상기 상부 및 하부 패턴을 히스토그램으로 변환하는 단계는
    상기 상부 및 하부 패턴을 기 설정된 순서대로 이진수의 n비트 값에 대응시키고, 상기 n비트 값을 10진수로 변환하여 히스토그램을 생성하는 것을 특징으로 하는 영상 검색 방법.
  7. 이미지 쿼리 기반 영상 검색 시스템에 있어서,
    이미지 쿼리를 수신하면, 상기 이미지 쿼리를 포함하는 입력 데이터에서 정방형의 블록을 추출하고, 상기 블록을 구성하는 하나 이상의 픽셀 값의 평균 값과 기 설정된 임계 값을 이용하여 상부 및 하부 임계 값을 생성하며, 상기 블록의 픽셀 값이 상기 상부 및 하부 임계 값과 갖는 차이를 이용하여 상부 및 하부 패턴을 생성하고, 상기 상부 및 하부 패턴을 각각 히스토그램으로 변환하여 특징 정보 쿼리를 생성하는 생성부;
    상기 특징 정보 쿼리에 대응되는 영상 특징 정보를 영상 특징 정보 데이터베이스에서 검색하는 검색부;
    하나 이상의 영상 데이터를 저장하는 영상 데이터베이스와 영상 특징 정보를 저장하는 영상 특징 정보 데이터베이스를 포함하는 데이터베이스부를 포함하는 영상 검색 시스템.
  8. 제7항에 있어서,
    상기 생성부는
    상기 영상 데이터에 포함된 하나 이상의 프레임에서 기 설정된 개수의 키 프레임을 선정하는 전처리부;
    영상 데이터베이스에 저장된 하나 이상의 영상 데이터를 이용하여 영상 특징 정보 데이터베이스를 구축하는 데이터베이스 생성부;
    상기 키 프레임 및 상기 이미지 쿼리를 입력 데이터로 하여 입력 데이터의 특징 정보 쿼리를 추출하는 특징 정보 쿼리 추출부를 포함하는 영상 검색 시스템.
  9. 삭제
KR1020170169547A 2017-12-11 2017-12-11 이미지 쿼리 기반의 영상 검색 방법 및 시스템 KR102054211B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170169547A KR102054211B1 (ko) 2017-12-11 2017-12-11 이미지 쿼리 기반의 영상 검색 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170169547A KR102054211B1 (ko) 2017-12-11 2017-12-11 이미지 쿼리 기반의 영상 검색 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20190069136A KR20190069136A (ko) 2019-06-19
KR102054211B1 true KR102054211B1 (ko) 2019-12-10

Family

ID=67104503

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170169547A KR102054211B1 (ko) 2017-12-11 2017-12-11 이미지 쿼리 기반의 영상 검색 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102054211B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113496277A (zh) 2020-04-03 2021-10-12 三星电子株式会社 用于检索图像的神经网络装置及其操作方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101745370B1 (ko) * 2010-12-14 2017-06-09 주식회사 케이티 메인 영상 프레임을 이용한 영상 정보 제공 방법 및 시스템
KR101713189B1 (ko) 2015-04-20 2017-03-08 전남대학교산학협력단 비디오 객체 행동 분류를 위한 hog/hof 기반 특징정보 추출 방법 및 추출기

Also Published As

Publication number Publication date
KR20190069136A (ko) 2019-06-19

Similar Documents

Publication Publication Date Title
US10366304B2 (en) Localization and mapping method
US9009149B2 (en) Systems and methods for mobile search using Bag of Hash Bits and boundary reranking
KR100545477B1 (ko) 거리 측정기를 사용한 이미지 검색법
CN106570141B (zh) 近似重复图像检测方法
KR100413679B1 (ko) 형상 기술자 추출방법
JP4556120B2 (ja) 情報処理装置および方法、並びにプログラム
KR20140102038A (ko) 영상 정합 장치 및 영상 정합 방법
US20120287304A1 (en) Image recognition system
US11822595B2 (en) Incremental agglomerative clustering of digital images
US9047534B2 (en) Method and apparatus for detecting near-duplicate images using content adaptive hash lookups
KR20010055492A (ko) 영상 히스토그램을 이용한 영상 검색 시스템과 그 방법
CN108027816B (zh) 数据管理系统、数据管理方法及记录介质
KR102054211B1 (ko) 이미지 쿼리 기반의 영상 검색 방법 및 시스템
Sun et al. Search by detection: Object-level feature for image retrieval
CN110209895B (zh) 向量检索方法、装置和设备
TW202201249A (zh) ２維映射產生裝置、２維映射產生方法及２維映射產生用程式
CN106886783A (zh) 一种基于区域特征的图像检索方法及系统
Aarthi et al. Sketch based image retrieval using information content of orientation
Lee et al. Accelerating local feature extraction using two stage feature selection and partial gradient computation
JP6336827B2 (ja) 画像検索装置、画像検索方法および検索システム
KR20030009674A (ko) 내용 기반 영상 검색 장치 및 방법
KR102178782B1 (ko) 부분 정렬과 룩업 테이블 맵핑을 이용한 취소 가능한 홍채 템플릿 생성 장치 및 방법
You et al. Adaptive Image Retrieval Based on Multi-Feature Fusion
Liu et al. cutting Image Retrieval Technology based on LSH Improvement
Cui et al. Image-based accurate object retrieval combined with color invariant

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant