KR20200046281A - 컬러 디스크립터와 이산 웨이블릿 변환을 이용한 내용 기반 영상 검색 시스템 및 방법 - Google Patents

컬러 디스크립터와 이산 웨이블릿 변환을 이용한 내용 기반 영상 검색 시스템 및 방법 Download PDF

Info

Publication number
KR20200046281A
KR20200046281A KR1020180127202A KR20180127202A KR20200046281A KR 20200046281 A KR20200046281 A KR 20200046281A KR 1020180127202 A KR1020180127202 A KR 1020180127202A KR 20180127202 A KR20180127202 A KR 20180127202A KR 20200046281 A KR20200046281 A KR 20200046281A
Authority
KR
South Korea
Prior art keywords
image
feature vector
color
signal
wavelet transform
Prior art date
Application number
KR1020180127202A
Other languages
English (en)
Inventor
전광길
Original Assignee
인천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인천대학교 산학협력단 filed Critical 인천대학교 산학협력단
Priority to KR1020180127202A priority Critical patent/KR20200046281A/ko
Publication of KR20200046281A publication Critical patent/KR20200046281A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06T5/009—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/142—Edging; Contouring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

컬러 디스크립터와 이산 웨이블릿 변환을 이용한 내용 기반 영상 검색 시스템 및 방법은 RGB 타입의 질의 영상을 YCbCr 타입의 영상으로 변환하고, 휘도 성분의 데이터를 에지 검출한 후, 에지가 강조된 RGB 타입의 영상으로 변환하며, R 신호, G 신호, B 신호를 히스트로그램과 이산 웨이블릿 변환을 수행하여 영상의 검색 속도를 향상시키는 효과가 있다.

Description

컬러 디스크립터와 이산 웨이블릿 변환을 이용한 내용 기반 영상 검색 시스템 및 방법{System and Method for Retrieving Image Based Content Using Color Descriptor and Discrete Wavelet Transform}
본 발명은 영상 검색 방법에 관한 것으로서, 특히 RGB 타입의 질의 영상을 YCbCr 타입의 영상으로 변환하고, 휘도 성분의 데이터를 에지 검출한 후, 에지가 강조된 RGB 타입의 영상으로 변환하며, R 신호, G 신호, B 신호를 히스트로그램과 이산 웨이블릿 변환을 수행하여 영상의 검색 속도를 향상시키는 컬러 디스크립터와 이산 웨이블릿 변환을 이용한 내용 기반 영상 검색 시스템 및 방법에 관한 것이다.
기존의 문자 기반 영상 검색 기술은 영상의 제목이나 메타 데이터에만 의존하여 검색을 수행한다. 이러한 경우, 동일한 영상에 파일 이름이나 메타 데이터를 제 각각 다르게 할 수 있기 때문에 검색 기준이 모호해지며, 이로 인하여 방대한 영상을 인터넷 상에서 검색하기 어렵거나 불가능한 문제점이 있다.
이러한 문제점을 해결하기 위하여 최근의 내용 기반 영상 검색 기술이 활발하게 연구가 진행되고 있다.
내용 기반 영상 검색 기술에서는 영상(Color), 질감(Texture), 형태(Shape) 등 다양한 시각적 특징을 이용하여 영상 기술자(Image Descriptor)를 만들고, 이를 이용하여 여러 영상들 사이에서 유사성을 비교하여 검색 결과를 도출한다.
그러나 종래의 내용 기반 영상 검색 기술은 여러 영상들에서 유사성을 비교하기 위하여 영상 형태를 픽셀 단위로 일일히 비교하므로 시간이 많이 소요되어 검색 결과를 도출하기 불가능하다.
한국 등록특허번호 제10-1350335호
이와 같은 문제점을 해결하기 위하여, 본 발명은 RGB 타입의 질의 영상을 YCbCr 타입의 영상으로 변환하고, 휘도 성분의 데이터를 에지 검출한 후, 에지가 강조된 RGB 타입의 영상으로 변환하며, R 신호, G 신호, B 신호를 히스트로그램과 이산 웨이블릿 변환을 수행하여 영상의 검색 속도를 향상시키는 컬러 디스크립터와 이산 웨이블릿 변환을 이용한 내용 기반 영상 검색 시스템 및 방법을 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 특징에 따른 컬러 디스크립터와 이산 웨이블릿 변환을 이용한 내용 기반 영상 검색 시스템은,
입력된 질의 영상인 M×N 사이즈의 RGB 타입의 제1 화상 데이터를 입력받아 YCbCr 타입의 제2 화상 데이터로 변환하고, 상기 제2 화상 데이터(YCbCr)의 화상에 대한 정보를 휘도 성분(Y), 청색에 대한 색차(Cb) 및 적색에 대한 색차(Cr)로 분할하는 제1 영상 변환부;
상기 제1 영상 변환부로부터 상기 휘도 성분(Y)의 데이터를 입력받아 캐니 에지 검출법을 사용하여 상기 휘도 성분의 데이터로부터 에지를 검출하여 에지 영상을 생성하는 에지 검출부;
상기 제1 영상 변환부의 상기 청색에 대한 색차(Cb), 상기 적색에 대한 색차(Cr)와, 상기 에지 검출부에서 검출된 에지 영상을 합성한 후, 상기 합성된 영상을 M×N 사이즈의 RGB 타입의 제3 화상 데이터(RGB')로 변환하는 제2 영상 변환부;
상기 변환된 제3 화상 데이터를 R(Red), G(Green), B(Blue) 신호로 분할하고, 상기 R 신호, 상기 G 신호, 상기 B 신호를 색상(Hue, H), 채도(Saturation, S), 밝기(Lightness, L) 색공간으로 각각 표현하여 기설정된 개수의 색으로 각각 구분한 후, 특정 색상의 비율을 히스토그램을 나타내는 HR, HG, HB로 각각 변환하는 히스토그램 변환부; 및
상기 R 신호의 히스토그램(HR), 상기 G 신호의 히스토그램(HG), 상기 B 신호의 히스토그램(HB)을 이산 웨이블릿 변환을 수행하는 이산 웨이블릿 변환부를 포함하는 것을 특징으로 한다.
본 발명의 특징에 따른 컬러 디스크립터와 이산 웨이블릿 변환을 이용한 내용 기반 영상 검색 시스템은,
입력된 질의 영상인 M×N 사이즈의 RGB 타입의 제1 화상 데이터를 입력받아 YCbCr 타입의 제2 화상 데이터로 변환하고, 상기 제2 화상 데이터(YCbCr)의 화상에 대한 정보를 휘도 성분(Y), 청색에 대한 색차(Cb) 및 적색에 대한 색차(Cr)로 분할하는 제1 영상 변환부;
상기 제1 영상 변환부로부터 상기 휘도 성분(Y)의 데이터를 입력받아 캐니 에지 검출법을 사용하여 상기 휘도 성분의 데이터로부터 에지를 검출하여 에지 영상을 생성하는 에지 검출부;
상기 제1 영상 변환부의 상기 청색에 대한 색차(Cb), 상기 적색에 대한 색차(Cr)와, 상기 에지 검출부에서 검출된 에지 영상을 합성한 후, 상기 합성된 영상을 M×N 사이즈의 RGB 타입의 제3 화상 데이터(RGB')로 변환하는 제2 영상 변환부;
상기 변환된 제3 화상 데이터를 R(Red), G(Green), B(Blue) 신호로 분할하고, 상기 R 신호, 상기 G 신호, 상기 B 신호를 색상(Hue, H), 채도(Saturation, S), 밝기(Lightness, L) 색공간으로 각각 표현하여 기설정된 개수의 색으로 각각 구분한 후, 특정 색상의 비율을 히스토그램을 나타내는 HR, HG, HB로 각각 변환하는 히스토그램 변환부;
상기 R 신호의 히스토그램(HR), 상기 G 신호의 히스토그램(HG), 상기 B 신호의 히스토그램(HB)을 이산 웨이블릿 변환으로 저주파수 대역통과 필터를 통과시켜 얻은 근사 계수(Approximation Coefficient) 신호에서 제1 컬러 특징 벡터(Color Feature Vector)(fr), 제2 컬러 특징 벡터(Color Feature Vector)(fg), 제3 컬러 특징 벡터(Color Feature Vector)(fb)를 각각 추출하고, 상기 제1 컬러 특징 벡터(fr), 상기 제2 컬러 특징 벡터(fg)와 상기 제3 컬러 특징 벡터(fb)를 융합하여 입력된 질의 영상의 특징 벡터(Fq)를 생성하는 이산 웨이블릿 변환부; 및
상기 생성한 질의 영상의 제1 특징 벡터(Fq)와 영상 저장부에 저장된 영상 정보의 제2 특징 벡터(Fr)를 비교하여 유사도를 판단하도록 제1 특징 벡터에서 제2 특징 벡터를 뺀 거리값(D)을 계산하고, 상기 계산된 거리값이 기설정된 기준치 이내에 형성되는 경우, 질의 영상에 매칭되는 결과 영상으로 판단하여 추출하는 영상 검색부를 포함하는 것을 특징으로 한다.
본 발명의 특징에 따른 컬러 디스크립터와 이산 웨이블릿 변환을 이용한 내용 기반 영상 검색 방법은,
입력된 질의 영상인 M×N 사이즈의 RGB 타입의 제1 화상 데이터를 입력받아 YCbCr 타입의 제2 화상 데이터로 변환하는 단계;
상기 제2 화상 데이터에서 화상에 대한 정보를 휘도 성분(Y), 청색에 대한 색차(Cb) 및 적색에 대한 색차(Cr)로 분할하고, 캐니 에지 검출법을 사용하여 상기 휘도 성분의 데이터로부터 에지를 검출하여 에지 영상을 생성하는 단계;
상기 에지 영상, 상기 청색에 대한 색차(Cb), 상기 적색에 대한 색차(Cr)를 합성한 후, 상기 합성된 영상을 M×N 사이즈의 RGB 타입의 제3 화상 데이터(RGB')로 변환하는 단계;
상기 변환된 제3 화상 데이터를 R(Red), G(Green), B(Blue) 신호로 분할하고, 상기 R 신호, 상기 G 신호, 상기 B 신호를 색상(Hue, H), 채도(Saturation, S), 밝기(Lightness, L) 색공간으로 각각 표현하여 기설정된 개수의 색으로 각각 구분한 후, 특정 색상의 비율을 히스토그램을 나타내는 HR, HG, HB로 각각 변환하는 단계; 및
상기 R 신호의 히스토그램(HR), 상기 G 신호의 히스토그램(HG), 상기 B 신호의 히스토그램(HB)을 이산 웨이블릿 변환으로 저주파수 대역통과 필터를 통과시켜 근사 계수(Approximation Coefficient) 신호를 얻으며, 상기 근사 계수 신호에서 제1 컬러 특징 벡터(Color Feature Vector)(fr), 제2 컬러 특징 벡터(Color Feature Vector)(fg), 제3 컬러 특징 벡터(Color Feature Vector)(fb)를 각각 추출하는 단계를 포함하는 것을 특징으로 한다.
전술한 구성에 의하여, 본 발명은 컬러 디스크립터와 이산 웨이블릿 변환을 이용하여 영상 검색을 위한 계산 단계를 줄이며, 이로 인하여 영상 검색 속도를 향상시키는 효과가 있다.
도 1은 본 발명의 실시예에 따른 컬리 디스크립터와 이산 웨이블릿 변환을 이용한 내용 기반 영상 검색 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 컬리 디스크립터와 이산 웨이블릿 변환을 이용한 내용 기반 영상 검색 방법을 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 원본 영상, 에지 영상, 에지가 강조된 원본 영상을 나타낸 도면이다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 실시예에 따른 컬리 디스크립터와 이산 웨이블릿 변환을 이용한 내용 기반 영상 검색 시스템의 구성을 나타낸 도면이고, 도 2는 본 발명의 실시예에 따른 컬리 디스크립터와 이산 웨이블릿 변환을 이용한 내용 기반 영상 검색 방법을 설명하기 위한 도면이며, 도 3은 본 발명의 실시예에 따른 원본 영상, 에지 영상, 에지가 강조된 원본 영상을 나타낸 도면이다.
본 발명의 실시예에 따른 컬리 디스크립터와 이산 웨이블릿 변환을 이용한 내용 기반 영상 검색 시스템(100)은 제1 영상 변환부(110), 에지 검출부(120), 제2 영상 변환부(130), 히스토그램 변환부(140), 이산 웨이블릿 변환부(150), 영상 저장부(160) 및 영상 검색부(170)를 포함한다.
제1 영상 변환부(110)는 M×N 사이즈의 RGB 타입의 제1 화상 데이터(도 3의 Original Image)를 입력받아 YCbCr 타입의 제2 화상 데이터로 변환한다. 여기서, 제1 화상 데이터는 입력된 질의 영상을 나타낸다.
제1 영상 변환부(110)는 제2 화상 데이터(YCbCr)의 화상에 대한 정보를 휘도(Y), 청색에 대한 색차(Cb) 및 적색에 대한 색차(Cr)로 분할하여 저장할 수 있다.
여기서, 제1 화상 데이터(RGB)와 제2 화상 데이터(YCbCr)은 형식이 서로 다르나, 동일한 화상 데이터를 나타낸다. 제1 화상 데이터(RGB)를 제2 화상 데이터(YCbCr)로 변환하는 것은 다음의 [수학식 1]과 같은 공식에 의해 계산될 수 있다.
Figure pat00001
에지 검출부(120)는 제1 영상 변환부(110)로부터 휘도 성분(Y) 데이터를 입력받아 휘도 성분 데이터로부터 에지를 검출하여 에지 영상(도 3의 Canny Image)을 생성한다.
에지 검출부(120)는 입력된 질의 영상의 휘도 성분 데이터를 캐니 에지 검출법을 사용하여 질의 영상에서 명암 변화가 다른 지점보다 큰 지점을 ?고, 그 지점을 추적하여 형성되는 선에 속한 점들을 추출하여 에지 영상을 생성한다.
더욱 상세하게 설명하면, 에지 검출부(120)는 가우시안 필터를 휘도 영상에 마스킹 방식으로 적용하여 노이즈를 제거하고, 휘도 성분 데이터의 수평 및 수직 방향을 미분 계산하여 휘도 성분 데이터에서 가로 및 세로로 밝기값이 변하는 정도를 계산한다.
에지 검출부(120)는 선의 형태를 띠는 부분으로 밝기값의 변화가 심한 부분이 에지에 해당하고, 에지에 해당하는 점들이 방향성을 가지므로 에지의 세기 및 방향을 분석한 후, 기설정된 최대값이 아닌 약한 에지를 제거하며, 특정값을 기준으로 흑백으로 변화시켜 에지를 검출한다. 에지 검출부(120)는 검출된 에지를 포인트 형태의 구조인 윤곽(Contour)로 변환하고, 변환된 윤곽 정보를 이용하여 내부를 채워서 에지 영상을 생성한다.
제2 영상 변환부(130)는 제1 영상 변환부(110)로부터 청색에 대한 색차(Cb) 및 적색에 대한 색차(Cr)를 입력받고, 에지 검출부(120)로부터 휘도 영상에서 검출된 에지 영상을 입력받는다.
제2 영상 변환부(130)는 에지 영상과 청색에 대한 색차(Cb) 및 적색에 대한 색차(Cr)를 합성한 후, 합성된 영상을 M×N 사이즈의 RGB 타입의 제3 화상 데이터(RGB')로 변환한다(수학식 2). 여기서, 제3 화상 데이터는 에지가 강조된 원본 영상(도 3의 Canny RGB Image)을 나타낸다.
Figure pat00002
제1 화상 데이터(RGB), 제2 화상 데이터(YCbCr), 제3 화상 데이터(RGB')는 형식이 서로 다르나, 동일한 화상 데이터를 나타낸다.
히스토그램 변환부(140)는 제2 영상 변환부(130)로부터 제3 화상 데이터를 입력받고, 제3 화상 데이터를 R(Red), G(Green), B(Blue) 신호로 분할하고, R 신호, G 신호, B 신호를 명암을 고려하여 색상(Hue), 채도(Saturation), 밝기(Lightness)의 좌표를 이용하여 색을 표현한다.
색상(Hue, H)는 가시광선 스펙트럼을 고리 모양으로 배치한 색상환(Color Circle)에서 가장 파장이 긴 빨강을 0°로 하였을 때의 상대적인 배치 각도의 분포이다. 따라서, H 값은 0°내지 360°의 범위를 갖고, 360°와 0°는 같은 색상 빨강을 가리킨다. 채도(Saturation, S)는 특정한 색상의 가장 진한 상태를 100%라고 하였을 때 진하기의 정도를 나타내는 것으로, 0%는 색상과 무관하게 무채색을 나타낸다. 밝기(Lightness, L)는 색의 밝고 어두움을 나타내는 정도로, 실제 이미지의 명암 변화와 직접적으로 관련이 있다.
히스토그램 변환부(140)는 R 신호, G 신호, B 신호가 HLS 색 공간으로 표현되면, 밝기 정도를 수치화하여 표현할 수 있다.
히스토그램 변환부(140)는 R 신호, G 신호, B 신호를 HLS 색공간으로 각각 표현하여 기설정된 개수의 색으로 각각 구분한 후, 특정 색상의 비율을 히스토그램을 나타내는 HR, HG, HB로 각각 변환한다.
변환된 HLS 색공간을 기설정된 개수의 색으로 구분함에 있어서, 그 구분은 기설정된 밝기(L)의 범위 내에서 수행되도록 할 수 있다.
이를 위해 HLS 공간을 몇 가지의 색으로 양자화하고, 밝기(L)에 대해 문턱 값을 설정하여 자연스러운 밝기 변화를 넘어서 극단적으로 밝아지거나 어두워지는 색 변화를 흰색과 검은색인 것으로 판단되도록 한다.
예를 들어, 검은색과 흰색의 문턱값은 색상(H)과 채도(S)와는 무관하며, 밝기(L)가 15% 이하이면 검은색, 밝기 80% 이상이면 흰색으로 문턱값을 설정할 수 있다. 나머지인 밝기(L) 15% 내지 80% 사이의 값을 가지는 색상들에 대해 빨강, 주황, 노랑, 초록, 연한 파랑, 파랑, 보라, 핑크, 회색으로 구분한다.
한편, 제한된 밝기(L) 내에서 채도(S)가 10% 이하인 색을 회색으로 고려할 수 있고, 제한된 밝기(15%<L<80%)와 제한된 채도(10%<S)에 대하여 색상(H)이 344°내지 360°, 0°내지 9°이면 빨강, 10°내지 37°이면 주황, 38°내지 65°이면 노랑, 66°내지 145°이면 초록, 146°내지 181°이면 연한 파랑, 182°내지 255°이면 파랑, 256°내지 315°이면 보라, 316°내지 344°이면 핑크로 구분할 수 있다. 이렇게 총 11가지 색상으로 양자화시켜, 이 색상 각각을 하나의 특징 벡터의 차원으로 하면, 영상에 대하여 11가지 색상의 분포를 분석한 뒤 전체 영상에서의 특정 색상의 비율을 히스토그램으로 나타낼 수 있다.
이산 웨이블릿 변환부(150)는 히스토그램 변환부(140)로부터 R 신호의 히스토그램(HR)을 입력받고, 입력된 R 신호의 히스토그램을 2 레벨(Level) 이산 웨이블릿 변환을 수행한다. 2 레벨(Level) 이산 웨이블릿 변환은 가로 방향과 세로 방향을 각각 저역통과 필터링(Low Pass Filtering, LPF)과 고역통과 필터링(High Pass Filtering, HPF)을 수행하면서 1/2 데시메이션(Decimation)을 수행하는데, 그 결과 원 영상 크기의 1/4에 해당하는 4개의 부대역 LL(Low-Low), LH(Low-High), HL(High-Low), HH(High-High)이 생성된다. 여기서, 각 부대역 이름에서 H 또는 L은 가로방향 필터링과 세로방향 필터링을 나타낸다.
이산 웨이블릿 변환부(150)는 히스토그램 변환부(140)로부터 G 신호의 히스토그램(GR)을 입력받고, 입력된 G 신호의 히스토그램을 3 레벨(Level) 이산 웨이블릿 변환을 수행한다.
이산 웨이블릿 변환부(150)는 히스토그램 변환부(140)로부터 B 신호의 히스토그램(BR)을 입력받고, 입력된 B 신호의 히스토그램을 3 레벨(Level) 이산 웨이블릿 변환을 수행한다.
레벨을 증가시키는 것은 저주파 부대역을 다시 고주파와 저주파 성분으로 나누는 것으로, 그 전 레벨의 LL 부대역을 대상으로 2DDWT를 수행한다. 따라서 도 3의 3 레벨의 경우 LL 부대역은 최상위 레벨의 LL3만 존재하고, 나머지 부대역은 모든 레벨의 부대역이 존재한다. 3 레벨의 이산 웨이블릿 변환에 의하여 LLL, LLH, LHL, LHH, HLL, HLH, HHL 및 HHH의 서브밴드를 구성할 수 있다.
이산 웨이블릿 변환부(150)는 이산 웨이블릿 변환을 반복적으로 수행하게 되고, 저주파 대역통과 필터(Low Pass Filter) 및 고주파 대역통과 필터(High Pass Filter)를 통과시킨 후, 저주파 대역통과 필터를 통과시켜 얻은 근사 계수(Approximation Coefficient) 신호와 고주파 대역통과 필터를 통과시켜 얻은 상세 계수(Detail Coefficient) 신호로 분해한다.
이산 웨이블릿 변환부(150)는 R 신호의 히스토그램을 2 레벨(Level) 이산 웨이블릿 변환으로 저주파 대역통과 필터를 통과시켜 얻은 근사 계수(Approximation Coefficient) 신호에서 R 신호의 특징을 나타내는 제1 컬러 특징 벡터(Color Feature Vector)(fr)를 추출한다.
이산 웨이블릿 변환부(150)는 G 신호의 히스토그램을 3 레벨(Level) 이산 웨이블릿 변환으로 저주파 대역통과 필터를 통과시켜 얻은 근사 계수(Approximation Coefficient) 신호에서 G 신호의 특징을 나타내는 제2 컬러 특징 벡터(Color Feature Vector)(fg)를 추출한다.
이산 웨이블릿 변환부(150)는 B 신호의 히스토그램을 3 레벨(Level) 이산 웨이블릿 변환으로 저주파 대역통과 필터를 통과시켜 얻은 근사 계수(Approximation Coefficient) 신호에서 B 신호의 특징을 나타내는 제3 컬러 특징 벡터(Color Feature Vector)(fb)를 추출한다.
제1 컬러 특징 벡터(fr), 제2 컬러 특징 벡터(fg)와 제3 컬러 특징 벡터(fb)는 영상 신호의 색상 히스토그램, 픽셀의 밝기값과 윤곽선을 이용하여 특징을 추출하여 생성한다.
이산 웨이블릿 변환부(150)는 제1 컬러 특징 벡터(fr), 제2 컬러 특징 벡터(fg)와 제3 컬러 특징 벡터(fb)를 융합하여 입력된 질의 영상의 특징 벡터(Fq)를 생성한다.
영상 저장부(160)는 복수의 영상 정보의 특징을 나타내는 각 특징 벡터들이 저장되어 있으며, 인터넷을 통해 접근 가능한 외부 콘텐츠를 저장할 수 있다.
영상 검색부(170)는 이산 웨이블릿 변환부(150)에서 생성한 입력된 질의 영상의 제1 특징 벡터(Fq)와 영상 저장부(160)에 저장된 영상 정보의 제2 특징 벡터(Fr)를 비교하여 유사도를 판단하도록 제1 특징 벡터에서 제2 특징 벡터를 뺀 거리값(D)을 계산한다.
Figure pat00003
영상 검색부(170)는 계산된 거리값이 기설정된 기준치 이내에 형성되는 경우, 질의 영상에 매칭되는 결과 영상으로 판단하여 추출한다.
이상에서 본 발명의 실시예는 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
100: 영상 검색 시스템
110: 제1 영상 변환부
120: 에지 검출부
130: 제2 영상 변환부
140: 히스토그램 변환부
150: 이산 웨이블릿 변환부
160: 영상 저장부
170: 영상 검색부

Claims (7)

  1. 입력된 질의 영상인 M×N 사이즈의 RGB 타입의 제1 화상 데이터를 입력받아 YCbCr 타입의 제2 화상 데이터로 변환하고, 상기 제2 화상 데이터(YCbCr)의 화상에 대한 정보를 휘도 성분(Y), 청색에 대한 색차(Cb) 및 적색에 대한 색차(Cr)로 분할하는 제1 영상 변환부;
    상기 제1 영상 변환부로부터 상기 휘도 성분(Y)의 데이터를 입력받아 캐니 에지 검출법을 사용하여 상기 휘도 성분의 데이터로부터 에지를 검출하여 에지 영상을 생성하는 에지 검출부;
    상기 제1 영상 변환부의 상기 청색에 대한 색차(Cb), 상기 적색에 대한 색차(Cr)와, 상기 에지 검출부에서 검출된 에지 영상을 합성한 후, 상기 합성된 영상을 M×N 사이즈의 RGB 타입의 제3 화상 데이터(RGB')로 변환하는 제2 영상 변환부;
    상기 변환된 제3 화상 데이터를 R(Red), G(Green), B(Blue) 신호로 분할하고, 상기 R 신호, 상기 G 신호, 상기 B 신호를 색상(Hue, H), 채도(Saturation, S), 밝기(Lightness, L) 색공간으로 각각 표현하여 기설정된 개수의 색으로 각각 구분한 후, 특정 색상의 비율을 히스토그램을 나타내는 HR, HG, HB로 각각 변환하는 히스토그램 변환부; 및
    상기 R 신호의 히스토그램(HR), 상기 G 신호의 히스토그램(HG), 상기 B 신호의 히스토그램(HB)을 이산 웨이블릿 변환을 수행하는 이산 웨이블릿 변환부를 포함하는 것을 특징으로 하는 컬러 디스크립터와 이산 웨이블릿 변환을 이용한 내용 기반 영상 검색 시스템.
  2. 제1항에 있어서,
    상기 이산 웨이블릿 변환부는 상기 이산 웨이블릿 변환을 수행하여 상기 R 신호의 히스토그램(HR), 상기 G 신호의 히스토그램(HG), 상기 B 신호의 히스토그램(HB)에서 저주파 대역통과 필터를 통과시켜 얻은 근사 계수(Approximation Coefficient) 신호에서 상기 R 신호의 특징을 나타내는 제1 컬러 특징 벡터(Color Feature Vector)(fr), 상기 G 신호의 특징을 나타내는 제2 컬러 특징 벡터(Color Feature Vector)(fg), 상기 B 신호의 특징을 나타내는 제3 컬러 특징 벡터(Color Feature Vector)(fb)를 추출하고, 상기 제1 컬러 특징 벡터(fr), 상기 제2 컬러 특징 벡터(fg)와 상기 제3 컬러 특징 벡터(fb)를 융합하여 상기 입력된 질의 영상의 제1 특징 벡터(Fq)를 생성하는 것을 특징으로 하는 컬러 디스크립터와 이산 웨이블릿 변환을 이용한 내용 기반 영상 검색 시스템.
  3. 제2항에 있어서,
    복수의 영상 정보의 특징을 나타내는 각 특징 벡터들이 저장되어 있는 영상 저장부; 및
    상기 이산 웨이블릿 변환부에서 생성한 질의 영상의 제1 특징 벡터(Fq)와 영상 저장부에 저장된 영상 정보의 제2 특징 벡터(Fr)를 비교하여 유사도를 판단하도록 상기 제1 특징 벡터에서 상기 제2 특징 벡터를 뺀 거리값(D)을 계산하고, 상기 계산된 거리값이 기설정된 기준치 이내에 형성되는 경우, 질의 영상에 매칭되는 결과 영상으로 판단하여 추출하는 영상 검색부를 더 포함하는 것을 특징으로 하는 컬러 디스크립터와 이산 웨이블릿 변환을 이용한 내용 기반 영상 검색 시스템.
  4. 제1항에 있어서,
    상기 이산 웨이블릿 변환부는 상기 R 신호의 히스토그램을 2 레벨(Level) 이산 웨이블릿 변환을 수행하고, G 신호의 히스토그램과 상기 B 신호의 히스토그램을 3 레벨(Level) 이산 웨이블릿 변환하는 것을 특징으로 하는 컬러 디스크립터와 이산 웨이블릿 변환을 이용한 내용 기반 영상 검색 시스템.
  5. 입력된 질의 영상인 M×N 사이즈의 RGB 타입의 제1 화상 데이터를 입력받아 YCbCr 타입의 제2 화상 데이터로 변환하고, 상기 제2 화상 데이터(YCbCr)의 화상에 대한 정보를 휘도 성분(Y), 청색에 대한 색차(Cb) 및 적색에 대한 색차(Cr)로 분할하는 제1 영상 변환부;
    상기 제1 영상 변환부로부터 상기 휘도 성분(Y)의 데이터를 입력받아 캐니 에지 검출법을 사용하여 상기 휘도 성분의 데이터로부터 에지를 검출하여 에지 영상을 생성하는 에지 검출부;
    상기 제1 영상 변환부의 상기 청색에 대한 색차(Cb), 상기 적색에 대한 색차(Cr)와, 상기 에지 검출부에서 검출된 에지 영상을 합성한 후, 상기 합성된 영상을 M×N 사이즈의 RGB 타입의 제3 화상 데이터(RGB')로 변환하는 제2 영상 변환부;
    상기 변환된 제3 화상 데이터를 R(Red), G(Green), B(Blue) 신호로 분할하고, 상기 R 신호, 상기 G 신호, 상기 B 신호를 색상(Hue, H), 채도(Saturation, S), 밝기(Lightness, L) 색공간으로 각각 표현하여 기설정된 개수의 색으로 각각 구분한 후, 특정 색상의 비율을 히스토그램을 나타내는 HR, HG, HB로 각각 변환하는 히스토그램 변환부;
    상기 R 신호의 히스토그램(HR), 상기 G 신호의 히스토그램(HG), 상기 B 신호의 히스토그램(HB)을 이산 웨이블릿 변환으로 저주파수 대역통과 필터를 통과시켜 얻은 근사 계수(Approximation Coefficient) 신호에서 제1 컬러 특징 벡터(Color Feature Vector)(fr), 제2 컬러 특징 벡터(Color Feature Vector)(fg), 제3 컬러 특징 벡터(Color Feature Vector)(fb)를 각각 추출하고, 상기 제1 컬러 특징 벡터(fr), 상기 제2 컬러 특징 벡터(fg)와 상기 제3 컬러 특징 벡터(fb)를 융합하여 입력된 질의 영상의 특징 벡터(Fq)를 생성하는 이산 웨이블릿 변환부; 및
    상기 생성한 질의 영상의 제1 특징 벡터(Fq)와 영상 저장부에 저장된 영상 정보의 제2 특징 벡터(Fr)를 비교하여 유사도를 판단하도록 제1 특징 벡터에서 제2 특징 벡터를 뺀 거리값(D)을 계산하고, 상기 계산된 거리값이 기설정된 기준치 이내에 형성되는 경우, 질의 영상에 매칭되는 결과 영상으로 판단하여 추출하는 영상 검색부를 포함하는 것을 특징으로 하는 컬러 디스크립터와 이산 웨이블릿 변환을 이용한 내용 기반 영상 검색 시스템.
  6. 입력된 질의 영상인 M×N 사이즈의 RGB 타입의 제1 화상 데이터를 입력받아 YCbCr 타입의 제2 화상 데이터로 변환하는 단계;
    상기 제2 화상 데이터에서 화상에 대한 정보를 휘도 성분(Y), 청색에 대한 색차(Cb) 및 적색에 대한 색차(Cr)로 분할하고, 캐니 에지 검출법을 사용하여 상기 휘도 성분의 데이터로부터 에지를 검출하여 에지 영상을 생성하는 단계;
    상기 에지 영상, 상기 청색에 대한 색차(Cb), 상기 적색에 대한 색차(Cr)를 합성한 후, 상기 합성된 영상을 M×N 사이즈의 RGB 타입의 제3 화상 데이터(RGB')로 변환하는 단계;
    상기 변환된 제3 화상 데이터를 R(Red), G(Green), B(Blue) 신호로 분할하고, 상기 R 신호, 상기 G 신호, 상기 B 신호를 색상(Hue, H), 채도(Saturation, S), 밝기(Lightness, L) 색공간으로 각각 표현하여 기설정된 개수의 색으로 각각 구분한 후, 특정 색상의 비율을 히스토그램을 나타내는 HR, HG, HB로 각각 변환하는 단계; 및
    상기 R 신호의 히스토그램(HR), 상기 G 신호의 히스토그램(HG), 상기 B 신호의 히스토그램(HB)을 이산 웨이블릿 변환으로 저주파수 대역통과 필터를 통과시켜 근사 계수(Approximation Coefficient) 신호를 얻으며, 상기 근사 계수 신호에서 제1 컬러 특징 벡터(Color Feature Vector)(fr), 제2 컬러 특징 벡터(Color Feature Vector)(fg), 제3 컬러 특징 벡터(Color Feature Vector)(fb)를 각각 추출하는 단계를 포함하는 것을 특징으로 하는 컬러 디스크립터와 이산 웨이블릿 변환을 이용한 내용 기반 영상 검색 방법.
  7. 제6항에 있어서,
    상기 각각 추출한 제1 컬러 특징 벡터(fr), 제2 컬러 특징 벡터(fg)와 제3 컬러 특징 벡터(fb)를 융합하여 상기 입력된 질의 영상의 특징 벡터(Fq)를 생성하는 단계; 및
    상기 생성한 질의 영상의 제1 특징 벡터(Fq)와 영상 저장부에 저장된 영상 정보의 제2 특징 벡터(Fr)를 비교하여 유사도를 판단하도록 상기 제1 특징 벡터에서 상기 제2 특징 벡터를 뺀 거리값(D)을 계산하는 단계; 및
    상기 계산된 거리값이 기설정된 기준치 이내에 형성되는 경우, 질의 영상에 매칭되는 결과 영상으로 판단하여 추출하는 단계를 포함하는 것을 특징으로 하는 컬러 디스크립터와 이산 웨이블릿 변환을 이용한 내용 기반 영상 검색 방법.
KR1020180127202A 2018-10-24 2018-10-24 컬러 디스크립터와 이산 웨이블릿 변환을 이용한 내용 기반 영상 검색 시스템 및 방법 KR20200046281A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180127202A KR20200046281A (ko) 2018-10-24 2018-10-24 컬러 디스크립터와 이산 웨이블릿 변환을 이용한 내용 기반 영상 검색 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180127202A KR20200046281A (ko) 2018-10-24 2018-10-24 컬러 디스크립터와 이산 웨이블릿 변환을 이용한 내용 기반 영상 검색 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20200046281A true KR20200046281A (ko) 2020-05-07

Family

ID=70733423

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180127202A KR20200046281A (ko) 2018-10-24 2018-10-24 컬러 디스크립터와 이산 웨이블릿 변환을 이용한 내용 기반 영상 검색 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20200046281A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111885202A (zh) * 2020-08-03 2020-11-03 南京亚太嘉园智慧空间营造有限公司 一种基于vgg算法的物联网展馆用信息处理平台
US11991374B2 (en) 2020-12-31 2024-05-21 Lg Display Co., Ltd. Display apparatus and driving method thereof

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101350335B1 (ko) 2009-12-21 2014-01-16 한국전자통신연구원 내용기반 영상검색 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101350335B1 (ko) 2009-12-21 2014-01-16 한국전자통신연구원 내용기반 영상검색 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111885202A (zh) * 2020-08-03 2020-11-03 南京亚太嘉园智慧空间营造有限公司 一种基于vgg算法的物联网展馆用信息处理平台
CN111885202B (zh) * 2020-08-03 2024-05-31 南京亚太嘉园智慧空间营造有限公司 一种基于vgg算法的物联网展馆用信息处理平台
US11991374B2 (en) 2020-12-31 2024-05-21 Lg Display Co., Ltd. Display apparatus and driving method thereof

Similar Documents

Publication Publication Date Title
Bora Importance of image enhancement techniques in color image segmentation: a comprehensive and comparative study
Smith et al. Single color extraction and image query
Kulkarni Color thresholding method for image segmentation of natural images
US7676085B2 (en) Method and apparatus for representing a group of images
US20100254600A1 (en) Method for dominant color setting of video region and data structure and method of confidence measure extraction
Padmakala et al. An effective content based video retrieval utilizing texture, color and optimal key frame features
KR20200046281A (ko) 컬러 디스크립터와 이산 웨이블릿 변환을 이용한 내용 기반 영상 검색 시스템 및 방법
Chaki et al. Image color feature extraction techniques: fundamentals and applications
Reta et al. Color uniformity descriptor: An efficient contextual color representation for image indexing and retrieval
KR20090065099A (ko) 디지털 영상 특징 관리 시스템 및 그 방법
Kumar et al. Real-time human skin color detection algorithm using skin color map
KR100488014B1 (ko) ＹＣｒＣｂ 칼라 기반 얼굴 영역 추출 방법
Hiwale et al. Quick interactive image search in huge databases using Content-Based image retrieval
KR101599873B1 (ko) 히스토그램 분석을 이용한 하늘 영상 분류 방법 및 장치
CN110334778B (zh) 基于描述内容与图像内容特征的图像综合相似分析方法
Chi et al. Wavelet-based texture-characteristic morphological component analysis for colour image enhancement
Girgis et al. A study of the effect of color quantization schemes for different color spaces on content-based image retrieval
Astawa et al. The impact of color space and intensity normalization to face detection performance
Gong et al. Pedestrian detection algorithm based on integral channel features
CN108229487B (zh) 一种结合空间域和频率域的显著性检测方法
JPH06251147A (ja) 映像特徴処理方法
Hesson et al. Logo and trademark detection in images using color wavelet co-occurrence histograms
Swaminathan et al. Wavelet adaptive quantization based color image segmentation
Jadav et al. Shadow Extraction and Elimination of Moving Vehicles for Tracking Vehicles
Ismael Comparative study for different color spaces of image segmentation based on Prewitt edge detection technique

Legal Events

Date Code Title Description
E601 Decision to refuse application