KR20110085951A - 시멘틱 기반의 이미지 검색 방법 - Google Patents

시멘틱 기반의 이미지 검색 방법 Download PDF

Info

Publication number
KR20110085951A
KR20110085951A KR1020110055512A KR20110055512A KR20110085951A KR 20110085951 A KR20110085951 A KR 20110085951A KR 1020110055512 A KR1020110055512 A KR 1020110055512A KR 20110055512 A KR20110055512 A KR 20110055512A KR 20110085951 A KR20110085951 A KR 20110085951A
Authority
KR
South Korea
Prior art keywords
semantic
image
images
concept
query image
Prior art date
Application number
KR1020110055512A
Other languages
English (en)
Other versions
KR101142163B1 (ko
Inventor
강상길
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020110055512A priority Critical patent/KR101142163B1/ko
Publication of KR20110085951A publication Critical patent/KR20110085951A/ko
Application granted granted Critical
Publication of KR101142163B1 publication Critical patent/KR101142163B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Algebra (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

시멘틱 기반의 이미지 검색 방법이 개시된다. 본 발명에 따른 이미지 검색 방법은, 적어도 하나의 질의 이미지가 입력되면 데이터 베이스에 저장된 복수의 이미지를 독출하고 질의 이미지와 복수의 이미지를 분할하여 각각 적어도 4개 이상의 서브 영역을 형성하는 제1 단계, 질의 이미지와 복수의 이미지의 서브 영역들 각각에 대한 특징 벡터를 검출하고 검출된 특징 벡터를 이용하여 서브 영역에 포함되어 있는 의미들을 나타내는 시멘틱 개념을 부여하는 제2 단계, 부여된 시멘틱 개념이 질의 이미지와 복수의 이미지 각각의 전체에서 차지하는 비율을 결정하기 위한 개념 발생 벡터(COV:Concept Occurrence Vector)를 산출하는 제3 단계, 산출된 개념 발생 벡터를 이용하여 질의 이미지와 복수의 이미지와 적어도 하나 이상의 시멘틱 개념을 표현하는 시멘틱 버텍스를 연결하는 시멘틱 그래프를 형성하는 제4 단계 및 질의 이미지에 대한 시멘틱 그래프와 검색 대상 이미지에 대한 시멘틱 그래프를 비교하여 유사도를 결정하고 질의 이미지와 유사한 이미지를 검색하는 제5 단계를 포함한다.

Description

시멘틱 기반의 이미지 검색 방법 {Semantic based image retrieval method}
본 발명은 시멘틱 기반의 이미지 검색 방법에 관한 것으로, 보다 상세하게는, 이미지가 가지고 있는 시멘틱 개념에 따라 이미지를 검색할 수 있는 이미지 검색 방법에 관한 것이다.
최근 멀티미디어 기술의 발달과, 고속 통신망의 대중화로 인해 텍스트 정보만이 아닌 이미지 정보들이 넘쳐나고 있다. 이 같은 이미지는 대용량 데이터베이스에 저장되어 있으며, 컴퓨터 이용자들은 필요한 이미지를 검색할 수 있다.
한편, 기존에는 대용량 데이터베이스에 저장된 복수의 이미지를 검색하기 위한 방법으로 주석을 이용한 텍스트 기반의 이미지 검색을 이용하였다. 이는 이미지마다 이미지의 특징을 기술한 주석을 붙이는 방법으로, 적은 수의 이미지가 저장된 매체에 이용하는 것은 가능하나, 이미지의 수가 많은 경우에는 검색의 정확도가 저하되는 문제점이 있었다. 이를 해결하기 위한 방안으로, 내용 기반의 이미지 검색이 개발되었다.
내용 기반의 이미지 검색은 이미지의 시각적인 특징 정보를 이용하여 검색하는 것으로, 색상, 질감, 모양 및 공간적 분포와 같은 저수준의 특징 정보에 기반하여 검색한다. 그러나 사용자의 질의를 상술한 바와 같은 저수준의 이미지 특징에 기반하여 표현하는 경우, 사용자가 의도했던 실제 내용과는 상당한 의미적 차이(semantic gap)가 있다. 이러한 의미적 차이를 극복하기 위해 이미지에 포함된 시멘틱(예를 들어, 자연 영상 이미지에서 표현되는 하늘, 바다 등과 같은 의미)을 이용하여 이미지를 검색하는 방안이 요구된다.
본 발명은 상술한 문제점을 해결하기 위한 것으로, 본 발명의 목적은, 질의 이미지와 복수의 이미지를 적어도 4개 이상의 서브 영역으로 분할하여 각 서브 영역에 시멘틱 개념을 부여하고, 질의 이미지와 복수의 이미지에 포함된 시멘틱 개념의 유사도에 따라 이미지를 검색할 수 있는 이미지 검색 방법을 제공하기 위한 것이다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 이미지 분류 방법은, 적어도 하나의 질의 이미지가 입력되면 데이터 베이스에 저장된 복수의 이미지를 독출하고, 상기 질의 이미지와 상기 복수의 이미지를 분할하여 각각 적어도 4개 이상의 서브 영역을 형성하는 제1 단계, 상기 질의 이미지와 상기 복수의 이미지의 서브 영역들 각각에 대한 특징 벡터를 검출하고, 검출된 상기 특징 벡터를 이용하여 상기 서브 영역에 포함되어 있는 의미들을 나타내는 시멘틱 개념을 부여하는 제2 단계, 상기 부여된 시멘틱 개념이 상기 질의 이미지와 상기 복수의 이미지 각각의 전체에서 차지하는 비율을 결정하기 위한 개념 발생 벡터(COV:Concept Occurrence Vector)를 산출하는 제3 단계, 상기 산출된 개념 발생 벡터를 이용하여 상기 질의 이미지와 상기 복수의 이미지와 적어도 하나 이상의 시멘틱 개념을 표현하는 시멘틱 버텍스를 연결하는 시멘틱 그래프를 형성하는 제4 단계 및 상기 질의 이미지에 대한 시멘틱 그래프와, 상기 검색 대상 이미지에 대한 시멘틱 그래프를 비교하여 유사도를 결정하고, 상기 질의 이미지와 유사한 이미지를 검색하는 제5 단계를 포함한다.
본 발명에서 상기 시멘틱 개념은 하늘(sky), 물(water), 잔디(grass), 모래(sand), 바위(rock), 줄기(trunk), 꽃(flower) 및 잎(foliage)을 포함할 수 있다. 이 경우, 상기 질의 이미지와 상기 복수의 이미지 각각은 상기 하늘(sky), 상기 물(water), 상기 잔디(grass), 상기 모래(sand), 상기 바위(rock), 상기 줄기(trunk), 상기 꽃(flower) 및 상기 잎(foliage) 중 적어도 하나의 시멘틱 개념을 포함하는 자연 영상 이미지가 될 수 있다.
한편, 상기 제1 단계는 상기 질의 이미지를 2×2 블럭으로 분할하여 4개의 서브 영역을 형성하는 제1 공정, 상기 질의 이미지의 4개의 서브 영역에서 에지 검출 여부를 판단하는 제2 공정 및 상기 4개의 서브 영역 중 어느 영역에서 에지가 검출되면, 에지가 검출된 서브 영역을 에지가 미검출될 때까지 재분할하여 에지 검출 여부를 판단하는 제3 공정을 포함할 수 있다. 여기서, 상기 서브 영역에 대한 에지 검출은 캐니(canny) 에지 검출 알고리즘을 이용할 수 있다.
또한, 상기 제2 단계는 상기 서브 영역들 각각에 대한 색상 정보를 검출하는 제1 공정, 상기 서브 영역들 각각에 대한 질감 정보를 검출하는 제2 공정 및 검출된 상기 서브 영역들 각각에 대한 색상 정보 및 질감 정보를 이용하여 상기 서브 영역 각각에 시멘틱 개념을 부여하는 제3 공정을 포함할 수 있다.
그리고, 상기 제3 단계는 아래의 수학식을 이용하여 상기 개념 발생 벡터를 산출하는 것이 바람직하다.
Figure pat00001
여기서 N은 시멘틱 개념, n은 서브 영역의 수이다.
한편, 상기 제4 단계는 상기 산출된 개념 발생 벡터를 이용하여 상기 질의 이미지와 상기 복수의 이미지 각각에 포함된 시멘틱 개념에 대한 가중치를 산출하는 제1 공정 및 상기 질의 이미지와 상기 복수의 이미지 각각을 상기 시멘틱 버텍스에 에지 라인을 이용하여 연결하되 상기 에지 라인 각각에 상기 산출된 가중치를 매칭시켜 연결하는 제2 공정을 포함할 수 있다. 이 경우, 상기 질의 이미지와 상기 복수의 이미지 각각에 포함된 시멘틱 개념에 대한 가중치는 아래의 수학식을 이용하여 산출될 수 있다.
Figure pat00002
여기서, wviy는 상기 질의 이미지와 상기 복수의 이미지 중 이미지 y가 갖는 시멘틱 개념 i에 대한 가중치 벡터, viy는 상기 질의 이미지와 상기 복수의 이미지 중 이미지 y가 갖는 시멘틱 개념 i에 대한 개념 발생 벡터, xy는 상기 질의 이미지와 상기 복수의 이미지 중 이미지 y에 연결되는 에지 라인의 수, E는 상기 질의 이미지 및 상기 복수의 이미지의 총 수이다.
한편, 상기 제5 단계는 아래의 수학식을 이용하여, 상기 질의 이미지에 대한 시멘틱 그래프와 상기 복수의 이미지에 대한 시멘틱 그래프의 유사도를 결정할 수 있다.
Figure pat00003
여기서 p는 상기 이미지, q는 상기 질의 이미지, wviy는 상기 질의 이미지와 상기 복수의 이미지 중 이미지 y가 갖는 시멘틱 개념 i에 대한 가중치 벡터, pi는 상기 이미지가 갖는 시멘틱 개념 i, qi는 상기 질의 이미지가 갖는 시멘틱 개념 i 이다.
본 발명에 따르면, 질의 이미지와 복수의 이미지에 적어도 하나 이상의 시멘틱 개념을 부여하고, 질의 이미지와 복수의 이미지에 포함된 시멘틱 개념을 이용하여 질의 이미지와 복수의 이미지 간의 유사도를 결정하여 질의 이미지와 유사도가 높은 이미지를 검색할 수 있게 된다. 따라서, 사용자가 입력한 질의 이미지와 검색된 이미지 간의 의미적 차이(semantic gap)를 감소시킬 수 있게 되어 이미지의 검색 정확도가 향상될 수 있게 된다.
도 1은 본 발명의 일 실시 예에 따른 시멘틱 기반의 이미지 검색 방법을 설명하기 위한 흐름도,
도 2는 본 발명의 일 실시 예에 따른 에지 검출 방법을 설명하기 위한 도면,
도 3(a) 및 도3(b)는 본 발명의 일 실시 예에 따른 개념 발생 벡터를 산출하는 방법을 설명하기 위한 도면,
도 4는 본 발명의 일 실시 예에 따른 시멘틱 그래프를 생성하는 방법을 설명하기 위한 도면, 그리고,
도 5는 본 발명의 일 실시 예에 따른 시멘틱 기반의 이미지 검색 결과를 나타내는 도면이다.
이하에서는 첨부된 도면을 참조하여 본 발명을 보다 자세하게 설명한다.
도 1은 본 발명의 일 실시 예에 따른 시멘틱 기반의 이미지 검색 방법을 설명하기 위한 흐름도이다. 도 2는 본 발명의 일 실시 예에 따른 에지 검출 방법을 설명하기 위한 도면이며, 도 3은 본 발명의 일 실시 예에 따른 개념 발생 벡터를 생성하는 방법을 설명하기 위한 도면이다. 그리고 도 4는 본 발명의 일 실시 예에 따른 시멘틱 그래프를 생성하는 방법을 설명하기 위한 도면이며, 도 5는 본 발명의 일 실시 예에 따른 시멘틱 기반의 이미지 검색 결과를 나타내는 도면이다.
도 1에 도시된 시멘틱 기반의 이미지 검색 방법은 멀티미디어 환경에서 대용량 데이터 베이스에 저장된 복수의 이미지를 사용자 단말장치(예를 들어, PC 또는 휴대폰)를 이용하여 검색할 수 있는 방법에 관한 것이다.
도 1에 도시된 시멘틱 기반의 이미지 검색 방법은, 적어도 하나의 질의 이미지가 입력되면(S110), 데이터 베이스에 저장된 복수의 이미지를 검색 대상 이미지로써 독출한다(S120). 여기서 질의 이미지란, 검색을 위한 자연 영상 이미지로, 사용자가 검색하고자 하는 자연 영상 이미지를 포함하는 사진, 그림 등을 스캔하거나 단말장치에 저장되어 있는 이미지를 업로드하는 방식으로 입력할 수 있다.
이후, 질의 이미지와 독출된 복수의 이미지를 분할하여 각각에 적어도 4개 이상의 서브 영역을 형성한다(S130). 구체적으로, 먼저, 질의 이미지 및 복수의 이미지를 2×2 블럭 단위로 분할한다. 이 과정에 의해 질의 이미지 및 복수의 이미지 각각은 크기가 동일한 4개의 서브 영역을 포함하게 된다.
그리고, 질의 이미지 및 복수의 이미지의 각 서브 영역에서 에지를 검출하고, 에지 검출 여부에 따라 각 서브 영역의 재분할을 결정한다. 구체적으로, 각 서브 영역에서 에지가 검출되면, 에지가 검출된 해당 서브 영역을 2×2 블럭 단위로 재분할하여 재분할된 서브 영역을 형성한다.
그리고 나서, 재분할된 서브 영역 각각에서 에지를 검출하고, 에지 검출 여부에 따라 재분할된 서브 영역에 대한 재분할을 결정한다. 이 같은 과정은 질의 이미지 및 복수의 이미지 각각의 재분할된 서브 영역에서 에지가 미검출될 때까지 반복될 수 있으나, 질의 이미지 및 복수의 이미지 전체가 32×32 블록 단위로 분할될 때까지만 한정하여 반복하는 것이 바람직하다. 이 같은 에지 검출 방법은 1986년에 발표된 논문 "Canny, J. A Computational Approach To Edge Detection. IEEE Transactions on Pattern Analysis and Machine Intelligence, vol, pp.679-698"에서 제시된 캐니(canny) 에지 검출 알고리즘을 이용하는 것으로, 이는 도 2에 도시되어 있다.
도 2는 본 발명의 일 실시 예에 따른 에지 검출 방법을 설명하기 위한 도면으로, 앞서 설명한 바와 같이 캐니 에지 검출 알고리즘을 나타낸다.
도 2를 참조하면, 캐니 에지 검출 알고리즘은 질의 이미지 및 복수의 이미지 각각에 적용될 수 있으며, 크게 2 단계로 나누어질 수 있다. 먼저, 1단계로 소정의이미지(I)를 2×2 블럭 단위로 분할하여 형성된 서브 영역(N)에서 에지를 검출하기 위해 제1 임계값(T1) 내지 제2 임계값(T2)으로 이루어진 임계 범위를 설정받는다. 이 경우, 제1 임계값(T1)은 임계 범위에서 최소값이며, 제2 임계값(T2)는 임계 범위에서 최대값이 될 수 있다. 이 제1 임계값(T1) 및 제2 임계값(T2)은 그레이 레벨로 표현될 수 있다.
이 후, 2 단계로 이미지(I)에 포함된 서브 영역(N) 각각에 대하여 에지를 검출한다. 구체적으로, 한 픽셀의 그레이 레벨(E)을 계산하여, 픽셀 그레이 레벨(E)이 1단계에서 설정된 임계 범위(T1 내지 T2) 사이에 포함되면, 에지가 검출된 것으로 판단한다. 그리고, 에지가 검출된 해당 서브 영역(N)을 2×2 블럭 단위로 재분할하여 재분할된 서브 영역(x)을 형성하여 다시 에지를 검출한다.
만약, 서브 영역(N) 및 재분할된 서브 영역(x) 중 한 픽셀의 그레이 레벨(E)이 1단계에서 설졍된 임계 범위(T1 내지 T2) 사이에 포함되지 않으면, 에지가 미검출된 것으로 판단한다. 이 같은 2단계의 에지 검출 과정은 서브 영역(N)이나 재분할된 서브 영역(x)에서 에지가 미검출될 때까지 이루어지되, 이미지(I) 전체가 32×32 블럭 단위로 분할될 때까지만 한정하여 반복되는 것이 바람직하다.
한편, 질의 이미지와 복수의 이미지가 블록 단위로 분할되어 서브 영역이 형성되면, 질의 이미지와 복수의 이미지 각각의 서브 영역에서 특징 벡터를 검출하여 시멘틱 개념을 부여한다(S140). 여기서 특징 벡터란, 서브 영역에 포함된 각 픽셀들을 색상 정보 및 질감 정보 등을 의미하는 것으로, 질의 이미지와 복수의 이미지 각각의 서브 영역에 대한 색상 정보 및 질감 정보를 검출하여 그에 대한 시멘틱 개념을 부여한다. 이 경우, 시멘틱 개념이란, 각 서브 영역에서 표현하고자 하는 의미가 될 수 있다. 예를 들면, 본 발명의 질의 이미지 및 복수의 이미지와 같은 자연 영상 이미지에서의 시멘틱 개념으로는 하늘(sky), 물(water), 잔디(grass), 모래(sand), 바위(rock), 줄기(trunk), 꽃(flower) 및 잎(foliage) 등이 있을 수 있다. 즉, 자연 영상 이미지에서 표현하고자 하는 영상적인 의미가 될 수 있다.
한편, 질의 이미지와 복수의 이미지 각각의 서브 영역에 대한 색상 정보는, 각 서브 영역에 포함된 픽셀들의 색상을 분석하여 그에 대한 색상 히스토그램을 생성함으로써 검출될 수 있다. 이 경우, 색상은 RGB(Red, Green, Blue), HSV(Hue, Saturation, Value) 및 HSB(Hue, Saturation, Brightness) 중 어느 하나의 3차원 컬러 공간으로 정의될 수 있으며, 특히 JPEG, BMP 및 GIF 등의 형태로 이루어진 이미지에서는 색상이 RGB(Red, Green, Blue) 컬러 공간으로 표현될 수 있다. 따라서, 각 서브 영역에 포함된 픽셀들의 색상을 컬러 히스토그램으로 생성하여 분석할 수 있게 된다.
그리고, 각각의 서브 영역에 대한 질감 정보는, 각 서브 영역에 포함된 픽셀들의 패턴을 분석하여 자연 영상에 대한 구조적 배열을 파악함으로써 검출될 수 있다. 이 경우, 각각의 서브 영역에 대한 질감 정보는 1978년에 발표된 논문 "Tamura, H., Mori, S., and Yamawaki, T. Texture features corresponding to visual perception. IEEE Transactions System Man, and Cyberbectics 8(6)"에서 제시된 방법으로 검출할 수 있다.
상술한 바와 같이 검출된 색상 정보 및 질감 정보를 이용하여 해당 서브 영역에 대한 시멘틱 개념을 부여할 수 있다. 예를 들어, 서브 영역에 대한 색상 정보가 "파란색 계열"인 경우, 해당 서브 영역은 바다나 호수 등과 같은 물이나 하늘 중 어느 하나의 시멘틱 개념으로 선정될 수 있으며, 질감 정보가 바다인 경우에는 해당 서브 영역에 대해서 최종적으로 "물"에 대한 시멘틱 개념이 부여될 수 있다. 이 같이 시멘틱 개념은 머신 러닝과 같은 기계적 학습을 통해 부여될 수 있다. 또한, 각 서브 영역에 대한 시멘틱 개념은 2000년에 발표된 논문 "Duda R.O., Hart P.E., Stork D,G., Pattern Classificatio 2nd Edition, A Wiley-Interscience Publicaion"에서 제안된 k-NN(k-Nearest Neighbor) 분류기를 이용하여 분류되는 방식으로 부여될 수 있다.
다음, 질의 이미지와 복수의 이미지 각각의 서브 영역에 부여된 시멘틱 개념을 이용하여 개념 발생 벡터(COV:Concept Occurrence Vector)를 산출한다(S150). 이 경우, 개념 발생 벡터란, 각각의 서브 영역에 부여된 시멘틱 개념이 질의 이미지와 복수의 이미지 각각의 전체에서 차지하는 비율을 나타내는 요소이다. 즉, 질의 이미지와 복수의 이미지 각각에 하늘(sky), 물(water), 잔디(grass), 모래(sand), 바위(rock), 줄기(trunk), 꽃(flower) 및 잎(foliage) 등의 시멘틱 개념이 얼마나 포함되어 있는지를 나타낸다.
이 같은 개념 발생 벡터는 아래의 수학식 1을 이용하여 산출될 수 있다.
[수학식 1]
Figure pat00004
수학식 1에서 N은 시멘틱 개념이며, n은 서브 영역의 수를 나타낸다. 수학식 1을 이용한 개념 발생 벡터의 산출 방법은 도 3을 이용하여 보다 자세하게 설명한다.
도 3(a) 및 도3(b)는 본 발명의 일 실시 예에 따른 개념 발생 벡터를 산출하는 방법을 설명하기 위한 도면으로, 도 3(a)에 도시된 이미지를 도 3(b)에 도시된 것과 같이 서브 영역으로 분할하고 각각의 서브 영역에 대한 시멘틱 개념을 부여하여 그로부터 개념 발생 벡터를 산출한 것이다.
도 3의 (b)에서와 같이, (a)에 도시된 이미지의 개념 발생 벡터는 여덟 개의 시멘틱 개념(하늘, 물, 잔디, 모래, 바위, 나무 줄기, 꽃 및 나뭇잎)에 대하여 각각 [24.5, 40.2, 0, 28.5, 6.8, 0, 0, 0]가 된다. 이 경우, 개념 발생 벡터의 단위는 %가 될 수 있으나, % 단위를 소수점 단위로 변환할 수도 있다.
도 3에 도시된 이미지는 질의 이미지 및 복수의 이미지 중 어느 하나가 될 수 있으며, 도 3에 도시된 방법은 질의 이미지 및 복수의 이미지에 모두 적용 가능하다.
한편, S150에서 산출된 개념 발생 벡터를 이용하여 질의 이미지와 복수의 이미지 각각에 대한 시멘틱 그래프를 형성한다(S160). 여기서 시멘틱 그래프란 이미지에 어떤 시멘틱 개념이, 얼마만큼 포함되는지를 그래프로 나타낸 것으로, 이미지와 그 이미지에 포함된 시멘틱 개념을 표현하는 시멘틱 버텍스를 에지 라인으로 연결한 그래프이다. 이 경우, 질의 이미지와 상기 복수의 이미지 각각에 포함된 시멘틱 개념에 대한 가중치를 산출하여, 해당하는 에지 라인에 매칭시켜 이미지와 시멘틱 버텍스를 연결할 수 있다. 이 같은 시멘틱 그래프는 아래의 수학식 2와 같이 표현될 수 있다.
[수학식 2]
Figure pat00005
수학식 2에서 G는 시멘틱 그래프, V는 시멘틱 버텍스의 집합, E는 에지 라인의 집합을 나타내는 것으로, 시멘틱 그래프 G는 에지 라인(E)에 의해 복수의 이미지 또는 질의 이미지와 시멘틱 버텍스(V)가 연결된 구조를 갖는다.
도 4에 도시된 시멘틱 그래프를 참조하면, 시멘틱 그래프는 제1 이미지 내지 제n 이미지가 제1 내지 제8 시멘틱 버텍스(1~8) 중 각각 자신의 이미지에 포함된 시멘틱 개념을 표현하는 시멘틱 버텍스에 에지 라인으로 연결된 구조를 갖는다. 이 경우, 제1 시멘틱 버텍스(1)는 하늘에 대한 시멘틱 개념을, 제2 시멘틱 버텍스(2)는 물에 대한 시멘틱 개념을, 그리고 제3 시멘틱 버텍스(3)는 잔디에 대한 시멘틱 개념을 표현한다. 또한, 제4 시멘틱 버텍스(4)는 모래에 대한 시멘틱 개념을, 제5 시멘틱 버텍스(5)는 바위에 대한 시멘틱 개념을, 그리고 제6 시멘틱 버텍스(6)는 나무 줄기에 대한 시멘틱 개념을 표현한다. 그리고, 제7 시멘틱 버텍스(7)는 꽃에 대한 시멘틱 개념을, 제8 시멘틱 버텍스(8)는 나뭇잎에 대한 시멘틱 개념을 표현한다. 도 4에 도시된 제1 내지 제8 시멘틱 버텍스(8) 순서는 변경 가능하며, 자연 풍경 이미지에 포함된 시멘틱 개념에 따라 그 수가 증가할 수 있다.
또한, 시멘틱 그래프에서 각각의 에지 라인은 이미지에서 해당 시멘틱 버텍스에 의해 표현되는 시멘틱 개념에 대한 가중치와 매칭된다.
도 4를 참조하면, 제1 이미지는 하늘, 물, 그리고, 모래 등의 시멘틱 개념을 포함하는 것으로, 제1 이미지는 에지 라인을 통해 제1 시멘틱 버텍스(1), 제2 시멘틱 버텍스(2) 및 제4 시멘틱 버텍스(4)와 연결된 구조를 갖는다. 이 경우, 세 개의 에지 라인 각각은 제1 이미지에 하늘, 물, 모래에 대한 시멘틱 개념에 대한 가중치(wv11, wv21, wv41)가 매칭될 수 있다. 이 경우, 가중치는 수학식 1을 통해 산출된 개념 발생 벡터를 이용하는 것으로, 아래의 수학식 3을 이용하여 산출할 수 있다.
[수학식 3]
Figure pat00006
수학식 3에서 wviy는 이미지 y에서 시멘틱 컨셉 i에 대한 가중치 벡터, viy는 이미지 y에서 시멘틱 컨셉 i에 대한 개념 발생 벡터, xy는 이미지 y에 연결되는 에지 라인의 수, E는 질의 이미지 및 복수의 이미지의 총 수이다. 상기의 수학식 3에서 이미지 y는 질의 이미지 및 복수의 이미지 중 어느 하나가 될 수 있는 것으로, 복수의 이미지 각각과 질의 이미지 각각에 적용될 수 있다.
이 후, 시멘틱 그래프가 형성되면, 질의 이미지에 대한 시멘틱 그래프와, 복수의 이미지 각각에 대한 시멘틱 그래프를 비교하여 유사도를 결정함으로써 이미지를 검색한다(S170). 이 경우, 질의 이미지에 대한 시멘틱 그래프와 복수의 이미지 각각에 대한 유사도는 아래의 수학식 4를 이용하여 결정할 수 있다.
[수학식 4]
Figure pat00007
수학식 4에서 p는 복수의 이미지 중 어느 하나의 이미지, q는 질의 이미지, wviy는 질의 이미지와 복수의 이미지 중 이미지 y가 갖는 시멘틱 개념 i에 대한 가중치 벡터, pi는 복수의 이미지 중 어느 하나의 이미지가 갖는 시멘틱 개념 i, qi는 질의 이미지가 갖는 시멘틱 개념 i이다.
수학식 4에서 wviy·pi는 복수의 이미지 중 어느 하나의 이미지 y가 갖는 시멘틱 개념 i에 대한 가중치 벡터와 복수의 이미지 중 어느 하나의 이미지가 갖는 시멘틱 개념 i을 곱한 것이다. 이 경우, wviy 및 pi는 동일한 이미지를 대상으로 하는 것이 바람직하다.
그리고, wviy·qi는 질의 이미지 중 어느 하나의 이미지 y가 갖는 시멘틱 개념 i에 대한 가중치 벡터와 질의 이미지 중 어느 하나의 이미지가 갖는 시멘틱 개념 i을 곱한 것이다. 이 경우, wviy 및 qi는 동일한 질의 이미지를 대상으로 하는 것이 바람직하다.
수학식 4에서는 wviy·pi의 결과 벡터와 wviy·qi의 결과 벡터의 내적을 이용하여 질의 이미지와 복수의 이미지 각각의 유사도를 산출할 수 있게 된다.
도 5는 시멘틱 기반의 이미지 검색 결과를 나타내는 도면이다. 제1 내지 제4 질의 이미지를 검색 장치에 입력하면, 데이터 베이스에 저장된 복수의 이미지를 독출한 후 도 1에서 제공되는 방법을 이용하여 제1 내지 제4 질의 이미지와 유사도가 높은 이미지를 검색한다.
즉, 도 5에 도시된 바와 같이, 제1 질의 이미지는 물(바다) 및 하늘에 대한 시멘틱 개념을 포함하고 있는 것으로, 이 시멘틱 개념에 대한 개념 발생 벡터를 산출하여 시멘틱 그래프를 형성한다. 그리고, 검색 장치는 독출된 복수의 이미지 각각에 대해서도 시멘틱 개념에 대한 개념 발생 벡터를 산출하여 시멘틱 그래프를 형성한다. 그리고 난 후, 제1 질의 이미지(q1)와 유사한 시멘틱 개념을 포함하고 있으며, 제1 질의 이미지(q1)에 포함된 시멘틱 개념 각각과 유사한 가중치를 포함하고 있는 이미지들을 검색한다. 그리고, 검색된 이미지들을 유사도가 높은 순서대로 제공할 수 있게 된다. 이 같은 방법으로 검색된 제2 내지 제4 질의 이미지(q2, q3, q4)와 유사한 이미지들을 검색하여, 검색된 이미지들을 유사도가 높은 순서대로 제공할 수 있게 된다.
본 발명에 따르면 상술한 방법을 이용함으로써, 질의 이미지에 포함되어 질의 이미지를 통해 표현하고자 하는 시멘틱 개념을 파악함으로써, 의미적으로 유사도가 높은 이미지를 검색할 수 있게 되어 검색 정확도가 향상될 수 있게 된다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

Claims (10)

  1. 적어도 하나의 질의 이미지가 입력되면 데이터 베이스에 저장된 복수의 이미지를 독출하고, 상기 질의 이미지와 상기 복수의 이미지를 분할하여 각각 적어도 4개 이상의 서브 영역을 형성하는 제1 단계;
    상기 질의 이미지와 상기 복수의 이미지의 서브 영역들 각각에 대한 특징 벡터를 검출하고, 검출된 상기 특징 벡터를 이용하여 상기 서브 영역에 포함되어 있는 의미들을 나타내는 시멘틱 개념을 부여하는 제2 단계;
    상기 부여된 시멘틱 개념이 상기 질의 이미지와 상기 복수의 이미지 각각의 전체에서 차지하는 비율을 결정하기 위한 개념 발생 벡터(COV:Concept Occurrence Vector)를 산출하는 제3 단계;
    상기 산출된 개념 발생 벡터를 이용하여 상기 질의 이미지와 상기 복수의 이미지와 적어도 하나 이상의 시멘틱 개념을 표현하는 시멘틱 버텍스를 연결하는 시멘틱 그래프를 형성하는 제4 단계; 및,
    상기 질의 이미지에 대한 시멘틱 그래프와, 상기 검색 대상 이미지에 대한 시멘틱 그래프를 비교하여 유사도를 결정하고, 상기 질의 이미지와 유사한 이미지를 검색하는 제5 단계를 포함하는 시멘틱 기반의 이미지 검색 방법.
  2. 제1항에 있어서,
    상기 시멘틱 개념은,
    하늘(sky), 물(water), 잔디(grass), 모래(sand), 바위(rock), 줄기(trunk), 꽃(flower) 및 잎(foliage)을 포함하는 것을 특징으로 하는 시멘틱 기반의 이미지 검색 방법.
  3. 제2항에 있어서,
    상기 질의 이미지와 상기 복수의 이미지 각각은,
    상기 하늘(sky), 상기 물(water), 상기 잔디(grass), 상기 모래(sand), 상기 바위(rock), 상기 줄기(trunk), 상기 꽃(flower) 및 상기 잎(foliage) 중 적어도 하나의 시멘틱 개념을 포함하는 자연 영상 이미지인 것을 특징으로 하는 시멘틱 기반의 이미지 검색 방법.
  4. 제1항에 있어서,
    상기 제1 단계는,
    상기 질의 이미지를 2×2 블럭으로 분할하여 4개의 서브 영역을 형성하는 제1 공정;
    상기 질의 이미지의 4개의 서브 영역에서 에지 검출 여부를 판단하는 제2 공정; 및
    상기 4개의 서브 영역 중 어느 영역에서 에지가 검출되면, 에지가 검출된 서브 영역을 에지가 미검출될 때까지 재분할하여 에지 검출 여부를 판단하는 제3 공정을 포함하는 것을 특징으로 하는 시멘틱 기반의 이미지 검색 방법.
  5. 제4항에 있어서,
    상기 서브 영역에 대한 에지 검출은,
    캐니(canny) 에지 검출 알고리즘을 이용하는 것을 특징으로 하는 시멘틱 기반의 이미지 검색 방법.
  6. 제1항에 있어서,
    상기 제2 단계는,
    상기 서브 영역들 각각에 대한 색상 정보를 검출하는 제1 공정;
    상기 서브 영역들 각각에 대한 질감 정보를 검출하는 제2 공정; 및
    검출된 상기 서브 영역들 각각에 대한 색상 정보 및 질감 정보를 이용하여 상기 서브 영역 각각에 시멘틱 개념을 부여하는 제3 공정을 포함하는 시멘틱 기반의 이미지 검색 방법.
  7. 제1항에 있어서,
    상기 제3 단계는,
    아래의 수학식을 이용하여 상기 개념 발생 벡터를 산출하는 것을 특징으로 하는 시멘틱 기반의 이미지 검색 방법.
    Figure pat00008

    (N은 시멘틱 개념, n은 서브 영역의 수)
  8. 제1항에 있어서,
    상기 제4 단계는,
    상기 산출된 개념 발생 벡터를 이용하여 상기 질의 이미지와 상기 복수의 이미지 각각에 포함된 시멘틱 개념에 대한 가중치를 산출하는 제1 공정; 및
    상기 질의 이미지와 상기 복수의 이미지 각각을 상기 시멘틱 버텍스에 에지 라인을 이용하여 연결하되, 상기 에지 라인 각각에 상기 산출된 가중치를 매칭시켜 연결하는 제2 공정을 포함하는 것을 특징으로 하는 시멘틱 기반의 이미지 검색 방법.
  9. 제8항에 있어서,
    상기 질의 이미지와 상기 복수의 이미지 각각에 포함된 시멘틱 개념에 대한 가중치는 아래의 수학식을 이용하여 산출되는 것을 특징으로 하는 시멘틱 기반의 이미지 검색 방법.
    Figure pat00009

    (wviy는 상기 질의 이미지와 상기 복수의 이미지 중 이미지 y가 갖는 시멘틱 개념 i에 대한 가중치 벡터,
    viy는 상기 질의 이미지와 상기 복수의 이미지 중 이미지 y가 갖는 시멘틱 개념 i에 대한 개념 발생 벡터,
    xy는 상기 질의 이미지와 상기 복수의 이미지 중 이미지 y에 연결되는 에지 라인의 수,
    E는 상기 질의 이미지 및 상기 복수의 이미지의 총 수)
  10. 제9항에 있어서,
    상기 제5 단계는,
    아래의 수학식을 이용하여, 상기 질의 이미지에 대한 시멘틱 그래프와 상기 복수의 이미지에 대한 시멘틱 그래프의 유사도를 결정하는 것을 특징으로 하는 시멘틱 기반의 이미지 검색 방법.
    Figure pat00010

    (p는 상기 이미지, q는 상기 질의 이미지,
    wviy는 상기 질의 이미지와 상기 복수의 이미지 중 이미지 y가 갖는 시멘틱 개념 i에 대한 가중치 벡터,
    pi는 상기 이미지가 갖는 시멘틱 개념 i,
    qi는 상기 질의 이미지가 갖는 시멘틱 개념 i)
KR1020110055512A 2011-06-09 2011-06-09 시멘틱 기반의 이미지 검색 방법 KR101142163B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110055512A KR101142163B1 (ko) 2011-06-09 2011-06-09 시멘틱 기반의 이미지 검색 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110055512A KR101142163B1 (ko) 2011-06-09 2011-06-09 시멘틱 기반의 이미지 검색 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020090076704A Division KR20110019117A (ko) 2009-08-19 2009-08-19 시멘틱 기반의 이미지 검색 방법

Publications (2)

Publication Number Publication Date
KR20110085951A true KR20110085951A (ko) 2011-07-27
KR101142163B1 KR101142163B1 (ko) 2012-05-03

Family

ID=44922609

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110055512A KR101142163B1 (ko) 2011-06-09 2011-06-09 시멘틱 기반의 이미지 검색 방법

Country Status (1)

Country Link
KR (1) KR101142163B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102201390B1 (ko) * 2019-09-18 2021-01-08 주식회사 카카오브레인 이미지 검색 방법 및 장치
KR20220041319A (ko) * 2020-09-25 2022-04-01 엔에이치엔 주식회사 딥러닝 기반 상품검색 방법 및 시스템

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102166117B1 (ko) 2019-01-31 2020-10-15 연세대학교 산학협력단 시멘틱 매칭 장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100895481B1 (ko) * 2007-05-03 2009-05-06 인하대학교 산학협력단 다중 클래스 ｓｖｍ을 이용한 영역 기반 이미지 검색 방법
KR20110019117A (ko) * 2009-08-19 2011-02-25 인하대학교 산학협력단 시멘틱 기반의 이미지 검색 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102201390B1 (ko) * 2019-09-18 2021-01-08 주식회사 카카오브레인 이미지 검색 방법 및 장치
KR20220041319A (ko) * 2020-09-25 2022-04-01 엔에이치엔 주식회사 딥러닝 기반 상품검색 방법 및 시스템
US12118765B2 (en) 2020-09-25 2024-10-15 Nhn Corporation Method and system for product search based on deep-learning

Also Published As

Publication number Publication date
KR101142163B1 (ko) 2012-05-03

Similar Documents

Publication Publication Date Title
CN101551823B (zh) 一种综合多特征图像检索方法
US7925650B2 (en) Image management methods, image management systems, and articles of manufacture
CN102073748B (zh) 一种基于视觉关键词的遥感影像语义检索方法
Xiao et al. Efficient shadow removal using subregion matching illumination transfer
US8254678B2 (en) Image segmentation
CN110188217A (zh) 图像查重方法、装置、设备和计算机可读储存介质
AU2018202767A1 (en) Data structure and algorithm for tag less search and svg retrieval
CN108334642A (zh) 一种相似头像检索系统
CN103971113A (zh) 图像的识别方法、电子装置与计算机程序产品
CN105404657A (zh) 一种基于cedd特征和phog特征的图像检索方法
CN114332889A (zh) 文本图像的文本框排序方法和文本图像的文本框排序装置
Chang et al. Using visual features to design a content-based image retrieval method optimized by particle swarm optimization algorithm
KR20110019117A (ko) 시멘틱 기반의 이미지 검색 방법
CN113051984A (zh) 视频拷贝检测方法和装置、存储介质和电子装置
CN107704509B (zh) 一种联合稳定区域与深度学习的重排序方法
CN113988147A (zh) 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置
Reta et al. Color uniformity descriptor: An efficient contextual color representation for image indexing and retrieval
KR101142163B1 (ko) 시멘틱 기반의 이미지 검색 방법
JP6387026B2 (ja) 書籍探索装置、方法及びプログラム
CN108304588B (zh) 一种基于k近邻和模糊模式识别的图像检索方法及系统
CN110334581A (zh) 一种多源遥感影像变化检测方法
CN109299295A (zh) 蓝印花布图像数据库搜索方法
CN110019898A (zh) 一种动漫图像处理系统
Worring et al. Interactive retrieval of color images
JP6387028B2 (ja) 探索書籍表示装置、方法及びプログラム

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150216

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160404

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee