KR20000075161A

KR20000075161A - 다수개의 영역특징정보를 이용한 이미지 검색 방법

Info

Publication number: KR20000075161A
Application number: KR1019990019607A
Authority: KR
Inventors: 김현준
Original assignee: 구자홍; 엘지전자 주식회사
Priority date: 1999-05-29
Filing date: 1999-05-29
Publication date: 2000-12-15
Also published as: US6658168B1; KR100346259B1

Abstract

본 발명은 내용기반 이미지 검색 시스템에 있어서, 특히 이미지의 전체영역을 다수개의 서브영역 특징정보로 표현하여 이미지 검색을 수행하기 위한 이미지 검색 방법에 관한 것이다.

종래 기술에서는 이미지의 각 서브영역의 칼라정보를 표현하고자 할 때 모든 픽셀에 대한 평균칼라값과 같은 하나의 값으로 서브영역의 칼라정보를 표현하거나, 서브영역에 존재하는 모든 픽셀의 칼라를 칼라 히스토그램으로 구성하는 등의 다수개의 칼라정보로 서브영역 정보를 표현하였다. 그러나 전자의 방법은 서브영역내에 여러 가지의 칼라가 존재할 경우에는 하나의 대표칼라값으로 서브영역정보를 표현하기 어려워 검색 성능의 저하가 발생하며, 후자의 방법은 다수개의 칼라정보를 사용하므로 검색 시간이 오래 걸리는 문제점이 있었다.

본 발명에서는 이미지를 서브영역으로 분할한 후 각 서브영역별로 다수개의 특징정보 즉, 대표칼라와 대표칼라에 대한 신뢰도값, 다수의 서브영역 주요칼라와 각 주요칼라의 빈도수, 칼라특징정보 이외의 에지방향성분과 같은 텍스쳐정보를 구한 다음, 대표칼라에 대한 신뢰도값에 따라서 서로 다른 특징정보를 이용해 이미지 검색을 수행하여 이미지 검색 시스템의 검색 성능을 향상시킬 수 있도록 한 것이다.

Description

다수개의 영역특징정보를 이용한 이미지 검색 방법{Image retrieval method using multiple features per image sub region}

본 발명은 내용기반 이미지 검색 시스템에 있어서, 특히 이미지를 서브영역으로 분할하고, 분할된 각각의 서브영역에 대해서 다수개의 특징정보 즉, 대표칼라와 대표칼라에 대한 신뢰도값, 다수의 서브영역 주요칼라와 각 주요칼라의 서브영역내 빈도수, 텍스쳐정보와 같은 칼라 특징정보 이외의 영역특징정보를 추출한 후, 상기 추출된 대표칼라의 신뢰도값에 따라서 서로 다른 특징정보를 이용해 이미지간 유사도 검색을 수행함으로써, 이미지 검색 시스템의 검색 성능을 향상시킬 수 있도록 한 다수개의 영역특징정보를 이용한 이미지 검색 방법에 관한 것이다.

종래의 이미지 검색 시스템에서는 이미지를 서브영역으로 분할한 후 분할된 각각의 서브영역을 다시 픽셀(pixel)단위로 분할하여 모든 픽셀에 대한 평균칼라값 등의 하나의 대표칼라값으로 서브영역 정보를 표현하였다.

이후, 상기와 같이 표현된 서브영역 정보를 이용하여 참조 이미지와 검색대상 이미지간 매칭(matching)을 통해서 유사도 검색을 수행하였다.

그러나, 상기와 같은 이미지 검색 방법에서는 서브영역에 여러 가지의 칼라가 존재할 경우 이미지 정보를 하나의 대표칼라값으로 표현하기가 어려워 검색성능의 저하가 발생하는 문제점이 있었다.

또 다른 종래 이미지 검색 방법으로, 서브영역에 존재하는 모든 픽셀의 칼라를 칼라 히스토그램과 같은 다수의 값으로 구성하여 이를 서브영역 이미지 정보로 이미지 표현해 이미지 검색을 수행하였다.

그러나, 상기와 같이 칼라 히스토그램과 같은 다수개의 칼라값을 이용하는 이미지 검색 방법에서는 칼라 히스토그램이 n차원으로 이루어져 있다면 n차원을 이루는 각각의 요소수만큼을 비교해야 하므로 데이타의 양이 많아져 검색시간이 오래 걸리고, 또한 칼라 히스토그램은 서브영역의 칼라들간의 섞임정도를 표현하지 못하는 문제점이 있었다.

본 발명에서는 이미지를 이미지의 공간적 정보를 반영하기 위하여 특별한 세그멘테이션(Segmentation) 방법이 필요하는 않는 그리드(Grid)영역으로 분할하거나 또는 오브젝트(Object) 기반 등의 방법으로 영역 분할한 후 각각의 서브영역에 대해서 다수개의 특징정보 즉, 대표칼라와 대표칼라에 대한 신뢰도값, 다수의 서브영역 주요칼라와 각 주요칼라의 빈도수, 텍스트정보와 같은 칼라특징정보 외의 영역특징정보를 구한 다음, 대표칼라에 대한 신뢰도값에 따라서 서로 다른 특징정보를 이용해 이미지 검색을 수행하여 이미지 검색 시스템의 검색 성능을 향상시킬 수 있도록 한 것이다.

도 1은 본 발명을 적용한 이미지 검색 방법의 실시예를 나타낸 플로우챠트.

도 2는 본 발명에 있어서 이미지의 그리드영역 정보를 대표칼라와 대표칼라에 대한 신뢰도값으로 표현한 일예를 나타낸 도면.

도 3은 본 발명에 있어서 이미지의 그리드영역 정보를 히스토그램으로 표현한 일예를 나타낸 도면.

도 4는 본 발명에 있어서 이미지의 그리드영역 정보를 텍스쳐정보로 표현한 일예를 나타낸 도면.

본 발명 다수개의 영역특징정보를 이용한 이미지 검색 방법은 이미지를 서브영역으로 분할한 후 분할된 각각의 서브영역에 대해서 대표칼라와 대표칼라에 대한 신뢰도값, 다수의 서브영역 주요칼라와 각 주요칼라의 빈도수, 칼라정보 이외의 다른 영역특징정보를 추출하는 제 1과정과, 상기 추출된 서브영역에 대한 대표칼라의 신뢰도값을 일정 임계치와 비교하는 제 2과정과, 비교결과 서브영역에 대한 대표칼라의 신뢰도값이 일정 임계치보다 높으면 대표칼라값을 이용해 유사도 검색을 수행하고, 대표칼라의 신뢰도값이 일정 임계치보다 낮으면 다수의 서브영역 주요칼라와 각 주요칼라의 빈도수, 칼라정보 이외의 다른 영역특징정보를 이용해 유사도 검색을 수행하는 제 3과정으로 진행됨을 특징으로 한다.

이하, 본 발명의 작용효과를 설명하면 다음과 같다.

먼저, 이미지를 임의의 모양으로 영역 분할한 후 분할된 각각의 서브영역에 대해서 대표칼라와 대표칼라의 신뢰도값, 다수의 서브영역 주요칼라와 각 주요칼라의 빈도수, 칼라 정보 이외의 다른 영역특징정보를 구한다.Color

이때, 이미지의 영역 분할시 이미지는 특별한 세그멘테이션(Segmentation) 방법이 필요하는 않는 그리드(Grid)영역으로 분할하거나 또는 오브젝트(Object) 기반 등의 방법으로 영역 분할할 수 있다.

그리고, 서브영역의 대표칼라값은 서브영역을 일정크기(n×m;n,m은 0일 수도 있음)의 평균 필터링을 거쳐 평균 칼라값으로 구할 수 있고, 다수의 서브영역 주요칼라와 각 주요칼라의 빈도수는 히스토그램으로 구할 수 있으며, 칼라정보 이외의 다른 영역특징정보로는 에지방향 성분과 같은 텍스쳐정보로 구할 수 있다.

이때, 서브영역의 대표칼라와 대표칼라의 신뢰도값, 다수의 서브영역 주요칼라와 각 주요칼라의 빈도수 즉, 서브영역의 칼라정보(Color＿in Subregion＿R)를 수학식으로 표현하면 다음과 같다.

Color＿in Subregion＿R={RRC, RRCS, N, {(Ci,Pi)｜1≤i≥No.＿of＿Colors ＿in＿image}}

여기서, RRC=(R,G,B);대표칼라값

RRCS=대표칼라값의 신뢰도(Confidence measure of RRC)

N=[The number of dominant colors(주요칼라의 수)] i.e. N=Size{(Ci,Pi)｜1≤i≥No.＿of＿Colors＿in＿image}}

Ci=[ith dominant color(i번째 주요칼라)]

Pi=[Frequency of the ith dominant color(i번째 주요칼라의 빈도수)]

이때, 대표칼라값(RRC)을 {(Ci,Pi)｜1≤i≥No.＿of＿Colors＿in＿image}로부터 쉽게 구할 수 있을 경우 대표칼라값은 특징정보 추출시 구하지 않고 검색시 바로 계산하여 사용할 수 있다.

이와같이, 서브영역에 대해서 대표칼라와 대표칼라에 대한 신뢰도값, 다수의 서브영역 주요칼라와 각 주요칼라의 빈도수, 칼라정보외의 다른 영역특징정보를 추출한 다음에는 추출된 서브영역에 대한 대표칼라의 신뢰도값을 일정 임계치와 비교한다.

비교결과 서브영역에 대한 대표칼라의 신뢰도값이 일정 임계치보다 높으면 대표칼라값만을 이용해 참조 이미지와 검색대상 이미지간 유사도 검색을 수행하고, 대표칼라의 신뢰도값이 일정 임계치보다 낮으면 다수의 서브영역 주요칼라와 각 주요칼라의 빈도수, 칼라정보 이외의 다른 영역특징정보를 이용해 참조 이미지와 검색대상 이미지간 유사도 검색을 수행함으로써, 보다 정확한 이미지 검색이 이루어질 수 있다.

도 1은 본 발명을 적용한 이미지 검색 방법의 실시예를 나타낸 것으로,

이미지를 가로 세로 일정비율 즉, 그리드영역(Grid region)으로 분할한 다음 그리드영역을 다시 셀(Cell)단위로 분할하여 각각의 셀에 대해서 대표칼라(C)와 대표칼라에 대한 신뢰도(S)값, 히스토그램(H), 에지(Edge)방향 성분과 같은 텍스쳐(Texture)정보를 추출한다.

도 2는 이미지를 4×3 그리드영역으로 분할한 후 분할된 각각의 그리드영역정보를 대표칼라(C00,C01,C02,…)와 대표칼라에 대한 신뢰도(S00,S01,S02,…)값으로 표현한 것이고, 도 3은 그리드영역 정보를 히스토그램(H00,H01,H02,…)으로 표현한 것이며, 도 4는 그리드영역 정보를 텍스쳐(Texture)정보로 표현한 일예를 나타낸 것이다.

이와같이, 그리드영역의 각 셀에 대해서 대표칼라와 대표칼라에 대한 신뢰도값, 히스토그램, 텍스쳐정보가 추출되면, 각 셀에 대한 대표칼라의 신뢰도(S)값을 일정 임계치(Threshold)값과 비교한다.

이때, 셀에 대한 대표칼라의 신뢰도값이 일정 임계치보다 높으면 대표칼라값(C)을 신뢰할 수 있는 정보로 판단하여 참조 이미지와 검색대상 이미지간 그리드 매칭을 대표칼라값을 이용하여 다음과 같은 식으로 유사도 검색을 수행한다.

Grid＿Sim(Ir,It) = ∑_{for all m,n}〔Cell＿Sim(m,n,Ir,It)〕

Cell＿Sim(m,n,Ir,It) = C olor＿S im(Cmn＿Ir,Cmn＿It)

여기서, Ir은 참조 이미지, I t는 검색대상 이미지,

Grid＿S im은 이미지 그리드간 유사도(0∼1의 값),

Cell＿S im은 이미지 그리드의 셀간 유사도(0∼1의 값),

C olor＿S im은 이미지 그리드의 셀간 칼라유사도(0∼1의 값)로서, 두 셀의 칼라는 칼라 색좌표공간에서 두 점으로 표현되고, 이 두 점간의 거리가 멀어질수록 칼라 유사도는 낮아져 칼라 유사도는 두 점간의 거리에 반비례하며,

m,n은 그리드의 가로셀, 세로셀 개수,

Cmn＿Ir은 참조 이미지 그리드의 m,n번째 셀의 대표칼라값,

Cmn＿It는 검색대상 이미지 그리드의 m,n번째 셀의 대표칼라값이다.

상기 수식에서와 같이, 참조 이미지 그리드의 각 셀에 대한 대표칼라의 신뢰도값(C)이 일정 임계치보다 높으면(Smn＿Ir ＞Threshold;Smn＿Ir은 참조 이미지 그리드의 m,n번째 셀의 대표칼라 신뢰도값) 참조 이미지와 검색대상 이미지간의 유사도는 참조 이미지와 검색대상 이미지 그리드의 셀간 유사도 측정값의 총합이 된다.

따라서, 참조 이미지와 검색대상 이미지의 그리드간 유사도값이 높을수록 참조 이미지와 검색대상 이미지는 유사하다.

한편, 참조 이미지 그리드의 셀에 대한 대표칼라의 신뢰도(S)값이 일정 임계치(Threshold)보다 낮으면 대표칼라값(C)을 신뢰할 수 없는 정보로 판단하여 참조 이미지와 검색대상 이미지간 그리드 매칭을 칼라 히스토그램과 에지방향성분(텍스쳐정보)을 이용하여 다음과 같은 식으로 유사도 검색을 수행한다.

Grid＿Sim(Ir,It) = ∑_{for all m,n}〔Cell＿Sim(m,n,Ir,It)〕

Cell＿Sim (m,n,Ir,It)

AxHisto＿Sim(Hmn＿Ir,Hmn＿It)+BxTex＿Sim(Emn＿Ir,Emn＿It)

여기서, Grid＿Sim은 이미지 그리드간의 유사도(0∼1의 값),

Cell＿Sim은 이미지 그리드의 셀간 유사도(0∼1의 값),

Histo＿Sim은 이미지 그리드간 히스토그램의 유사도(0∼1의 값)(예로서 히스토그램의 인터섹션값(Intersection),

Tex＿Sim은 이미지 그리드간 텍스쳐성분간의 유사도(0∼1의 값),

Hmn＿Ir은 참조 이미지 그리드의 m,n번째 셀의 히스토그램,

Hmn＿It는 검색대상 이미지 그리드의 m,n번째 셀의 히스토그램,

Emn＿Ir은 참조 이미지 그리드의 m,n번째 셀의 에지방향성분,

Emn＿It는 검색대상 이미지 그리드의 m,n번째 셀의 에지방향성분,

A,B는 Histo＿Sim과 Tex＿Sim의 가중치(Weight)값이다.

상기 수식에서와 같이, 참조 이미지 그리드의 각 셀에 대한 대표칼라의 신뢰도값이 일정 임계치보다 낮으면(Smn＿Ir ＜Threshold;Smn＿Ir은 참조 이미지 그리드의 m.n번째 셀의 대표칼라의 신뢰도값) 참조 이미지와 검색대상 이미지의 그리드간 유사도는 참조 이미지와 검색대상 이미지 그리드의 셀간 칼라 히스토그램의 유사도와 텍스쳐정보의 유사도값을 합한 값이 최종적으로 참조 이미지와 검색대상 이미지의 유사도값이 된다.

그리고, 본 발명에서는 빠른 이미지 검색을 수행하고자 할 경우에는 대표칼라와 대표칼라의 신뢰도값만을 이용하여 다음과 같은 식으로 참조이미지와 검색대상 이미지의 그리드간 유사도 검색을 수행한다.

Grid＿Sim(Ir,It) = ∑_{for all m,n}〔Cell＿Sim(m,n,Ir,It)〕

Cell＿Sim(m,n,Ir,It) =

I=1-｜Smn＿Ir-Smn＿It｜

여기서, Grid＿Sim은 이미지 그리드간의 유사도(0∼1의 값),

Cell＿Sim은 이미지 그리드의 셀간 유사도(0∼1의 값),

Color＿Sim은 이미지 그리드의 셀간 칼라유사도(0∼1의 값).

Cmn＿Ir은 참조 이미지 그리드의 m,n번째 셀의 대표칼라값,

Cmn＿It는 검색대상 이미지 그리드의 m,n번째 셀의 대표칼라값,

Smn＿Ir은 참조 이미지 그리드의 m,n번째 셀의 대표칼라 신뢰도값.

Smn＿It은 참조 이미지 그리드의 m,n번째 셀의 대표칼라 신뢰도값,

alpha , beta 는 가중치값(Weight)이다.

상기의 수식에서와 같이, 빠른 이미지 검색시에는 참조 이미지와 검색대상 이미지의 그리드간 유사도 측정은 참조 이미지와 검색대상 이미지 그리드의 셀간 대표칼라의 유사도값과 참조 이미지와 검색대상 이미지 그리드의 셀간 대표칼라의 신뢰도값을 통해서 구해진다.

상기에서 설명한 바와같이, 본 발명에서는 이미지의 각 서브영역 대표칼라 신뢰도값이 신뢰할 수 있는 정보로 판별되면 대표칼라값을 이용해 참조 이미지와 검색대상 이미지간 유사도 검색을 수행하고, 신뢰할 수 없는 정보로 판별되면 다수의 서브영역 주요칼라와 각 주요칼라의 빈도수, 칼라정보 이외의 다른 영역특징정보를 이용해 참조 이미지와 검색대상 이미지간 유사도 검색을 수행하여 보다 정밀한 유사도 검색을 수행할 수 있어 이미지 검색 시스템의 검색 성능을 향상시킬 수 있다.

또한, 서브영역 대표칼라와 대표칼라의 신뢰도값 정보만을 이용해 빠른 이미지 검색을 수행할 수 있어 검색 속도를 향상시킬 수 있는 효과가 있다.

Claims

이미지를 서브영역으로 분할한 후 분할된 각각의 서브영역에 대해서 대표칼라와 대표칼라에 대한 신뢰도값, 다수의 서브영역 주요칼라와 각 주요칼라의 빈도수, 칼라정보 이외의 다른 영역특징정보를 추출하는 제 1과정과, 상기 추출된 서브영역에 대한 대표칼라의 신뢰도값을 일정 임계치와 비교하는 제 2과정과, 비교결과 서브영역에 대한 대표칼라의 신뢰도값이 일정 임계치보다 높으면 대표칼라값을 이용해 유사도 검색을 수행하고, 대표칼라의 신뢰도값이 일정 임계치보다 낮으면 다수의 서브영역 주요칼라와 각 주요칼라의 빈도수, 칼라정보 이외의 다른 영역특징정보를 이용해 유사도 검색을 수행하는 제 3과정으로 진행됨을 특징으로 하는 다수개의 영역특징정보를 이용한 이미지 검색 방법.
제 1항에 있어서, 이미지 영역을 임의의 모양으로 분할할 수 있음을 특징으로 하는 다수개의 영역특징정보를 이용한 이미지 검색 방법.
제 1항에 있어서, 이미지 영역을 그리드영역으로 분할할 수 있음을 특징으로 하는 다수개의 영역특징정보를 이용한 이미지 검색 방법.
제 1항에 있어서, 이미지 영역을 오브젝트 기반으로 분할할 수 있음을 특징으로 하는 다수개의 영역특징정보를 이용한 이미지 검색 방법.
제 1항에 있어서, 대표칼라값은 서브영역을 일정크기(n×m;n,m은 0일 수도 있음)의 평균 필터링을 거쳐 평균 칼라값으로 구함을 특징으로 하는 다수개의 영역특징정보를 이용한 이미지 검색 방법.
제 1항에 있어서, 다수의 서브영역 칼라와 각 칼라의 빈도수를 히스토그램으로 구함을 특징으로 하는 다수개의 영역특징정보를 이용한 이미지 검색 방법.
제 1항에 있어서, 칼라특징정보 이외의 영역특징정보로 텍스쳐정보를 추출함을 특징으로 하는 다수개의 영역특징정보를 이용한 이미지 검색 방법.
제 1항에 있어서, 서브영역의 대표칼라값을 미리 계산하여 저장해 두지 않고 검색시 다수의 서브영역 주요칼라와 각 주요칼라의 빈도수로부터 구함을 특징으로 하는 다수개의 영역특징정보를 이용한 이미지 검색 방법.
이미지를 서브영역으로 분할한 후 분할된 각각의 서브영역에 대해서 대표칼라와 대표칼라에 대한 신뢰도값을 추출한후 대표칼라와 대표칼라의 신뢰도값 정보를 이용해 유사도 검색을 수행함을 특징으로 하는 다수개의 영역특징정보를 이용한 이미지 검색 방법.