KR100647337B1 - 지역 분할 템플릿을 이용한 카테고리 기반 사진 클러스터링방법 및 시스템 - Google Patents

Abstract

본 발명은 지역 분할 템플릿을 이용한 카테고리 기반 사진 클러스터링 방법 및 시스템에 관한 것으로서, 그 방법은 (a) 사진의 지역 템플릿을 이용하여 입력 사진을 지역으로 분할하는 단계; (b) 그 분할된 지역별로 사진이 포함하고 있는 지역적 의미 개념을 모델링하는 단계; (c) 모델링으로부터 각 지역의 주 개념(dominant concept)들을 추출하는 단계; (d) 주 개념들의 히스토그램을 생성하는 단계; 및 (e) 그 히스토그램으로부터 사진이 포함하고 있는 카테고리를 결정하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 의하면, 사진에 저장된 카메라 정보, 파일 정보와 같이 기본적으로 사진에서 얻을 수 있는 정보뿐만 아니라, 사용자의 선호도 및 사진의 내용에서 색상, 질감, 모양 등의 내용 기반 특징값 정보를 동시에 사용하여 대용량의 사진을 효과적으로 카테고리화 함으로써, 사진 데이터를 보다 빠르고 효과적으로 앨범화할 수 있다.

Description

지역 분할 템플릿을 이용한 카테고리 기반 사진 클러스터링 방법 및 시스템 {Method and apparatus for category-based photo clustering using photographic region templates of digital photo}

도 1은 본 발명의 일 실시예에 따라 지역분할 템플릿을 이용한 카테고리 기반 사진 클러스터링 시스템의 구성을 블록도로 도시한 것이다.

도 2는 본 발명의 일 실시예에 따른 사진의 지역 분할 템플릿을 도시한 것이다.

도 3은 도 1의 지역 분할부에서 수행하는 사진 분할의 예를 도시한 것이다.

도 4는 도 1의 지역의미개념 모델링부의 보다 상세한 구성을 블록도로 도시한 것이다.

도 5는 지역 개념을 분할된 지역의 본체(entity) 개념과 본체 개념의 속성을 표시하는 속성(attribute) 개념의 일 실시예를 나타내는 표이다.

도 6은 본 발명의 일 실시예에 따라 지역분할 템플릿을 이용한 카테고리 기반 사진 클러스터링 방법을 흐름도로 도시한 것이다.

도 7은 지역적 의미개념 모델링을 보다 상세히 설명하는 흐름도이다.

도 8은 분류기의 학습과정에 대한 일예를 흐름도로 도시한 것이다.

도 9는 positive example 벡터와 negative example 벡터 및 문턱값의 일예를 도시한 것이다.

도 10은 k개의 내용기반 특징과 T개의 지역 및 개념 히스토그램을 도시한 것이다.

도 11은 로컬 개념에 대한 빈도수를 도시한 것이다.

도 12는 룰 기반 히스토그램 모델을 이용하여 사진 전체의 카테고리를 결정하는 방법에 대한 일예를 흐름도로 도시한 것이다.

도 13은 사진의 카테고리 결정을 위한 학습기반 히스토그램 모델을 도시한 것이다.

본 발명은 디지털 사진 앨범에 관한 것으로서, 특히 지역 분할 템플릿을 이용한 카테고리 기반 사진 클러스터링 방법 및 시스템에 관한 것이다.

일반적인 디지털 사진 앨범은 사용자가 촬영한 사진을 디지털 카메라나 메모리 카드 등으로부터 사용자의 로컬 저장 장치로 옮겨오고, 사진 등을 컴퓨터에서 관리하기 위한 것이다. 일반적으로 사용자들은 사진 앨범을 이용하여 여러 사진들을 시간 순 혹은 사용자가 임의로 만든 사진 카테고리로 인덱싱(indexing)하여 이에 맞도록 브라우징 하거나 다른 사용자들과 사진을 공유한다.

특히, 사진을 카테고리별로 클러스터링하는 것은 사진 앨범의 주요한 기능 가운데 하나이다. 카테고리화는 사용자가 원하는 사진을 검색하는 과정에서, 검색 의 범위를 줄여줌으로써, 검색 수행 속도뿐만 아니라 검색의 정확도를 향상시킬 수 있도록 한다. 뿐만 아니라, 사진을 사용자가 원하는 카테고리로 자동으로 분류함으로써, 사용자가 많은 양의 사진을 앨범으로 관리하는 일을 손쉽게 해준다.

종래의 카테고리화 방법은 대부분 텍스트에 기반한 것으로, 사람이 일일이 텍스트로 기술한 메타 데이터를 이용하여 사진을 카테고리화 하였다. 그러나 이 방법은 사진의 양이 많을 경우, 사진의 카테고리 정보를 사람이 일일이 기술한다는 것이 거의 불가능하다는 점과, 텍스트 정보가 사진의 의미 개념을 기술하는데 효과적이지 못하다는 점에서 유용하지 못하다. 그러므로 사진의 내용에 기반하여 추출된 색상, 모양, 질감 등의 내용기반 특징값(content-based features)을 이용하여 멀티미디어 컨텐츠를 카테고리화 하는 방법이 제안되고 있다.

사진 영상의 내용기반 특징값을 이용하여 카테고리별로 사진을 클러스터링하기 위한 연구들이 수행되고 있다. 그러나 사진이 다양한 의미 개념을 포함하고 있기 때문에, 다중 의미 개념들을 자동으로 추출하는 일은 여전히 쉬운 일이 아니다. 이러한 문제점을 해결하기 위해 사진(영상)에서 주된 객체를 추출하여, 해당 객체의 의미에 따라 사진을 인덱싱(indexing) 혹은 카테고리화하는 연구들이 수행되었다. 이는 사진이 포함하고 있는 다양한 의미 개념을 추출하는 일이 매우 어려운 일이기 때문에, 사진에 포함된 주된 의미 개념만 추출하는 방법이다.

특히 사진 내에 포함된 의미 객체들 가운데 주된 객체(main subject)를 추출하여, 해당 객체를 식별 및 인덱싱하는 연구들이 주로 수행되었다. 즉, 사진을 카테고리화하는데 있어, 사진에 포함된 객체를 분리(segmentation)하는 연구와, 분리 된 객체를 인덱싱 혹은 카테고리화하는 연구가 수행되었다.

그러나, 대부분의 사진 영상의 경우, 많은 의미 개념을 포함하고 있기 때문에, 주된 객체 추출 방법에 의한 카테고리화는 사진이 포함하고 있는 그 밖의 의미 개념들을 놓치는 결과를 낳는다.

일반적으로 사진은 전경(foreground)와 배경(background)로 나뉜다. 사진 데이터를 카테고리화하는데 있어서, 전경이 포함하고 있는 의미 개념도 중요하지만, 배경이 포함하고 있는 의미 개념 또한 중요하다. 따라서, 사진 데이터를 카테고리화하는 방법으로, 객체를 분리하는 방법보다는 전경 및 배경의 개념을 동시에 고려함으로써, 사진이 포함하고 있는 다양한 의미 개념을 추출하는 방법이 필요하다.

본 발명이 이루고자 하는 기술적 과제는 사진이 포함하고 있는 다양한 의미 개념을 사진의 내용기반 특징값에 기반하여 추출하여 사진을 다양한 카테고리로 자동으로 분류하기 위해, 사진 데이터를 효과적으로 지역 분할하여 각 지역의 의미 개념을 추출하고 각 지역의 의미 개념을 효율적으로 병합하여 사진이 포함하고 있는 의미 개념을 카테고리화하는, 지역 분할 템플릿을 이용한 카테고리 기반 사진 클러스터링 방법 및 시스템을 제공하는 것이다.

상기 기술적 과제를 이루기 위한 본 발명에 의한 디지털 사진 앨범의 카테고리 기반 클러스터링 방법은, (a) 사진의 지역 템플릿을 이용하여 입력 사진을 지역으로 분할하는 단계; (b) 상기 분할된 지역별로 사진이 포함하고 있는 지역적 의미 개념을 모델링하는 단계; (c) 상기 모델링으로부터 각 지역의 주 개념(dominant concept)들을 추출하는 단계; (d) 상기 주 개념들의 히스토그램을 생성하는 단계; 및 (e) 상기 히스토그램으로부터 사진이 포함하고 있는 카테고리를 결정하는 단계를 포함하는 것을 특징으로 한다.

상기 (a)단계의 지역 템플릿은 10개의 지역분할 템플릿이며, 입력된 사진이 가로 w, 세로 h의 크기를 갖는다면, 각각의 지역 분할 템플릿의 좌표는 다음과 같은 수학식2에 의해 표현된다.

[수학식 2]

(여기서, left(t)는 t번째 템플릿의 좌측의 x축 좌표를 나타내며, top(t)는 t번째 템플릿의 좌측 상단의 y축 좌표를 나타내며, right(t)는 t번째 템플릿의 우측의 x축 좌표를 나타내며, bottom(t)는 t번째 템플릿의 우측 하단의 y축 좌표를 나타낸다.) 그리고 상기 10개의 템플릿의 좌표는 수학식3에 의해 표현됨이 바람직하다.

[수학식 3]

상기 (b)단계는 (b1) 상기 분할된 각 지역별로 내용기반 특징값을 추출하는 단계; 및 (b2) 지역 의미 개념과 상기 지역별 내용기반 특징값과의 상관관계를 나타내는 지역개념 반응값을 지역 의미 개념별로 구하는 단계를 포함함이 바람직하다. 상기 (b1)단계의 내용기반 특징값 추출은 영상의 색상, 질감, 모양 정보를 이용하는 것이 바람직하다. 상기 (b1)단계의 내용기반 특징값 추출은 MPEG-7 기술자(descriptors)를 사용하여 특징값을 추출함이 바람직하다.

상기 (b2)단계의 지역의미 개념은 사진이 포함하고 있는 의미 개념의 본체(entity)를 표시하는 항목(Lentity)과, 상기 의미 개념의 본체의 속성(attribute)을 표시하는 항목(Lattribute)으로 구성됨이 바람직하다. 상기 (b)단계의 지역적 의미 개념 모델링은 이산 부스트(Discrete Boost) 알고리즘을 이용하여, 지역 분할된 입력 사진의 지역 개념을 모델링함이 바람직하다.

상기 이산 부스트 알고리즘을 적용함에 있어 양의 예 벡터(positive example vector)와 음의 예 벡터(negative example vector)의 각 요소별 평균값을 이용하여 문턱값의 이동범위를 추정한 후 부스팅 기법을 통해 요소별 가중치와 문턱값을 학습함이 바람직하다.

상기 (c)단계는 각 지역별로 구해진 로컬 개념 반응값을 내림차순으로 분류하여 상기 반응값의 크기에 따라 주 개념(dominant concept)들을 추출함이 바람직하다. (e)단계의 카테고리 결정은 룰 기반 히스토그램 모델 또는 학습기반 히스토그램 모델을 사용하여 수행됨이 바람직하다.

상기 기술적 과제를 이루기 위한 본 발명에 의한 디지털 사진 앨범의 카테고 리 기반 클러스터링 시스템은, 사진의 지역 템플릿을 이용하여 사진을 지역으로 분할하는 지역분할부; 상기 분할된 지역별로 사진이 포함하고 있는 지역적 의미 개념을 모델링하는 지역 의미개념 모델링부; 상기 모델링으로부터 각 지역의 주 개념(dominant concept)들을 추출하는 주개념 추출부; 상기 주 개념들의 히스토그램을 생성하는 히스토그램생성부; 및 상기 히스토그램으로부터 사진이 포함하고 있는 카테고리를 결정하는 카테고리결정부를 포함하는 것을 특징으로 한다.

그리고 상기 기재된 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.

이하, 첨부된 도면을 참조하여 본 발명의 실시 예를 상세히 설명한다. 사진의 의미 개념을 추출하기 위해, 영상을 작은 영역으로 분할하여 각각의 영역에 대한 의미 개념을 추출하는 방법이 있다. 영상을 작게 나누면 단일 의미 개념을 추출하기는 용이하나, 나누어진 영상 크기가 너무 작으면 단일 의미 개념 조차 추출하기 어렵게 될 수 있다. 즉 영상을 분할할 크기를 결정하는 일은 쉬운 일이 아니다. 따라서 사진의 의미 개념을 추출하기 위해서는 효과적인 영상 분할 방법과 분할된 영상으로부터 정확한 의미 개념을 추출하는 방법이 필요하다.

먼저, 도 1은 본 발명의 일 실시예에 따라 지역분할 템플릿을 이용한 카테고리 기반 사진 클러스터링 시스템의 구성을 블록도로 도시한 것으로서, 지역분할부(100), 지역의미개념 모델링부(120), 주개념추출부(140), 히스토그램생성부(160) 및 카테고리 결정부(180)를 포함하여 이루어진다. 그리고 상기 카테고리 기반 사진 클러스트링 시스템은 사진 입력부(100)를 더 구비함이 바람직하다.

상기 사진 입력부(105)는 디지털 카메라의 내부 메모리 장치나 휴대용 메모리 장치로부터 사진 열을 입력받는다. 사진 데이터는 일반적인 정지 영상 데이터를 기준으로 하며, 사진 데이터의 형식(format)은 JPEG, TIFF, RAW 등 임의의 이미지 데이터 형식을 포함한다. 사진 데이터의 형식이 상기 기술된 예에 한정되지는 않는다.

상기 지역분할부(100)는 사진의 지역 템플릿을 이용하여 상기 입력된 사진을 지역으로 분할한다. 도 2는 본 발명의 일 실시예에 따른 사진의 지역 분할 템플릿을 도시한 것이다. 본 발명은 사진을 도 2에서 도시한 것과 같이, 10개의 기반 템플릿으로 사진을 분할하는 것을 포함한다. 10개의 지역 분할 기반 템플릿은 다음과 같은 수학식에 의해 표현된다.

여기서, T(t)는 t번째 지역 분할 템플릿을 나타낸다.

만일, 입력된 사진 I가 가로 w, 세로 h의 크기를 갖는다면, 각각의 지역 분할 템플릿의 좌표는 다음과 같은 수학식에 의해 표현된다.

여기서, left(t)는 t번째 템플릿의 좌측의 x축 좌표를 나타내며, top(t)는 t번째 템플릿의 좌측 상단의 y축 좌표를 나타내며, right(t)는 t번째 템플릿의 우측 의 x축 좌표를 나타내며, bottom(t)는 t번째 템플릿의 우측 하단의 y축 좌표를 나타낸다. 수학식 2에 따라, 각각의 템플릿의 좌표는 아래 수학식과 같다.

도 3은 지역 분할부(100)에서 수행하는 사진 분할의 예를 도시한 것이다. 도 3에서, 각각의 분할 지역에 지역 의미 개념이 포함되었음을 볼 수 있다. 예를 들어, 첫 번째 사진의 경우, 상단에는 하늘이, 하단 좌측에는 물가가, 하단 우측에는 잔디가 포함되었음을 알 수 있다. 즉, 사진이 포함하고 있는 의미 개념 정보를 충분히 표현하고 있다.

상기 지역의미개념 모델링부(120)는 상기 분할된 지역별로 사진이 포함하고 있는 지역적 의미 개념을 모델링한다. 도 4는 상기 지역의미개념 모델링부(120)의 보다 상세한 구성을 블록도로 도시한 것으로서, 특징값 추출부(400) 및 반응값 계산부(450)을 포함한다.

상기 특징값추출부(400)는 상기 분할된 각 지역별로 내용기반 특징값을 추출 한다. 내용기반 특징값 추출은 영상의 색상, 질감 및 모양 정보를 이용할 수 있으며, 특히 MPEG-7 기술자(descriptors)를 사용하여 특징값을 추출할 수 있다.

사용된 다중의 내용 기반 특징값은 다음과 같은 수학식에 의해 표현된다.

여기서, N_f는 사용된 특징값의 개수를 나타낸다. 본 발명은 내용 기반 특징값을 추출하는 방법에 있어서 영상의 색상, 질감, 모양 정보 등을 기본으로 이용하는 것을 포함하며, 기본적으로 MPEG-7 기술자(descriptors)를 사용하여 특징값을 추출하는 방법을 포함한다. 그러나, 내용 기반 특징값을 추출하는 방법이 MPEG-7 기술자에 한정되지는 않는다.

템플릿 T에 의해 분할된 영상의 지역으로부터 추출된 다중의 내용 기반 특징값은 다음과 같은 수학식에 의해 표현된다.

본 발명은 상기 주어진 지역 기반 특징값을 기반으로 영상의 각 분할 지역이 포함하고 있는 지역 의미 개념(local semantic concept)을 모델링하는 과정을 수행하는 것을 포함한다.

이를 위해 먼저, 카테고리 기반 클러스터링의 목적 카테고리(target category)가 포함할 수 있는 지역 의미 개념들을 정의한다. 지역 의미 개념 Llocal 은 사진이 포함하고 있는 의미 개념의 본체(entity)를 표시하는 항목인 Lentity와, 의미 개념의 본체의 속성(attribute)을 표시하는 항목인 Lattribute로 구성된다. 도 5는 지역 개념을 분할된 지역의 본체(entity) 개념과 본체 개념의 속성을 표시하는 속성(attribute) 개념의 일 실시예를 나타내는 표이다.

의미 개념의 본체를 표시하는 항목 Lentity는 다음과 같은 수학식에 의해 다시 표현된다.

여기서 Lentity(e)은 e번째 본체 의미 개념을 나타내며, Ne는 정의된 본체 의미 개념의 개수를 나타낸다.

의미 개념의 속성을 표시하는 항목 Lattribute는 다음과 같은 수학식에 의해 다시 표현된다.

여기서 Lattribute(a)는 a번째 속성 의미 개념을 나타내며, Na는 정의된 속성 의미 개념의 개수를 나타낸다.

상기 기술된 지역 의미 개념 Llocal은 아래의 수학식에서와 같이 함께 표현된다.

여기서 L(l)은 l번째 의미 개념을 표시하며, 본체 의미 개념이나 속성 의미 개념이 될 수 있다.

상기 반응값계산부(450)는 지역 의미 개념과 상기 지역별 내용기반 특징값과의 상관관계를 나타내는 지역개념 반응값을 지역 의미 개념별로 계산한다. 이산 부스트(Discrete Boost) 알고리즘을 이용하여, 지역 분할된 입력 사진의 지역 개념을 모델링할 수 있다. 상기 이산 부스트 알고리즘은 양의 예 벡터(positive example vector)와 음의 예 벡터(negative example vector)의 각 요소별 평균값을 이용하여 문턱값의 이동범위를 추정한 후 부스팅 기법을 통해 요소별 가중치와 문턱값을 학습한다.

상기 주개념추출부(140)는 상기 모델링으로부터 각 지역의 주 개념(dominant concept)들을 추출하며, 구체적으로는 각 지역별로 구해진 로컬 개념 반응값을 내림차순으로 분류하여 상기 반응값의 크기에 따라 주 개념들을 추출한다.

상기 히스토그램생성부(160)는 상기 주 개념들의 히스토그램을 생성한다.

상기 카테고리 결정부(180)는 상기 히스토그램으로부터 사진이 포함하고 있는 카테고리를 결정한다. 상기 카테고리 결정은 룰 기반 히스토그램(rule based histogram) 또는 학습기반 히스토그램(trained based histogram)을 이용한다.

도 6은 본 발명의 일 실시예에 따라 지역분할 템플릿을 이용한 카테고리 기 반 사진 클러스터링 방법을 흐름도로 도시한 것으로서, 도 6을 참조하여 상기 카테고리 기반 사진 클러스터링 방법을 설명하기로 한다.

사진이 입력되면 사진의 지역 분할 템플릿을 이용하여 지역으로 분할한다(600단계). 다음으로, 상기 분할된 지역별로 사진이 포함하고 있는 지역적 의미개념을 모델링한다.(620단계) 도 7은 상기 지역적 의미개념 모델링을 보다 상세히 설명하는 흐름도이다. 상기 지역적 의미개념 모델링은 다음과 같이 이루어진다. 상기 분할된 각각의 지역들로부터 다중의 내용 기반 특징값을 추출한다.(700단계) 그리고 나서 지역의미 개념과 상기 지역별 내용기반 특징값과의 상관관계를 나타내는 지역개념 반응값을 지역 의미 개념별로 계산한다.(750단계)

상기 지역적 의미개념 모델링은 부스트 알고리즘을 이용한다. 구체적으로 Adaboost 분류기를 사용한다. 상기 분류기는 학습 데이터베이스를 구비하며 이산 부스트(Discrete Boost) 알고리즘을 사용한다. 상기 학습데이터베이스는 야경, 풍경, 건물사진 및 그 negative example영상들을 포함한다. 또한 80차원의 Edge 히스토그램과 256차원의 Scalable Color를 사용하며 상기 차원은 확장가능하다. 도 8은 상기 분류기의 학습과정에 대한 일예를 흐름도로 도시한 것으로서, 크게 양의 예(Positive example) 사진과 음의 예(negative example) 사진 입력에 대해 학습한다.

먼저 positive example 사진이 입력되면(800단계), 내용기반 특징을 추출하고(805단계), 상기 특징을 벡터화한다.(810단계) 상기 내용기반 특징은 에지 히스토그램과 scalable color가 될 수 있다. 그리고 상기 특징 벡터는 에지히스토그램 80차원, scalable color 256차원이 될 수 있다. 그리고 positive 인덱스를 설정한 후(815단계), 각 특징별 평균값을 측정한다.( 820단계)

다음으로 negative example 사진이 입력되면(825단계), 내용기반 특징을 추출하고(830단계), 상기 특징을 벡터화한다.(835단계) positive example 사진과 마찬가지로 상기 내용기반 특징은 에지 히스토그램과 scalable color가 될 수 있다. 그리고 상기 특징 벡터는 에지히스토그램 80차원, scalable color 256차원이 될 수 있다. 그리고 negative 인덱스를 설정한 후(840단계), 각 특징별 평균값을 측정한다.(845단계) 그리고 나서 Adaboost 학습을 하여(850단계), 학습 결과를 저장한다.(855단계)

이산 부스트 알고리즘은 positive example 벡터와 negative example 벡터의 각 요소별 평균값을 이용하여 문턱값(threshold)의 이동범위를 추정한 후 요소별 가중치(α)와 문턱값을 학습한다.

도 9는 positive example 벡터와 negative example 벡터 및 문턱값의 일예를 도시한 것이다. 도 9에서 화살표 상의 가로 줄은 문턱값을 나타낸다.

도 10은 k개의 내용기반 특징과 T개의 지역 및 개념 히스토그램을 도시한 것이다.

상기 지역적 의미 개념 모델링을 통해 750단계에서 각 로컬 개념에 대한 반응값이 계산되면, 지역별로 주 개념을 추출한다.(640단계) 각 지역별 주개념은 각 지역별로 로컬 개념 반응값을 내림차순으로 분류하여 상기 반응값의 크기에 따라 주 개념들을 추출하여 결정된다. 예를 들어 로컬 개념 반응값을 내림차순으로 분류 하여 제일 큰 반응값을 나타낸 로컬 개념을 기록하며, 경우에 따라서는 두 번째, 세 번째로 큰 반응값을 나타낸 로컬 개념도 기록할 수 있다.

표 1은 주개념 추출에 대한 일예를 나타낸 것이다.

상기 표 1에서 덤불이 가장 큰 반응값을 나타내고, 두 번째는 나무, 세 번째는 바위가 반응값이 크다. 따라서 첫 번째 지역은 주 개념을 덤불로 결정할 수 있다. 경우에 따라서는 두 번째, 세 번째로 큰 반응값을 주 개념들로 결정하기로 하면 나무와 바위도 주 개념으로 결정된다.

표 2는 첫 번째 지역에 대해 상위 세 개까지 고려하는 경우를 보여준다. 결국 표 2와 같이 모든 지역에 대해 상위 세 개의 주요 로컬 개념을 추출할 수 있다.

각 지역별로 주 개념이 추출되면 히스토그램을 생성한다.(660단계) 예를 들어 상기 표 2와 같이 주개념이 추출되면 그 결과를 이용하여 각 개념의 빈도수를 계산하여 도 11과 같이 히스토그램을 생성한다.

히스토그램이 생성되면, 이를 이용하여 사진이 포함하고 있는 카테고리를 결정한다.(680단계) 상기 카테고리 결정은 룰 기반 히스토그램 모델(rule based histogram model) 또는 학습 기반 히스토그램 모델(training based histogram model)을 이용한다.

도 12는 룰 기반 히스토그램 모델을 이용하여 사진 전체의 카테고리를 결정하는 방법에 대한 일예를 흐름도로 도시한 것이다. 카테고리별로 특정 규칙을 생성하여 지역이 세 개인 경우 흐름도와 같은 룰을 이용하여 사진 전체의 카테고리를 결정할 수 있다. 도 12를 참조하여 사진 전체의 카테고리 결정을 설명하기로 한다. 먼저 개념 히스토그램이 생성되면(1200단계), 동일 카테고리 지역이 3개인지 체크하여(1210단계), 3개이면 카테고리로 결정한다.(1220단계) 만일 동일 카테고리가 2 개이면(1230단계), 2개의 카테고리 반응값에 가중치를 고려하여 계산하여(1240단계), 그 결과값이 소정의 기준값보다 크면(1250단계), 카테고리로 결정하고(1220단계), 그렇지 않으면 카테고리 미분류로 결정한다.(1260단계)

도 13에 도시된 바와 같이 각 카테고리별로 히스토그램들을 모아 이를 SVM이나 Boosting등의 분류기로 학습하여 새로운 히스토그램 입력에 대해 카테고리를 결정할 수 있다.

본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터(정보 처리 기능을 갖는 장치를 모두 포함한다)가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

본 발명에 의한 디지털 사진 앨범의 카테고리 기반 클러스터링 방법 및 시스템에 의하면, 사진에 저장된 카메라 정보, 파일 정보와 같이 기본적으로 사진에서 얻을 수 있는 정보뿐만 아니라, 사용자의 선호도 및 사진의 내용에서 색상, 질감, 모양 등의 내용 기반 특징값 정보를 동시에 사용하여 대용량의 사진을 효과적으로 카테고리화 함으로써, 사진 데이터를 보다 빠르고 효과적으로 앨범화할 수 있다.

Claims (23)

1. (a) 사진의 지역 템플릿을 이용하여 입력 사진을 지역으로 분할하는 단계;

   (b) 상기 분할된 지역별로 사진이 포함하고 있는 지역적 의미 개념을 모델링하는 단계;

   (c) 상기 모델링으로부터 각 지역의 주 개념(dominant concept)들을 추출하는 단계;

   (d) 상기 주 개념들의 히스토그램을 생성하는 단계; 및

   (e) 상기 히스토그램으로부터 사진이 포함하고 있는 카테고리를 결정하는 단계를 포함하는 것을 특징으로 하는 지역분할 템플릿을 이용한 카테고리 기반 사진 클러스터링 방법.
2. 제1항에 있어서, 상기 (a)단계의 지역 템플릿은

   10개의 지역분할 템플릿이며,

   입력된 사진이 가로 w, 세로 h의 크기를 갖는다면, 각각의 지역 분할 템플릿의 좌표는 다음과 같은 수학식2에 의해 표현되며

   [수학식 2]

   

   (여기서, left(t)는 t번째 템플릿의 좌측의 x축 좌표를 나타내며, top(t)는 t번째 템플릿의 좌측 상단의 y축 좌표를 나타내며, right(t)는 t번째 템플릿의 우측의 x축 좌표를 나타내며, bottom(t)는 t번째 템플릿의 우측 하단의 y축 좌표를 나타낸다.)

   [수학식 3]

   

   상기 10개의 템플릿의 좌표는 수학식3에 의해 표현됨을 특징으로 하는 지역분할 템플릿을 이용한 카테고리 기반 사진 클러스터링 방법.
3. 제1항에 있어서, 상기 (b)단계는

   (b1) 상기 분할된 각 지역별로 내용기반 특징값을 추출하는 단계; 및

   (b2) 지역 의미 개념과 상기 지역별 내용기반 특징값과의 상관관계를 나타내는 지역개념 반응값을 지역 의미 개념별로 구하는 단계를 포함함을 특징으로 하는 지역분할 템플릿을 이용한 카테고리 기반 사진 클러스터링 방법.
4. 제3항에 있어서, 상기 (b1)단계의 내용기반 특징값 추출은

   영상의 색상, 질감, 모양 정보를 이용하는 것을 특징으로 하는 지역분할 템 플릿을 이용한 카테고리 기반 사진 클러스터링 방법.
5. 제4항에 있어서, 상기 (b1)단계의 내용기반 특징값 추출은

   MPEG-7 기술자(descriptors)를 사용하여 특징값을 추출함을 특징으로 하는 지역분할 템플릿을 이용한 카테고리 기반 사진 클러스터링 방법.
6. 제3항에 있어서, 상기 (b2)단계의 지역의미 개념은

   사진이 포함하고 있는 의미 개념의 본체(entity)를 표시하는 항목(Lentity)과, 상기 의미 개념의 본체의 속성(attribute)을 표시하는 항목(Lattribute)으로 구성됨을 특징으로 하는 지역분할 템플릿을 이용한 카테고리 기반 사진 클러스터링 방법.
7. 제1항에 있어서, 상기 (b)단계의 지역적 의미 개념 모델링은

   이산 부스트(Discrete Boost) 알고리즘을 이용하여, 지역 분할된 입력 사진의 지역 개념을 모델링함을 특징으로 하는 지역분할 템플릿을 이용한 카테고리 기반 사진 클러스터링 방법.
8. 제7항에 있어서, 상기 이산 부스트 알고리즘은

   양의 예 벡터(positive example vector)와 음의 예 벡터(negative example vector)의 각 요소별 평균값을 이용하여 문턱값의 이동범위를 추정한 후 부스팅 기 법을 통해 요소별 가중치와 문턱값을 학습함을 특징으로 하는 지역분할 템플릿을 이용한 카테고리 기반 사진 클러스터링 방법.
9. 제3항에 있어서, 상기 (c)단계는

   각 지역별로 구해진 로컬 개념 반응값을 내림차순으로 분류하여 상기 반응값의 크기에 따라 주 개념(dominant concept)들을 추출함을 특징으로 하는 지역분할 템플릿을 이용한 카테고리 기반 사진 클러스터링 방법.
10. 제9항에 있어서, (e)단계의 카테고리 결정은

    룰 기반 히스토그램 모델을 사용하여 수행됨을 특징으로 하는 지역분할 템플릿을 이용한 카테고리 기반 사진 클러스터링 방법.
11. 제9항에 있어서, 상기 (e)단계의 카테고리 결정은

    학습기반 히스토그램 모델을 사용하여 수행됨을 특징으로 하는 지역분할 템플릿을 이용한 카테고리 기반 사진 클러스터링 방법.
12. 사진의 지역 템플릿을 이용하여 사진을 지역으로 분할하는 지역분할부;

    상기 분할된 지역별로 사진이 포함하고 있는 지역적 의미 개념을 모델링하는 지역 의미개념 모델링부;

    상기 모델링으로부터 각 지역의 주 개념(dominant concept)들을 추출하는 주 개념 추출부;

    상기 주 개념들의 히스토그램을 생성하는 히스토그램생성부; 및

    상기 히스토그램으로부터 사진이 포함하고 있는 카테고리를 결정하는 카테고리결정부를 포함하는 것을 특징으로 하는 지역분할 템플릿을 이용한 카테고리 기반 사진 클러스터링 시스템.
13. 제12항에 있어서, 상기 지역분할부의 지역 템플릿은

    10개의 지역분할 템플릿이며, 입력된 사진이 가로 w, 세로 h의 크기를 갖는다면, 각각의 지역 분할 템플릿의 좌표는 다음과 같은 수학식2에 의해 표현되며

    [수학식 2]

    

    (여기서, left(t)는 t번째 템플릿의 좌측의 x축 좌표를 나타내며, top(t)는 t번째 템플릿의 좌측 상단의 y축 좌표를 나타내며, right(t)는 t번째 템플릿의 우측의 x축 좌표를 나타내며, bottom(t)는 t번째 템플릿의 우측 하단의 y축 좌표를 나타낸다.)

    [수학식 3]

    

    상기 10개의 템플릿의 좌표는 수학식3에 의해 표현됨을 특징으로 하는 지역분할 템플릿을 이용한 카테고리 기반 사진 클러스터링 시스템.
14. 제12항에 있어서, 상기 지역의미개념 모델링부는

    상기 분할된 각 지역별로 내용기반 특징값을 추출하는 특징값추출부; 및

    지역 의미 개념과 상기 지역별 내용기반 특징값과의 상관관계를 나타내는 지역개념 반응값을 지역 의미 개념별로 구하는 반응값계산부를 포함함을 특징으로 하는 지역분할 템플릿을 이용한 카테고리 기반 사진 클러스터링 시스템.
15. 제14항에 있어서, 상기 특징값 추출부의 내용기반 특징값 추출은

    영상의 색상, 질감 및 모양 정보를 이용하는 것을 특징으로 하는 지역분할 템플릿을 이용한 카테고리 기반 사진 클러스터링 시스템.
16. 제14항에 있어서, 상기 특징값 추출부의 내용기반 특징값 추출은

    MPEG-7 기술자(descriptors)를 사용하여 특징값을 추출함을 특징으로 하는 지역분할 템플릿을 이용한 카테고리 기반 사진 클러스터링 시스템.
17. 제14항에 있어서, 상기 반응값계산부의 지역의미 개념은

    사진이 포함하고 있는 의미 개념의 본체(entity)를 표시하는 항목(Lentity)과, 상기 의미 개념의 본체의 속성(attribute)을 표시하는 항목(Lattribute)으로 구성됨을 특징으로 하는 지역분할 템플릿을 이용한 카테고리 기반 사진 클러스터링 시스템.
18. 제12항에 있어서, 상기 지역의미개념 모델링부에서의 지역적 의미 개념 모델링은

    이산 부스트(Discrete Boost) 알고리즘을 이용하여, 지역 분할된 입력 사진의 지역 개념을 모델링함을 특징으로 하는 지역분할 템플릿을 이용한 카테고리 기반 사진 클러스터링 시스템.
19. 제18항에 있어서, 상기 이산 부스트 알고리즘은

    양의 예 벡터(positive example vector)와 음의 예 벡터(negative example vector)의 각 요소별 평균값을 이용하여 문턱값의 이동범위를 추정한 후 부스팅 기법을 통해 요소별 가중치와 문턱값을 학습함을 특징으로 하는 지역분할 템플릿을 이용한 카테고리 기반 사진 클러스터링 시스템.
20. 제14항에 있어서, 상기 주개념 추출부는

    각 지역별로 구해진 로컬 개념 반응값을 내림차순으로 분류하여 상기 반응값의 크기에 따라 주 개념(dominant concept)들을 추출함을 특징으로 하는 지역분할 템플릿을 이용한 카테고리 기반 사진 클러스터링 시스템.
21. 제20항에 있어서, 상기 카테고리 결정부에서의 카테고리 결정은

    룰 기반 히스토그램 모델을 사용하여 수행됨을 특징으로 하는 지역분할 템플릿을 이용한 카테고리 기반 사진 클러스터링 시스템.
22. 제20항에 있어서, 상기 카테고리 결정부에서의 카테고리 결정은

    학습기반 히스토그램 모델을 사용하여 수행됨을 특징으로 하는 지역분할 템플릿을 이용한 카테고리 기반 사진 클러스터링 시스템.
23. 제1항 내지 제11항 중 어느 한 항에 기재된 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.

Images