KR100790867B1 - 지역 분할 템플릿을 이용한 카테고리 기반 사진 클러스터링방법 및 장치 - Google Patents

지역 분할 템플릿을 이용한 카테고리 기반 사진 클러스터링방법 및 장치 Download PDF

Info

Publication number
KR100790867B1
KR100790867B1 KR1020060002983A KR20060002983A KR100790867B1 KR 100790867 B1 KR100790867 B1 KR 100790867B1 KR 1020060002983 A KR1020060002983 A KR 1020060002983A KR 20060002983 A KR20060002983 A KR 20060002983A KR 100790867 B1 KR100790867 B1 KR 100790867B1
Authority
KR
South Korea
Prior art keywords
concept
region
reliability
semantic
template
Prior art date
Application number
KR1020060002983A
Other languages
English (en)
Other versions
KR20060083138A (ko
Inventor
김상균
김지연
문영수
노용만
양승지
Original Assignee
삼성전자주식회사
한국정보통신대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 한국정보통신대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to PCT/KR2006/000163 priority Critical patent/WO2006075902A1/en
Priority to US11/332,283 priority patent/US20060159442A1/en
Publication of KR20060083138A publication Critical patent/KR20060083138A/ko
Application granted granted Critical
Publication of KR100790867B1 publication Critical patent/KR100790867B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 지역 분할 템플릿을 이용한 클러스터링 방법 및 장치에 관한 것으로서, 그 방법은 지역분할 템플릿을 이용하여 사진을 지역으로 분할하는 단계; 분할된 지역이 포함하고 있는 의미 개념을 모델링하는 단계; 지역의 영상이 해당 의미개념을 포함하고 정도를 나타내는 측정치를 신뢰도라 할 때, 상기 모델링으로부터 측정된 지역의미의 신뢰도(confidence)에 따라 각 지역의 의미 개념을 병합하는 단계; 병합되어 결정된 최종 지역의미 개념을 이용하여 사진이 포함하고 있는 전체 의미 개념을 모델링하는 단계; 및 모델링으로부터 측정된 전체 의미 개념의 신뢰도에 따라 입력된 사진이 포함하고 있는 1개 이상의 카테고리들을 결정하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 의하면, 사진이 포함하고 있는 의미 개념을 보다 신뢰적으로 추출하기 위하여, 지역분할 템플릿을 이용하여 분할된 지역영상에서 추출된 다중의 내용기반 특징값을 추출하고, 이를 이용하여 정의된 지역의미 개념에 대한 입력 영상의 신뢰도를 측정하고, 그 신뢰도에 따라 사진의 지역의미 개념을 병합하여 보다 신뢰적인 지역의미 개념을 추출하고, 병합된 지역의미 개념을 이용하여 전체의미 개념의 신뢰도를 측정하고, 그에 따라 입력된 사진이 포함하고 있는 다중의 카테고리 개념을 추출함으로써, 사진 데이터를 빠르고 효과적으로 앨범화할 수 있다.

Description

지역 분할 템플릿을 이용한 카테고리 기반 사진 클러스터링 방법 및 장치 {Method and apparatus for category-based photo clustering using photographic region templates of digital photo}
도 1은 본 발명의 일 실시예에 따른 지역분할 템플릿을 이용한 사진 클러스터링 시스템의 구성을 블록도로 도시한 것이다.
도 2는 본 발명에 의한 지역분할 템플릿을 이용한 사진 클러스터링 방법을 흐름도로 도시한 것이다.
도 3은 지역분할 템플릿을 도시한 것이다.
도 4는 지역분할 템플릿에 의한 사진 분할의 예를 도시한 것이다.
도 5는 분할된 지역의 본체(entity) 개념과 속성(attribute) 개념의 실시예를 나타낸 것이다.
도 6은 지역개념 모델링을 보다 세부적으로 도시한 것이다.
도 7은 지역개념 합병부에서 수행되는 개념 합병 대상 지역들을 그룹화하는 과정을 도시한 것이다.
도 8은 본 발명에 따른 디지털 사진 앨범의 카테고리 기반 클러스터링 과정을 관계적으로 도시한 블록도이다.
본 발명은 디지털 사진 앨범에 관한 것으로서, 특히 지역 분할 템플릿을 이용한 카테고리 기반 사진 클러스터링 방법 및 장치에 관한 것이다.
일반적인 디지털 사진 앨범은 사용자가 촬영한 사진을 디지털 카메라나 메모리 카드 등으로부터 사용자의 로컬 저장 장치로 옮겨오고, 사진 등을 컴퓨터에서 관리하기 위한 것이다. 일반적으로 사용자들은 사진 앨범을 이용하여 여러 사진들을 시간 순 혹은 사용자가 임의로 만든 사진 카테고리로 인덱싱(indexing)하여 이에 맞도록 브라우징하거나 다른 사용자들과 사진을 공유하길 원한다.
그 가운데, 사진을 사진이 포함하고 있는 카테고리별로 자동으로 클러스터링하는 기능은 사진 앨범의 주요한 기능 가운데 하나이다. 카테고리화는 사용자가 원하는 사진을 검색하는 과정에서, 검색의 범위를 줄여줌으로써, 검색 수행 속도뿐만 아니라 검색의 정확도를 향상시킬 수 있도록 한다. 뿐만 아니라, 사진을 사용자가 원하는 카테고리로 자동으로 분류함으로써, 사용자가 많은 양의 사진을 앨범으로 관리하는 일을 손쉽게 해준다.
기존의 카테고리화 방법은 대부분 텍스트에 기반한 방법으로서, 사람이 일일이 텍스트로 기술한 메타 데이터를 이용하여 사진을 카테고리화 하였다. 그러나 이 방법은 사진의 양이 많을 경우, 사진의 카테고리 정보를 사람이 일일이 기술한다는 것이 거의 불가능하다는 점과, 텍스트 정보가 사진의 의미 개념을 기술하는데 효과적이지 못하다는 점에서 유용하지 못하다. 그러므로 사진의 내용에 기반하여 추출된 색상, 모양, 질감 등의 내용 기반 특징값(content-based features)을 이용하여 멀티미디어 컨텐츠를 카테고리화 하는 방법이 제안될 수 있다.
현재까지, 사진 영상의 내용 기반 특징값을 이용하여 카테고리별로 클러스터링하기 위한 많은 연구들이 수행되었다. 그러나 사진이 다양한 의미 개념을 포함하고 있기 때문에, 다중 의미 개념들을 자동으로 추출하는 일은 여전히 매우 어려운 연구 분야이다. 이러한 문제점을 해결하기 위한 수단으로 사진(영상)에서 주된 객체를 추출하여, 해당 객체의 의미 개념에 따라 사진을 인덱싱 혹은 카테고리화하는 연구들이 수행되었다. 이는 사진이 포함하고 있는 다양한 의미 개념을 추출하는 일이 매우 어려운 일이기 때문에, 사진에 포함된 주된 의미 개념만 추출하는 방법이다.
그 가운데, Jiebo Luo의 Method for Automatic Determination of Main Subjects in Photographic Images (Eastman Kodak Company)와 같이, 사진 내에 포함된 의미 객체들 가운데 주된 객체(main subject)를 추출하여, 해당 객체를 식별 및 인덱싱하는 연구들이 주로 수행되었다. 즉, 사진을 카테고리화하는데 있어, 사진에 포함된 객체를 분리(segmentation)하는 연구와, 분리된 객체를 인덱싱 혹은 카테고리화하는 연구가 수행되었다.
그러나 상기 기술하였듯이, 대부분의 사진 영상의 경우, 많은 의미 개념을 포함하고 있기 때문에, 주된 객체 추출 방법에 의한 카테고리화는 사진이 포함하고 있는 그 밖의 의미 개념들을 놓치는 결과를 낳는다.
일반적으로 사진은 전경(foreground)와 배경(background)로 나뉜다. 사진 데 이터를 카테고리화하는데 있어서, 전경이 포함하고 있는 의미 개념도 중요하지만, 배경이 포함하고 있는 의미 개념 또한 중요하다. 따라서, 사진 데이터를 카테고리화하는 방법으로, 객체를 분리하는 방법보다는 전경 및 배경의 개념을 동시에 고려함으로써, 사진이 포함하고 있는 다양한 의미 개념을 추출하는 방법이 필요하다.
사진으로부터 다양한 의미 개념을 추출하는 방법으로, 영상을 작은 영역으로 분할하여, 각각의 영역에 대한 의미 개념을 추출하는 방법이 있다. 영상을 작게 나누면 단일 의미 개념 추출하기 용이하다는 장점이 있으나, 나눠진 영상의 크기가 너무 작으면 단일 의미 개념조차 추출하기 어렵게 될 수 있다. 즉, 영상을 분할할 크기를 결정하는 일은 쉬운 일이 아니다. 따라서, 사진의 다양한 의미 개념을 추출하기 위한 효과적인 영상 분할 방법과, 분할된 영상으로부터 정확한 의미 개념을 추출하는 방법이 영상의 지역화를 이용한 카테고리 개념 검출에 필수적으로 요구된다.
본 발명이 이루고자 하는 기술적 과제는 사진이 포함하고 있는 다양한 의미 개념을 사진의 내용 기반 특징값에 기반하여 추출하여 사진을 다양한 카테고리로 자동으로 분류하는 디지털 사진 앨범의 카테고리 기반 클러스터링 방법 및 시스템을 제공하는 것으로서, 사진 데이터를 효과적으로 지역 분할하여, 분할된 각 지역의 의미 개념을 추출하고, 전체 사진의 의미를 찾기 위하여 지역의 의미 개념의 효율적인 병합을 통하여, 사진이 포함하고 있는 의미 개념을 카테고리화하는, 지역 분할 템플릿을 이용한 카테고리 기반 사진 클러스터링 방법 및 장치를 제공하는 것 이다.
상기 기술적 과제를 이루기 위한 본 발명에 의한 디지털 사진 앨범의 카테고리 기반 클러스터링 방법은, (a) 지역분할 템플릿을 이용하여 사진을 지역으로 분할하는 단계; (b) 상기 분할된 지역이 포함하고 있는 의미 개념을 모델링하는 단계; (c) 상기 지역의 영상이 해당 의미개념을 포함하고 있는 정도를 나타내는 측정치를 신뢰도라 할 때, 상기 모델링으로부터 측정된 지역의미의 신뢰도(confidence)에 따라 각 지역의 의미 개념을 병합하는 단계; (d) 병합되어 결정된 최종 지역의미 개념을 이용하여 사진이 포함하고 있는 전체 의미 개념을 모델링하는 단계; 및 (e) 모델링으로부터 측정된 전체 의미 개념의 신뢰도에 따라 입력된 사진이 포함하고 있는 1개 이상의 카테고리들을 결정하는 단계를 포함하는 것을 특징으로 한다.
상기 (a)단계의 지역분할 템플릿은
[수학식 3]
Figure 112006001844614-pat00001
(여기서, T는 사진의 템플릿, w는 사진의 가로 길이, h는 사진의 세로 길이를 나타낸다.)
상기 수학식 3에 의해 표현되는 지역으로 이루어짐이 바람직하다.
상기 (b)단계는 사진의 내용기반 특징값을 추출하여 의미개념을 모델링함이 바람직하다. 상기 내용기반 특징값은 영상의 색상, 질감, 모양 정보를 포함함이 바람직하다. 상기 (b) 단계의 의미 개념은 사진이 포함하고 있는 의미 개념의 본체(entity)를 표시하는 항목(L entity)과, 의미 개념의 본체의 속성(attribute)을 표시하는 항목(L attribute)으로 구성하는 것이 바람직하다. 상기 의미개념 모델링은 분할 지역의 본체(entity) 개념 및 속성(attribute) 개념을 모델링함이 바람직하다.
상기 (b)단계의 의미개념 모델링은 SVM(support vector machine)을 이용하여, 지역 분할된 입력 사진의 지역 개념을 모델링함이 바람직하다. 상기 (c)단계의 신뢰도 측정은 정의된 지역 의미 개념마다 하나의 SVM을 이용하여 각 지역 의미 개념의 신뢰도를 측정함이 바람직하다.
상기 (c)단계의 지역의 의미개념 병합은
[수학식 14]
Figure 112006001844614-pat00002
(여기서 T(1), T(2), T(3), T(4), T(5)은 최종적으로 지역 의미 개념을 할당하는 기본 지역을 나타내고, CL'은 지역의 신뢰도 벡터를 나타낸다.)
5개의 기본 지역의 지역 개념 신뢰도를 상기 지역 분할 템플릿을 이용하여 분할한 10개의 지역에 할당된 지역 개념의 신뢰도를 바탕으로 상기 수학식 14에 의해 병합함이 바람직하다.
상기 병합된 후 얻어진 지역개념의 신뢰도 C'local은
[수학식 15]
Figure 112006001844614-pat00003
(여기서, C local(T)는 분할 지역 T에서 병합된 의미 개념 L local에 대한 신뢰도 집합의 벡터를 나타낸다.)
상기 수학식 15와 같이 표현됨이 바람직하다. 상기 (d)단계는 SVM(support vector machine)을 이용하여, 지역 분할된 입력 사진 I의 전체 개념을 모델링함이 바람직하다. 본 발명에 의한 지역분할 템플릿을 이용한 디지털 사진 앨범의 클러스터링 방법은 지역 개념의 신뢰도를 입력으로 사용하여 전체 개념의 신뢰도를 측정한다.
상기 (e)단계는 상기 모델링된 전체 의미개념으로부터 측정된 전체의미 개념의 신뢰도 중 가장 큰 값을 갖는 전체의미 개념을 상기 사진의 카테고리로 결정함이 바람직하다. 상기 (e)단계는 상기 모델링된 전체 의미개념으로부터 측정된 전체의미 개념의 신뢰도 중 소정의 임계값보다 큰 신뢰도를 갖는 전체의미 개념들을 상기 사진의 카테고리로 결정함이 바람직하다.
상기 기술적 과제를 이루기 위한 본 발명에 의한 디지털 사진 앨범의 카테고리 기반 클러스터링 장치는 지역분할 템플릿을 이용하여 사진을 지역으로 분할하는 지역분할부; 상기 분할된 지역이 포함하고 있는 의미 개념을 모델링하는 지역의미개념 모델링부; 상기 지역의 영상이 해당 의미개념을 포함하고 있는 정도를 나타내는 측정치를 신뢰도라 할 때, 상기 모델링으로부터 측정된 지역의미의 신뢰도(confidence)에 따라 각 지역의 의미 개념을 병합하는 지역의미개념 병합부; 병합되어 결정된 최종 지역의미 개념을 이용하여 사진이 포함하고 있는 전체 의미 개념을 모델링하는 전체의미개념 모델링부; 및 모델링으로부터 측정된 전체 의미 개념의 신뢰도에 따라 입력된 사진이 포함하고 있는 1개 이상의 카테고리들을 결정하는 카테고리결정부를 포함하는 것을 특징으로 한다.
상기 본 발명에 의한 디지털 사진 앨범의 카테고리 기반 클러스터링 장치는 카테고리 기반 클러스터링을 위한 사진 데이터를 입력받는 사진 입력부를 더 구비함이 바람직하다.
상기 지역의미 개념 모델링부는 사진의 내용기반 특징값을 추출하여 의미개념을 모델링하고, 상기 내용기반 특징값은 영상의 색상, 질감, 모양 정보를 포함함이 바람직하다. 상기 지역의미 개념은 사진이 포함하고 있는 의미 개념의 본체(entity)를 표시하는 항목(Lentity)과, 의미 개념의 본체의 속성(attribute)을 표시하는 항목(Lattribute)으로 구성하는 것이 바람직하다.
상기 지역의미개념 모델링부의 의미개념 모델링은 SVM(support vector machine)을 이용하여, 지역 분할된 입력 사진의 지역 개념을 모델링함이 바람직하다. 상기 지역의미 개념 병합부의 신뢰도 측정은 정의된 지역 의미 개념마다 하나 의 SVM을 이용하여 각 지역 의미 개념의 신뢰도를 측정함이 바람직하다.
그리고 상기 기재된 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
이하, 첨부된 도면을 참조하여 본 발명에 의한 지역 분할 템플릿을 이용한 사진 클러스터링 방법 및 시스템을 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 지역분할 템플릿을 이용한 사진 클러스터링 시스템의 구성을 블록도로 도시한 것으로서, 지역분할부(110), 지역의미개념 모델링부(120), 지역의미개념 병합부(130), 전체의미개념 모델링부(140) 및 카테고리 결정부(150)를 포함하여 이루어진다. 상기 사진 클러스터링 시스템은 사진입력부(100)를 더 구비할 수 있다.
상기 사진입력부(100)는 카테고리 기반 클러스터링을 위한 사진 데이터를 입력으로 받아들인다. 예를 들면, 디지털 카메라의 내부 메모리 장치나 휴대용 메모리 장치로부터 사진 열을 입력받는다. 사진 데이터는 일반적인 정지 영상 데이터를 기준으로 하며, 사진 데이터의 형식(format)은 JPEG, TIFF, RAW 등 어떤 이미지 데이터 형식을 포함한다. 사진 데이터의 형식이 상기 기술된 예에 한정되지는 않는다.
상기 지역분할부(110)는 지역분할 템플릿을 이용하여 사진을 지역으로 분할한다.
상기 지역의미개념 모델링부(120)는 상기 분할된 지역이 포함하고 있는 의미 개념을 모델링하며, 로컬 개념 SVM(support vector machine, 160)을 이용한다.
상기 지역의미개념 병합부(130)는 상기 지역의 영상이 해당 의미개념을 포함하고 정도를 나타내는 측정치를 신뢰도라 할 때, 상기 모델링으로부터 측정된 지역의미의 신뢰도(confidence)에 따라 각 지역의 의미 개념을 병합한다.
상기 전체의미개념 모델링부(140)는 병합되어 결정된 최종 지역의미 개념을 이용하여 사진이 포함하고 있는 전체 의미 개념을 모델링하며, 전역개념 SVM(support vector machine, 170)을 이용한다.
상기 카테고리결정부(150)는 상기 전체의미 개념 모델링으로부터 측정된 전체 의미 개념의 신뢰도에 따라 입력된 사진이 포함하고 있는 1개 이상의 카테고리들을 결정한다.
도 2는 본 발명에 의한 지역분할 템플릿을 이용한 사진 클러스터링 방법을 흐름도로 도시한 것으로서, 도 1 및 도 2를 참조하여 본 발명에 의한 지역분할 템플릿을 이용한 사진 클러스터링 방법과 그 시스템의 동작을 설명하기로 한다.
디지털 카메라의 내부 메모리 장치나 휴대용 메모리 장치로부터 사진 열을 입력받는다.(200단계) 상기 입력된 사진은 먼저 사진의 지역 분할 템플릿을 이용하여 분할된다(210단계). 도 3는 본 발명의 일 실시예에 따른 사진의 지역 분할 템플릿을 도시한 것이다. 본 발명은 사진을 도 3에서 도시한 것과 같이, 10개의 기반 템플릿으로 사진을 분할하는 것을 포함한다. 10개의 지역 분할 기반 템플릿은 다음과 같은 수학식에 의해 표현된다.
Figure 112006001844614-pat00004
Figure 112006001844614-pat00005
Figure 112006001844614-pat00006
Figure 112006001844614-pat00007
여기서, T(t)는 t번째 지역 분할 템플릿을 나타낸다.
만일, 입력된 사진 I가 가로 w, 세로 h의 크기를 갖는다면, 각각의 지역 분할 템플릿의 좌표는 다음과 같은 수학식에 의해 표현된다.
Figure 112006001844614-pat00008
여기서, left(t)는 t번째 템플릿의 좌측의 x축 좌표를 나타내며, top(t)는 t번째 템플릿의 좌측 상단의 y축 좌표를 나타내며, right(t)는 t번째 템플릿의 우측의 x축 좌표를 나타내며, bottom(t)는 t번째 템플릿의 우측 하단의 y축 좌표를 나타낸다. 수학식 2에 따라, 각각의 템플릿의 좌표는 아래 수학식과 같다.
Figure 112006001844614-pat00009
Figure 112006001844614-pat00010
상기 지역 분할 템플릿에 따라 분할된 입력 사진 I는 다음과 같은 수학식에 의해 표현된다.
Figure 112006001844614-pat00011
도 4는 지역 분할부(110)에서 수행하는 사진 분할의 예를 도시한 것이다. 도 4에서, 각각의 분할 지역에 지역 의미 개념이 포함되었음을 볼 수 있다. 예를 들어, 첫 번째 사진의 경우, 상단에는 하늘이, 하단 좌측에는 물가가, 하단 우측에는 잔디가 포함되었음을 알 수 있다. 즉, 사진이 포함하고 있는 의미 개념 정보를 충분히 표현하고 있다.
다음으로, 분할된 각각의 지역들로부터 다중의 내용 기반 특징값을 추출하여 지역 의미개념을 모델링한다(220단계). 사용된 다중의 내용 기반 특징값은 수학식 5에 의해 표현된다.
Figure 112006001844614-pat00012
여기서, Nf는 사용된 특징값의 개수를 나타낸다. 본 발명은 내용 기반 특징값을 추출하는 방법에 있어서 영상의 색상, 질감, 모양 정보 등을 기본으로 이용하는 것을 포함하며, 기본적으로 MPEG-7 기술자(descriptors)를 사용하여 특징값을 추출하는 방법을 포함한다. 그러나 내용기반 특징값을 추출하는 방법이 MPEG-7 기술자에 한정되지는 않는다.
템플릿 T에 의해 분할된 영상의 지역으로부터 추출된 다중의 내용기반 특징값은 수학식 6 의해 표현된다.
Figure 112006001844614-pat00013
상기 주어진 지역 기반 특징값을 기반으로 영상의 각 분할 지역이 포함하고 있는 지역 의미 개념(local semantic concept)을 모델링한다.
이를 위해 먼저, 카테고리 기반 클러스터링의 목적 카테고리(target category)가 포함할 수 있는 지역 의미 개념들을 정의한다. 지역 의미 개념 Llocal은 사진이 포함하고 있는 의미 개념의 본체(entity)를 표시하는 항목인 Lentity와, 의미 개념의 본체의 속성(attribute)을 표시하는 항목인 Lattribute로 구성된다. 도 5는 지역 개념을 분할된 지역의 본체(entity) 개념과 본체 개념의 속성을 표시하는 속성(attribute) 개념의 일 실시예를 나타내는 표이다
의미 개념의 본체를 표시하는 항목 Lentity는 수학식 7에 의해 다시 표현된다.
Figure 112006001844614-pat00014
여기서 L entity(e)은 e번째 본체 의미 개념을 나타내며, Ne는 정의된 본체 의미 개념의 개수를 나타낸다.
의미 개념의 속성을 표시하는 항목 L attribute는 수학식 8에 의해 다시 표현된다.
Figure 112006001844614-pat00015
여기서 L attribute(a)는 a번째 속성 의미 개념을 나타내며, Na는 정의된 속성 의미 개념의 개수를 나타낸다.
상기 기술된 지역 의미 개념 Llocal은 수학식 9와 같이 표현된다.
Figure 112006001844614-pat00016
여기서 L(l)은 l번째 의미 개념을 표시하며, 본체 의미 개념이나 속성 의미 개념이 될 수 있다.
다음으로, 상기와 같이 기술된 지역 의미 개념을 기반으로 하여, 각각의 지역 의미 개념들을 가진 학습 표본 영상(training sample images)들을 수집한다. 수집된 영상들로부터 상기 내용 기반 특징값을 추출하고, 추출된 특징값을 SVM(support vector machine)을 이용하여 학습한다. 각각의 지역 의미 개념에 대해 학습된 SVMlocal은 수학식 10과 같이 표현된다.
Figure 112006001844614-pat00017
여기서, SVML은 의미 개념 L을 위해 학습된 SVM을 나타낸다. SVMlocal의 입력으로는 상기 기술된 내용 기반 특징값 벡터 F가 된다.
다음으로, 학습된 SVMlocal을 이용하여, 지역 분할된 입력 사진 I의 지역 개념을 모델링한다. 즉, 입력사진 I를 상기 기술한 방법에 의해 지역 분할하고, 분할된 지역 영상을 학습된 SVMlocal을 이용하여 모델링한다. 지역 개념의 모델링은 분할된 지역 영상으로부터 추출된 내용 기반 특징값을 정의된 의미 개념 L의 SVML로 입력하여, 해당 의미 개념의 신뢰도를 추출하는 과정을 수행하는 것을 포함한다.
도 6은 지역 의미 개념 모델링(220단계)의 보다 과정을 도시한 것이다. 즉, 지역 개념 모델링은 지역 본체 개념 모델링(600단계)과, 지역 속성 개념 모델링(650단계)을 포함한다.
분할 지역 T에 대한 의미 개념의 신뢰도는 수학식 11에 의해 얻을 수 있다.
Figure 112006001844614-pat00018
여기서 F T는 분할 지역 T의 내용 기반 특징값 벡터를 나타내고, CL(T)는 분할 지역 T의 의미 개념 L에 대한 신뢰도를 나타낸다. 신뢰도는 분할 지역 영상이 해당 의미 개념과 얼마나 많이 포함하고 있는지에 대한 측정치를 나타낸다.
이러한 과정을 정의된 모든 지역 의미 개념의 SVM을 수행하여 얻은 신뢰도 벡터는 수학식 12에 의해 표현된다.
Figure 112006001844614-pat00019
여기서, C local(T)는 분할 지역 T에 대해 모델링된 모든 지역 의미 개념에 대한 각각의 신뢰도 벡터를 나타낸다.
결과적으로, 10개의 분할 지역에 대한 지역 의미 개념의 신뢰도를 얻을 수 있으며, 10개의 분할 지역에 대해 얻어진 지역 의미 개념 신뢰도 벡터는 다음과 같은 수학식에 의해 표현된다.
Figure 112006001844614-pat00020
상기 정의된 분할 지역은 공간적으로 상호 중복된 영역을 포함하고 있다. 즉, 분할 지역 T(1)은 T(10)과 중복되고, T(2)는 T(6), T(8), T(10)과 중복되고; T(3)은 T(6), T(9), T(10)과 중복되고; T(4)는 T(7), T(8), T(10)과 중복되고; 마지막으로, T(5)는 T(7), T(9), T(10)과 중복된다. 따라서, 총 5개 그룹의 중복 지역 그룹이 존재하게 된다. 본 발명은 보다 신뢰적인 지역 의미 개념을 추출하기 위해, 상기 중복 지역 그룹의 지역 개념에 대한 신뢰도를 병합하는 과정을 포함한다.(230단계)
본 발명에서 중복 지역 그룹들의 의미 개념을 병합하기 위한 방법으로, 분할 지역 T(1)과 T(10)은 T(1)으로 병합하고; T(2), T(6), T(8), T(10)는 T(2)로 병합하고; T(3), T(6), T(9), T(10)은 T(3)로 병합하고; T(4), T(7), T(8), T(10)는 T(4)로 병합하고; T(5), T(7), T(9), T(10)은 T(5)로 병합하는 과정을 포함한다. 지역 의미 개념 병합 과정은 각 분할 지역 그룹에 속하는 분할 지역에 할당된 의미 개념들 가운데 가장 신뢰도가 높은 값을 해당 병합 지역에 할당하는 과정을 포함한다. 도 7은 지역의미 개념 병합부(130)에서 수행하는 지역 개념 합병 대상을 그룹화하는 과정을 도시한 것이다. 상기 지역 의미 개념 병합 과정은 수학식 14와 같이 표현된다.
Figure 112006001844614-pat00021
결과적으로, T(1), T(2), T(3), T(4), T(5)으로 최종 분할 지역이 결정되고, 각 분할 지역에 할당된 지역 의미 개념의 신뢰도 C local은 수학식 15에서와 같이 표현된다.
Figure 112006001844614-pat00022
여기서, 각 C' local(T)는 분할 지역 T에서 결정된 의미 개념 L local에 대한 신뢰도 집합의 벡터를 나타낸다.
다음으로, 상기와 같이 측정된 지역 의미 개념의 신뢰도를 기반으로 하여, 입력된 사진 I가 포함하는 전체적(global) 의미 개념, 즉 카테고리 개념을 모델링 한다.(240단계) 이를 위해, 먼저 각 카테고리에 속하는 사진을 표본 영상을 수집한 후, 수집된 표본 영상에 대해 상기와 같은 과정에 의해 지역 의미 개념의 신뢰도 C' local을 얻는다. 이 신뢰도를 바탕으로, SVM을 이용하여 학습하는 과정을 수행한다. 먼저, 전체 의미 개념, 즉 카테고리 개념은 수학식 16에서와 같이 표현된다.
Figure 112006001844614-pat00023
여기서, L(g)는 g번째 카테고리 개념을 의미하며, Ng는 정의된 카테고리 개념의 개수를 나타낸다.
각각의 카테고리 개념에 대해 학습된 SVM global은 수학식 17에서와 같이 표현된다.
Figure 112006001844614-pat00024
여기서, SVMG는 카테고리 개념 G를 위해 학습된 SVM을 나타낸다. SVM global의 입력으로는 상기 분할 지역으로부터 추출되어 병합된 의미 개념의 신뢰도 집합인 C local이 이용된다.
다음으로, 학습된 SVM global을 이용하여, 입력 사진 I의 카테고리 개념을 모델 링한다(240단계). 입력 사진의 지역 개념 신뢰도 집합인 C local을 각 카테고리 개념을 모델링하기 위한 SVM에 입력하여 입력 사진 I에 대한 각 카테고리 개념의 신뢰도를 얻는다. 모델링된 카테고리 개념 G에 대한 신뢰도는 수학식 18에서와 같이 표현된다.
Figure 112006001844614-pat00025
여기서 CG는 카테고리 개념 G에 대한 신뢰도를 나타낸다. 상기 방법에 기반하여 얻은 전체 카테고리 개념의 신뢰도 집합 C global은 수학식 19에서와 같이 표현된다.
Figure 112006001844614-pat00026
입력 사진 I에 대한 최종 카테고리 개념은 상기 정의된 카테고리 개념 L global의 신뢰도들 가운데 값이 큰 카테고리를 선택함으로써 결정된다. 본 발명은 신뢰도가 가장 큰 카테고리 개념을 선택하는 방법과, 신뢰도가 일정값 이상인 카테고리 개념을 선택하는 방법을 포함한다.
신뢰도가 가장 큰 카테고리 개념을 선택하는 방법은 수학식 20에서와 같이 표현된다.
Figure 112006001844614-pat00027
여기서 L target은 최종 선택된 카테고리 개념을 나타낸다.
신뢰도가 일정값 이상인 카테고리 개념을 선택하는 방법은 아래의 수학식에서와 같이 표현된다.
Figure 112006001844614-pat00028
여기서, Cth는 최종 카테고리 개념을 선택하기 위한 신뢰도 값의 임계값이다.
도 8은 상기 서술한 본 발명에 따른 디지털 사진 앨범의 카테고리 기반 클러스터링의 흐름을 관계적으로 도시한 블록도이다.
본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터(정보 처리 기능을 갖는 장치를 모두 포함한다)가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
본 발명에 의한 디지털 사진 앨범의 카테고리 기반 클러스터링 방법 및 장치에 의하면, 사진에 저장된 카메라 정보, 파일 정보와 같이 기본적으로 사진에서 얻을 수 있는 정보뿐만 아니라, 사용자의 선호도 및 사진의 내용에서 색상, 질감, 모양 등의 내용 기반 특징값 정보를 동시에 사용하여 대용량의 사진을 효과적으로 카테고리화 함으로써, 사진 데이터를 보다 빠르고 효과적으로 앨범화할 수 있다.

Claims (27)

  1. (a) 지역분할 템플릿을 이용하여 사진을 지역으로 분할하는 단계;
    (b) 상기 분할된 지역이 포함하고 있는 의미 개념을 모델링하는 단계;
    (c) 상기 지역의 영상이 해당 의미개념을 포함하고 있는 정도를 나타내는 측정치를 신뢰도라 할 때, 상기 모델링으로부터 측정된 지역의미의 신뢰도(confidence)에 따라 각 지역의 의미 개념을 병합하는 단계;
    (d) 병합되어 결정된 최종 지역의미 개념을 이용하여 사진이 포함하고 있는 전체 의미 개념을 모델링하는 단계; 및
    (e) 모델링으로부터 측정된 전체 의미 개념의 신뢰도에 따라 입력된 사진이 포함하고 있는 1개 이상의 카테고리들을 결정하는 단계를 포함하는 것을 특징으로 하는 지역분할 템플릿을 이용한 디지털 사진 앨범의 클러스터링 방법.
  2. 제1항에 있어서, 상기 (a)단계의 지역분할 템플릿은
    [수학식 3]
    Figure 112006001844614-pat00029
    (여기서, T는 사진의 템플릿, w는 사진의 가로 길이, h는 사진의 세로 길이 를 나타낸다.)
    상기 수학식 3에 의해 표현되는 지역으로 이루어짐을 특징으로 하는 지역분할 템플릿을 이용한 디지털 사진 앨범의 클러스터링 방법.
  3. 제1항에 있어서, 상기 (b)단계는
    사진의 내용기반 특징값을 추출하여 의미개념을 모델링함을 특징으로 하는 지역분할 템플릿을 이용한 디지털 사진 앨범의 클러스터링 방법.
  4. 제3항에 있어서, 상기 내용기반 특징값은
    영상의 색상, 질감, 모양 정보를 포함함을 특징으로 하는 지역분할 템플릿을 이용한 디지털 사진 앨범의 클러스터링 방법.
  5. 제1항에 있어서, 상기 (b) 단계의 의미 개념은
    사진이 포함하고 있는 의미 개념의 본체(entity)를 표시하는 항목(Lentity)과, 의미 개념의 본체의 속성(attribute)을 표시하는 항목(Lattribute)으로 구성하는 것을 특징으로 하는 지역분할 템플릿을 이용한 디지털 사진 앨범의 클러스터링 방법.
  6. 제5항에 있어서, 상기 의미개념 모델링은
    분할 지역의 본체(entity) 개념 및 속성(attribute) 개념을 모델링함을 특 징으로 하는 지역분할 템플릿을 이용한 디지털 사진 앨범의 클러스터링 방법.
  7. 제1항에 있어서, 상기 (b)단계의 의미개념 모델링은
    SVM(support vector machine)을 이용하여, 지역 분할된 입력 사진의 지역 개념을 모델링함을 특징으로 하는 지역분할 템플릿을 이용한 디지털 사진 앨범의 클러스터링 방법.
  8. 제7항에 있어서, 상기 (c)단계의 신뢰도 측정은
    정의된 지역 의미 개념마다 하나의 SVM을 이용하여 각 지역 의미 개념의 신뢰도를 측정함을 특징으로 하는 지역분할 템플릿을 이용한 디지털 사진 앨범의 클러스터링 방법.
  9. 제2항에 있어서, 상기 (c)단계의 지역의 의미개념 병합은
    [수학식 14]
    Figure 112007048535488-pat00030
    (여기서 T(1), T(2), T(3), T(4), T(5)은 최종적으로 지역 의미 개념을 할당하는 기본 지역을 나타내고, CL'은 지역의 신뢰도 벡터를 나타낸다.)
    5개의 기본 지역의 지역 개념 신뢰도를 상기 지역 분할 템플릿을 이용하여 분할한 10개의 지역에 할당된 지역 개념의 신뢰도를 바탕으로 상기 수학식 14에 의해 병합함을 특징으로 하는 지역분할 템플릿을 이용한 디지털 사진 앨범의 클러스터링 방법.
  10. 제9항에 있어서, 상기 병합된 후 얻어진 지역개념의 신뢰도 C'local은
    [수학식 15]
    Figure 112006001844614-pat00031
    (여기서, C local(T)는 분할 지역 T에서 병합된 의미 개념 L local에 대한 신뢰도 집합의 벡터를 나타낸다.)
    상기 수학식 15와 같이 표현됨을 특징으로 하는 지역분할 템플릿을 이용한 디지털 사진 앨범의 클러스터링 방법.
  11. 제1항에 있어서, 상기 (d)단계는
    SVM(support vector machine)을 이용하여, 지역 분할된 입력 사진의 전체 개념을 모델링함을 특징으로 하는 지역분할 템플릿을 이용한 디지털 사진 앨범의 클러스터링 방법.
  12. 제11항에 있어서,
    상기 전체의미 개념의 신뢰도는,
    지역 개념의 신뢰도를 입력으로 사용하여 측정함을 특징으로 하는 지역분할 템플릿을 이용한 디지털 사진 앨범의 클러스터링 방법.
  13. 제1항에 있어서, 상기 (e)단계는
    상기 모델링된 전체 의미개념으로부터 측정된 전체의미 개념의 신뢰도 중 가장 큰 값을 갖는 전체의미 개념을 상기 사진의 카테고리로 결정함을 특징으로 하는 지역분할 템플릿을 이용한 디지털 사진 앨범의 클러스터링 방법.
  14. 제1항에 있어서, 상기 (e)단계는
    상기 모델링된 전체 의미개념으로부터 측정된 전체의미 개념의 신뢰도 중 소정의 임계값보다 큰 신뢰도를 갖는 전체의미 개념들을 상기 사진의 카테고리로 결정함을 특징으로 하는 지역분할 템플릿을 이용한 디지털 사진 앨범의 클러스터링 방법.
  15. 지역분할 템플릿을 이용하여 사진을 지역으로 분할하는 지역분할부;
    상기 분할된 지역이 포함하고 있는 의미 개념을 모델링하는 지역의미개념 모델링부;
    상기 지역의 영상이 해당 의미개념을 포함하고 있는 정도를 나타내는 측정치를 신뢰도라 할 때, 상기 모델링으로부터 측정된 지역의미의 신뢰도(confidence)에 따라 각 지역의 의미 개념을 병합하는 지역의미개념 병합부;
    병합되어 결정된 최종 지역의미 개념을 이용하여 사진이 포함하고 있는 전체 의미 개념을 모델링하는 전체의미개념 모델링부; 및
    모델링으로부터 측정된 전체 의미 개념의 신뢰도에 따라 입력된 사진이 포함하고 있는 1개 이상의 카테고리들을 결정하는 카테고리결정부를 포함하는 것을 특징으로 하는 지역분할 템플릿을 이용한 디지털 사진 앨범의 클러스터링 장치.
  16. 제15항에 있어서,
    카테고리 기반 클러스터링을 위한 사진 데이터를 입력받는 사진 입력부를 더 구비함을 특징으로 하는 지역분할 템플릿을 이용한 디지털 사진 앨범의 클러스터링 장치.
  17. 제15항에 있어서, 상기 지역의미 개념 모델링부는
    사진의 내용기반 특징값을 추출하여 의미개념을 모델링하고,
    상기 내용기반 특징값은
    영상의 색상, 질감, 모양 정보를 포함함을 특징으로 하는 지역분할 템플릿을 이용한 디지털 사진 앨범의 클러스터링 장치.
  18. 제17항에 있어서, 상기 지역의미 개념은
    사진이 포함하고 있는 의미 개념의 본체(entity)를 표시하는 항목(Lentity)과, 의미 개념의 본체의 속성(attribute)을 표시하는 항목(Lattribute)으로 구성하는 것을 특징으로 하는 지역분할 템플릿을 이용한 디지털 사진 앨범의 클러스터링 장치.
  19. 제15항에 있어서, 상기 지역의미개념 모델링부의 의미개념 모델링은
    SVM(support vector machine)을 이용하여, 지역 분할된 입력 사진의 지역 개념을 모델링함을 특징으로 하는 지역분할 템플릿을 이용한 디지털 사진 앨범의 클러스터링 장치.
  20. 제19항에 있어서, 상기 지역의미 개념 병합부의 신뢰도 측정은
    정의된 지역 의미 개념마다 하나의 SVM을 이용하여 각 지역 의미 개념의 신뢰도를 측정함을 특징으로 하는 지역분할 템플릿을 이용한 디지털 사진 앨범의 클러스터링 장치.
  21. 제15항에 있어서, 상기 지역의 의미개념 병합은
    [수학식 14]
    Figure 112007048535488-pat00032
    (여기서 T(1), T(2), T(3), T(4), T(5)은 최종적으로 지역 의미 개념을 할당하는 기본 지역을 나타내고, CL'은 지역의 신뢰도 벡터를 나타낸다.)
    5개의 기본 지역의 지역 개념 신뢰도를 상기 지역 분할 템플릿을 이용하여 분할한 10개의 지역에 할당된 지역 개념의 신뢰도를 바탕으로 상기 수학식에 의해 병합함을 특징으로 하는 지역분할 템플릿을 이용한 디지털 사진 앨범의 클러스터링 장치.
  22. 제21항에 있어서, 상기 병합된 후 얻어진 지역개념의 신뢰도 C'local은
    [수학식 15]
    Figure 112006001844614-pat00033
    (여기서, C local(T)는 분할 지역 T에서 병합된 의미 개념 L local에 대한 신뢰도 집합의 벡터를 나타낸다.)
    상기 수학식과 같이 표현됨을 특징으로 하는 지역분할 템플릿을 이용한 디지 털 사진 앨범의 클러스터링 장치.
  23. 제15항에 있어서, 상기 전체의미 개념 모델링부는
    SVM(support vector machine)을 이용하여, 지역 분할된 입력 사진의 전체 개념을 모델링함을 특징으로 하는 지역분할 템플릿을 이용한 디지털 사진 앨범의 클러스터링 장치.
  24. 제23항에 있어서, 상기 카테고리 결정부의 전체 의미 개념 신뢰도 측정은
    지역 개념의 신뢰도를 입력으로 사용하여 측정함을 특징으로 하는 지역분할 템플릿을 이용한 디지털 사진 앨범의 클러스터링 장치.
  25. 제15항에 있어서, 상기 카테고리 결정부는
    상기 모델링된 전체 의미개념으로부터 측정된 전체의미 개념의 신뢰도 중 가장 큰 값을 갖는 전체의미 개념을 상기 사진의 카테고리로 결정함을 특징으로 하는 지역분할 템플릿을 이용한 디지털 사진 앨범의 클러스터링 장치.
  26. 제15항에 있어서, 상기 카테고리 결정부는
    상기 모델링된 전체 의미개념으로부터 측정된 전체의미 개념의 신뢰도 중 소정의 임계값보다 큰 신뢰도를 갖는 전체의미 개념들을 상기 사진의 카테고리로 결정함을 특징으로 하는 지역분할 템플릿을 이용한 디지털 사진 앨범의 클러스터링 장치.
  27. 제1항 내지 제14항 중 어느 한 항에 기재된 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020060002983A 2005-01-14 2006-01-11 지역 분할 템플릿을 이용한 카테고리 기반 사진 클러스터링방법 및 장치 KR100790867B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2006/000163 WO2006075902A1 (en) 2005-01-14 2006-01-14 Method and apparatus for category-based clustering using photographic region templates of digital photo
US11/332,283 US20060159442A1 (en) 2005-01-14 2006-01-17 Method, medium, and apparatus with category-based clustering using photographic region templates

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020050003913 2005-01-14
KR20050003913 2005-01-14

Publications (2)

Publication Number Publication Date
KR20060083138A KR20060083138A (ko) 2006-07-20
KR100790867B1 true KR100790867B1 (ko) 2008-01-03

Family

ID=37173609

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060002983A KR100790867B1 (ko) 2005-01-14 2006-01-11 지역 분할 템플릿을 이용한 카테고리 기반 사진 클러스터링방법 및 장치

Country Status (1)

Country Link
KR (1) KR100790867B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101753097B1 (ko) 2014-12-30 2017-07-19 광주과학기술원 차량검출방법, 차량검출을 위한 데이터베이스의 구조, 및 차량검출을 위한 데이터베이스 구축방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101694821B1 (ko) 2010-01-28 2017-01-11 삼성전자주식회사 다시점 비디오스트림에 대한 링크 정보를 이용하는 디지털 데이터스트림 전송 방법와 그 장치, 및 링크 정보를 이용하는 디지털 데이터스트림 전송 방법과 그 장치
KR101507732B1 (ko) * 2013-07-30 2015-04-07 국방과학연구소 영역 기반의 항공 영상 분할 방법 및 이를 실행하는 프로그램 코드를 저장하는 컴퓨터로 읽을 수 있는 저장 매체
KR20170104756A (ko) * 2016-03-08 2017-09-18 광주과학기술원 국부지역별 크기 특정 차량 분류 방법 및 이를 이용한 차량검출방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5913205A (en) 1996-03-29 1999-06-15 Virage, Inc. Query optimization for visual information retrieval system
US6111586A (en) 1996-03-15 2000-08-29 Fujitsu Limited Electronic photo album editing apparatus
US20030108241A1 (en) * 2001-12-11 2003-06-12 Koninklijke Philips Electronics N.V. Mood based virtual photo album

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6111586A (en) 1996-03-15 2000-08-29 Fujitsu Limited Electronic photo album editing apparatus
US5913205A (en) 1996-03-29 1999-06-15 Virage, Inc. Query optimization for visual information retrieval system
US20030108241A1 (en) * 2001-12-11 2003-06-12 Koninklijke Philips Electronics N.V. Mood based virtual photo album

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101753097B1 (ko) 2014-12-30 2017-07-19 광주과학기술원 차량검출방법, 차량검출을 위한 데이터베이스의 구조, 및 차량검출을 위한 데이터베이스 구축방법

Also Published As

Publication number Publication date
KR20060083138A (ko) 2006-07-20

Similar Documents

Publication Publication Date Title
WO2006075902A1 (en) Method and apparatus for category-based clustering using photographic region templates of digital photo
US20220004573A1 (en) Method for creating view-based representations from multimedia collections
US8150098B2 (en) Grouping images by location
Li et al. GPS estimation for places of interest from social users' uploaded photos
KR100738069B1 (ko) 디지털 사진 앨범의 카테고리 기반 클러스터링 방법 및시스템
US8731308B2 (en) Interactive image selection method
US20110038550A1 (en) Automatic Creation Of A Scalable Relevance Ordered Representation Of An Image Collection
US9798741B2 (en) Interactive image selection method
EP2406734A1 (en) Automatic and semi-automatic image classification, annotation and tagging through the use of image acquisition parameters and metadata
JP6068357B2 (ja) コンテンツ表示処理装置、コンテンツ表示処理方法、プログラム、及び集積回路
US20070110308A1 (en) Method, medium, and system with category-based photo clustering using photographic region templates
Vimina et al. A sub-block based image retrieval using modified integrated region matching
KR100790867B1 (ko) 지역 분할 템플릿을 이용한 카테고리 기반 사진 클러스터링방법 및 장치
Kim et al. Classification and indexing scheme of large-scale image repository for spatio-temporal landmark recognition
Dao et al. Discovering inherent event taxonomies from social media collections
Kim et al. User‐Friendly Personal Photo Browsing for Mobile Devices
Paniagua et al. Indexing media by personal events
Cavalcanti et al. A survey on automatic techniques for enhancement and analysis of digital photography
Chu et al. Travelmedia: An intelligent management system for media captured in travel
Yoon et al. Hierarchical image representation using 3D camera geometry for content-based image retrieval
EID et al. Image Retrieval based on Reverse Geocoding
Chen et al. Hybrid Approach of Situation-Oriented Classification of Sightseeing Spot Images Based on Visual and Tag Information.
Hughes A framework for automated landmark recognition in community contributed image corpora
Loui et al. Event clustering of consumer pictures using foreground/background segmentation
Poulose Jacob et al. A Sub-block Based Image Retrieval Using Modified Integrated Region Matching.

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20060111

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20061121

Patent event code: PE09021S01D

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20070517

Patent event code: PE09021S02D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20071117

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20071226

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20071227

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20101011

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20111010

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20121115

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20121115

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20131122

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20131122

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20141119

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20141119

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20151118

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20151118

Start annual number: 9

End annual number: 9

FPAY Annual fee payment

Payment date: 20161121

Year of fee payment: 10

PR1001 Payment of annual fee

Payment date: 20161121

Start annual number: 10

End annual number: 10

FPAY Annual fee payment

Payment date: 20171121

Year of fee payment: 11

PR1001 Payment of annual fee

Payment date: 20171121

Start annual number: 11

End annual number: 11

FPAY Annual fee payment

Payment date: 20181119

Year of fee payment: 12

PR1001 Payment of annual fee

Payment date: 20181119

Start annual number: 12

End annual number: 12

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20211006