KR20060081659A - 상황기반 디지털 사진 클러스터링 방법 및 장치와 이를이용한 디지털 사진 앨범 시스템 및 방법 - Google Patents

상황기반 디지털 사진 클러스터링 방법 및 장치와 이를이용한 디지털 사진 앨범 시스템 및 방법 Download PDF

Info

Publication number
KR20060081659A
KR20060081659A KR1020060001286A KR20060001286A KR20060081659A KR 20060081659 A KR20060081659 A KR 20060081659A KR 1020060001286 A KR1020060001286 A KR 1020060001286A KR 20060001286 A KR20060001286 A KR 20060001286A KR 20060081659 A KR20060081659 A KR 20060081659A
Authority
KR
South Korea
Prior art keywords
situation
clustering
picture
content
feature value
Prior art date
Application number
KR1020060001286A
Other languages
English (en)
Other versions
KR100790865B1 (ko
Inventor
김상균
김지연
문영수
노용만
양승지
Original Assignee
삼성전자주식회사
한국정보통신대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 한국정보통신대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to PCT/KR2006/000104 priority Critical patent/WO2006073299A1/en
Priority to US11/328,084 priority patent/US20060153460A1/en
Publication of KR20060081659A publication Critical patent/KR20060081659A/ko
Application granted granted Critical
Publication of KR100790865B1 publication Critical patent/KR100790865B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

상황기반 디지털 사진 클러스터링 방법 및 장치와 이를 이용한 디지털 사진 앨범 시스템 및 방법이 개시된다. 그 상황기반 디지털 사진 클러스터링 방법은 디지털 사진을 찍을 당시의 상황에 기반하여 클러스터링하는 방법에 있어서, 디지털 사진 파일로부터 적어도 촬영시간 특징값을 포함하는 촬영 데이터 정보를 추출하고, 디지털 사진의 내용으로부터 내용기반 특징값을 추출하는 단계; 그 추출된 촬영시간 특징값 및 내용기반 특징값 각각에 대해 중요도를 부과하여 조합하는 단계; 및 그 중요도에 따라 조합된 특징값 정보들을 이용하여 사진을 찍은 상황을 계층적으로 클러스터링하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 의하면, 대 용량의 사진 데이터를 보다 빠르고 효과적으로 앨범화할 수 있다. 뿐만 아니라, 본 발명에서 제안한 계층적 클러스터링 방법을 이용함으로써, 입력된 사진 데이터의 특성이나 사용자의 요구에 따라 자유롭게 클러스터링 정도를 결정할 수 있다는 장점이 있다.

Description

상황기반 디지털 사진 클러스터링 방법 및 장치와 이를 이용한 디지털 사진 앨범 시스템 및 방법{Method and apparatus for clustering digital photos based situation and system method for abuming using it}
도 1은 본 발명에 의한 상황기반 디지털 사진 클러스터링 장치를 이용한 디지털 사진 앨범 시스템의 구성을 블록도로 도시한 것이다.
도 2는 본 발명에 의한 상황기반 디지털 사진 클러스터링 방법을 이용한 디지털 사진 앨범화 방법을 흐름도로 도시한 것이다.
도 3은 본 발명에 의한 상황 기반 사진 클러스터링 결과 예이다.
도 4은 본 발명에 의한 계층적 상황 클러스터링 절차를 도시한 흐름도이다.
도 5는 본 발명에 의한 계층적 상황 클러스터링의 계층에 따른 상황 변화 지점 검출 예이다.
도 6는 본 발명에 의한 상황 변화 지점 검출을 위한 유사도 거리값 비교를 도시한 예이다. .
본 발명은 디지털 사진 클러스터링에 관한 것으로서, 특히 상황기반 디지털 사진 클러스터링 방법 및 장치와 이를 이용한 디지털 사진 앨범 시스템 및 방법에 관한 것이다.
일반적으로 디지털 사진 앨범은 사용자가 촬영한 사진을 디지털 카메라나 메모리 카드 등으로부터 사용자의 로컬 저장 장치로 옮겨오고, 이들을 용이하게 관리하기 위한 것이다. 사용자들은 사진 앨범을 이용하여 여러 사진들을 시간순 혹은 이벤트순으로 브라우징하거나 다른 사용자들과 사진을 공유한다.
그러나 많은 사용자들이 기존의 포토 앨범을 이용하여 사진을 관리하는데 불편을 겪고 있다. 이는 기존의 대부분의 앨범은 사진을 그룹으로 분리하고 라벨링하는 일을 사용자에게 맡기고 있기 때문이다. 사진의 양이 많아질수록 사용자가 일일이 클러스터링 하기 어렵기 때문에, 사용자의 불편은 더욱 증가한다. 사용자들이 원하는 사진을 보다 쉽고 빠르게 찾고, 여러 장의 사진을 사용자들이 원하는 그룹으로 묶기 위한 도구가 절실히 요구된다.
David Frohlich는 Requirement for photoware (ACM CSCW, 2002)에서는 많은 사용자들을 대상으로 한 설문을 통하여 사람들이 요구하는 사진 앨범의 기능을 조사하였다. 대부분의 사람들은 일생 동안의 사진을 앨범으로 저장하는 것을 가치 있게 생각했다. 그러나 많은 사진을 일일이 그룹핑하는데 드는 시간과 노력을 불편해했으며, 다른 사람들과 사진을 공유하는데 어려움을 겪고 있었다.
초기의 관련 연구 및 시스템들은 사진이 찍힌 시간 정보만을 사용하여 사진을 그룹핑하였다. 대표적인 연구로써 Adrian Graham의 Time as essence for photo br-owsing through personal digital libraries (ACM JCDL, 2002)가 있다. 단지, 상기 연구에서와 같이 사진이 찍힌 시간 정보 만을 이용하더라도 대략적으로 사진을 그룹핑할 수 있다. 그러나 시간 정보를 저장하지 않은 채 사진을 찍었거나 추후에 사진 편집을 통하여 시간 정보를 잃어버린 경우에는 사용할 수 없는 방법이다. 뿐만 아니라, 비슷한 시간 대에 서로 다른 상황에서 여러 대의 카메라를 이용하여 촬영한 사진을 한꺼번에 그룹핑하는 경우에 원하지 않은 그룹핑 결과를 보일 가능성이 매우 크다.
Kerry Rodden의 How do people manage their digital photographs (ACM CHI, 2003)에서는 시간 정보를 이용하여 사진을 정렬할 수 있는 기능을 포함한 사진 앨범을 개발하고, 사람들을 대상으로 개발된 시스템의 효용성을 설문하였다. 사진을 촬영한 시간 순으로 정렬하는 것만으로도 앨범을 구성하는데 많은 도움이 됨을 알 수 있다. 그러나, 사용자들의 요구 사항을 보다 충실히 만족시키기 위해서는 내용 기반 검색이나 이벤트 기반 사진 클러스터링 등의 기능이 추가되어야 한다고 밝히고 있다.
상기 언급하였듯이, 시간 정보만을 사용한 사진 그룹핑의 문제점들을 극복하기 위한 방법으로 사진의 내용 기반 특징값을 이용하는 방법이 있다. 지금까지 사진의 시간 정보와 내용 기반 특징값을 함께 이용한 연구들이 몇몇 있었다. 그러나 대부분 사진의 색상 정보만을 내용 기반 특징값으로 사용하고 있다. 가장 대표적으로 Alexander C. Loui의 Automated event clustering and quality screening of consumer pictures for digital albuming(IEEE Transaction on Multimedia, vol.5, no.3, pp.390-401, 2003)은 사진의 시간 정보와 색상 정보를 이용하여 사진열을 이 벤트 기반으로 클러스터링하는 방법을 제안하고 있다. 그러나, 내용 기반 특징값으로 사진의 색상 히스토그램 정보만 사용하였기 때문에, 밝기의 변화에 매우 민감하며, 질감이나 모양의 변화를 감지하기 힘들다는 단점이 있다.
오늘날 대부분의 디지털 사진 파일은 Exif(Exchangeable Image File) 형식을 따르고 있다. Exif는 일본 전자공업발달협회에서 만든 표준 사진 파일 형식이다. Exif 파일 내에는 사진의 픽셀 정보뿐만 아니라, 사진을 찍을 당시의 시간 정보 등의 촬영 정보 및 카메라 상태를 저장하고 있다.
또한, ISO/IEC/JTC1/SC29/WG11은 MPEG-7이라는 이름으로 내용 기반 검색에 필요한 요소 기술들을 서술자, 서술자 및 서술 구조 간의 관계를 표현하기 위한 서술 구조로 표준화하고 있다. 색상, 질감, 형태, 움직임 등의 내용 기반 특징값을 추출하는 방법을 서술자로 제안하고 있다. 서술 구조는 컨텐츠를 모델링하기 위해 둘 이상의 서술자와 서술 구조 간의 관계를 정의하며 데이터가 어떻게 표현될 것인지를 정의한다.
따라서, 사진 파일에서 얻을 수 있는 다양한 정보와 내용 기반 특징값을 함께 사용한다면, 보다 효과적인 사진 그룹핑 및 검색을 수행할 수 있다. 그러나 현재까지, 이러한 다양한 정보를 통합적으로 표현하기 위한 서술 구조와 이를 적용한 사진 그룹핑 및 검색을 제공하는 사진 앨범이 존재하지 않는다.
본 발명이 이루고자 하는 기술적 과제는, 사용자들이 손쉽게 사진 그룹을 앨범으로 저장하고 다른 사용자들과 그룹핑된 사진을 공유할 수 있도록 하기 위해, 사진 파일에 저장된 사진 정보와 사진의 내용에서 추출한 다양한 내용기반 특징값 정보를 이용하여 사진 촬영 상황에 기반하여 사진을 클러스터링할 수 있게 하는, 상황기반 디지털 사진 클러스터링 방법 및 장치를 제공하는 것이다.
본 발명이 이루고자 하는 다른 기술적 과제는 상기 상황기반 디지털 사진 클러스터링 방법 및 장치를 이용한 디지털 사진 앨범 시스템 및 방법을 제공하는 것이다.
상기 기술적 과제를 이루기 위한 본 발명에 의한 상황기반 디지털 사진 클러스터링 방법은, 디지털 사진을 찍을 당시의 상황에 기반하여 클러스터링하는 방법에 있어서, (a) 디지털 사진 파일로부터 적어도 촬영시간 특징값을 포함하는 촬영 데이터 정보를 추출하고, 디지털 사진의 내용으로부터 내용기반 특징값을 추출하는 단계; (b) 상기 추출된 촬영시간 특징값 및 내용기반 특징값 각각에 대해 중요도를 부과하여 조합하는 단계; 및 (c) 상기 중요도에 따라 조합된 특징값 정보들을 이용하여 사진을 찍은 상황을 계층적으로 클러스터링하는 단계를 포함하는 것을 특징으로 한다.
상기 (a)단계의 내용기반 특징값은 색상, 질감, 모양 중 적어도 하나를 포함함이 바람직하다. 상기 (b)단계의 중요도는 사진이 가지고 있는 의미적(semantic) 특징에 따라 결정됨이 바람직하다. 상기 (b)단계의 중요도는 입력된 사진 데이터의 시간 변화 분포 특성 및 내용 변화 분포 특성에 따라 달리 부과됨이 바람직하다. 상기 (c)단계의 계층적 클러스터링은 사진 촬영 시간 간격이 소정의 시간 이 상이면 상황 변화 지점으로 검출하여 초기 클러스터링을 수행함이 바람직하다.
상기 상황기반 디지털 사진 클러스터링 방법은 사진 촬영 시간에 의해 검출된 초기 상황 변화 지점을 기반으로 사진 촬영 시간 및 사진의 내용기반 특징값 정보를 조합한 특징값을 함께 이용하여 클러스터링하는 단계를 더 포함하는 것이 바람직하다.
상기 (c)단계는 임의의 계층을 (r)번째 계층이라 할 때, 상기 (r)번째 계층에서의 상황 변화 지점 검출은 (r-1)번째 계층에서 결정된 상황 변화 지점을 기준으로 수행되며, 상기 과정이
Figure 112006000750181-PAT00001
(여기서, thr 은 각 계층에서의 상황변화검출을 위한 사진간의 유사도 임계값이고, thstop은 계층적 클러스터링을 멈추기 위한 유사도 임계값의 한계치(stopping criteria)이다.)를 만족시킬 때까지 반복됨이 바람직하다. 상기 (r)번째 계층에서의 상황 변화 지점 검출은 시간 특징값 유사도 및 내용기반 특징값 유사도를 이용하여 검출함이 바람직하다.
상기 유사도 비교 대상 범위는
[수학식 10]
Figure 112006000750181-PAT00002
(여기서, bmin과 bmax는 (r-1)번째 계층에서 결정된 상황 변화 지점들 가운데 (i)번째 사진과 가장 근접한 두 지점을 나타낸다. 단, bmin은 현재 (i)번째 사진 보다 이전에 찍은 사진들 가운데서 결정되며, bmax는 현재 (i)번째 사진 보다 이후에 찍은 사진들 가운데서 결정된다.)
상기 수학식 10에서와 같은 유사도 비교 대상 범위에 의해 결정됨이 바람직하다.
[수학식 11]
Figure 112006000750181-PAT00003
( 여기서
Figure 112006000750181-PAT00004
은 갱신된 유사도 비교 대상 범위의 최소값이며,
Figure 112006000750181-PAT00005
는 갱신된 유사도 비교 대상 범위의 최대값이다.)
상기 본 발명에 의한 상황기반 디지털 사진 클러스터링 방법은 유사도 비교 대상의 범위를 임의의 (r) 계층의 (i)번째 사진과 가장 유사한 두 장의 사진을 찾음으로써 상기 수학식 11에서와 같이 한번 더 변경되는 단계를 더 구비함이 바람직하다.
상기 기술적 과제를 이루기 위한 본 발명에 의한 상황기반 디지털 사진 클러스터링 장치는, 디지털 사진을 찍을 당시의 상황에 기반하여 클러스터링하는 디지털 사진 클러스터링 장치에 있어서, 디지털 사진 파일로부터 적어도 촬영시간 특징값을 포함하는 촬영 데이터 정보를 추출하고, 디지털 사진의 내용으로부터 내용기반 특징값을 추출하는 특징값추출부; 상기 추출된 촬영시간 특징값 및 내용기반 특징값 각각에 대해 중요도를 부과하여 조합하는 중요도 조합부; 및 상기 중요도에 따라 조합된 특징값 정보들을 이용하여 사진을 찍은 상황을 계층적으로 클러스터링하는 계층적 클러스터링부를 포함함을 특징으로 한다.
상기 다른 기술적 과제를 이루기 위한 본 발명에 의한 상황기반 디지털 사진 클러스터링 장치를 이용한 디지털 사진 앨범화 방법은, 디지털 촬영 장치로부터 디지털 사진 파일을 입력받는 단계; 디지털 사진 파일로부터 적어도 촬영시간 특징값을 포함하는 촬영 데이터 정보를 추출하고, 디지털 사진의 내용으로부터 내용기반 특징값을 추출하는 단계; 상기 추출된 촬영시간 특징값 및 내용기반 특징값 각각에 대해 중요도를 부과하여 조합하는 단계; 상기 중요도에 따라 조합된 특징값 정보들을 이용하여 사진을 찍은 상황을 계층적으로 클러스터링하는 단계; 및 상기 클러스터링된 사진열을 앨범으로 구성하는 단계를 포함함을 특징으로 한다.
상기 다른 기술적 과제를 이루기 위한 본 발명에 의한 상황기반 디지털 사진 클러스터링 장치를 이용한 디지털 사진 앨범 시스템은, 디지털 촬영 장치로부터 디지털 사진 파일을 입력 받는 사진파일 입력부; 디지털 사진 파일로부터 적어도 촬영시간 특징값을 포함하는 촬영 데이터 정보를 추출하고, 디지털 사진의 내용으로부터 내용기반 특징값을 추출하는 특징값추출부; 상기 추출된 촬영시간 특징값 및 내용기반 특징값 각각에 대해 중요도를 부과하여 조합하는 중요도 생성부; 상기 중요도에 따라 조합된 특징값 정보들을 이용하여 사진을 찍은 상황을 계층적으로 클러스터링하는 계층적 클러스터링부; 및 클러스터링된 사진열을 앨범으로 구성하는 앨범화부를 포함함을 특징으로 한다.
그리고 상기 기재된 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명한다. 도 1은 본 발명 에 의한 상황기반 디지털 사진 클러스터링 장치를 이용한 디지털 사진 앨범 시스템의 구성을 블록도로 도시한 것이다. 도 2는 본 발명에 의한 상황기반 디지털 사진 클러스터링 방법을 이용한 디지털 사진 앨범화 방법을 흐름도로 도시한 것이다.
도 1과 도 2를 참조하여 본 발명에 의한 상황기반 디지털 사진 클러스터링 장치 및 방법을 이용한 디지털 사진 앨범 시스템 및 방법을 설명하기로 한다.
상기 본 발명에 의한 상황기반 디지털 사진 앨범 시스템은 사진파일 입력부(100), 상황기반 디지털 사진 클러스터링 장치(10) 및 앨범화부(180)를 포함하여 이루어진다. 상기 상황기반 디지털 사진 클러스터링 장치(10)는 특징값 추출부(120), 중요도 조합부(140) 및 계층적 클러스터링부(160)를 구비한다.
상기 사진파일 입력부(100)는 디지털 촬영 장치로부터 디지털 사진 파일을 입력 받는다. 즉 상기 사진파일 입력부(100)는 디지털 카메라의 내부 메모리 장치나 휴대용 메모리 장치로부터 사진 열을 입력받는다.(200단계) 사진 데이터는 일반적인 정지 영상 데이터를 기준으로 하며, 사진 데이터의 형식(format)은 JPEG, TIFF, RAW 등 어떤 이미지 데이터 형식을 포함한다.
상기 상황기반 디지털 사진 클러스터링 장치(10)는 디지털 사진 앨범을 상황에 기반하여 효과적으로 클러스터링한다. 상기 특징값 추출부(120)는 디지털 사진 파일로부터 적어도 촬영시간 특징값을 포함하는 촬영 데이터 정보를 추출하고, 디지털 사진의 내용으로부터 내용기반 특징값을 추출한다. 입력된 사진 데이터로부터, 사진 파일에 저장된 카메라 정보 또는 사진 촬영 정보를 추출한다(210단계). 사진 파일에 저장된 카메라 정보는 범용적으로 사용되는 일본 전자공업발달협회에 서 만든 표준 사진 파일 형식인 Exif 데이터로부터 추출한다. 그러나 사진파일에 저장된 카메라 정보를 추출하는 원천이 Exif 데이터에 한정되지는 않는다. 본 발명에서는 카메라 정보 및 촬영 정보를 가운데, 사진을 찍은 시간 정보를 특징값으로 이용하는 것을 포함한다. 사진을 찍은 시간 특징값은 수학식 1과 같이 표현된다
Figure 112006000750181-PAT00006
여기서, fyear, fmonth, fday, fhour, fminute, fsecond는 각각 사진을 촬영한 년, 월, 일, 시, 분, 초를 나타낸다.
또한, 입력된 사진의 픽셀 정보를 추출하여 사진의 내용기반 특징값을 추출한다(210단계). 이 때, 입력된 사진 데이터가 압축된 사진 데이터인 경우, 압축을 풀기 위한 디코딩 과정을 수행한다. 추출되는 내용기반 특징값으로는 영상의 색상, 질감, 모양 등의 특징값이 있다. 그러나 사진의 내용기반 특징값이 상기 예에 한정되지는 않는다.
I개의 사진 데이터가 입력되었다고 가정하자. 이때, 임의의 (i)번째 사진으로부터 서로 다른 N개 종류의 내용기반 특징값을 추출한 경우, (i)번째 사진의 내용기반 특징값은 수학식 2에서와 같이 표현된다.
Figure 112006000750181-PAT00007
여기서 (i)번째 사진으로부터 추출한 F k(i)는 각각의 특징값 벡터를 나타내며, 색상, 질감, 또는 모양 특징값이다.
상기 중요도 조합부(140)는 상기 추출된 촬영시간 특징값 및 내용기반 특징값 각각에 대해 중요도를 부과하여 조합한다. 보다 자세히 설명하면 본 발명은 상기 추출된 다양한 특징값에 대해, 각 특징값의 중요도를 결정한다.(220단계) 이는 보다 높은 클러스터링 성능을 달성하기 위한 것으로서, 사진이 가지고 있는 보다 상위 개념의 의미 정보를 상황기반 클러스터링 힌트 정보로 표현하고, 각 사진의 힌트에 따라 사진 클러스터링에 사용할 특징값의 중요도를 적응적으로 설정하는 과정을 포함한다. 각 특징값의 중요도는 사진이 가지고 있는 의미적(semantic) 특징에 따라 적응적으로 변화될 수 있으며, 사진이 가지고 있는 의미적 특징을 가장 잘 추출할 수 있는 특징값에 중요도를 크게 설정한다. 사진이 가지고 있는 의미적 특징은 상기 내용기반 특징값으로부터 자동으로 추출될 수 있으나, 상기 방법에 한정되지는 않는다. 상기 결정된 중요도는 이전에 추출된 특징값들과 조합되어, 새로운 특징값을 생성하는데 이용된다(230단계). 각 내용 기반 특징값의 중요도는 주어진 상황 기반 클러스터링 힌트에 따라 결정되며, 수학식 3에서와 같이 표현된다.
Figure 112006000750181-PAT00008
여기서,
Figure 112006000750181-PAT00009
는 F k(i) 특징값의 중요도를 나타내며, 0.0에서 1.0까지의 값 을 가질 수 있다.
상기와 같이 결정된 특징값 중요도를 반영한 새로운 내용 기반 특징값 및 시간 특징값은 수학식 4에서와 같이 표현된다.
Figure 112006000750181-PAT00010
여기서, F' content(i)는 새로운 내용 기반 특징값을 나타내고, F' time(i)는 새로운 시간 특징값을 나타낸다. 이 두 특징값은 F'(i) = {F' time(i),F' content(i)} 와 같이 표현될 수 있다.
상기 계층적 클러스터링부(160)는 상기 중요도에 따라 조합된 특징값 정보들을 이용하여 사진을 찍은 상황을 계층적으로 클러스터링한다. 중요도가 조합된 상기 특징값을 이용하여, 사진 열을 상황에 기반하여 클러스터링 한다(240단계). 본 발명은 사진의 상황 기반 클러스터링을 위한 방법으로써, 계층적(hierarchical) 클러스터링 방법을 포함한다. 즉, 각 사진의 상황 변화 지점(situation change boundary)를 결정하는 과정을 계층적으로 수행하는 과정을 포함한다. 계층적 상황 클러스터링은 사용자가 원하는 클러스터 수를 조절하는데 유용한 장점이 있다. 계층이 낮을수록, 입력된 사진은 성기게(coarse) 클러스터링 되며, 상황 클러스터의 수가 작아진다. 반대로, 계층이 높을수록, 입력된 사진은 촘촘히(fine) 클러스터링되며, 상황 클러스터의 수가 커진다.
본 발명에서 상황(situation)은 거리상으로 크게 차이가 나지 않는 장소에서 의 상황으로 정의한다. 동일한 상황에 속하는 사진들이라도, 카메라의 설정이나 날씨, 외부 조명과 같은 주변 환경에 따라 사진의 밝기, 채도, 색도, 선명도가 달라질 수 있다. 혹은, 사진 속의 인물이나 구도가 변할 수 있다. 심지어 동일한 상황에 속하는 사진들이라도 카메라의 방향에 따라 사진의 배경이 변할 수 있다. 도 3은 상황 클러스터의 예로, 사진을 찍은 시간 간격이 크지 않은 15장의 사진을 시간 순으로 나타낸 예이다. 구분 선이 상황이 변화되는 지점을 나타낸다.
도 4는 본 발명에서 제안하는 계층적 상황 클러스터링의 절차를 상세하기 도시한 흐름도이다. 먼저, 사진을 사진을 찍은 시간 순으로 정렬하여 특징값을 조합한다.(400단계) 초기에는 상기 특징값 종합은 시간 특징값만을 이용한다. 다음으로, 상기 조합된 특징값을 이용하여, 먼저 인접 사진 간의 유사도를 측정한다(410단계). 현재(i) 사진과 임의의 인접 사진(j) 간의 유사도는 시간 특징값만 이용한 유사도와 내용 기반 특징값을 이용한 유사도로 나뉜다. 시간 특징값만 이용한 유사도는 수학식 5에서와 같이 표현된다.
Figure 112006000750181-PAT00011
여기서,
Figure 112006000750181-PAT00012
함수는 작은 시간 간격에 보다 민감하도록 하기 위해 시간 차이를 스케일링하는 함수로 로그 함수 등이 사용될 수 있다. 만일, 시간 정보를 그대로 사용하면, 두 사진 간의 시간 간격이 작은 경우에는 그 차이 값의 변화가 미미하고, 시간 간격이 클수록 차이 값의 변화가 급격하게 증가하기 때문에 스케일링이 필요하다.
내용 기반 특징값을 이용한 유사도 거리값은 수학식 6에서와 같이 표현된다.
Figure 112006000750181-PAT00013
다음으로, 입력된 각 사진에 대해 상기 방법에 따라 측정된 시간 특징값 유사도 및 내용 기반 특징값 유사도를 이용하여 상황 변화 지점을 검출한다.
먼저, 사진의 시간 특징값 유사도만을 이용하여, 사진의 상황 변화 지점을 검출한다(420단계). 일반적으로, 임의의 상황 내에 속하는 사진들은 비교적 근소한 시간 차이를 가지고 있다. 따라서 시간 특징값이 상황 변화를 결정하는데 가장 중요한 역할을 수행한다. 이러한 특징을 이용하여 본 발명은 시간 특징값을 이용하여 먼저 성기게 클러스터링 함으로써 초기 클러스터를 결정한다(430단계). 주어진 초기 클러스터를 가지고, 사진의 시간 특징값 유사도 및 내용 기반 특징값 유사도를 함께 사용하여 계층적 상황 클러스터링을 수행한다.
(i)번째 사진에서 상황이 변화되었는지의 여부(S(i))는 사진의 시간 특징값 유사도에 의해 사진의 상황 변화 지점 검출은 수학식 7에서와 같이 표현된다.
Figure 112006000750181-PAT00014
(i)번째 사진이 상황 변화 지점인지의 여부는 (i)번째 사진의 시간 특징값 유사도와 임의의 초기 임계값(thinit) 간의 차이를 비교함으로써 수행된다. 즉, (i)번째 사진의 시간 특징값 유사도가 상기 초기 임계값(thinit)보다 크다면, (i)번째 사진에서 상황의 변화가 발생되었다고(S(i) = true) 결정한다. 반대로, (i)번째 사진의 시간 특징값 유사도가 상기 초기 임계값(thinit)보다 작다면, (i)번째 사진에서 상황의 변화가 발생되지 않았다고(S(i) = false) 결정한다.
상기 결정된 상황 변화 지점 Sr(i)에 따라 초기 상황 변화 지점 집합이 결정된다. 초기 상황 변화 지점은 수학식 8에서와 같이 표현된다.
Figure 112006000750181-PAT00015
여기서 (r)은 계층의 단계(
Figure 112006000750181-PAT00016
)를 나타내며, 시간 특징값 유사도만으로 검출된 최초 상황 변화 지점 집합이기 때문에, 현재 시점에서의 (r)은 1을 가진다. 여기서, 최고 계층은 R로 표시된다.
도 5는 본 발명에서 제안하는 계층적 상황 클러스터링을 도시한 예이다. 계층(r)이 1인 경우, 즉 첫 번째 계층은, 상기 방법에 따라, 시간 정보에 우선하여 결정된다. 계층(r)이 1보다 큰 경우, 즉 두번째 계층부터는 사진의 시간 특징값 유사도뿐만 아니라, 내용 기반 특징값 유사도를 함께 이용하여 결정된다. 두번째 계층에서의 상황 변화 지점 검출은 첫 번째 계층에서 결정된 상황 변화 지점을 기준으로 수행되며, 세번째 계층에서의 상황 변화 지점 검출은 두번째 계층에서 결정된 상황 변화 지점을 기준으로 수행된다. 이러한 과정이 최고 계층인 계층 R까지 반복된다.
본 발명은 계층이 높아질수록, 즉 (r)값이 커질수록, 상황 변화 지점 검출을 위한 유사도 값의 임계값은 감소시키는 과정을 포함한다. 임계값의 감소는 수학식 9에서와 같이 표현된다.
Figure 112006000750181-PAT00017
여기서 thr은 계층(r)에서의 임계값을 나타내며, 주어진 초기 임계값 thinit을 기준으로 변화된다.
Figure 112006000750181-PAT00018
은 (r)번째 계층에서의 임계값 변화량을 나타낸다.
다음으로, 상기 결정된 초기 상황 변화 지점 집합 내에서 상황 변화 지점을 검출하는 과정을 수행한다(440단계). 이 때에는 사진의 시간 특징값 유사도뿐만 아니라, 내용 기반 특징값 유사도를 함께 이용한다.
도 6은 r번째 계층에서의 상황 변화 지점 검출 방법을 도시한 예이다. (r -1)번째 계층에서 결정된 상황 변화 지점 집합인 S(r-1)에서, 현재 (i)번째 사진에서 상황이 변화되었는지의 여부를 결정하는 예이다. 만일, (r-1)번째 계층까지 결정된 상황 변화 지점 집합들 가운데, (i-n)번째 사진과 (i+m+1)번째 사진이 상황 변화 지점으로 검출되었다고 가정하자. 이때 유사도 비교 대상의 범위는 (i-n)번째 사진에서부터 (i+m)번째 사진으로 결정된다. (r)번째 계층에서, (i)번째 유사도 비교 대상의 범위(Br(i))는 수학식 10에서와 같이 표현된다.
Figure 112006000750181-PAT00019
여기서, bmin과 bmax는 (r-1)번째 계층에서 결정된 상황 변화 지점들 가운데 (i)번째 사진과 가장 근접한 두 지점을 나타낸다. 단, bmin은 현재 (i)번째 사진 보다 이전에 찍은 사진들 가운데서 결정되며, bmax는 현재 (i)번째 사진 보다 이후에 찍은 사진들 가운데서 결정된다. 상기 도 6의 예에서, bmin은 (i-n)이 되며, bmax는 (i+m)이 된다. 유사도 비교 대상의 범위(Br(i))는 (i)번째 사진과 가장 유사한 두 장의 사진을 찾음으로써 한번 더 변경된다. 이는 해당 범위 내에 사진이 많을 경우, 실제로 유사하지 않은 많은 사진을 비교하게 되는 것을 피하기 위함이다. 즉, 주어진 유사도 비교 대상의 범위를 줄여 새로이 갱신된다. 갱신된 유사도 비교 대상의 범위(Br(i))는 수학식 11에서와 같이 표현된다.
Figure 112006000750181-PAT00020
여기서
Figure 112006000750181-PAT00021
은 갱신된 유사도 비교 대상 범위의 최소값이며,
Figure 112006000750181-PAT00022
는 갱신된 유사도 비교 대상 범위의 최대값이다.
(i)번째 사진의 상황 변화 여부 검출을 위한 유사도 값은, 상기 주어진 유사도 비교 대상 범위 내에서, 현재 사진보다 이전에 찍은 사진들 가운데 (
Figure 112006000750181-PAT00023
)번째 사진보다 이후에 찍은 사진들과, 현재 사진보다 이후에 찍은 사진들 가운데 (
Figure 112006000750181-PAT00024
)번째 사진보다 이전에 찍은 사진들을 서로 비교한다. (i)번째 사진의 상황 변화 여부 검출을 위한 유사도 값은 다음의 수학식 12에서와 같이 표현된다.
Figure 112006000750181-PAT00025
여기서, vf는 사진의 각 특징의 중요도를 나타내며, M은 [
Figure 112006000750181-PAT00026
,
Figure 112006000750181-PAT00027
] 구간 내에 사진 수를 나타내며, (
Figure 112006000750181-PAT00028
-
Figure 112006000750181-PAT00029
+ 1) 값을 갖는다. 만일 (i)번째 사진이 상황 변화 지점이라면, (i)번째 사진보다 이전에 촬영한 사진들과의 유사도 거리값인
Figure 112006000750181-PAT00030
는 상대적으로 큰 값을 가지고, (i)번째 사진보다 이후에 촬영한 사진들과의 유사도 거리값인
Figure 112006000750181-PAT00031
는 상대적으로 작은 값을 가지며, (i)번째 사진보다 이전에 촬영한 사진들과 (i)번째 사진 이후에 촬영한 사진들 간의 유사도 거리값인
Figure 112006000750181-PAT00032
는 상대적으로 큰 값을 가진다. 따라서 만일 (i)번째 사진이 상황변화 지점이라면 상황변화지점이 아닌 사진에서의
Figure 112006000750181-PAT00033
값에 비해 상대적으로 큰
Figure 112006000750181-PAT00034
값을 갖는다.
상기 수학식에서 이용한 세 항목들 가운데 {
Figure 112006000750181-PAT00035
} 만을 사용하거나,
Figure 112006000750181-PAT00036
만을 사용할 수도 있으며, 상기 예에 한정되지는 않는다.
상기 수학식에 의해 측정된 유사도 값이 임의의 임계값을 초과하는 경우에, 해당 (i)번째 사진에서, 상황이 변화되었다고 판단한다. 계층 (r)에서, (i)번째 사진의 상황 변화 여부는 다음 식에서와 같이 표현된다.
Figure 112006000750181-PAT00037
상기 과정을 수학식 14의 조건이 만족하는지 체크하여(450단계), 상기 조건을 만족시킬 때까지 계층을 증가시키면서 반복한다.(460단계) 만일, 상기 수학식15에 의해 측정된 유사도 값이 임의의 임계값 보다 작은 경우, 수학식 9에서와 같이 임계값을 감소시킨 후, 계층을 증가시킴으로써 더 세밀하게 클러스터링한다.
Figure 112006000750181-PAT00038
여기서 thstop은 계층적 클러스터링을 멈추기 위한 임계값의 한계치(stopping criteria)이다. 그렇게 하여 최종 상황변화 경계를 생성한다.(470단계)
마지막으로 상기 앨범화부(180)는 클러스터링된 사진열을 앨범으로 구성한다. 최종 결정된 각 상황 클러스터를 한꺼번에 인덱싱하는 과정이 수행된다. 상기 인덱싱 과정은 사용자에 의해 수행되거나, 시스템에 의해 자동으로 수행될 수 있다. 또한, 행사(event) 기반 클러스터링 및 인덱싱을 위한 준비 단계로 활용될 수 있다. 이렇게 하여 클러스터링된 사진열은 앨범화된다.(250단계)
본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터(정보 처리 기능을 갖는 장치를 모두 포함한다)가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
본 발명에 의하면, 사진에 저장된 카메라 정보, 파일 정보와 같이 기본적으로 사진에서 얻을 수 있는 정보뿐만 아니라, 사진의 내용에서 색상, 질감, 모양 등의 내용기반 특징값 정보를 동시에 사용하여 상황기반 사진 클러스터링을 수행함으로써, 대용량의 사진 데이터를 보다 빠르고 효과적으로 앨범화할 수 있다.
뿐만 아니라, 본 발명에 의한 계층적 클러스터링 방법을 이용함으로써, 입력된 사진 데이터의 특성이나 사용자의 요구에 따라 자유롭게 클러스터링 정도를 결정할 수 있다는 장점이 있다.

Claims (25)

  1. 디지털 사진을 찍을 당시의 상황에 기반하여 클러스터링하는 방법에 있어서,
    (a) 디지털 사진 파일로부터 적어도 촬영시간 특징값을 포함하는 촬영 데이터 정보를 추출하고, 디지털 사진의 내용으로부터 내용기반 특징값을 추출하는 단계;
    (b) 상기 추출된 촬영시간 특징값 및 내용기반 특징값 각각에 대해 중요도를 부과하여 조합하는 단계; 및
    (c) 상기 중요도에 따라 조합된 특징값 정보들을 이용하여 사진을 찍은 상황을 계층적으로 클러스터링하는 단계를 포함하는 것을 특징으로 하는 상황기반 디지털 사진 클러스터링 방법.
  2. 제1항에 있어서, 상기 (a)단계의 내용기반 특징값은
    색상, 질감, 모양 중 적어도 하나를 포함함을 특징으로 하는 상황기반 디지털 사진 클러스터링 방법.
  3. 제1항에 있어서, 상기 (b)단계의 중요도는
    사진이 가지고 있는 의미적(semantic) 특징에 따라 결정됨을 특징으로 하는 상황기반 디지털 사진 클러스터링 방법.
  4. 제1항에 있어서, 상기 (b)단계의 중요도는
    입력된 사진 데이터의 시간 변화 분포 특성 및 내용 변화 분포 특성에 따라 달리 부과됨을 특징으로 하는 상황기반 디지털 사진 클러스터링 방법.
  5. 제1항에 있어서, 상기 (c)단계의 계층적 클러스터링은
    사진 촬영 시간 간격이 소정의 시간 이상이면 상황 변화 지점으로 검출하여 초기 클러스터링을 수행함을 특징으로 하는 상황기반 디지털 사진 클러스터링 방법.
  6. 제5항에 있어서,
    사진 촬영 시간에 의해 검출된 초기 상황 변화 지점을 기반으로 사진 촬영 시간 및 사진의 내용기반 특징값 정보를 조합한 특징값을 함께 이용하여 클러스터링하는 단계를 더 포함하는 것을 특징으로 하는 상황기반 디지털 사진 클러스터링 방법.
  7. 제1항에 있어서, 상기 (c)단계는
    임의의 계층을 (r)번째 계층이라 할 때, 상기 (r)번째 계층에서의 상황 변화 지점 검출은 (r-1)번째 계층에서 결정된 상황 변화 지점을 기준으로 수행되며, 상기 과정이
    Figure 112006000750181-PAT00039
    (여기서, thr 은 각 계층에서의 상황변화검출을 위한 사진간 의 유사도 임계값이고, thstop은 계층적 클러스터링을 멈추기 위한 유사도 임계값의 한계치(stopping criteria)이다.)를 만족시킬 때까지 반복됨을 특징으로 하는 상황기반 디지털 사진 클러스터링 방법.
  8. 제6항에 있어서, 상기 (r)번째 계층에서의 상황 변화 지점 검출은
    시간 특징값 유사도 및 내용기반 특징값 유사도를 이용하여 검출함을 특징으로 하는 상황기반 디지털 사진 클러스터링 방법.
  9. 제8항에 있어서, 상기 유사도 비교 대상 범위는
    [수학식 10]
    Figure 112006000750181-PAT00040
    (여기서, bmin과 bmax는 (r-1)번째 계층에서 결정된 상황 변화 지점들 가운데 (i)번째 사진과 가장 근접한 두 지점을 나타낸다. 단, bmin은 현재 (i)번째 사진 보다 이전에 찍은 사진들 가운데서 결정되며, bmax는 현재 (i)번째 사진 보다 이후에 찍은 사진들 가운데서 결정된다.)
    상기 수학식 10에서와 같은 유사도 비교 대상 범위에 의해 결정됨을 특징으로 하는 상황기반 디지털 사진 클러스터링 방법.
  10. 제9항에 있어서,
    [수학식 11]
    Figure 112006000750181-PAT00041
    ( 여기서
    Figure 112006000750181-PAT00042
    은 갱신된 유사도 비교 대상 범위의 최소값이며,
    Figure 112006000750181-PAT00043
    는 갱신된 유사도 비교 대상 범위의 최대값이다.)
    유사도 비교 대상의 범위를 임의의 (r) 계층의 (i)번째 사진과 가장 유사한 두 장의 사진을 찾음으로써 상기 수학식 11에서와 같이 한번 더 변경되는 단계를 더 구비함을 특징으로 하는 상황기반 디지털 사진 클러스터링 방법.
  11. 제8항에 있어서, 상기 시간특징값 및 내용기반 특징값 유사도는
    [수학식]
    Figure 112006000750181-PAT00044
    (여기서, M은
    Figure 112006000750181-PAT00045
    구간 내에 사진 수를 나타내며,
    Figure 112006000750181-PAT00046
    값을 갖는다.)
    상기 상기 수학식에 의해 구해지는 인접 사진과의 유사도 거리값 임을 특징으로 하는 상황기반 디지털 사진 클러스터링 방법.
  12. 제8항에 있어서, 상기 시간특징값 및 내용기반 특징값 유사도는
    [수학식]
    Figure 112006000750181-PAT00047
    상기 수학식에 의해 구해지는 인접 사진과의 유사도 거리값 임을 특징으로 하는 상황기반 디지털 사진 클러스터링 방법.
  13. 제11항 또는 제12항에 있어서, 상기 상황변화 여부 검출은
    [수학식]
    Figure 112006000750181-PAT00048
    (여기서, thr은 (r)번째 계층에서의 임계값을 나타낸다.)
    상기 수학식에 의해, 상기 측정된 유사도 값이 임의의 임계값을 초과하는 경우에 상황이 변화되었다고 판단함을 특징으로 하는 상황기반 디지털 사진 클러스터링 방법.
  14. 디지털 사진을 찍을 당시의 상황에 기반하여 클러스터링하는 디지털 사진 클러스터링 장치에 있어서,
    디지털 사진 파일로부터 적어도 촬영시간 특징값을 포함하는 촬영 데이터 정보를 추출하고, 디지털 사진의 내용으로부터 내용기반 특징값을 추출하는 특징값추출부;
    상기 추출된 촬영시간 특징값 및 내용기반 특징값 각각에 대해 중요도를 부과하여 조합하는 중요도 조합부; 및
    상기 중요도에 따라 조합된 특징값 정보들을 이용하여 사진을 찍은 상황을 계층적으로 클러스터링하는 계층적 클러스터링부를 포함함을 특징으로 하는 상황기반 디지털 사진 클러스터링 장치.
  15. 제14항에 있어서, 상기 특징값 추출부의 내용기반 특징값은
    색상, 질감, 모양 중 적어도 하나를 포함함을 특징으로 하는 상황기반 디지털 사진 클러스터링 장치.
  16. 제14항에 있어서, 상기 중요도 조합부의 중요도는
    사진이 가지고 있는 의미적(semantic) 특징에 따라 결정됨을 특징으로 하는 상황기반 디지털 사진 클러스터링 장치.
  17. 제14항에 있어서, 상기 중요도 조합부의 중요도는
    입력된 사진 데이터의 시간 변화 분포 특성 및 내용 변화 분포 특성에 따라 달리 부과됨을 특징으로 하는 상황기반 디지털 사진 클러스터링 장치.
  18. 제14항에 있어서, 상기 계층적 클러스터링부의 계층적 클러스터링은
    사진 촬영 시간 간격이 소정의 시간 이상이면 상황 변화 지점으로 검출하여 초기 클러스터링을 수행함을 특징으로 하는 상황기반 디지털 사진 클러스터링 장치.
  19. 제18항에 있어서,
    사진 촬영 시간에 의해 검출된 초기 상황 변화 지점을 기반으로 사진 촬영 시간 및 사진의 내용기반 특징값 정보를 조합한 특징값을 함께 이용하여 클러스터링하는 단계를 더 포함하는 것을 특징으로 하는 상황기반 디지털 사진 클러스터링 장치.
  20. 제14항에 있어서, 상기 계층적 클러스터링부는
    임의의 계층을 (r)번째 계층이라 할 때, 상기 (r)번째 계층에서의 상황 변화 지점 검출은 (r-1)번째 계층에서 결정된 상황 변화 지점을 기준으로 수행되며, 상기 과정이
    Figure 112006000750181-PAT00049
    (여기서, thr 은 각 계층에서의 상황변화검출을 위한 사진간의 유사도 임계값이고, thstop은 계층적 클러스터링을 멈추기 위한 유사도 임계값의 한계치(stopping criteria)이다.)를 만족시킬 때까지 반복됨을 특징으로 하는 상황기반 디지털 사진 클러스터링 장치.
  21. 제19항에 있어서, 상기 (r)번째 계층에서의 상황 변화 지점 검출은
    시간 특징값 유사도 및 내용기반 특징값 유사도를 이용하여 검출함을 특징으로 하는 상황기반 디지털 사진 클러스터링 장치.
  22. 제21항에 있어서, 상기 유사도 비교 대상 범위는
    [수학식 10]
    Figure 112006000750181-PAT00050
    (여기서, bmin과 bmax는 (r-1)번째 계층에서 결정된 상황 변화 지점들 가운데 (i)번째 사진과 가장 근접한 두 지점을 나타낸다. 단, bmin은 현재 (i)번째 사진 보다 이전에 찍은 사진들 가운데서 결정되며, bmax는 현재 (i)번째 사진 보다 이후에 찍은 사진들 가운데서 결정된다.)
    상기 수학식 10에서와 같은 유사도 비교 대상 범위에 의해 결정됨을 특징으로 하는 상황기반 디지털 사진 클러스터링 장치.
  23. 디지털 촬영 장치로부터 디지털 사진 파일을 입력받는 단계;
    디지털 사진 파일로부터 적어도 촬영시간 특징값을 포함하는 촬영 데이터 정보를 추출하고, 디지털 사진의 내용으로부터 내용기반 특징값을 추출하는 단계;
    상기 추출된 촬영시간 특징값 및 내용기반 특징값 각각에 대해 중요도를 부과하여 조합하는 단계;
    상기 중요도에 따라 조합된 특징값 정보들을 이용하여 사진을 찍은 상황을 계층적으로 클러스터링하는 단계; 및
    상기 클러스터링된 사진열을 앨범으로 구성하는 단계를 포함함을 특징으로 하는 상황기반 디지털 사진 앨범화 방법.
  24. 디지털 촬영 장치로부터 디지털 사진 파일을 입력 받는 사진파일 입력부;
    디지털 사진 파일로부터 적어도 촬영시간 특징값을 포함하는 촬영 데이터 정보를 추출하고, 디지털 사진의 내용으로부터 내용기반 특징값을 추출하는 특징값추출부;
    상기 추출된 촬영시간 특징값 및 내용기반 특징값 각각에 대해 중요도를 부과하여 조합하는 중요도 생성부;
    상기 중요도에 따라 조합된 특징값 정보들을 이용하여 사진을 찍은 상황을 계층적으로 클러스터링하는 계층적 클러스터링부; 및
    클러스터링된 사진열을 앨범으로 구성하는 앨범화부를 포함함을 특징으로 하는 상황기반 디지털 사진 앨범 시스템.
  25. 제1항 내지 제13항 또는 제23항 중 어느 한 항에 기재된 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020060001286A 2005-01-10 2006-01-05 상황기반 디지털 사진 클러스터링 방법 및 장치와 이를이용한 디지털 사진 앨범 시스템 및 방법 KR100790865B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2006/000104 WO2006073299A1 (en) 2005-01-10 2006-01-10 Method and apparatus for clustering digital photos based on situation and system and method for albuming using the same
US11/328,084 US20060153460A1 (en) 2005-01-10 2006-01-10 Method and apparatus for clustering digital photos based on situation and system and method for albuming using the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20050002101 2005-01-10
KR1020050002101 2005-01-10

Publications (2)

Publication Number Publication Date
KR20060081659A true KR20060081659A (ko) 2006-07-13
KR100790865B1 KR100790865B1 (ko) 2008-01-03

Family

ID=37172582

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060001286A KR100790865B1 (ko) 2005-01-10 2006-01-05 상황기반 디지털 사진 클러스터링 방법 및 장치와 이를이용한 디지털 사진 앨범 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR100790865B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100868187B1 (ko) * 2006-11-02 2008-11-10 주식회사 케이티 사진 기반 통합 컨텐츠 생성 및 제공 시스템 그리고 그방법.
KR20110007179A (ko) * 2008-04-14 2011-01-21 코닌클리케 필립스 일렉트로닉스 엔.브이. 복수의 저장된 디지털 이미지들을 탐색하기 위한 방법 및 장치
KR101033302B1 (ko) * 2009-08-24 2011-05-09 포항공과대학교 산학협력단 2차원 그리드 기반의 대용량 디지털 사진 관리 시스템 및 방법
WO2017104922A1 (ko) * 2015-12-16 2017-06-22 에스케이플래닛 주식회사 추천 컨텐츠 제공 방법 및 이를 위한 장치
KR20170078109A (ko) * 2015-12-29 2017-07-07 에스케이플래닛 주식회사 추천 컨텐츠 제공 방법 및 이를 위한 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160196478A1 (en) * 2013-09-03 2016-07-07 Samsung Electronics Co., Ltd. Image processing method and device

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6993180B2 (en) 2001-09-04 2006-01-31 Eastman Kodak Company Method and system for automated grouping of images
JP4213447B2 (ja) 2002-09-27 2009-01-21 富士フイルム株式会社 アルバム作成方法および装置並びにプログラム
JP2004192121A (ja) 2002-12-09 2004-07-08 Seiko Epson Corp 画像検索装置、画像分類方法、画像検索方法、及びプログラム
JP2004280254A (ja) 2003-03-13 2004-10-07 Sanyo Electric Co Ltd コンテンツ分類方法および装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100868187B1 (ko) * 2006-11-02 2008-11-10 주식회사 케이티 사진 기반 통합 컨텐츠 생성 및 제공 시스템 그리고 그방법.
KR20110007179A (ko) * 2008-04-14 2011-01-21 코닌클리케 필립스 일렉트로닉스 엔.브이. 복수의 저장된 디지털 이미지들을 탐색하기 위한 방법 및 장치
KR101033302B1 (ko) * 2009-08-24 2011-05-09 포항공과대학교 산학협력단 2차원 그리드 기반의 대용량 디지털 사진 관리 시스템 및 방법
WO2017104922A1 (ko) * 2015-12-16 2017-06-22 에스케이플래닛 주식회사 추천 컨텐츠 제공 방법 및 이를 위한 장치
KR20170078109A (ko) * 2015-12-29 2017-07-07 에스케이플래닛 주식회사 추천 컨텐츠 제공 방법 및 이를 위한 장치

Also Published As

Publication number Publication date
KR100790865B1 (ko) 2008-01-03

Similar Documents

Publication Publication Date Title
US20220004573A1 (en) Method for creating view-based representations from multimedia collections
US20060153460A1 (en) Method and apparatus for clustering digital photos based on situation and system and method for albuming using the same
CN102132318B (zh) 图像收藏集的可缩放的相关性排序表示的自动创建
JP5537557B2 (ja) 事象毎に意味論的に分類する方法
US20120082378A1 (en) method and apparatus for selecting a representative image
US6865297B2 (en) Method for automatically classifying images into events in a multimedia authoring application
KR100601997B1 (ko) 인물기반 디지털 사진 클러스터링 방법 및 장치와 이를이용한 인물기반 디지털 사진 앨버밍 방법 및 장치
US20110099199A1 (en) Method and System of Detecting Events in Image Collections
WO2006075902A1 (en) Method and apparatus for category-based clustering using photographic region templates of digital photo
US20080002864A1 (en) Using background for searching image collections
KR100790865B1 (ko) 상황기반 디지털 사진 클러스터링 방법 및 장치와 이를이용한 디지털 사진 앨범 시스템 및 방법
KR100647337B1 (ko) 지역 분할 템플릿을 이용한 카테고리 기반 사진 클러스터링방법 및 시스템
US9442945B2 (en) File system manager using tagging organization
Suh et al. Semi-automatic image annotation using event and torso identification
Tankoyeu et al. Event detection and scene attraction by very simple contextual cues
KR100624465B1 (ko) 디지털 사진의 상황변환 검출 장치 및 방법 및 이를 이용한디지털 사진 앨범의 상황 기반 클러스터링 방법 및 장치
KR100790867B1 (ko) 지역 분할 템플릿을 이용한 카테고리 기반 사진 클러스터링방법 및 장치
Kuo et al. MPEG-7 based dozen dimensional digital content architecture for semantic image retrieval services
Yang et al. Automated situation clustering of home photos for digital albuming
Stauder et al. Relating visual and semantic image descriptors
Kim et al. User‐Friendly Personal Photo Browsing for Mobile Devices
Kuo et al. MPEG-7 Based Dozen Dimensional Digital Content
KUO et al. Spatial and Temporal Clustering of MPEG-7 Based Dozen Dimensional Digital Content
AOKI et al. MPEG-7 Content-Based Image Retrieval with Spatial and Temporal Information
Huang et al. An MPEG-7 Based Content-Aware Album System for Consumer Photographs

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]
FPAY Annual fee payment

Payment date: 20121115

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20131122

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20141119

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20151116

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20161118

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20171120

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20181119

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20191119

Year of fee payment: 13