KR20060048225A - 인물기반 디지털 사진 클러스터링 방법 및 장치와 이를이용한 인물기반 디지털 사진 앨버밍 방법 및 장치 - Google Patents

인물기반 디지털 사진 클러스터링 방법 및 장치와 이를이용한 인물기반 디지털 사진 앨버밍 방법 및 장치 Download PDF

Info

Publication number
KR20060048225A
KR20060048225A KR1020050048399A KR20050048399A KR20060048225A KR 20060048225 A KR20060048225 A KR 20060048225A KR 1020050048399 A KR1020050048399 A KR 1020050048399A KR 20050048399 A KR20050048399 A KR 20050048399A KR 20060048225 A KR20060048225 A KR 20060048225A
Authority
KR
South Korea
Prior art keywords
information
person
photo
group
clustering
Prior art date
Application number
KR1020050048399A
Other languages
English (en)
Other versions
KR100601997B1 (ko
Inventor
김상균
김지연
문영수
노용만
양승지
Original Assignee
삼성전자주식회사
한국정보통신대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 한국정보통신대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to US11/247,203 priority Critical patent/US7756334B2/en
Priority to PCT/KR2005/003401 priority patent/WO2006080755A1/en
Priority to EP05856532A priority patent/EP1805684A4/en
Publication of KR20060048225A publication Critical patent/KR20060048225A/ko
Application granted granted Critical
Publication of KR100601997B1 publication Critical patent/KR100601997B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5862—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

인물기반 디지털 사진 클러스터링 방법 및 장치와 이를 이용한 인물기반 디지털 사진 앨버밍 방법 및 장치가 개시된다. 그 클러스터링 방법은 사진데이터로부터 얼굴영역을 검출하는 단계; 검출된 얼굴영역으로부터 소정의 내용기반 얼굴특징값 정보를 추출하는 단계; 인물기반 사진 클러스터링 힌트 정보를 획득하는 단계; 및 그 추출한 내용기반 얼굴 특징값 정보에 사진 클러스터링 힌트정보를 적용하여 인물기반 클러스터링을 수행하는 단계를 포함함을 특징으로 한다. 그 인물기반 디지털 사진 앨버밍 방법은 적어도 사진을 식별하기 위한 사진식별자를 포함하는 사진서술정보를 생성하는 단계; 인물기반 사진 클러스터링을 지원하며 적어도 인물기반 사진 클러스터링을 위한 파라미터를 포함하는 앨범툴 서술정보를 생성하는 단계; 적어도 사진서술정보 및 앨범툴 서술정보를 이용하여 인물기반 클러스터링을 포함한 사진 앨범화를 수행하는 단계; 사진 앨범화 된 데이터를 소정의 사진그룹 서술정보로 생성하는 단계; 및 사진 서술정보 및 사진그룹 서술정보를 이용하여 소정의 사진앨범 정보를 생성하는 단계를 포함함을 특징으로 한다.
본 발명에 의하면, 인물 기반으로 클러스터링된 정보를 이용하여 사용자들이 손쉽게 대용량의 사진 데이터를 앨범으로 저장하거나 검색하고, 다른 사용자들과 클러스터링된 사진을 공유할 수 있다.

Description

인물기반 디지털 사진 클러스터링 방법 및 장치와 이를 이용한 인물기반 디지털 사진 앨버밍 방법 및 장치{Method and apparatus for person-based photo clustering in digital photo album, and Person-based digital photo albuming method and apparatus using it}
도 1은 본 발명에 따른 인물기반 디지털 사진 앨범 장치의 구성을 블록도로 도시한 것이다.
도 2는 본 발명에 의한 인물기반 디지털 사진 클러스터링 장치의 일실시예인 인물기반 사진 클러스터링 툴의 구성을 블록도로 도시한 것이다.
도 3은 사진서술정보 생성부에서 생성되는 사진서술 정보의 구조도를 도시한 것이다.
도 4는 도 3에서 서술한 사진 정보를 이용하여 사진을 인물기반 클러스터링하는 과정에 있어서 효과적인 사진 인물기반 클러스터링을 위해 필요한 파라미터들을 표현하기 위한 서술 구조를 도시한 것이다.
도 5는 도 4에서 서술한 인물 별 사진 클러스터링을 위한 파라미터들 가운데 인물 기반 그룹 리스트를 서술하기 위한 항목(Person-based group list, 400)을 표현하기 위한 서술 구조를 도시한 블록도이다.
도 6는 인물 기반 사진 클러스터링 성능을 높이기 위해 다음과 같은 인물 기 반 사진 클러스터링 힌트 항목의 서술 구조를 도시한 블록도이다.
도 7은 사진을 인물 별로 클러스터링한 후의 사진 그룹 정보를 표현하기 위한 서술 구조(Photo group description)를 나타낸 블록도이다.
도 8은 본 발명에 의한 사진 정보 서술 구조를 XML 스키마로 표현한 블록도이다.
도 9는 본 발명에 의한 사진 앨범화를 위한 파라미터 서술 구조를 XML 스키마로 표현한 블록도이다.
도 10은 본 발명에 의한 사진 그룹 서술 구조를 XML 스키마로 표현한 블록도이다.
도 11은 본 발명에 의한 인물 기반 사진 클러스터링을 이용한 디지털 사진 앨범화를 위한 전체 서술 구조를 XML 스키마로 표현한 블록도이다.
도 12는 본 발명에 의한 인물기반 디지털 사진 앨범 생성 방법을 흐름도로 도시한 것이다.
도 13은 도 12의 1230단계의 보다 상세한 설명을 흐름도로 도시한 것이다.
도 14는 도 13의 1330단계의 보다 상세한 설명을 흐름도로 도시한 것이다.
도 15는 사진 데이터를 상황 기반으로 먼저 클러스터링한 후, 인덱싱하는 방법에 대한 예를 보여주는 흐름도이다.
도 16은 데이터베이스에 저장된 인물 리스트와 인물 그룹 리스트를 나타낸 일 실시예이다.
도 17은 인물들 간의 관계를 테이블 형식으로 표현한 일 실시예이다.
본 발명은 디지털 사진 앨범에 관한 것으로서, 특히 인물기반 디지털 사진 클러스터링 방법 및 장치와 이를 이용한 인물기반 디지털 사진 앨버밍 방법 및 장치에 관한 것이다.
최근 디지털 카메라의 수요가 점점 더 증가하고 있다. 특히 메모리 기술의 발전으로 고집적/초소형 메모리의 사용이 일반화되고 있고, 화질을 크게 손상시키지 않는 디지털 영상 압축 기술이 개발됨에 따라, 사용자들은 한 개의 메모리 장치에 많게는 수백 장에서 수천 장의 사진을 저장할 수 있게 되었다. 이에 따라, 많은 사진들을 보다 효과적으로 관리하기 위한 장치와 도구가 필요하게 되었다. 이에 효율적인 디지털 사진 앨범에 대한 사용자의 요구가 증가하고 있다.
일반적인 디지털 사진 앨범은 사용자가 촬영한 사진을 디지털 카메라나 메모리 카드 등으로부터 사용자의 로컬 저장 장치로 옮겨오고, 사진 등을 컴퓨터에서 관리하기 위한 것이다. 사용자들은 사진 앨범을 이용하여 여러 사진들을 시간 별로, 인물 별로, 혹은 특정한 카테고리 별로 클러스터링하고 인덱싱한다. 이렇게 구성된 사진 앨범은 나중에 사용자가 사진 데이터를 브라우징하거나 다른 사용자들과 사진을 쉽게 공유할 수 있도록 한다.
David Frohlich는 Requirement for photoware (ACM CSCW, 2002)에서 많은 사용자들을 대상으로 한 설문을 통하여 사람들이 요구하는 사진 앨범의 기능을 조사 하였다. 대부분의 사람들은 디지털 사진 앨범의 필요성에는 동감하였으나, 많은 사진을 일일이 그룹핑하거나 라벨링하는데 소요되는 시간과 노력을 크게 불편해했으며, 다른 사람들과 사진을 공유하는 데에도 많은 어려움을 호소하였다.
지금까지, 사진 데이터를 클러스터링하는 방법을 제안한 많은 연구들이 있었다. 기본적으로는 사진이 찍힌 시간에 따라 클러스터링하는 방법, 사진의 내용 기반 특징 정보를 사용하여 클러스터링하는 방법들 등이 있었다. 이에 더 나아가 사진의 이벤트에 기반하여 클러스터링하는 방법 및 사진에 찍힌 인물에 기반하여 사진을 클러스터링하는 방법들 등이 연구되었다.
이 가운데 사용자들이 가장 유용하게, 그리고 자주 사용할 수 있는 앨범화 방법들 가운데 하나가 사진 데이터를 인물별로 클러스터링하는 것이다. 대용량의 사진 데이터를 사진에 찍힌 인물별로 사진을 자동으로 클러스터링하는 것은 사용자가 다른 사람들과 사진 데이터를 공유하거나, 추후에 사진 데이터를 브라우징하는 것을 쉽게 해준다.
사진 데이터를 인물별로 클러스터링하는 과정에 있어서 가장 중요한 기술은 얼굴인식 기술이다. 얼굴인식은 사람마다 다른 얼굴을 모아서 얼굴 데이터베이스를 만들어 놓고, 입력되는 얼굴영상을 이미 만들어 놓은 데이터베이스의 얼굴 영상들과 비교해서 그것이 누구인지 판별해내는 과정으로 설명할 수 있다.
즉, 사진 데이터에서 얼굴 영상을 검출(detection)하고 이를 데이터베이스의 얼굴 영상들과 매칭하여 해당 얼굴을 인식(recognition)하는 과정이다. 이를 위해서 영상 처리 방법에서 패턴인식을 수행할 때와 거의 같은 과정을 거치게 되는데, 영상 획득, 전 처리, 얼굴추출, 얼굴인식 등의 과정을 거치게 된다.
영상으로부터 얼굴을 검출하거나 얼굴을 인식하는 방법에 대한 연구는 지금까지 매우 많이 이루어졌다. 얼굴인식 분야는 보안 시스템을 위주로 발전하였다. 예를 들어, 지능형 무인 감시 시스템이나 출입자 통제 시스템, 그리고 범죄 용의자 검색 등의 시스템을 위한 얼굴추출 및 인식에 대한 연구가 주로 수행되었다. 이러한 응용 분야에서는 인물의 얼굴을 보다 정확하게 추출하고, 외부 조명이나, 인물의 표정 및 포즈에 대한 강인한 얼굴 인식 방법을 개발하는데 연구의 초점이 맞춰져 있다.
이에 반하여, 사진 데이터에서 얼굴을 인식하는 연구는 매우 초기 단계이다. 사진 데이터에서 얼굴을 추출하거나 인식하는 과정은 보안 시스템에서 획득된 영상으로부터 얼굴을 추출하거나 인식하는 과정보다 훨씬 더 어렵다. 보안 시스템에서는 고정된 공간에 설치된 고정된 카메라를 사용하여 영상을 획득하기 때문에, 영상으로부터 추출된 얼굴 영상은 비교적 정형화된 배경을 가지고 있다. 이에 반하여 사진 데이터는 사용자가 카메라를 가지고 다니면서 찍은 영상이기 때문에, 사진 속의 배경은 일반적으로 매우 자주 변하고 다양하다. 뿐만 아니라, 사용자가 카메라를 조작하는 방법(예를 들어, 카메라 줌의 사용이나 플래쉬의 사용 등) 또는 사진을 찍을 당시의 카메라의 방향에 따라 고정된 공간에서도 다양한 배경을 가질 수 있으며, 외부 조명이나 조도의 변화가 훨씬 크다.
상기와 같은 이유로 인하여, 사진 데이터를 인물별로 클러스터링하는 방법에 있어서, 기존의 보안 시스템에서의 응용 방법처럼 얼굴 영상만 사용하면 매우 낮은 성능이 발생된다. 사진 데이터를 인물별로 보다 잘 클러스터링하기 위해서는 사진으로부터 추출된 얼굴영상 정보뿐만 아니라 사진으로부터 얻을 수 있는 그 외의 다양한 부가 정보를 함께 이용하는 방법 및 시스템이 요구된다.
이러한 문제점을 해결하기 위한 선행 연구로써, 다음의 연구들이 대표적이다. Face Recognition-Matching System Effective to Images Obtained in Different Imaging Conditions(US 6,345,109 B1, 2002/02) 에서는 조명 등으로부터 비교적 간섭이 적은 정면의 얼굴영상으로 잡음이 심한 얼굴 영상을 인식해내는 시스템을 제안하였다. 하지만 이 시스템은 사용자가 잡음이 덜한 얼굴 영상들을 미리 준비해 두어야한다는 문제점이 있다.
Automatic Cataloging of People in Digital Photographs (US 6,606,398 B2, 2003/08)에서는 데이터베이스에 저장되어 있는 각각의 얼굴 영상들과 관계된 식별 매개 변수(identification parameter)를 정의하고, 이를 얼굴기반 사진 클러스터링에 이용하였다. 식별 매개 변수로는 이름, 관계, 성별, 나이 등이 있다. 새로 들어오는 이미지는 사용자가 입력하는 식별 매개 변수를 이용하여 데이터베이스에서 찾아서 클러스터링한다. 그러나, 사용자가 식별 매개 변수를 직접 입력해야하도록 하기 때문에, 식별 매개 변수의 입력에 많은 시간이 소요되므로 실용적이지 못하다.
Automatic Face-based Image Grouping for Albuming (IEEE, 2003)에서는 각 얼굴의 나이와 성별을 자동으로 검출해 내고, 이를 이용하여 사진 모음을 얼굴 기반으로 클러스터링하는 방법을 제안하였다. 이 방법은 사진의 얼굴 정보 외에 인물의 나이와 성별 정보를 함께 이용한다는 장점이 있으나, 사진의 다양한 부가 정보 를 함께 이용한다면 보다 효과적인 사진 그룹핑이 될 수 있을 것이다.
즉, 사진 데이터로부터 얻을 수 있는 다양한 부가 정보들을 적절하게 조합하여, 사진 영상에서 발생될 수 있는 외부 밝기 변화, 포즈 변화, 표정 변화, 시간 변화 등의 요소들을 고려해야 할 필요가 있다. 사진이 가지고 있는 특징, 예를 들어, 작은 시간 간격을 가진 사진 데이터들 간의 배경이 유사하고, 비슷한 인물들이 찍히며, 비슷한 옷을 입고 찍는 다는 점 등의 특징을 이용하면 얼굴 정보만 이용하는 것보다 향상된 인물 기반 사진 클러스터링 성능을 보일 수 있을 것이다.
본 발명이 이루고자 하는 기술적 과제는 인물기반 디지털 사진 클러스터링 방법 및 장치를 제공하는 것이다.
본 발명이 이루고자 하는 다른 기술적 과제는 인물기반 디지털 사진 앨범 방법 및 장치를 제공하는 것이다.
상기 기술적 과제를 이루기 위한 본 발명에 의한 인물기반 디지털 사진 클러스터링 방법은, (a) 사진데이터로부터 얼굴영역을 검출하는 단계; (b) 상기 검출된 얼굴영역으로부터 소정의 내용기반 얼굴특징값 정보를 추출하는 단계; (c) 소정의 인물기반 사진 클러스터링 힌트 정보를 획득하는 단계; 및 (d) 상기 추출한 내용기반 얼굴 특징값 정보에 상기 사진 클러스터링 힌트정보를 적용하여 인물기반 클러스터링을 수행하는 단계를 포함함을 특징으로 한다.
상기 (a)단계는 상기 검출된 얼굴영역 정보를 이용하여 얼굴영역 크기를 정 규화하는 단계를 더 구비하고, 상기 (b)단계는 상기 정규화된 얼굴영역으로부터 소정의 내용기반 얼굴 특징값 정보를 추출함이 바람직하다.
상기 (b)단계의 내용기반 특징값 정보는 MPEG-7의 영상 기술자(Visual Descriptor)를 이용하여 추출된 색상, 질감, 모양 특징값을 표현하기 위한 항목; 및 MPEG-7의 음성 기술자(Audio Descriptor)를 이용하여 추출한 음성 특징값을 표현하기 위한 항목을 포함함이 바람직하다.
상기 (c)단계의 인물기반 사진 클러스터링 힌트 정보는 인물의 외형적 특징 정보를 나타내는 Personal appearance hint; 사진의 장소나 배경 등의 상황정보를 기반으로 클러스터링된 결과에 대한 정보를 나타내는 Situation hint; 사진 팔일에 포함된 케메라 정보, 촬영정보, 사진 정보를 나타내는 Camera hint; 및 사진 파일과 함께 저장된 사용자의 오디오 정보를 나타내는 Audio hint 중 적어도 하나를 구비함이 바람직하다.
상기 Personal appearance hint는 인물의 옷 정보, 피부색 정보 및 머리모양 정보 중 적어도 하나를 구비함이 바람직하다. 상기 Situation hint는 사진이 속한 상황의 식별자를 표현하는 Situation ID를 구비함이 바람직하다. 상기 Camera hint는 사진이 촬영된 시간 정보를 표현하는 Taken time; 사진이 촬영된 당시의 초점 거리 정보를 표현하는 Focal length; 사진이 활여된 당시에 빛에 대한 노출시간 정보를 표현하는 Exposure time; 사진이 촬영된 당시의 카메라 줌 정보를 표현하는 Zoom info; 사진이 촬영된 당시의 플래쉬 정보를 표현하는 Flash info; 및 사진이 촬영된 당시의 GPS 정보를 표현하는 GPS info 중 적어도 하나를 구비함이 바람직하 다. 상기 Audio hint는 사진 데이터와 함께 저장된 오디오 정보로부터 추출된 음성정보 및 인식된 키워드 정보를 표현하는 Speech info를 구비함이 바람직하다.
상기 (d)단계는 (d1) 상기 추출한 내용기반 얼굴 특징값 정보에 상기 사진 클러스터링 힌트정보를 적용하여, 사진이 찍힌 상황에 기반하여 클러스터링을 수행하는 단계; 및 (d2) 상기 추출한 내용기반 얼굴 특징값 정보에 상기 사진 클러스터링 힌트정보를 적용하여, 상기 상황기반 클러스터 내에서 인물기반 클러스터링을 수행하는 단계를 포함함이 바람직하다.
상기 본 발명에 의한 인물기반 디지털 클러스터링 방법은 (e) 인물기반 클러스터링이 완료되면, 각 인물 기반 클러스터들을 인덱싱하는 단계를 더 구비함이 바람직하다. 상기 (e)단계는 인물기반 클러스터를 데이터베이스에 저장된 소정의 인덱싱된 인물사진들과 비교하여 가장 근사한 인덱스로 저장함이 바람직하다. 상기 데이터 베이스에 저장된 소정의 인덱싱된 인물사진들은 각 인물정보를 구비하고, 상기 인물정보는 인물의 식별자, 인물의 이름, 인물의 중요도, 다른 인물들과의 관계 및 해당인물이 포함된 상위그룹 정보 중 적어도 하나를 구비하는 인물리스트 정보로 이루어짐이 바람직하다.
상기 데이터 베이스에 저장된 소정의 인덱싱된 인물사진들은 인물들이 포함된 그룹에 대한 정보를 더 구비하고, 상기 인물그룹정보는 인물그룹 식별자, 인물그룹 이름, 인물그룹의 중요도, 인물그룹과 다른 인물그룹들과의 관계, 인물그룹이 포함된 상위그룹 정보 중 적어도 하나를 구비하는 인물그룹리스트 정보로 이루어짐이 바람직하다.
상기 기술적 과제를 이루기 위한 본 발명에 의한 인물기반 디지털 사진 클러스터링 장치는 사진데이터로부터 얼굴영역을 검출하는 얼굴영역검출부; 상기 검출된 얼굴영역으로부터 소정의 내용기반 얼굴특징값 정보를 추출하는 얼굴 특징값추출부; 소정의 인물기반 사진 클러스터링 힌트 정보를 획득하는 클러스트링 힌트정보 획득부; 및 상기 추출한 내용기반 얼굴 특징값 정보에 상기 사진 클러스터링 힌트정보를 적용하여 인물기반 클러스터링을 수행하는 클러스터링부를 포함함을 특징으로 한다.
상기 본 발명에 의한 인물기반 디지털 사진 클러스터링 장치는 상기 검출된 얼굴영역 정보를 이용하여 얼굴영역 크기를 정규화하는 얼굴영역정규화부를 더 구비하고, 상기 얼굴특징값추출부는 상기 정규화된 얼굴영역으로부터 소정의 내용기반 얼굴 특징값 정보를 추출함이 바람직하다.
상기 얼굴특징값 추출부의 내용기반 특징값 정보는 MPEG-7의 영상 기술자(Visual Descriptor)를 이용하여 추출된 색상, 질감, 모양 특징값을 표현하기 위한 항목; 및 MPEG-7의 음성 기술자(Audio Descriptor)를 이용하여 추출한 음성 특징값을 표현하기 위한 항목을 포함함이 바람직하다.
상기 클러스터링 힌트정보 획득부는 인물의 외형적 특징 정보를 나타내는 Personal appearance hint를 추출하는 인물외관힌트 추출부; 사진의 장소나 배경 등의 상황정보를 기반으로 클러스터링된 결과에 대한 정보를 나타내는 Situation hint를 추출하는 상황힌트추출부; 사진 팔일에 포함된 케메라 정보, 촬영정보, 사진 정보를 나타내는 Camera hint를 추출하는 카메라힌트추출부; 및 사진 파일과 함 께 저장된 사용자의 오디오 정보를 나타내는 Audio hint를 추출하는 오디오힌트 추출부 중 적어도 하나를 구비함이 바람직하다.
상기 클러스터링부는 상기 추출한 내용기반 얼굴 특징값 정보에 상기 사진 클러스터링 힌트정보를 적용하여, 사진이 찍힌 상황에 기반하여 클러스터링을 수행하는 상황기반 클러스터링부; 및 상기 추출한 내용기반 얼굴 특징값 정보에 상기 사진 클러스터링 힌트정보를 적용하여, 상기 상황기반 클러스터 내에서 인물기반 클러스터링을 수행하는 인물기반 클러스터링부를 포함함이 바람직하다.
본 발명에 의한 인물기반 디지털 사진 클러스터링 장치는 인물기반 클러스터링이 완료되면, 각 인물 기반 클러스터들을 인덱싱하는 인물기반 인덱싱부를 더 구비함이 바람직하다.
본 발명에 의한 인물기반 디지털 사진 클러스터링 장치는 그룹 선호성 값을 획득하는 그룹선호성힌트 획득부를 더 구비하고, 상기 인물기반 인덱싱부는 상기 그룹선호성 힌트 획득부에서 획득된 그룹 선호성 값을 참조하여 인물기반 클러스터를 데이터베이스에 저장된 소정의 인덱싱된 인물사진들과 비교하여 가장 근사한 인덱스로 저장함이 바람직하다.
상기 데이터 베이스에 저장된 소정의 인덱싱된 인물사진들은 각 인물정보 및 인물들이 포함된 그룹에 대한 정보를 구비하고, 상기 인물정보는 인물의 식별자, 인물의 이름, 인물의 중요도, 다른 인물들과의 관계 및 해당 인물이 포함된 상위그룹 정보 중 적어도 하나를 구비하는 인물리스트 정보로 이루어지며, 상기 인물그룹정보는 인물그룹 식별자, 인물그룹 이름, 인물그룹의 중요도, 인물그룹과 다른 인 물그룹들과의 관계, 인물그룹이 포함된 상위그룹 정보 중 적어도 하나를 구비하는 인물그룹 리스트 정보로 이루어짐이 바람직하다.
상술한 기술적 과제를 이루기 위한 본 발명에 의한 인물기반 디지털 사진 앨버밍 방법은 (aa) 적어도 사진을 식별하기 위한 사진식별자를 포함하는 사진서술정보를 생성하는 단계; (bb) 인물기반 사진 클러스터링을 지원하며 적어도 인물기반 사진 클러스터링을 위한 소정의 파라미터를 포함하는 앨범툴 서술정보를 생성하는 단계; (cc) 적어도 상기 사진서술정보 및 상기 앨범툴 서술정보를 이용하여 인물기반 클러스터링을 포함한 사진 앨범화를 수행하는 단계; (dd) 상기 사진 앨범화 된 데이터를 소정의 사진그룹 서술정보로 생성하는 단계; 및 (ee) 상기 사진 서술정보 및 상기 사진그룹 서술정보를 이용하여 소정의 사진앨범 정보를 생성하는 단계를 포함함을 특징으로 한다.
상기 본 발명에 의한 인물기반 디지털 사진 앨버밍 방법은 디지털 카메라의 내부 메모리 장치나 휴대용 메모리 장치로부터 사진데이터를 입력받는 단계를 더 구비함이 바람직하다.
상기 (aa)단계는 입력된 사진으로부터 사진 파일 내에 카메라 정보 및 촬영정보 등의 Exif 정보가 있는지 확인하고 만일 해당정보가 사진파일 내에 존재하면 정보를 추출하여 소정의 사진서술구조에 따라 표현함이 바람직하다. 상기 사진서술정보는 사진 식별자, 사진촬영한 작가정보, 사진파일정보, 카메라정보, 촬영정보 및 내용기반특징값 중 적어도 상기 사진식별자를 포함함이 바람직하다. 상기 내용기반 특징값은 사진의 픽셀정보를 이용하여 생성되며, 색상, 질감, 모양특징값을 포함하는 비쥬얼기술자 및 음성 특징값을 포함하는 오디오기술자를 포함함이 바람직하다.
상기 (bb)단계의 소정의 파라미터는 인덱싱된 인물기반 그룹 리스트를 서술하는 인물기반 그룹 리스트 항목; 및 인물기반 클러스터링 성능 향상을 위한 인물기반 클러스터링힌트 항목을 구비함이 바람직하다. 상기 인물기반 그룹 리스트 항목은 인물기반으로 클러스터링되고 인덱싱된 후 저장된 그룹들의 리스트를 나타내기 위한 그룹리스트정보; 및 인물기반으로 클러스터링되고 인덱싱된 후 저장된 인물들의 리스트를 나타내기 위한 인물리스트정보를 구비함이 바람직하다.
상기 그룹리스트 정보를 구성하는 각 그룹정보는 그룹 식별자, 그룹 이름, 그룹의 중요도, 그룹 간의 관계성 및 해당 그룹의 상위그룹 식별자 중 적어도 하나를 포함함이 바람직하다. 상기 그룹의 중요도는 사용자가 해당 그룹 또는 해당 그룹 내의 인물들이 포함된 사진들을 본 횟수에 의해 결정됨이 바람직하다. 상기 인물리스트 정보를 구성하는 각 인물정보는 인물 식별자, 인물이름, 인물의 중요도, 인물간 관계성 및 해당 인물의 상위인물 식별자 중 적어도 하나를 포함함이 바람직하다. 상기 인물의 중요도는 사용자가 해당 인물이 포함된 사진들을 본 회수에 의해 결정됨이 바람직하다.
상기 (cc)단계는 디지털 사진 데이터를 인물에 기반하여 클러스터링하는 단계를 포함함이 바람직하다. 상기 인물기반 사진 클러스터링 단계는 사진데이터로부터 얼굴영역을 검출하는 단계; 상기 검출된 얼굴영역으로부터 소정의 내용기반 얼굴특징값 정보를 추출하는 단계; 소정의 인물기반 사진 클러스터링 힌트 정보를 획득하는 단계; 및 상기 추출한 내용기반 얼굴 특징값 정보에 상기 사진 클러스터링 힌트정보를 적용하여 인물기반 클러스터링을 수행하는 단계를 포함함이 바람직하다. 상기 인물기반 사진 클러스터링 단계는 상기 검출된 얼굴영역 정보를 이용하여 얼굴영역 크기를 정규화하는 단계를 더 구비하고, 상기 얼굴특징값추출단계는 상기 정규화된 얼굴영역으로부터 소정의 내용기반 얼굴 특징값 정보를 추출함이 바람직하다. 상기 클러스터링단계는 인물기반 클러스터링이 완료되면, 각 인물 기반 클러스터들을 인덱싱하는 단계를 더 구비함이 바람직하다.
상술한 기술적 과제를 이루기 위한 본 발명에 의한 인물기반 디지털 사진 앨범 장치는 적어도 사진을 식별하기 위한 사진식별자를 포함하는 사진서술정보를 생성하는 사진서술정보 생성부; 인물기반 사진 클러스터링을 지원하며 적어도 인물기반 사진 클러스터링을 위한 소정의 파라미터를 포함하는 앨범툴 서술정보를 생성하는 앨범툴서술정보생성부; 적어도 상기 사진서술정보 및 상기 앨범툴 서술정보를 이용하여 인물기반 클러스터링을 포함한 사진 앨범화를 수행하는 앨범 툴; 상기 앨범 툴의 출력을 소정의 사진그룹 서술정보로 생성하는 사진그룹정보생성부; 및 상기 사진 서술정보 및 상기 사진그룹 서술정보를 이용하여 소정의 사진앨범 정보를 생성하는 사진앨범정보생성부를 포함함을 특징으로 한다. 상기 인물기반 디지털 사진 앨범 장치는 디지털 카메라의 내부 메모리 장치나 휴대용 메모리 장치로부터 사진데이터를 입력받는 사진입력부를 더 구비함이 바람직하다. 상기 사진서술정보 생성부는 입력된 사진으로부터 사진 파일 내에 카메라 정보 및 촬영정보 등의 Exif 정보가 있는지 확인하고 만일 해당정보가 사진파일 내에 존재하면 정보를 추출하여 소정의 사진서술구조에 따라 표현함이 바람직하다. 상기 인물기반 클러스터링 힌트 항목은 인물의 외형적 특징 정보를 나타내는 Personal appearance hint; 사진의 장소나 배경 등의 상황정보를 기반으로 클러스터링된 결과에 대한 정보를 나타내는 Situation hint; 사진 파일에 포함된 케메라 정보, 촬영정보, 사진 정보를 나타내는 Camera hint; 클러스터링할 사진들이 속하는 대략적인 그룹 리스트를 사용자가 선정한 정보를 표현하는 group preference hint; 및 사진 파일과 함께 저장된 사용자의 오디오 정보를 나타내는 Audio hint 중 적어도 하나를 구비함이 바람직하다.
상기 앨범 툴은 디지털 사진 데이터를 인물에 기반하여 클러스터링하는 인물기반 기반 사진 클러스터링 툴을 구비함이 바람직하다. 상기 인물기반 사진 클러스터링 툴은 사진데이터로부터 얼굴영역을 검출하는 얼굴영역검출부; 상기 검출된 얼굴영역으로부터 소정의 내용기반 얼굴특징값 정보를 추출하는 얼굴특징값추출부; 소정의 인물기반 사진 클러스터링 힌트 정보를 획득하는 클러스트링 힌트정보 획득부; 및 상기 추출한 내용기반 얼굴 특징값 정보에 상기 사진 클러스터링 힌트정보를 적용하여 인물기반 클러스터링을 수행하는 클러스터링부를 포함함이 바람직하다. 상기 인물기반 사진 클러스터링 툴은 상기 검출된 얼굴영역 정보를 이용하여 얼굴영역 크기를 정규화하는 얼굴영역정규화부를 더 구비하고, 상기 얼굴특징값추출부는 상기 정규화된 얼굴영역으로부터 소정의 내용기반 얼굴 특징값 정보를 추출함이 바람직하다. 상기 앨범툴은 인물기반 클러스터링이 완료되면, 각 인물 기반 클러스터들을 인덱싱하는 인물기반 인덱싱부를 더 구비함이 바람직하다. 상기 인물기반 인덱싱부는 그룹 선호성 값을 획득하는 그룹선호성힌트 획득부를 더 구비하 고, 상기 그룹선호성 힌트 획득부에서 획득된 그룹 선호성 값을 참조하여, 인물기반 클러스터를 데이터베이스에 저장된 소정의 인덱싱된 인물사진들과 비교하여 가장 근사한 인덱스로 저장함이 바람직하다.
그리고 상기 기재된 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다. 도 1은 본 발명에 따른 인물기반 디지털 사진 앨범 장치의 구성을 블록도로 도시한 것으로서, 상기 장치는 사진서술정보 생성부(110), 앨범툴서술정보 생성부(120), 앨범툴(130), 사진그룹정보 생성부(140) 및 사진앨범정보 생성부(150)를 포함하여 이루어진다. 그리고 상기 장치는 사진입력부(100)를 더 구비함이 바람직하다.
상기 사진입력부(100)는 디지털 카메라의 내부 메모리 장치나 휴대용 메모리 장치로부터 사진 데이터, 바람직하게는 사진 열을 입력받는다.
상기 사진서술정보 생성부(110)는 사진을 서술(description)하며 적어도 사진식별자를 포함하는 사진서술(photo description)정보를 생성한다. 이를 보다 구체적으로 설명하면, 상기 사진서술정보 생성부(110)는 입력된 각각의 사진들로부터 사진 파일 내에 저장된 카메라 정보 및 촬영 정보 등의 Exif 정보가 있는지 확인하고, 만일 해당 정보가 사진 파일 내에 존재한다면 정보를 추출하여 사진 서술 구조에 따라 표현된다. 동시에, 사진의 픽셀 정보로부터 내용 기반 특징값을 추출하고 사진 서술 구조에 따라 서술한다. 사진서술 정보는 사진을 그룹핑하기 위한 사진 앨범 툴(130)로 입력된다.
상기 앨범 툴 서술정보 생성부(120)는 상기 생성된 다양한 사진 서술 정보를 이용하여 사진을 보다 효율적으로 클러스터링하고 인덱싱 하기 위한 소정의 파라미터를 포함하는 앨범 툴 서술정보를 생성한다.
상기 앨범 툴(130)은 적어도 상기 사진서술정보 및 상기 앨범툴 서술정보를 이용하여 인물기반 클러스터링을 포함한 사진 앨범화를 수행하며, 디지털 사진 데이터를 인물에 기반하여 클러스터링하는 인물기반 사진 클러스터링 툴(135)를 구비한다. 상기 인물기반 사진 클러스터링 툴(135)은 디지털 사진데이터를 인물에 기반하여 클러스터링하는 인물기반 디지털 사진 클러스터링 장치이다.
상기 인물기반 사진 클러스터링 툴(135)은 도 2에 도시한 바와 같이 얼굴영역 검출부(200), 얼굴특징값 추출부(220), 클러스터링 힌트 정보 획득부(230), 인물기반 클러스터링부(240)을 포함하여 이루어진다. 또한 얼굴영역 정규화부(210)를 더 구비함이 바람직하다. 또한 인물기반 인덱싱부(250)를 더 구비함이 바람직하다.
상기 얼굴영역 검출부(200)는 사진 데이터로부터 얼굴영역을 검출한다.
상기 얼굴영역 정규화부(210)는 상기 검출된 얼굴영역 정보를 이용하여 얼굴영역 크기를 정규화한다.
상기 얼굴특징값추출부(220)는 상기 정규화된 얼굴영역으로부터 소정의 내용기반 얼굴특징값 정보를 추출한다.
상기 클러스터링 힌트정보 획득부(230)는 소정의 인물기반 사진 클러스터링 힌트정보를 획득하며, 인물외관힌트 추출부(232), 카메라힌트 추출부(234), 상황힌트 추출부(236) 및 오디오힌트 추출부(238) 중 적어도 하나를 구비한다.
상기 인물외관힌트 추출부(232)는 인물의 외형적 특징 정보를 나타내는 Personal appearance hint를 추출한다. 상기 카메라힌트 추출부(234)는 사진의 장소나 배경 등의 상황정보를 기반으로 클러스터링된 결과에 대한 정보를 나타내는 Situation hint를 추출한다. 상기 상황힌트 추출부(236)는 사진 팔일에 포함된 케메라 정보, 촬영정보, 사진 정보를 나타내는 Camera hint를 추출한다. 상기 오디오힌트 추출부(238)는 사진 파일과 함께 저장된 사용자의 오디오 정보를 나타내는 Audio hint를 추출한다.
상기 인물기반 클러스터링부(240)는 상기 추출한 내용기반 얼굴특징값 정보에 상기 사진 클러스터링 힌트정보를 적용하여 인물기반 클러스터링을 수행한다.
상기 인물기반 인덱싱부(250)는 인물기반 사진 클러스터를 데이터베이스(260)에 저장된 소정의 인덱싱된 인물사진들과 비교하여 가장 근사한 인덱스로 저장한다. 상기 데이터 베이스(260)에 저장된 소정의 인덱싱된 인물사진들은 각 인물정보 및 인물들이 포함된 그룹에 대한 정보를 구비하고, 상기 인물정보는 인물의 식별자, 인물의 이름, 인물의 중요도, 다른 인물들과의 관계 및 해당 인물이 포함된 상위그룹 정보 중 적어도 하나를 구비하는 인물 리스트 정보로 이루어진다. 상기 인물그룹정보는 인물그룹 식별자, 인물그룹 이름, 인물그룹의 중요도, 인물그룹과 다른 인물그룹들과의 관계, 인물그룹이 포함된 상위그룹 정보 중 적어도 하나를 구비하는 인물그룹 리스트 정보로 이루어진다. 상기 인물기반 인덱싱부(250)에서 인물기반 사진 클러스터를 데이터베이스(260)에 저장된 소정의 인덱싱된 인물사진들과 비교할 때, 그룹 선호성 힌트 획득부(270)로부터 그룹 선호성 값(group preference value)을 외부로부터 받아들여 이를 참조하여 비교한다.
상기 인물기반 인덱싱부(250)에서 인덱싱이 완료되면, 데이터 베이스 갱신부(280)는 상기 인덱싱 된 사진들을 이용하여 데이터베이스의 인덱싱 된 사진들을 갱신한다.
상기 사진그룹정보 생성부(140)는 상기 앨범 툴(130)의 출력을 소정의 사진그룹 서술정보로 생성한다.
상기 사진앨범정보 생성부(150)는 상기 사진 서술정보 및 상기 사진그룹 서술정보를 이용하여 소정의 사진앨범 정보를 생성한다. 마지막으로 사진 앨범 정보(150)은 사진 앨범 데이터베이스(Album database, 160)에 저장된다.
도 3은 상기 사진서술정보 생성부(110)에서 생성되는 사진서술 정보의 구조도를 도시한 것으로서, 상기 사진서술 정보는 디지털 카메라의 내부 메모리 장치나 휴대용 메모리 장치로부터 입력된 사진들로부터 파일 내에 저장된 카메라 정보 및 촬영 정보와 사진의 내용으로부터 추출된 내용 기반 특징값 정보를 표현한다. 도 3에 도시된 바와 같이, 사진 정보 서술 구조(30)는 각 사진을 식별하기 위한 사진 식별자(Photo ID, 300)와, 사진을 촬영한 사람을 표현하기 위한 항목(Author, 320)과, 사진 파일에 저장된 파일 정보를 표현하는 항목(File information, 340)과, 사진 파일에 저장된 카메라 정보를 표현하는 항목(Camera information, 360)과, 내용 기반 특징값을 표현하는 항목(Content-based information, 380)을 포함한다.
또한, 사진 파일에 저장된 파일 정보(340)를 표현하기 위한 세부 항목으로, 사진 파일의 이름을 표현하는 항목(File name, 342)과, 사진 파일의 형식을 표현하 는 항목(File format, 344)과, 사진 파일의 용량을 표현하는 항목(File size, 346)과, 사진 파일이 생성된 날짜와 시간을 표현하는 항목(File creation date/time, 348)을 포함한다.
또한, 사진 파일에 저장된 카메라 및 촬영 정보(360)를 표현하기 위한 세부 항목으로, 해당 사진 파일이 Exif 정보를 포함하고 있는지의 여부를 표현하기 위한 항목(IsExifInformation, 362)과, 해당 사진을 촬영하는데 이용된 카메라 모델을 표현하기 위한 항목(Camera model, 364)과, 해당 사진을 촬영한 당시의 날짜 및 시간을 표현하기 위한 항목(Taken date/time, 366)과, 해당 사진을 촬영한 장소의 위치 정보를 GPS(Global Positioning System)에 의해 획득된 정보로 정확하게 표현하기 위한 항목(GPS information, 368)과, 해당 사진의 크기에서 가로 길이 정보를 표현하기 위한 항목(Image width, 370)과, 해당 사진의 크기에서 세로 길이 정보를 표현하기 위한 항목(Image height, 372)과, 사진을 찍을 때 카메라 플래쉬를 사용했는지의 여부를 표현하기 위한 항목(Flash on/off, 374)과, 사진의 밝기 정보를 표현하기 위한 항목(Brightness, 376)과, 사진의 명암 정보를 표현하기 위한 항목(Contrast, 378)과, 사진의 선명함을 표현하기 위한 항목(Sharpness, 379)을 포함한다.
또한, 사진으로부터 추출된 내용 기반 특징값을 표현하기 위한 정보(380)는 MPEG-7의 Visual Descriptor를 이용하여 추출된 색상, 질감, 그리고 모양 특징값을 표현하기 위한 항목(Visual descriptor, 382)과 MPEG-7의 Audio Descriptor를 이용하여 추출한 음성 특징값을 표현하기 위한 항목(Audio descriptor, 384)을 포함한 다.
도 4는 도 3에서 서술한 사진 정보(30)를 이용하여 사진을 인물기반 클러스터링하는 과정에 있어서 효과적인 사진 인물기반 클러스터링을 위해 필요한 파라미터들을 표현하기 위한 서술 구조를 도시한 것이다. 도 4에서, 인물 별 사진 클러스터링을 위한 파라미터(40)로는, 이미 인덱싱된 인물 기반 그룹 리스트를 서술하기 위한 항목(Person-based group list, 400)과, 인물 기반 클러스터링 성능을 보다 향상시키기 위해 사용되는 인물 기반 사진 클러스터링 힌트 항목(Person-based clustering hints, 450)을 포함한다.
도 5는 도 4에서 서술한 인물 별 사진 클러스터링을 위한 파라미터들 가운데 인물 기반 그룹 리스트를 서술하기 위한 항목(Person-based group list, 400)을 표현하기 위한 서술 구조를 도시한 블록도이다. 도 5에서, 인물 기반 그룹 리스트를 서술하기 위한 항목(400)은 이미 인물 기반으로 클러스터링되고 인덱싱된 후 데이터베이스에 저장된 그룹 및 인물들의 리스트를 나타내기 위한 항목으로 그룹 정보 항목(Group info, 500)과 와 인물 정보 항목(Person info, 550)으로 구성된다.
또한 그룹 정보 항목(500)은 여러 명의 인물들의 그룹 정보를 표현하기 위한 항목으로 한 개 이상의 그룹 정보가 나열될 수 있다. 그룹 정보 항목(500)은 그룹의 고유한 아이디(ID)를 표현하는 항목(Group ID, 502), 그룹의 고유한 이름을 표현하는 항목(Group name, 504), 해당 그룹이 얼마나 중요한지의 정도를 표현하는 항목(Group importance value, 506), 다른 그룹들과의 관계를 테이블 형식으로 표현하는 항목(Inter-group relationship table, 508), 해당 그룹이 포함된 부모 그 룹(상위 그룹)의 정보를 아이디로 표현하는 항목(Parent group IDs, 509)을 포함한다. 여기서, 그룹의 중요도를 표현하는 항목(506)은 사용자가 해당 그룹 혹은 해당 그룹 내의 속한 인물들이 포함된 사진들을 얼마나 자주 보았는지를 기록한 정보를 이용하여 자동으로 측정되거나, 사용자가 직접 임의의 값을 설정할 수 있다. 그룹의 중요도를 표현하는 항목을 결정하는 방법이 상기 예를 포함하지만 상기 예에 한정되지는 않는다.
다른 그룹들과의 관계를 테이블 형식으로 표현하는 항목(508)은 해당 그룹에 속한 인물들과 다른 임의의 그룹에 속한 인물들이 함께 찍은 사진의 빈도를 저장하고 이를 수치적으로 기술함으로써 두 그룹 간의 관계를 표현하는 항목이다. 다른 그룹들과의 관계를 테이블 형식으로 표현하는 항목을 결정하는 방법 상기 예를 포함하지만 상기 예에 한정되지는 않는다.
또한, 인물 정보 항목(550)은 그룹 내에 포함된 인물의 정보를 표현하기 위한 항목으로 한 개 이상의 인물 정보가 나열될 수 있다. 인물 정보 항목(550)은 인물의 고유한 아이디(ID)를 표현하는 항목(Person ID, 552), 인물의 고유한 이름을 표현하는 항목(Person name, 554), 해당 인물이 얼마나 중요한지의 정도를 표현하는 항목(Person importance value, 556), 다른 인물들과의 관계를 테이블 형식으로 표현하는 항목(Inter-person relationship table, 558), 해당 인물이 포함된 부모 그룹(상위 그룹)의 정보를 아이디로 표현하는 항목(Parent group IDs, 559)을 포함한다. 여기서, 인물의 중요도를 표현하는 항목(556)은 사용자가 해당 인물이 포함된 사진들을 얼마나 자주 보았는지를 기록한 정보를 이용하여 자동으로 측정되거 나, 사용자가 직접 임의의 값을 설정할 수 있다. 인물의 중요도를 표현하는 항목을 결정하는 방법은 상기 예를 포함하지만 상기 예에 한정되지는 않는다.
다른 인물들과의 관계를 테이블 형식으로 표현하는 항목(558)은 해당 인물과 다른 임의의 인물이 함께 찍은 사진의 빈도를 저장하고 이를 수치적으로 기술함으로써 두 인물들 간의 관계를 표현하는 항목이다. 다른 인물들과의 관계를 테이블 형식으로 표현하는 항목을 결정하는 방법이 상기 예를 포함하지만 상기 예에 한정되지는 않는다.
도 6은 인물 기반 사진 클러스터링 성능을 높이기 위해 다음과 같은 인물 기반 사진 클러스터링 힌트 항목의 서술 구조를 도시한 블록도이다. 도 6에서, 인물 기반 클러스터링 힌트 항목(Person-based clustering hints, 450)은 사진의 상황 기반 클러스터링 결과를 표현하는 항목(Situation hints, 610), 인물의 외형적 특징 정보를 표현하는 항목(Personal appearance hints, 620), 사진 파일에 저장된 카메라 정보 및 촬영 정보를 표현하는 항목(Camera hints, 630), 클러스터링할 사진들이 속하는 대략적인 그룹 리스트를 사용자가 직접 선정한 정보를 표현하는 항목(Group preference hint, 640), 사진과 함께 저장된 오디오 정보를 표현하는 항목(Audio hints, 650)을 포함한다.
사진을 상황 기반으로 클러스터링한 결과를 표현하는 항목(610)은 사진을 상황 기반으로 클러스터링한 결과에서 해당 사진이 속한 상황 정보(612), 바람직하게는 고유한 아이디를 포함한다. 인물의 외형적 특징 정보를 표현하는 항목(620)은 인물이 입고 있는 옷에 대한 정보를 표현하는 항목(Cloth info, 622), 인물의 피부 색 정보를 표현하는 항목(Skin tone, 624), 인물의 머리 모양을 표현하는 항목(Hair style, 626) 등의 정보를 포함한다. 인물의 외형적 특징 정보를 표현하는 항목(620)이 상기 예들을 포함하지만 상기 예에 한정되지는 않는다.
사진 파일에 저장된 카메라 정보 및 촬영 정보를 표현하는 항목(630)은 사진이 촬영된 시간 정보를 표현하는 항목(Taken time, 631), 사진이 촬영된 당시의 초점 거리 정보를 표현하는 항목(Focal length, 632), 사진이 촬영된 당시에 빛에 대한 노출 시간 정보를 표현하는 항목(Exposure time, 633), 사진이 촬영된 당시의 카메라 줌(zoom) 정보를 표현하는 항목(Zoom info, 634), 사진이 촬영된 당시의 플래쉬 정보를 표현하는 항목(Flash info, 635), 사진이 촬영된 당시의 GPS 정보를 표현하는 항목(GPS info, 636)을 포함한다. 사진 파일에 저장된 카메라 정보 및 촬영 정보를 표현하는 항목(630)이 상기 예들을 포함하지만 상기 예에 한정되지는 않는다. 클러스터링할 사진들이 속하는 대략적인 그룹 리스트를 사용자가 직접 선정한 정보를 표현하는 항목(640)은 사용자가 선정된 그룹들과 이에 대한 중요도 정도를 수치적으로 표현하는 항목(Group preference value, 642)를 포함한다.
사진과 함께 저장된 오디오 정보를 표현하는 항목(650)은 사진 데이터와 함께 저장된 오디오 정보로부터 추출된 음성 정보 및 인식된 키워드 정보를 표현하는 항목(Speech info, 652)을 포함한다. 사진과 함께 저장된 오디오 정보를 표현하는 항목(32450)은 상기 예를 포함하지만 상기 예에 한정되지는 않는다.
도 7은 사진을 인물 별로 클러스터링한 후의 사진 그룹 정보를 표현하기 위한 서술 구조(Photo group description, 700)를 나타낸 블록도이다. 사진 그룹은 인물 기반 사진 클러스터링에 의한 사진 그룹(Person-based photo group, 710)을 포함하며, 각 클러스터 그룹은 하위 그룹(Photo series, 730)을 포함한다. 각 사진 그룹은 여러 개의 사진을 사진 식별자로 포함할 수 있다(Photo ID, 735). 각 인물 기반 클러스터는 그룹 식별자(Group ID, 720)를 가지며 인물 기반 그룹 리스트로부터 참조된다.
도 8은 본 발명에 의한 사진 정보 서술 구조를 XML 스키마로 표현한 블록도이다. 사진 파일 내에 저장된 카메라 정보 및 촬영 정보와 사진의 내용으로부터 추출된 내용 기반 특징값 정보를 표현하기 위한 서술 구조를 XML 형식으로 표현하면 다음과 같다.
<complexType name="PhotoType">
<complexContent>
<extension base="mpeg7:DSType">
<sequence>
<element name="Author" type="mpeg7:TextualType"/>
<element name="FileInfomation">
<complexType>
<complexContent>
<extension base="mpeg7:DType">
<sequence>
<element name="FileName" type="mpeg7:TextualType"/>
<element name="FileFormat" type="mpeg7:TextualType"/>
<element name="FileSize" type="nonNegativeInteger"/>
<element name="CreationDateTime" type ="mpeg7:timePointType"/>
</sequence>
</extension>
</complexContent>
</complexType>
</element>
<element name="CameraInfomation">
<complexType>
<choice>
<element name="IsEXIFInfomation" type="boolean"/>
<sequence>
<element name="CameraModel" type="mpeg7:TextualType"/>
<element name="ImageWidth" type="nonNegativeInteger"/>
<element name="ImageHeight" type="nonNegativeInteger"/>
<element name="TakenTime" type="mpeg7:timePointType"/>
<element name="BrightnessValue" type="integer"/>
<element name="GPSInfomation" type="mpeg7:timePointType"/>
<element name="Saturation" type="integer"/>
<element name="Sharpness" type="integer"/>
<element name="Contrast" type="integer"/>
<element name="Flash" type="boolean"/>
</sequence>
</choice>
</complexType>
</element>
<element name="ContentBasedInfomation">
<complexType>
<complexContent>
<extension base="mpeg7:DType">
<sequence>
<element name="AudioDescriptor" type="mpeg7:AudioDType"/>
<element name="VisualDescriptor" type="mpeg7:VisualDType"/>
</sequence>
</extension>
</complexContent>
</complexType>
</element>
</sequence>
<attribute name="PhotoID" type="ID" use="required"/>
</extension>
</complexContent>
</complexType>
도 9는 본 발명에 의한 사진 앨범화를 위한 파라미터 서술 구조를 XML 스키마로 표현한 블록도이다. 효과적인 인물 기반 사진 클러스터링을 위해 필요한 파라미터들을 표현하기 위한 서술 구조를 XML 형식으로 표현하면 다음과 같다.
<complexType name="PhotoAlbumingToolType">
<complexContent>
<extension base="mpeg7:DSType">
<sequence>
<element name="PersonBasedGroupList" type="mpeg7:PersonBasedGroupListType"/>
<element name="PersonBasedClusteringHint" type="mpeg7:PersonBasedClusteringHintType"/>
</sequence>
</extension>
</complexContent>
</complexType>
<complexType name="PersonBasedGroupListType">
<complexContent>
<extension base="mpeg7:PhotoAlbumingToolType">
<sequence>
<element name="GroupInfo" type="mpeg7:GroupInfoType"/>
<element name="PersonInfo" type="mpeg7:PersonInfoType"/>
</sequence>
</extension>
</complexContent>
</complexType>
<complexType name="PersonBasedClusteringHintType">
<complexContent>
<extension base="mpeg7:PhotoAlbumingToolType">
<sequence>
<element name="SituationHint" type="mpeg7:SituationHintType"/>
<element name="PersonalAppearanceHint" type="mpeg7:PersonalAppearanceHintType"/>
<element name="CameraHint" type="mpeg7:CameraHintType"/>
<element name="GroupPerferenceHint" type="mpeg7:GroupPerferenceHintType"/>
<element name="AudioHint" type="mpeg7:AudioHintType"/>
</sequence>
</extension>
</complexContent>
</complexType>
<complexType name="GroupPerferenceHintType">
<complexContent>
<extension base="mpeg7:PersonBasedClusteringHintType">
<sequence>
<element name="PreferenceValue" type="mpeg7:zeroToOneType"/>
</sequence>
<attribute name="GroupID" type="IDREF"/>
</extension>
</complexContent>
</complexType>
<complexType name="GroupInfoType">
<complexContent>
<extension base="mpeg7:PersonBasedGroupListType">
<sequence>
<element name="GroupName" type="mpeg7:TextualType"/>
<element name="GroupImportanceValue" type="mpeg7:zeroToOneType"/>
<element name="InterGroupRelationshipTable" type="mpeg7:RelationshipTableType"/>
</sequence>
<attribute name="GroupID" type="IDREF" use="required"/>
<attribute name="ParentGroupIDs" type="IDREF" use="required"/>
</extension>
</complexContent>
</complexType>
<complexType name="PersonInfoType">
<complexContent>
<extension base="mpeg7:PersonBasedGroupListType">
<sequence>
<element name="PersonName" type="mpeg7:TextualType"/>
<element name="PersonImportanceValue" type="mpeg7:zeroToOneType"/>
<element name="InterPersonRelationshipTable" type="mpeg7:RelationshipTableType"/>
</sequence>
<attribute name="MemberID" type="IDREF" use="required"/>
<attribute name="ParentGroupIDs" type="IDREF" use="required"/>
</extension>
</complexContent>
</complexType>
<complexType name="RelationshipTableType">
<complexContent>
<extension base="mpeg7:PersonBasedGroupListType">
<sequence>
<element name="RelationshipFactor" type="mpeg7:zeroToOneType"/>
</sequence>
<attribute name="SourceItem" type="IDREF" use="required"/>
<attribute name="DestinationItem" type="IDREF" use="required"/>
</extension>
</complexContent>
</complexType>
<complexType name="PersonalAppearanceHintType">
<complexContent>
<extension base="mpeg7:PersonBasedClusteringHintType">
<sequence>
<element name="ClothInfo" type="mpeg7:VisualInfoType"/>
<element name="HairStyleInfo" type="mpeg7:VisualInfoType"/>
<element name="SkinTone" type="mpeg7:VisualDType"/>
</sequence>
</extension>
</complexContent>
</complexType>
<complexType name="SituationHintType">
<complexContent>
<extension base="mpeg7:PersonBasedClusteringHintType">
<sequence>
<element name="SituationInfo" type="IDREF"/>
</sequence>
</extension>
</complexContent>
</complexType>
<complexType name="AudioHintType">
<complexContent>
<extension base="mpeg7:PhotoAlbumingToolType">
<sequence>
<element name="RecognizedSpeech" type="mpeg7:TextualType"/>
</sequence>
</extension>
</complexContent>
</complexType>
<complexType name="CameraHintType">
<complexContent>
<extension base="mpeg7:PhotoAlbumingToolType">
<sequence>
<element name="TakenTime" type="mpeg7:timePointType"/>
<element name="ZoomInfo" type="mpeg7:zeroToOneType"/>
<element name="FlashInfo" type="boolean"/>
<element name="ExposureTime" type="mpeg7:timePointType"/>
<element name="FocalLength" type="mpeg7:zeroToOneType"/>
<element name="GPSInformation" type="mpeg7:timePointType"/>
</sequence>
</extension>
</complexContent>
</complexType>
도 10은 본 발명에 의한 사진 그룹 서술 구조를 XML 스키마로 표현한 블록도이다. 사진을 클러스터링한 후의 사진 그룹 정보를 표현하기 위한 서술 구조를 XML 형식으로 표현하면 다음과 같다.
<complexType name="PersonBasedPhotoGroupType">
<complexContent>
<extension base="mpeg7:PhotoGroupType">
<sequence>
<element name="PhotoSeries">
<complexType>
<complexContent>
<extension base="mpeg7:DSType">
<sequence>
<element name="PhotoID" type="IDREF" maxOccurs="unbounded"/>
</sequence>
</extension>
</complexContent>
</complexType>
</element>
</sequence>
<attribute name="GroupID" type="IDREF" use="required"/>
</extension>
</complexContent>
</complexType>
도 11은 본 발명에 의한 인물 기반 사진 클러스터링을 이용한 디지털 사진 앨범화를 위한 전체 서술 구조를 XML 스키마로 표현한 블록도이다. 디지털 사진 앨범화를 위한 전체 서술 구조를 XML 형식으로 표현하면 다음과 같다.
<schema targetNamespace="urn:mpeg:mpeg7:schema:2001" xmlns="http://www.w3.org/2001/XMLSchema" xmlns:mpeg7="urn:mpeg:mpeg7:schema:2001" elementFormDefault="qualified" attributeFormDefault="unqualified">
<annotation>
<documentation>
This document contains visual tools defined in ISO/IEC 15938-3
</documentation>
</annotation>
<include schemaLocation="./mds-2001.xsd"/>
<complexType name="PhotoAlbumDSType">
<complexContent>
<extension base="mpeg7:DSType">
<sequence>
<element name="PhotoAlbumDescription" type="mpeg7:PhotoAlbumType"/>
<element name="AlbumingToolDescription" type="mpeg7:PhotoAlbumingToolType"/>
</sequence>
</extension>
</complexContent>
</complexType>
<complexType name="PhotoAlbumType">
<complexContent>
<extension base="mpeg7:DSType">
<sequence>
<element name="Photo" type="mpeg7:PhotoType"/>
<element name="PhotoGroup" type="mpeg7:PhotoGroupType"/>
</sequence>
</extension>
</complexContent>
</complexType>
</schema>
한편 도 12는 본 발명에 의한 인물기반 디지털 사진 앨범 생성 방법을 흐름도로 도시한 것으로서, 도 12를 참조하여 본 발명에 의한 인물기반 디지털 사진 앨범 생성 방법 및 그 장치의 동작을 설명하기로 한다.
본 발명에 의한 인물기반 디지털 사진 앨범 장치 및 방법은 상기 서술된 정보를 이용하여, 디지털 사진 데이터를 효과적으로 디지털 사진 앨범화한다. 따라서, 먼저 디지털 사진이 사진입력부(100)를 통해 입력되면(1200단계), 사진서술정보 생성부(110)에 의해 사진을 서술하며 적어도 사진식별자를 포함하는 사진서술정보가 생성된다.(1210단계)
또한 앨범툴 서술정보 생성부(120)에 의해 디지털 사진 클러스터링을 위한 소정의 파라미터를 포함하는 앨범 툴 서술정보가 생성된다.(1220단계) 그리고 나서 앨범툴(130)에 의해 입력사진, 상기 사진 서술정보 및 상기 앨범 툴 서술정보를 이용하여 사진을 인물기반 클러스터링한다.(1230단계) 사진그룹정보 생성부(140)에 의해 상기 인물기반 클러스터링된 결과를 소정의 사진그룹 서술정보로 생성한 다.(1240단계) 사진 앨범 정보 생성부(150)에서 상기 사진 서술정보 및 상기 사진그룹 서술정보를 이용하여 소정의 사진앨범 정보를 생성한다.(1250단계)
도 13은 상기 1230단계의 보다 상세한 설명을 흐름도로 도시한 것으로서, 이를 참조하여 인물기반 클러스터링을 위한 인물기반 디지털 사진 클러스터링 장치의 동작 및 그 방법을 설명하기로 한다.
먼저, 입력된 사진들을 클러스터링하기 위해 얼굴영역검출부(200)에의해 사진 데이터로부터 얼굴 영역을 검출한다.(1300단계) 입력된 N개의 사진 데이터들 가운데 (i)번째 사진 데이터 하나에서 M개의 얼굴 영역이 추출되었을 때, 추출된 얼굴 영역의 픽셀 정보인
Figure 112005030040129-PAT00001
는 아래 수학식에서와 같이 표현된다.
Figure 112005030040129-PAT00002
여기서,
Figure 112005030040129-PAT00003
는 (i)번째 사진에서 추출된 (m)번째 얼굴 영역의 픽셀 정보를 나타낸다. 위의 얼굴 추출 과정은 입력된 N개의 사진 데이터들 모두에서 반복된다.
얼굴영역이 검출되었으면, 사진 데이터의 크기(resolution)가 각각 다를 수 있기 때문에, 얼굴영역 정규화부(210)는 추출된 얼굴 영역 정보를 이용하여 모든 얼굴 영역의 크기를 가로 A, 세로 B의 크기로 정규화한다.(1310단계) 정규화된 얼굴 영역의 픽셀 정보인 는 아래 수학식에서와 같이 표현된다.
Figure 112005030040129-PAT00004
여기서,
Figure 112005030040129-PAT00005
는 (i)번째 사진에서 추출된 (m)번째 얼굴의 정규화된 얼굴 영역의 픽셀 정보를 나타낸다. 위의 얼굴 정규화 과정은 입력된 N개의 사진 데이터들 모두에서 반복된다.
얼굴영역이 정규화되면, 얼굴특징값 추출부(220)는 정규화된 얼굴 영역으로부터 내용 기반 얼굴 특징값 정보를 추출한다.(1320단계) (i)번째 사진에서 추출된 M개의 내용 기반 얼굴 특징값 정보인
Figure 112005030040129-PAT00006
는 아래 수학식에서와 같이 표현된다.
Figure 112005030040129-PAT00007
여기서,
Figure 112005030040129-PAT00008
는 (i)번째 사진에서 추출된 (m)번째 얼굴의 영역의 내용 기반 특징값 정보를 나타낸다. 내용 기반 얼굴 특징값을 추출하는 방법은 MPEG-7의 Face Recognition 기술자나 Advanced Face Recognition 기술자를 사용한다. 내용 기반 얼굴 특징값을 추출하는 방법이 상기 예를 포함하지만, 상기 예에 한정되지는 않는다.
또한 클러스터링 힌트정보 획득부(230)는 인물 기반 사진 클러스터링의 성능을 향상시키기 위한 파라미터인 인물 기반 사진 클러스터링 힌트 정보를 추출한다.(1330단계) 인물 기반 사진 클러스터링 힌트 정보는 인물의 외형적 특징 정보를 나타내는 'Personal appearance hint', 사진의 장소나 배경 등의 상황 정보를 기반으로 클러스터링된 결과에 대한 정보를 나타내는 'Situation hint', 사진 파일에 포함된 카메라 정보, 촬영 정보, 사진 정보를 나타내는 'Camera hint', 그리고 사진 파일과 함께 저장된 사용자의 오디오 정보를 나타내는 'Audio hint'가 있다. (i)번째 사진으로부터 추출된 (m)번째 인물의 인물 기반 사진 클러스터링 정보인
Figure 112005030040129-PAT00009
는 다음 식에서와 같이 표현된다.
Figure 112005030040129-PAT00010
여기서,
Figure 112005030040129-PAT00011
는 (i)번째 사진으로부터 추출된 (m)번째 인물의 외형적 특징 정보 힌트를,
Figure 112005030040129-PAT00012
는 (i)번째 사진의 카메라 정보 힌트를,
Figure 112005030040129-PAT00013
는 (i)번째 사진의 상황 기반 클러스터링 힌트 정보를,
Figure 112005030040129-PAT00014
는 (i)번째 사진의 오디오 힌트 정보를 각각 나타낸다. 인물 기반 사진 클러스터링 정보 힌트 항목은 상기 예를 포함하지만, 상기 예에 한정되지는 않는다.
상기 1330단계는 도 14에 도시된 바와 같이 인물외관 힌트를 추출하는 단계(1400단계), 카메라 힌트를 추출하는 단계(1420단계), 상황힌트추출단계(1440단계) 및 오디오 힌트 추출단계(1460) 중 적어도 하나를 구비하며, 상기 순서는 임의로 서로 바뀌어도 무관하다.
인물의 외형적 특징 정보 힌트 항목을 추출하는 단계(1400)에서, 인물의 외 형적 특징 정보 힌트 항목인
Figure 112005030040129-PAT00015
는 인물의 옷 정보, 피부색 정보, 머리 모양 등을 나타내는 정보들을 포함하며, 아래 수학식에서와 같이 표현된다.
Figure 112005030040129-PAT00016
여기서,
Figure 112005030040129-PAT00017
는 해당 인물의 옷 정보를,
Figure 112005030040129-PAT00018
은 해당 인물의 피부 색 정보를,
Figure 112005030040129-PAT00019
는 해당 인물의 머리 모양 정보를 각각 나타낸다. 인물의 외형적 특징 정보 힌트를 구성하는 항목은 상기 예를 포함하지만, 상기 예에 한정되지는 않는다.
사진 파일에 저장된 카메라 정보 및 촬영 정보 힌트 항목을 추출하는 단계(1420)에서, (i)번째 사진 파일에 저장된 카메라 정보 및 촬영 정보 힌트 항목인 는 사진이 촬영된 시간 정보를 표현하는 항목인 'Taken time', 사진이 촬영된 당시의 초점 거리 정보를 표현하는 항목인 'Focal length', 사진이 촬영된 당시에 빛에 대한 노출 시간 정보를 표현하는 항목인 'Exposure time', 사진이 촬영된 당시의 카메라 줌 정보를 표현하는 항목인 'Zoom info', 사진이 촬영된 당시의 플래쉬 정보를 표현하는 항목인 'Flash info', 사진이 촬영된 당시의 GPS 정보를 표현하는 항목인 'GPS info'를 포함하며, 아래의 수학식에서와 같이 표현된다.
Figure 112005030040129-PAT00020
위 식에서,
Figure 112005030040129-PAT00021
은 사진이 촬영된 시간,
Figure 112005030040129-PAT00022
는 사진이 촬영된 당시의 초점 거리 정보를,
Figure 112005030040129-PAT00023
는 빛에 대한 노출 시간 정보를,
Figure 112005030040129-PAT00024
는 카메라 줌 정보를,
Figure 112005030040129-PAT00025
은 플래쉬 정보를,
Figure 112005030040129-PAT00026
는 GPS 정보를 표현한다. 사진 파일에 저장된 카메라 정보 및 촬영 힌트 항목은 상기 예를 포함하지만, 상기 예에 한정되지는 않는다.
사진의 상황 기반 클러스터링 정보 힌트 항목을 추출하는 단계(1440)에서, (i)번째 사진의 상황 기반 클러스터링 정보 힌트 항목인
Figure 112005030040129-PAT00027
은 사진을 상황 기반으로 클러스터링한 결과에서 해당 사진이 속한 상황의 고유한 아이디를 표현하는 항목인 'Situation ID'를 포함하며, 아래의 수학식에서와 같이 표현된다.
Figure 112005030040129-PAT00028
위 식에서,
Figure 112005030040129-PAT00029
는 해당 사진이 속한 상황의 고유한 식별자 정보를 나타낸다. 사진의 상황 기반 클러스터링 힌트 항목 항목은 상기 예를 포함하지만, 상기 예에 한정되지는 않는다.
사진과 함께 저장된 오디오 정보 힌트 항목을 추출하는 단계(1460)에서, (i)번째 사진과 함께 저장된 오디오 정보 힌트 항목인
Figure 112005030040129-PAT00030
는 사진 데이터와 함께 저장된 오디오 정보로부터 추출된 음성 정보 및 인식된 키워드 정보를 표현하는 항목인 'Speech info'를 포함하며, 아래의 수학식에서와 같이 표현된다.
Figure 112005030040129-PAT00031
위 식에서,
Figure 112005030040129-PAT00032
는 해당 사진 데이터와 함께 저장된 오디오 정보로부터 추출된 음성 정보 및 인식된 키워드 정보를 표현한다. 사진의 오디오 정보 힌트 항목은 상기 예를 포함하지만, 상기 예에 한정되지는 않는다.
한편, 도 13을 참조하면, 상기 클러스터링하는 단계(1340)에서, 입력된 사진의 얼굴을 각각 인덱싱하기 전에, 먼저 사진이 찍힌 상황에 기반하여 클러스터링을 수행한 후, 각 상황 기반 클러스터 내에서 인물 기반 클러스터링을 수행한다. 클러스터링된 각 인물 기반 클러스터는 다음 단계에서 데이터베이스 내의 인물 리스트들과 비교하여 인덱싱 된다.
도 15는 사진 데이터를 상황 기반으로 먼저 클러스터링한 후, 인덱싱하는 방법에 대한 예를 보여주는 흐름도이다. 이는 사진을 인물 별로 클러스터링하는 과정에서 인물의 얼굴 정보뿐만 아니라 다양한 부가 정보를 사용할 수 있도록 하기 위함이다.
이를 위해, 추출한 내용 기반 얼굴 특징값 정보에 상기 인물 기반 클러스터링 힌트를 적용하여 새로운 특징값을 생성한다. 다음 식에서
Figure 112005030040129-PAT00033
는 새로이 생성된 (i)번째 사진의 특징값 정보를 나타낸다.
Figure 112005030040129-PAT00034
여기서, 함수
Figure 112005030040129-PAT00035
는 (i)번째 사진의 (m)번째 인물의 힌트 정보인
Figure 112005030040129-PAT00036
와 (i)번째 사진의 (m)번째 인물의 내용 기반 특징값 정보인
Figure 112005030040129-PAT00037
을 함께 이용하여 새로운 특징값을 생성하는 함수이다.
새로운 특징값을 생성하는 한 예로, 먼저, 사진 데이터를 상황 기반으로 클러스터링하고 각 상황에 속하는 사진들 간에 인물 기반 클러스터링을 수행한다.
수학식 10은 주어진 (k)번째 상황 클러스터에서, 인물의 외형적 특징 정보, 사진 파일에 포함된 카메라/촬영/사진 정보, 해당 사진의 상황 기반 클러스터 정보, 그리고 사진 파일과 함께 저장된 사용자의 오디오 정보를 함께 이용하여 생성된 새로운 특징값 정보를 나타낸다. 이는 동일한 상황 정보를 가진 사진 데이터를 내에서는 동일한 인물의 외형적 특징 정보 등이 유사하다는 점을 이용한 방법이다. 입력된 N개의 사진들이 K개의 상황으로 클러스터링 되었다면, 함수
Figure 112005030040129-PAT00038
는 다음과 같이 정의 될 수 있다.
Figure 112005030040129-PAT00039
위 식에서,
Figure 112005030040129-PAT00040
는 사진을 먼저 사진의 장소나 배경 등의 상황 정보를 기반으로 클러스터링한 것을 나타내며,
Figure 112005030040129-PAT00041
는 (k)번째 상황 클러스터를 나타낸다. 또한, 위 식에서,
Figure 112005030040129-PAT00042
는 (i)번째 사진의 (m)번째 인물의 외형적 특징 정보인
Figure 112005030040129-PAT00043
로부터 얻은 가중치를 나타내고,
Figure 112005030040129-PAT00044
는 (i)번째 사진의 카메라/촬영 정보인
Figure 112005030040129-PAT00045
로부터 얻은 가중치를 나타내고,
Figure 112005030040129-PAT00046
는 (i)번째 사진의 오디오 정보인
Figure 112005030040129-PAT00047
로부터 얻은 가중치를 나타낸다.
결과적으로, (k)번째 상황 클러스터
Figure 112005030040129-PAT00048
에 속한 사진 데이터에 속하는 인물들이 모두 T개의 인물들로 클러스터링 되었다면, 인물 기반 클러스터링 결과는 다음과 같이 표현될 수 있다.
Figure 112005030040129-PAT00049
여기서,
Figure 112005030040129-PAT00050
는 (k)번째 상황 구간
Figure 112005030040129-PAT00051
에 속하는 (t)번째 인물 클러스터를 나타낸다. 각 인물 클러스터는 한 개 이상의 인물 사진을 포함하고 있다.
다음 단계로, (k)번째 상황 클러스터에 속하는 (t)번째 인물 클러스터를 대표하는 특징값을 생성해낸다. 이때, 인물 클러스터에 속하는 인물 사진 데이터들 가운데 대표 인물을 선택하여, 대표 인물의 특징값을 (t)번째 인물 클러스터의 특징값으로 대표하는 방법을 이용할 수 있다.
Figure 112005030040129-PAT00052
위 식에서,
Figure 112005030040129-PAT00053
는 (k)번째 상황 클러스터에 속하는 (t)번째 인물 클러 스터를 대표하는 특징값이다. 또한
Figure 112005030040129-PAT00054
는 (k)번째 상황 클러스터에 속하는 (t)번째 인물 클러스터에서 선택된 대표 인물의 얼굴 기반 특징값이다. (t)번째 인물 클러스터를 대표하는 특징값을 생성해내는 방법은 상기 예를 포함하지만, 상기 예에 한정되지는 않는다.
도 13을 참조하면, 인물기반 인덱싱 단계(1350)에서, K개의 모든 상황 클러스터들에 대해 인물 기반 클러스터링이 완료되면, 다음으로 각 인물 기반 클러스터들을 인덱싱하는 단계를 수행한다. 인물 기반 클러스터들을 인덱싱은 각 인물 기반 클러스터를 데이터베이스에 저장된(이미 인덱싱된) 인물 사진들과 비교하여 가장 근사한 인덱스로 저장하는 단계를 포함한다.
먼저, 데이터베이스에 저장된 인물 사진들은 각 인물 정보와 인물들이 포함된 그룹에 대한 정보로 구성된 구조를 가지고 저장된다. 데이터베이스에 모두 X개의 인물 리스트가 있을 때 (x)번째 인물은 인물 리스트 정보(1600)를 가지고 저장된다. 인물 리스트 정보는 아래의 수학식에서와 같이 표현된다.
Figure 112005030040129-PAT00055
여기서,
Figure 112005030040129-PAT00056
는 해당 (x)번째 인물의 고유한 아이디를,
Figure 112005030040129-PAT00057
는 인물의 고유한 이름을,
Figure 112005030040129-PAT00058
는 해당 인물이 얼마나 중요한지에 대한 중요도를,
Figure 112005030040129-PAT00059
는 (x)번째 인물과 다른 인물들과의 관계가 테이블 형식으로 표현된 정보를,
Figure 112005030040129-PAT00060
는 해당 인물이 포함된 부모 그룹(상위 그룹)의 나타낸다.
또한, 데이터베이스에 모두 Y개의 인물 그룹 리스트가 있을 때 (y)번째 인물그룹은 인물 그룹 리스트 정보(1650)를 가지고 저장된다. 인물 그룹 리스트 정보는 아래의 수학식에서와 같이 표현된다.
Figure 112005030040129-PAT00061
여기서,
Figure 112005030040129-PAT00062
는 해당 (y)번째 인물 그룹의 고유한 아이디를,
Figure 112005030040129-PAT00063
는 인물 그룹의 고유한 이름을,
Figure 112005030040129-PAT00064
는 인물 그룹이 얼마나 중요한지의 중요도를,
Figure 112005030040129-PAT00065
는 (y)번째 인물 그룹과 다른 인물 그룹들과의 관계가 테이블 형식으로 표현된 정보를,
Figure 112005030040129-PAT00066
는 해당 인물 그룹이 포함된 부모 그룹(상위 그룹)의 나타낸다.
도 16은 데이터베이스에 저장된 인물 리스트와 인물 그룹 리스트를 나타낸 일 실시예이다. 도 16에서 주어진 인물 리스트의 인물들로 인물 그룹 리스트를 구성하였고, 각 인물 리스트는 0.0에서 1.0 사이의 중요도 값을 가진다.
도 17은 인물들 간의 관계를 테이블 형식으로 표현한 일 실시예이다. 예를 들어, 사용자 'Me'의 경우, 'John'과의 관계도가 가장 높은데, 이는 'Me'가 'John'과 가장 많은 사진을 함께 찍었음을 의미한다.
데이터베이스 내에 S개의 인물 사진 데이터들이 저장되어 있을 때, (s)번째 인물 사진 데이터가 (x)번째 인물에 속하고 (y)번째 인물 그룹에 속한다면, (s)번 째 인물 사진 데이터의 특징값 정보인
Figure 112005030040129-PAT00067
는 얼굴 특징값 정보, 인물/그룹 리스트 정보, 그리고 사용자가 지정한 인물 그룹 힌트 정보(group preference hint)로 구성되며 아래 수학식에서와 같이 표현된다.
Figure 112005030040129-PAT00068
여기서,
Figure 112005030040129-PAT00069
는 (y)번째 인물 그룹에 대한 사용자의 선호도를 나타낸다.
(k)번째 상황 클러스터에 속하는 (t)번째 인물 클러스터를 인덱싱하기 위하여 먼저, (k)번째 상황 클러스터에 속하는 (t)번째 인물 클러스터의 특징값()과 데이터베이스 내의 특징값(
Figure 112005030040129-PAT00070
)을 비교하여 유사도 거리값을 측정한다. (k)번째 상황 클러스터에 속하는 (t)번째 인물 클러스터의 특징값과 데이터베이스 내의 (s)번째 인물의 특징값 간의 유사도 거리값은 아래의 수학식에서와 같이 측정한다.
Figure 112005030040129-PAT00071
여기서,
Figure 112005030040129-PAT00072
는 두 특징값들 간의 유사도 거리값을 측정하는 함수이다.
결과적으로, (k)번째 상황 클러스터에 속하는 (t)번째 인물 클러스터와 데이터베이스 내의 전체 인물 데이터 사이의 유사도 거리값은 다음과 같이 표현된다.
Figure 112005030040129-PAT00073
마지막으로, 유사도 거리값이 가장 작은, 즉 가장 유사도가 큰 인물을 선택하고, 해당 인물의 고유한 ID를 (k)번째 상황 클러스터에 속하는 (t)번째 인물 클러스터에 할당하여 인덱싱을 마친다. 인덱싱은 아래와 같은 수학식에서와 같이 표현된다.
Figure 112005030040129-PAT00074
여기서
Figure 112005030040129-PAT00075
는 (k)번째 상황 클러스터에 속하는 (t)번째 인물 클러스터에게 할당된 인물 인덱스로써 고유한 아이디 형태를 지닌다. 만일, 데이터베이스 내에 존재하지 않는 인물이라면 새로운 아이디를 할당한다.
본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터(정보 처리 기능을 갖는 장치를 모두 포함한다)가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
본 발명에 의한 인물기반 디지털 사진 클러스터링 방법 및 장치와 이를 이용한 인물기반 디지털 사진 앨범 방법 및 장치에 의하면, 기존의 보안 시스템에서 사용된 얼굴 인식 방법에서 탈피하여, 사용자들이 일상 생활에서 찍은 사진 데이터를 인물별로 클러스터링하여, 많은 양의 사진 데이터를 효과적으로 앨범으로 구성할 수 있다. 즉 사진 데이터에 포함된 얼굴 부분의 내용기반 특징 정보와, 각 인물들의 옷 색상, 머리 모양, 피부 색 정보 등의 외형적 특징 정보 및 사진이 찍힌 시간, 배경 등의 상황 정보와 같은 부가 정보를 함께 이용함으로써 효과적으로 인물기반 디지털 사진을 클러스터링할 수 있다.
나아가, 인물 기반으로 클러스터링된 정보를 이용하여 사용자들이 손쉽게 대용량의 사진 데이터를 앨범으로 저장하거나 검색하고, 다른 사용자들과 클러스터링된 사진을 공유할 수 있다. 이를 위해서, 사진으로부터 추출할 수 있는 정보들을 효과적으로 서술하기 위한 서술 구조와, 사진의 얼굴 정보 및 다양한 부가 정보(카메라 정보, 촬영 정보, 상황 정보, 옷 정보 등)를 함께 이용하여 사진의 인물기반 클러스터링을 적절히 수행하기 위한 파라미터들을 정의하고, 해당 파라미터들을 서술하기 위한 효과적인 서술 구조를 제시하였다. 또한 사진 파일에 포함된 카메라/ 촬영 정보 등의 부가 정보들을 함께 이용하여 대용량의 사진 데이터를 빠르고 효과적으로 앨범화 할 수 있다.

Claims (60)

  1. (a) 사진데이터로부터 얼굴영역을 검출하는 단계;
    (b) 상기 검출된 얼굴영역으로부터 소정의 내용기반 얼굴특징값 정보를 추출하는 단계;
    (c) 소정의 인물기반 사진 클러스터링 힌트 정보를 획득하는 단계; 및
    (d) 상기 추출한 내용기반 얼굴 특징값 정보에 상기 사진 클러스터링 힌트정보를 적용하여 인물기반 클러스터링을 수행하는 단계를 포함함을 특징으로 하는 인물기반 디지털 사진 클러스터링 방법.
  2. 제1항에 있어서, 상기 (a)단계는
    상기 검출된 얼굴영역 정보를 이용하여 얼굴영역 크기를 정규화하는 단계를 더 구비하고,
    상기 (b)단계는
    상기 정규화된 얼굴영역으로부터 소정의 내용기반 얼굴 특징값 정보를 추출함을 특징으로 하는 인물기반 디지털 사진 클러스터링 방법.
  3. 제1항 또는 제2항에 있어서, 상기 (b)단계의 내용기반 특징값 정보는
    MPEG-7의 영상 기술자(Visual Descriptor)를 이용하여 추출된 색상, 질감, 모양 특징값을 표현하기 위한 항목; 및
    MPEG-7의 음성 기술자(Audio Descriptor)를 이용하여 추출한 음성 특징값을 표현하기 위한 항목을 포함함을 특징으로 하는 인물기반 디지털 사진 클러스터링 방법.
  4. 제1항 또는 제2항에 있어서, 상기 (c)단계의 인물기반 사진 클러스터링 힌트 정보는
    인물의 외형적 특징 정보를 나타내는 Personal appearance hint;
    사진의 장소나 배경 등의 상황정보를 기반으로 클러스터링된 결과에 대한 정보를 나타내는 Situation hint;
    사진 팔일에 포함된 케메라 정보, 촬영정보, 사진 정보를 나타내는 Camera hint; 및
    사진 파일과 함께 저장된 사용자의 오디오 정보를 나타내는 Audio hint 중 적어도 하나를 구비함을 특징으로 하는 인물기반 디지털 사진 클러스터링 방법.
  5. 제4항에 있어서, 상기 Personal appearance hint는
    인물의 옷 정보, 피부색 정보 및 머리모양 정보 중 적어도 하나를 구비함을 특징으로 하는 인물기반 디지털 사진 클러스터링 방법.
  6. 제4항에 있어서, 상기 Situation hint는
    사진이 속한 상황의 식별자를 표현하는 Situation ID를 구비함을 특징으로 하는 인물기반 디지털 사진 클러스터링 방법.
  7. 제4항에 있어서, 상기 Camera hint는
    사진이 촬영된 시간 정보를 표현하는 Taken time;
    사진이 촬영된 당시의 초점 거리 정보를 표현하는 Focal length;
    사진이 활여된 당시에 빛에 대한 노출시간 정보를 표현하는 Exposure time;
    사진이 촬영된 당시의 카메라 줌 정보를 표현하는 Zoom info;
    사진이 촬영된 당시의 플래쉬 정보를 표현하는 Flash info; 및
    사진이 촬영된 당시의 GPS 정보를 표현하는 GPS info 중 적어도 하나를 구비함을 특징으로 하는 인물기반 디지털 사진 클러스터링 방법.
  8. 제4항에 있어서, 상기 Audio hint는
    사진 데이터와 함께 저장된 오디오 정보로부터 추출된 음성정보 및 인식된 키워드 정보를 표현하는 Speech info를 구비함을 특징으로 하는 인물기반 디지털 사진 클러스터링 방법.
  9. 제1항 또는 제2항에 있어서, 상기 (d)단계는
    (d1) 상기 추출한 내용기반 얼굴 특징값 정보에 상기 사진 클러스터링 힌트정보를 적용하여, 사진이 찍힌 상황에 기반하여 클러스터링을 수행하는 단계; 및
    (d2) 상기 추출한 내용기반 얼굴 특징값 정보에 상기 사진 클러스터링 힌트 정보를 적용하여, 상기 상황기반 클러스터 내에서 인물기반 클러스터링을 수행하는 단계를 포함함을 특징으로 하는 인물기반 디지털 사진 클러스터링 방법.
  10. 제1항 또는 제2항에 있어서,
    (e) 인물기반 클러스터링이 완료되면, 각 인물 기반 클러스터들을 인덱싱하는 단계를 더 구비함을 특징으로 하는 인물기반 디지털 사진 클러스터링 방법.
  11. 제10항에 있어서, 상기 (e)단계는
    인물기반 클러스터를 데이터베이스에 저장된 소정의 인덱싱된 인물사진들과 비교하여 가장 근사한 인덱스로 저장함을 특징으로 하는 인물기반 디지털 사진 클러스터링 방법.
  12. 제10항에 있어서, 상기 데이터 베이스에 저장된 소정의 인덱싱된 인물사진들은 각 인물정보를 구비하고,
    상기 인물정보는 인물의 식별자, 인물의 이름, 인물의 중요도, 다른 인물들과의 관계 및 해당인물이 포함된 상위그룹 정보 중 적어도 하나를 구비하는 인물리스트 정보로 이루어짐을 특징으로 하는 인물기반 디지털 사진 클러스터링 방법.
  13. 제12항에 있어서, 상기 데이터 베이스에 저장된 소정의 인덱싱된 인물사진들은 인물들이 포함된 그룹에 대한 정보를 더 구비하고,
    상기 인물그룹정보는 인물그룹 식별자, 인물그룹 이름, 인물그룹의 중요도, 인물그룹과 다른 인물그룹들과의 관계, 인물그룹이 포함된 상위그룹 정보 중 적어도 하나를 구비하는 인물그룹리스트 정보로 이루어짐을 특징으로 하는 인물기반 디지털 사진 클러스터링 방법.
  14. 사진데이터로부터 얼굴영역을 검출하는 얼굴영역검출부;
    상기 검출된 얼굴영역으로부터 소정의 내용기반 얼굴특징값 정보를 추출하는 얼굴특징값추출부;
    소정의 인물기반 사진 클러스터링 힌트 정보를 획득하는 클러스트링 힌트정보 획득부; 및
    상기 추출한 내용기반 얼굴 특징값 정보에 상기 사진 클러스터링 힌트정보를 적용하여 인물기반 클러스터링을 수행하는 클러스터링부를 포함함을 특징으로 하는 인물기반 디지털 사진 클러스터링 장치.
  15. 제14항에 있어서,
    상기 검출된 얼굴영역 정보를 이용하여 얼굴영역 크기를 정규화하는 얼굴영역정규화부를 더 구비하고,
    상기 얼굴특징값추출부는
    상기 정규화된 얼굴영역으로부터 소정의 내용기반 얼굴 특징값 정보를 추출함을 특징으로 하는 인물기반 디지털 사진 클러스터링 장치.
  16. 제14항 또는 제15항에 있어서, 상기 얼굴특징값 추출부의 내용기반 특징값 정보는
    MPEG-7의 영상 기술자(Visual Descriptor)를 이용하여 추출된 색상, 질감, 모양 특징값을 표현하기 위한 항목; 및
    MPEG-7의 음성 기술자(Audio Descriptor)를 이용하여 추출한 음성 특징값을 표현하기 위한 항목을 포함함을 특징으로 하는 인물기반 디지털 사진 클러스터링 장치.
  17. 제14항 또는 제15항에 있어서, 상기 클러스터링 힌트정보 획득부는
    인물의 외형적 특징 정보를 나타내는 Personal appearance hint를 추출하는 인물외관힌트 추출부;
    사진의 장소나 배경 등의 상황정보를 기반으로 클러스터링된 결과에 대한 정보를 나타내는 Situation hint를 추출하는 상황힌트추출부;
    사진 팔일에 포함된 케메라 정보, 촬영정보, 사진 정보를 나타내는 Camera hint를 추출하는 카메라힌트추출부; 및
    사진 파일과 함께 저장된 사용자의 오디오 정보를 나타내는 Audio hint를 추출하는 오디오힌트 추출부 중 적어도 하나를 구비함을 특징으로 하는 인물기반 디지털 사진 클러스터링 장치.
  18. 제14항 또는 제15항에 있어서, 상기 클러스터링부는
    상기 추출한 내용기반 얼굴 특징값 정보에 상기 사진 클러스터링 힌트정보를 적용하여, 사진이 찍힌 상황에 기반하여 클러스터링을 수행하는 상황기반 클러스터링부; 및
    상기 추출한 내용기반 얼굴 특징값 정보에 상기 사진 클러스터링 힌트정보를 적용하여, 상기 상황기반 클러스터 내에서 인물기반 클러스터링을 수행하는 인물기반 클러스터링부를 포함함을 특징으로 하는 인물기반 디지털 사진 클러스터링 장치.
  19. 제14항 또는 제15항에 있어서,
    인물기반 클러스터링이 완료되면, 각 인물 기반 클러스터들을 인덱싱하는 인물기반 인덱싱부를 더 구비함을 특징으로 하는 인물기반 디지털 사진 클러스터링 장치.
  20. 제19항에 있어서,
    그룹 선호성 값을 획득하는 그룹선호성힌트 획득부를 더 구비하고,
    상기 인물기반 인덱싱부는
    상기 그룹선호성 힌트 획득부에서 획득된 그룹 선호성 값을 참조하여 인물기반 클러스터를 데이터베이스에 저장된 소정의 인덱싱된 인물사진들과 비교하여 가장 근사한 인덱스로 저장함을 특징으로 하는 인물기반 디지털 사진 클러스터링 장 치.
  21. 제20항에 있어서, 상기 데이터 베이스에 저장된 소정의 인덱싱된 인물사진들은 각 인물정보 및 인물들이 포함된 그룹에 대한 정보를 구비하고,
    상기 인물정보는 인물의 식별자, 인물의 이름, 인물의 중요도, 다른 인물들과의 관계 및 해당 인물이 포함된 상위그룹 정보 중 적어도 하나를 구비하는 인물리스트 정보로 이루어지며,
    상기 인물그룹정보는 인물그룹 식별자, 인물그룹 이름, 인물그룹의 중요도, 인물그룹과 다른 인물그룹들과의 관계, 인물그룹이 포함된 상위그룹 정보 중 적어도 하나를 구비하는 인물그룹 리스트 정보로 이루어짐을 특징으로 하는 인물기반 디지털 사진 클러스터링 장치.
  22. (a) 적어도 사진을 식별하기 위한 사진식별자를 포함하는 사진서술정보를 생성하는 단계;
    (b) 인물기반 사진 클러스터링을 지원하며 적어도 인물기반 사진 클러스터링을 위한 소정의 파라미터를 포함하는 앨범툴 서술정보를 생성하는 단계;
    (c) 적어도 상기 사진서술정보 및 상기 앨범툴 서술정보를 이용하여 인물기반 클러스터링을 포함한 사진 앨범화를 수행하는 단계;
    (d) 상기 사진 앨범화 된 데이터를 소정의 사진그룹 서술정보로 생성하는 단계; 및
    (e) 상기 사진 서술정보 및 상기 사진그룹 서술정보를 이용하여 소정의 사진앨범 정보를 생성하는 단계를 포함함을 특징으로 하는 인물기반 디지털 사진 앨버밍 방법.
  23. 제22항에 있어서,
    디지털 카메라의 내부 메모리 장치나 휴대용 메모리 장치로부터 사진데이터를 입력받는 단계를 더 구비함을 특징으로 하는 인물기반 디지털 사진 앨버밍 방법.
  24. 제22항에 있어서, 상기 (a)단계는
    입력된 사진으로부터 사진 파일 내에 카메라 정보 및 촬영정보 등의 Exif 정보가 있는지 확인하고 만일 해당정보가 사진파일 내에 존재하면 정보를 추출하여 소정의 사진서술구조에 따라 표현함을 특징으로 하는 인물기반 디지털 사진 앨버밍 방법.
  25. 제24항에 있어서, 상기 사진서술정보는
    사진 식별자, 사진촬영한 작가정보, 사진파일정보, 카메라정보, 촬영정보 및 내용기반특징값 중 적어도 상기 사진식별자를 포함함을 특징으로 하고,
    상기 내용기반 특징값은
    사진의 픽셀정보를 이용하여 생성되며, 색상, 질감, 모양특징값을 포함하는 비쥬얼기술자 및 음성 특징값을 포함하는 오디오기술자를 포함하는, 인물기반 디지털 사진 앨버밍 방법.
  26. 제22항에 있어서, 상기 (b)단계의 소정의 파라미터는
    인덱싱된 인물기반 그룹 리스트를 서술하는 인물기반 그룹 리스트 항목; 및
    인물기반 클러스터링 성능 향상을 위한 인물기반 클러스터링힌트 항목을 구비함을 특징으로 하는 인물기반 디지털 사진 앨버밍 방법.
  27. 제26항에 있어서, 상기 인물기반 그룹 리스트 항목은
    인물기반으로 클러스터링되고 인덱싱된 후 저장된 그룹들의 리스트를 나타내기 위한 그룹리스트정보; 및
    인물기반으로 클러스터링되고 인덱싱된 후 저장된 인물들의 리스트를 나타내기 위한 인물리스트정보를 구비함을 특징으로 하는 인물기반 디지털 사진 앨버밍 방법.
  28. 제27항에 있어서, 상기 그룹리스트 정보를 구성하는 각 그룹정보는
    그룹 식별자, 그룹 이름, 그룹의 중요도, 그룹 간의 관계성 및 해당 그룹의 상위그룹 식별자 중 적어도 하나를 포함함을 특징으로 하는 인물기반 디지털 사진 앨버밍 방법.
  29. 제28항에 있어서, 상기 그룹의 중요도는
    사용자가 해당 그룹 또는 해당 그룹 내의 인물들이 포함된 사진들을 본 횟수에 의해 결정됨을 특징으로 하는 인물기반 디지털 사진 앨버밍 방법.
  30. 제27항에 있어서, 상기 인물리스트 정보를 구성하는 각 인물정보는
    인물 식별자, 인물이름, 인물의 중요도, 인물간 관계성 및 해당 인물의 상위인물 식별자 중 적어도 하나를 포함함을 특징으로 하는 인물기반 디지털 사진 앨버밍 방법.
  31. 제30항에 있어서, 상기 인물의 중요도는
    사용자가 해당 인물이 포함된 사진들을 본 회수에 의해 결정됨을 특징으로 하는 인물기반 디지털 사진 앨버밍 방법.
  32. 제26항에 있어서, 상기 인물기반 클러스터링 힌트 항목은
    인물의 외형적 특징 정보를 나타내는 Personal appearance hint;
    사진의 장소나 배경 등의 상황정보를 기반으로 클러스터링된 결과에 대한 정보를 나타내는 Situation hint;
    사진 파일에 포함된 케메라 정보, 촬영정보, 사진 정보를 나타내는 Camera hint;
    클러스터링할 사진들이 속하는 대략적인 그룹 리스트를 사용자가 선정한 정 보를 표현하는 group preference hint; 및
    사진 파일과 함께 저장된 사용자의 오디오 정보를 나타내는 Audio hint 중 적어도 하나를 구비함을 특징으로 하는 인물기반 디지털 사진 앨버밍 방법.
  33. 제32항에 있어서, 상기 situation hint는
    사진을 상황기반으로 클러스터링한 결과 해당 사진이 속한 상황의 식별자를 포함함을 특징으로 하는 인물기반 디지털 사진 앨버밍 방법.
  34. 제32항에 있어서, 상기 personal appearance hint는
    인물이 입고 있는 옷 정보, 인물의 피부색 정보 및 인물의 머리모양 중 적어도 하나를 구비함을 특징으로 하는 인물기반 디지털 사진 앨버밍 방법.
  35. 제32항에 있어서, 상기 camera hint는
    사진이 촬영된 시간 정보, 사진이 촬영된 당시의 초점거리 정보, 사진이 촬영된 당시의 빛에 대한 노출시간 정보, 사진이 촬영된 당시의 카메라 줌 정보, 사지이 촬영된 당시의 플래쉬 정보 및 사진이 촬영된 당시의 GPS정보 중 적어도 하나를 구비함을 특징으로 하는 인물기반 디지털 사진 앨버밍 방법.
  36. 제32항에 있어서, 상기 group preference hint는
    사용자가 선정된 그룹들과 상기 그룹들에 대한 중요도를 수치적으로 표현한 group preference value를 포함함을 특징으로 하는 인물기반 디지털 사진 앨버밍 방법.
  37. 제32항에 있어서, 상기 Audio hint는
    사진 데이터와 함께 저장된 오디오 정보로부터 추출된 음성정보 및 인식된 키워드 정보를 표현하는 Speech info를 구비함을 특징으로 하는 인물기반 디지털 사진 앨버밍 방법.
  38. 제32항에 있어서, 상기 (c)단계는
    디지털 사진 데이터를 인물에 기반하여 클러스터링하는 단계를 포함함을 특징으로 하는 인물기반 디지털 사진 앨버밍 방법.
  39. 제38항에 있어서, 상기 인물기반 사진 클러스터링 단계는
    사진데이터로부터 얼굴영역을 검출하는 단계;
    상기 검출된 얼굴영역으로부터 소정의 내용기반 얼굴특징값 정보를 추출하는 단계;
    소정의 인물기반 사진 클러스터링 힌트 정보를 획득하는 단계; 및
    상기 추출한 내용기반 얼굴 특징값 정보에 상기 사진 클러스터링 힌트정보를 적용하여 인물기반 클러스터링을 수행하는 단계를 포함함을 특징으로 하는 인물기반 디지털 사진 앨버밍 방법.
  40. 제39항에 있어서, 상기 인물기반 사진 클러스터링 단계는
    상기 검출된 얼굴영역 정보를 이용하여 얼굴영역 크기를 정규화하는 단계를 더 구비하고,
    상기 얼굴특징값추출단계는
    상기 정규화된 얼굴영역으로부터 소정의 내용기반 얼굴 특징값 정보를 추출함을 특징으로 하는 인물기반 디지털 사진 앨버밍 방법.
  41. 제38항 또는 제39항에 있어서,
    인물기반 클러스터링이 완료되면, 각 인물 기반 클러스터들을 인덱싱하는 단계를 더 구비함을 특징으로 하는 인물기반 디지털 사진 앨버밍 방법.
  42. 제41항에 있어서, 상기 인덱싱 단계는
    인물기반 클러스터를 데이터베이스에 저장된 소정의 인덱싱된 인물사진들과 비교하여 가장 근사한 인덱스로 저장함을 특징으로 하는 인물기반 디지털 사진 앨버밍 방법.
  43. 제42항에 있어서, 상기 데이터 베이스에 저장된 소정의 인덱싱된 인물사진들은 각 인물정보를 구비하고,
    상기 인물정보는 인물의 식별자, 인물의 이름, 인물의 중요도, 다른 인물들 과의 관계 및 해당인물이 포함된 상위그룹 정보 중 적어도 하나를 구비하는 인물리스트 정보로 이루어짐을 특징으로 하는 인물기반 디지털 사진 앨버밍 방법.
  44. 제43항에 있어서, 상기 데이터 베이스에 저장된 소정의 인덱싱된 인물사진들은 인물들이 포함된 그룹에 대한 정보를 더 구비하고,
    상기 인물그룹정보는 인물그룹 식별자, 인물그룹 이름, 인물그룹의 중요도, 인물그룹과 다른 인물그룹들과의 관계, 인물그룹이 포함된 상위그룹 정보 중 적어도 하나를 구비하는 인물그룹리스트 정보로 이루어짐을 특징으로 하는 인물기반 디지털 사진 앨버밍 방법.
  45. 적어도 사진을 식별하기 위한 사진식별자를 포함하는 사진서술정보를 생성하는 사진서술정보 생성부;
    인물기반 사진 클러스터링을 지원하며 적어도 인물기반 사진 클러스터링을 위한 소정의 파라미터를 포함하는 앨범툴 서술정보를 생성하는 앨범툴서술정보생성부;
    적어도 상기 사진서술정보 및 상기 앨범툴 서술정보를 이용하여 인물기반 클러스터링을 포함한 사진 앨범화를 수행하는 앨범 툴;
    상기 앨범 툴의 출력을 소정의 사진그룹 서술정보로 생성하는 사진그룹정보생성부; 및
    상기 사진 서술정보 및 상기 사진그룹 서술정보를 이용하여 소정의 사진앨범 정보를 생성하는 사진앨범정보생성부를 포함함을 특징으로 하는 인물기반 디지털 사진 앨범 장치.
  46. 제45항에 있어서,
    디지털 카메라의 내부 메모리 장치나 휴대용 메모리 장치로부터 사진데이터를 입력받는 사진입력부를 더 구비함을 특징으로 하는 인물기반 디지털 사진 앨범 장치.
  47. 제45항에 있어서, 상기 사진서술정보 생성부는
    입력된 사진으로부터 사진 파일 내에 카메라 정보 및 촬영정보 등의 Exif 정보가 있는지 확인하고 만일 해당정보가 사진파일 내에 존재하면 정보를 추출하여 소정의 사진서술구조에 따라 표현함을 특징으로 하는 인물기반 디지털 사진 앨범 장치.
  48. 제47항에 있어서, 상기 사진서술정보는
    사진 식별자, 사진촬영한 작가정보, 사진파일정보, 카메라정보, 촬영정보 및 내용기반특징값 중 적어도 상기 사진식별자를 포함함을 특징으로 하고,
    상기 내용기반 특징값은
    사진의 픽셀정보를 이용하여 생성되며, 색상, 질감, 모양특징값을 포함하는 비쥬얼기술자 및 음성 특징값을 포함하는 오디오기술자를 포함하는, 인물기반 디지 털 사진 앨범 장치.
  49. 제45항에 있어서, 상기 앨범툴서술정보 생성부의 소정의 파라미터는
    인덱싱된 인물기반 그룹 리스트를 서술하는 인물기반 그룹 리스트 항목; 및
    인물기반 클러스터링 성능 향상을 위한 인물기반 클러스터링힌트 항목을 구비함을 특징으로 하는 인물기반 디지털 사진 앨범 장치.
  50. 제49항에 있어서, 상기 인물기반 그룹 리스트 항목은
    인물기반으로 클러스터링되고 인덱싱된 후 저장된 그룹들의 리스트를 나타내기 위한 그룹리스트정보; 및
    인물기반으로 클러스터링되고 인덱싱된 후 저장된 인물들의 리스트를 나타내기 위한 인물리스트정보를 구비함을 특징으로 하는 인물기반 디지털 사진 앨범 장치.
  51. 제50항에 있어서, 상기 그룹리스트 정보를 구성하는 각 그룹정보는
    그룹 식별자, 그룹 이름, 그룹의 중요도, 그룹 간의 관계성 및 해당 그룹의 상위그룹 식별자 중 적어도 하나를 포함함을 특징으로 하는 인물기반 디지털 사진 앨범 장치.
  52. 제50항에 있어서, 상기 인물리스트 정보를 구성하는 각 인물정보는
    인물 식별자, 인물이름, 인물의 중요도, 인물간 관계성 및 해당 인물의 상위인물 식별자 중 적어도 하나를 포함함을 특징으로 하는 인물기반 디지털 사진 앨범 장치.
  53. 제49항에 있어서, 상기 인물기반 클러스터링 힌트 항목은
    인물의 외형적 특징 정보를 나타내는 Personal appearance hint;
    사진의 장소나 배경 등의 상황정보를 기반으로 클러스터링된 결과에 대한 정보를 나타내는 Situation hint;
    사진 파일에 포함된 케메라 정보, 촬영정보, 사진 정보를 나타내는 Camera hint;
    클러스터링할 사진들이 속하는 대략적인 그룹 리스트를 사용자가 선정한 정보를 표현하는 group preference hint; 및
    사진 파일과 함께 저장된 사용자의 오디오 정보를 나타내는 Audio hint 중 적어도 하나를 구비함을 특징으로 하는 인물기반 디지털 사진 앨범 장치.
  54. 제45항에 있어서, 상기 앨범 툴은
    디지털 사진 데이터를 인물에 기반하여 클러스터링하는 인물기반 기반 사진 클러스터링 툴을 구비함을 특징으로 하는 인물기반 디지털 사진 앨범 장치.
  55. 제54항에 있어서, 상기 인물기반 사진 클러스터링 툴은
    사진데이터로부터 얼굴영역을 검출하는 얼굴영역검출부;
    상기 검출된 얼굴영역으로부터 소정의 내용기반 얼굴특징값 정보를 추출하는 얼굴특징값추출부;
    소정의 인물기반 사진 클러스터링 힌트 정보를 획득하는 클러스트링 힌트정보 획득부; 및
    상기 추출한 내용기반 얼굴 특징값 정보에 상기 사진 클러스터링 힌트정보를 적용하여 인물기반 클러스터링을 수행하는 클러스터링부를 포함함을 특징으로 하는 인물기반 디지털 사진 앨범 장치.
  56. 제55항에 있어서, 상기 인물기반 사진 클러스터링 툴은
    상기 검출된 얼굴영역 정보를 이용하여 얼굴영역 크기를 정규화하는 얼굴영역정규화부를 더 구비하고,
    상기 얼굴특징값추출부는
    상기 정규화된 얼굴영역으로부터 소정의 내용기반 얼굴 특징값 정보를 추출함을 특징으로 하는 인물기반 디지털 사진 앨범 장치.
  57. 제55항 또는 제56항에 있어서,
    인물기반 클러스터링이 완료되면, 각 인물 기반 클러스터들을 인덱싱하는 인물기반 인덱싱부를 더 구비함을 특징으로 하는 인물기반 디지털 사진 앨범 장치.
  58. 제57항에 있어서, 상기 인물기반 인덱싱부는
    그룹 선호성 값을 획득하는 그룹선호성힌트 획득부를 더 구비하고,
    상기 그룹선호성 힌트 획득부에서 획득된 그룹 선호성 값을 참조하여, 인물기반 클러스터를 데이터베이스에 저장된 소정의 인덱싱된 인물사진들과 비교하여 가장 근사한 인덱스로 저장함을 특징으로 하는 인물기반 디지털 사진 클러스터링 장치.
  59. 제58항에 있어서, 상기 데이터 베이스에 저장된 소정의 인덱싱된 인물사진들은 각 인물정보 및 인물들이 포함된 그룹에 대한 정보를 구비하고,
    상기 인물정보는 인물의 식별자, 인물의 이름, 인물의 중요도, 다른 인물들과의 관계 및 해당 인물이 포함된 상위그룹 정보 중 적어도 하나를 구비하는 인물리스트 정보로 이루어지며,
    상기 인물그룹정보는 인물그룹 식별자, 인물그룹 이름, 인물그룹의 중요도, 인물그룹과 다른 인물그룹들과의 관계, 인물그룹이 포함된 상위그룹 정보 중 적어도 하나를 구비하는 인물그룹 리스트 정보로 이루어짐을 특징으로 하는 인물기반 디지털 사진 앨범 장치.
  60. 제1항 내지 제13항, 제22항 내지 제44항 중 어느 한 항에 기재된 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020050048399A 2004-10-12 2005-06-07 인물기반 디지털 사진 클러스터링 방법 및 장치와 이를이용한 인물기반 디지털 사진 앨버밍 방법 및 장치 KR100601997B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US11/247,203 US7756334B2 (en) 2004-10-12 2005-10-12 Method, medium, and apparatus for person-based photo clustering in digital photo album, and person-based digital photo albuming method, medium, and apparatus
PCT/KR2005/003401 WO2006080755A1 (en) 2004-10-12 2005-10-12 Method, medium, and apparatus for person-based photo clustering in digital photo album, and person-based digital photo albuming method, medium, and apparatus
EP05856532A EP1805684A4 (en) 2004-10-12 2005-10-12 METHOD, MEDIUM AND DEVICE FOR PERSON-BASED PHOTOCLUSTERING IN A DIGITAL PHOTO ALBUM AND METHOD, MEDIUM AND DEVICE FOR CREATING A PERSON-BASED DIGITAL PHOTOALBUM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US61708604P 2004-10-12 2004-10-12
US60/617,086 2004-10-12

Publications (2)

Publication Number Publication Date
KR20060048225A true KR20060048225A (ko) 2006-05-18
KR100601997B1 KR100601997B1 (ko) 2006-07-18

Family

ID=37149852

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050048399A KR100601997B1 (ko) 2004-10-12 2005-06-07 인물기반 디지털 사진 클러스터링 방법 및 장치와 이를이용한 인물기반 디지털 사진 앨버밍 방법 및 장치

Country Status (2)

Country Link
US (1) US7756334B2 (ko)
KR (1) KR100601997B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100701163B1 (ko) * 2006-08-17 2007-03-29 (주)올라웍스 디시젼 퓨전을 이용하여 디지털 데이터 내의 인물 식별을통해 태그를 부여 하고 부가 태그를 추천하는 방법
KR100793989B1 (ko) * 2006-07-11 2008-01-16 삼성전자주식회사 사진 카테고리 분류 방법 및 그 시스템
KR100851433B1 (ko) * 2007-02-08 2008-08-11 (주)올라웍스 이미지 태그 정보에 기반한 인물 이미지 전송 방법,송수신자 이미지 디스플레이 방법 및 인물 이미지 검색방법
KR100901125B1 (ko) * 2007-04-24 2009-06-08 삼성전자주식회사 얼굴인식 방법과 장치
KR101252843B1 (ko) * 2006-04-25 2013-04-09 주식회사 팬택앤큐리텔 이동 통신 단말기에서 이미지 관리 방법
KR20160025519A (ko) * 2013-06-28 2016-03-08 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 속성 그룹을 이용한 시각적 엘리먼트의 선택 및 편집 기법
US9633046B2 (en) 2013-09-18 2017-04-25 Intel Corporation Automated image cropping and sharing
US9953212B2 (en) 2015-04-08 2018-04-24 Xiaomi Inc. Method and apparatus for album display, and storage medium

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7796785B2 (en) * 2005-03-03 2010-09-14 Fujifilm Corporation Image extracting apparatus, image extracting method, and image extracting program
JP2006293985A (ja) 2005-03-15 2006-10-26 Fuji Photo Film Co Ltd アルバム作成装置、アルバム作成方法、及びプログラム
JP4588642B2 (ja) * 2005-03-15 2010-12-01 富士フイルム株式会社 アルバム作成装置、アルバム作成方法、及びプログラム
JP2006295890A (ja) * 2005-03-15 2006-10-26 Fuji Photo Film Co Ltd アルバム作成装置、アルバム作成方法、及びプログラム
JP2006293986A (ja) 2005-03-15 2006-10-26 Fuji Photo Film Co Ltd アルバム作成装置、アルバム作成方法、及びプログラム
US8326775B2 (en) * 2005-10-26 2012-12-04 Cortica Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US8116573B2 (en) * 2006-03-01 2012-02-14 Fujifilm Corporation Category weight setting apparatus and method, image weight setting apparatus and method, category abnormality setting apparatus and method, and programs therefor
US7706578B2 (en) * 2006-06-19 2010-04-27 Xerox Corporation Image compilation production system and method
JP4762827B2 (ja) * 2006-08-22 2011-08-31 富士フイルム株式会社 電子アルバム生成装置、電子アルバム生成方法、および、そのプログラム
US7916976B1 (en) 2006-10-05 2011-03-29 Kedikian Roland H Facial based image organization and retrieval method
US9208174B1 (en) * 2006-11-20 2015-12-08 Disney Enterprises, Inc. Non-language-based object search
US20080201327A1 (en) * 2007-02-20 2008-08-21 Ashoke Seth Identity match process
US8027541B2 (en) * 2007-03-15 2011-09-27 Microsoft Corporation Image organization based on image content
US7917853B2 (en) 2007-03-21 2011-03-29 At&T Intellectual Property I, L.P. System and method of presenting media content
US8189880B2 (en) * 2007-05-29 2012-05-29 Microsoft Corporation Interactive photo annotation based on face clustering
KR101513616B1 (ko) * 2007-07-31 2015-04-20 엘지전자 주식회사 이동 단말기 및 그 영상정보 관리방법
WO2009123711A1 (en) * 2008-04-02 2009-10-08 Google Inc. Method and apparatus to incorporate automatic face recognition in digital image collections
US7953796B2 (en) * 2008-04-02 2011-05-31 Microsoft Corporation Sharing content using selection and proposal
US20090297045A1 (en) * 2008-05-29 2009-12-03 Poetker Robert B Evaluating subject interests from digital image records
US8300953B2 (en) 2008-06-05 2012-10-30 Apple Inc. Categorization of digital media based on media characteristics
JP5043767B2 (ja) * 2008-07-08 2012-10-10 キヤノン株式会社 画像処理装置及び画像処理方法
US8208695B2 (en) * 2008-09-25 2012-06-26 Cyberlink Corp. Systems and methods for performing image clustering
KR20100052676A (ko) * 2008-11-11 2010-05-20 삼성전자주식회사 컨텐츠 앨범화 장치 및 그 방법
US9727312B1 (en) * 2009-02-17 2017-08-08 Ikorongo Technology, LLC Providing subject information regarding upcoming images on a display
US10706601B2 (en) 2009-02-17 2020-07-07 Ikorongo Technology, LLC Interface for receiving subject affinity information
US9210313B1 (en) * 2009-02-17 2015-12-08 Ikorongo Technology, LLC Display device content selection through viewer identification and affinity prediction
US8275733B2 (en) * 2009-03-11 2012-09-25 Hewlett-Packard Development Company, L.P. Creating an album
KR101594293B1 (ko) * 2009-04-06 2016-02-16 삼성전자주식회사 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체
JP4900739B2 (ja) * 2009-09-04 2012-03-21 カシオ計算機株式会社 電子写真立て、その制御方法及びプログラム
US9465993B2 (en) 2010-03-01 2016-10-11 Microsoft Technology Licensing, Llc Ranking clusters based on facial image analysis
US8947547B1 (en) 2010-09-12 2015-02-03 Thomas Nathan Millikan Context and content based automated image and media sharing
EP2659400A4 (en) 2010-12-30 2017-01-11 Nokia Technologies Oy Method, apparatus, and computer program product for image clustering
US9098767B2 (en) 2011-04-11 2015-08-04 Hewlett-Packard Development Company, L.P. System and method for determining the informative zone of an image
US9552376B2 (en) 2011-06-09 2017-01-24 MemoryWeb, LLC Method and apparatus for managing digital files
JP2013003631A (ja) * 2011-06-13 2013-01-07 Sony Corp 情報処理装置、情報処理方法、情報処理システム、及びプログラム
US8902252B2 (en) 2011-09-21 2014-12-02 International Business Machines Corporation Digital image selection in a surface computing device
WO2013124528A1 (en) * 2012-02-20 2013-08-29 Nokia Corporation Method, apparatus and computer program product for management of media files
JP5882805B2 (ja) * 2012-03-26 2016-03-09 キヤノン株式会社 情報処理装置、その処理方法及びプログラム
US8666123B2 (en) * 2012-04-26 2014-03-04 Google Inc. Creating social network groups
US8923570B2 (en) * 2012-06-19 2014-12-30 Intel Coporation Automated memory book creation
WO2014042646A1 (en) * 2012-09-14 2014-03-20 Empire Technology Development Llc Associating an identity to a creator of a set of visual files
US10915868B2 (en) 2013-06-17 2021-02-09 Microsoft Technology Licensing, Llc Displaying life events while navigating a calendar
US10002310B2 (en) 2014-04-29 2018-06-19 At&T Intellectual Property I, L.P. Method and apparatus for organizing media content
CN104268547A (zh) * 2014-08-28 2015-01-07 小米科技有限责任公司 一种基于图片内容播放音乐的方法及装置
CN104281657A (zh) * 2014-09-19 2015-01-14 联想(北京)有限公司 一种信息处理方法及电子设备
KR102334767B1 (ko) 2015-07-23 2021-12-02 한화테크윈 주식회사 네트워크 카메라 제어 장치 및 방법
CN106776662B (zh) * 2015-11-25 2020-03-03 腾讯科技（深圳）有限公司 一种照片的分类整理方法和装置
CN105260732A (zh) * 2015-11-26 2016-01-20 小米科技有限责任公司 图片处理方法及装置
CN105893449A (zh) * 2015-12-31 2016-08-24 乐视移动智能信息技术（北京）有限公司 照片的批量处理方法及装置
CN107015998A (zh) 2016-01-28 2017-08-04 阿里巴巴集团控股有限公司 一种图片处理方法、装置和智能终端
US11169661B2 (en) * 2017-05-31 2021-11-09 International Business Machines Corporation Thumbnail generation for digital images
US10366279B2 (en) 2017-08-29 2019-07-30 Bank Of America Corporation System for execution of multiple events based on image data extraction and evaluation
JP2019160004A (ja) * 2018-03-15 2019-09-19 富士フイルム株式会社 画像判別装置，画像判別方法ならびに画像判別装置のプログラムおよびそのプログラムを格納した記録媒体
US10936178B2 (en) 2019-01-07 2021-03-02 MemoryWeb, LLC Systems and methods for analyzing and organizing digital photos and videos
US11244169B2 (en) 2020-06-15 2022-02-08 Bank Of America Corporation System for executing multiple events based on video data extraction and evaluation
EP4250252B1 (en) * 2020-06-25 2024-09-25 Google LLC Automatic generation of people groups and image-based creations
CN111753923A (zh) * 2020-07-02 2020-10-09 携程计算机技术（上海）有限公司 基于人脸的智能相册聚类方法、系统、设备及存储介质
CN112287141A (zh) * 2020-10-29 2021-01-29 维沃移动通信有限公司 相册处理方法、装置、电子设备和存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5761655A (en) * 1990-06-06 1998-06-02 Alphatronix, Inc. Image file storage and retrieval system
US5579471A (en) * 1992-11-09 1996-11-26 International Business Machines Corporation Image query system and method
JPH06178261A (ja) * 1992-12-07 1994-06-24 Nikon Corp デジタルスチルカメラ
AUPP400998A0 (en) * 1998-06-10 1998-07-02 Canon Kabushiki Kaisha Face detection in digital images
DE69915566T2 (de) 1998-11-25 2005-04-07 Eastman Kodak Co. Zusammenstellung und Änderung von Fotocollagen durch Bilderkennung

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101252843B1 (ko) * 2006-04-25 2013-04-09 주식회사 팬택앤큐리텔 이동 통신 단말기에서 이미지 관리 방법
KR100793989B1 (ko) * 2006-07-11 2008-01-16 삼성전자주식회사 사진 카테고리 분류 방법 및 그 시스템
KR100701163B1 (ko) * 2006-08-17 2007-03-29 (주)올라웍스 디시젼 퓨전을 이용하여 디지털 데이터 내의 인물 식별을통해 태그를 부여 하고 부가 태그를 추천하는 방법
US7634115B2 (en) 2006-08-17 2009-12-15 Olaworks, Inc. Methods for tagging person identification information to digital data and recommending additional tag by using decision fusion
KR100851433B1 (ko) * 2007-02-08 2008-08-11 (주)올라웍스 이미지 태그 정보에 기반한 인물 이미지 전송 방법,송수신자 이미지 디스플레이 방법 및 인물 이미지 검색방법
KR100901125B1 (ko) * 2007-04-24 2009-06-08 삼성전자주식회사 얼굴인식 방법과 장치
KR20160025519A (ko) * 2013-06-28 2016-03-08 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 속성 그룹을 이용한 시각적 엘리먼트의 선택 및 편집 기법
US9633046B2 (en) 2013-09-18 2017-04-25 Intel Corporation Automated image cropping and sharing
US9953212B2 (en) 2015-04-08 2018-04-24 Xiaomi Inc. Method and apparatus for album display, and storage medium

Also Published As

Publication number Publication date
KR100601997B1 (ko) 2006-07-18
US7756334B2 (en) 2010-07-13
US20060078201A1 (en) 2006-04-13

Similar Documents

Publication Publication Date Title
KR100601997B1 (ko) 인물기반 디지털 사진 클러스터링 방법 및 장치와 이를이용한 인물기반 디지털 사진 앨버밍 방법 및 장치
US10346677B2 (en) Classification and organization of consumer digital images using workflow, and face detection and recognition
JP5318115B2 (ja) 場所別画像分類
EP1886255B1 (en) Using photographer identity to classify images
US8199979B2 (en) Classification system for consumer digital images using automatic workflow and face detection and recognition
US7558408B1 (en) Classification system for consumer digital images using workflow and user interface modules, and face detection and recognition
Tuffield et al. Image annotation with photocopain
JP4444633B2 (ja) 画像分類装置、画像分類方法、および、プログラム
US20030210808A1 (en) Method and apparatus for organizing and retrieving images containing human faces
US7813560B2 (en) Classifying complete and incomplete date-time information
EP1955256A1 (en) Determining a particular person from a collection
WO2010102515A1 (en) Automatic and semi-automatic image classification, annotation and tagging through the use of image acquisition parameters and metadata
WO2011001587A1 (ja) コンテンツ分類装置、コンテンツ分類方法及びコンテンツ分類プログラム
JP2011516966A (ja) デジタル画像集合内に自動顔認識を組み込む方法および装置
US8837787B2 (en) System and method for associating a photo with a data structure node
EP1805684A1 (en) Method, medium, and apparatus for person-based photo clustering in digital photo album, and person-based digital photo albuming method, medium, and apparatus
Davis et al. Using context and similarity for face and location identification
Suh et al. Semi-automatic image annotation using event and torso identification
KR100790865B1 (ko) 상황기반 디지털 사진 클러스터링 방법 및 장치와 이를이용한 디지털 사진 앨범 시스템 및 방법
Zheng et al. Exif as language: Learning cross-modal associations between images and camera metadata
Choi et al. Face annotation for personal photos using context-assisted face recognition
KR100624465B1 (ko) 디지털 사진의 상황변환 검출 장치 및 방법 및 이를 이용한디지털 사진 앨범의 상황 기반 클러스터링 방법 및 장치
Kim et al. User‐Friendly Personal Photo Browsing for Mobile Devices
Ardizzone et al. Clustering techniques for personal photo album management
KR20110012602A (ko) 사진을 분류하는 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130627

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140627

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150629

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20160629

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20170629

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20180628

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20190627

Year of fee payment: 14