KR100679049B1

KR100679049B1 - 인물 및 장소정보를 제공하는 썸네일에 의한 사진탐색 방법및 그 장치

Info

Publication number: KR100679049B1
Application number: KR1020050087745A
Authority: KR
Inventors: 박태서; 김기응; 김연배
Original assignee: 삼성전자주식회사
Priority date: 2005-09-21
Filing date: 2005-09-21
Publication date: 2007-02-05
Also published as: US8983229B2; US20070065044A1

Abstract

본 발명은 디지털 카메라 등의 기기로부터 취득된 사진들의 탐색을 용이하게 하기 위해 특정한 이벤트를 대표하는 복수의 특성을 시각화한 썸네일을 제공하는 장치 및 그 방법에 관한 것으로서, 더욱 상세하게는 취득한 사진 파일에 매립(embedded)된 메타데이터 정보를 기초로 사진을 종류별로 분류하고, 종류별로 분류된 각 그룹의 대표 사진으로부터 추출한 피사체 이미지의 조합으로 썸네일을 생성하여 제공하는 장치 및 그 방법에 관한 것이다.

본 발명의 일 실시예에 따른 인물 및 장소정보를 제공하는 썸네일에 의한 사진탐색 방법은, 사진 파일로부터 메타데이터를 추출하는 단계와, 상기 추출된 메타데이터를 기초로 사진 파일들을 종류별로 분류하는 단계와, 상기 추출된 메타데이터 중 색상정보를 이용하여 상기 각 종류별로 분류된 그룹들에서 대표 사진을 선정하는 단계와, 상기 선정된 각 그룹의 대표 사진으로부터 추출한 피사체 이미지를 조합하여 썸네일로 생성하는 단계를 포함한다.

대표 사진, 썸네일, 메타데이터

Description

인물 및 장소정보를 제공하는 썸네일에 의한 사진탐색 방법 및 그 장치{Photo search method and apparatus by thumbnail providing person and location information}

도 1은 본 발명의 일 실시예에 따른 인물 및 장소정보를 제공하는 썸네일에 의한 사진탐색 장치의 블록도를 나타낸 도면.

도 2는 본 발명의 일 실시예에 따른 인물 및 장소정보를 제공하는 썸네일에 의한 사진탐색 장치의 그룹핑부가 사진 파일 내의 얼굴 영역 비율을 계산하는 예를 나타낸 도면.

도 3은 본 발명의 일 실시예에 따른 인물 및 장소 정보를 제공하는 썸네일에 의한 사진탐색 장치의 썸네일 생성부가 썸네일을 생성하는 과정을 나타낸 도면.

도 4는 본 발명의 다른 실시예에 따른 인물 및 장소정보를 제공하는 썸네일에 의한 사진탐색 장치의 동작을 나타낸 도면.

도 5는 본 발명의 또 다른 실시예에 따른 인물 및 장소정보를 제공하는 썸네일에 의한 사진 탐색 방법을 나타낸 순서도.

도 6은 본 발명의 또 다른 실시예에 따른 인물 및 장소정보를 제공하는 썸네일에 의한 사진탐색 방법 중 사진 파일을 그룹핑하는 과정을 나타낸 도면.

<도면의 주요 부분에 관한 부호의 설명>

110 : 정보 추출부 120 : 저장부

130 : 그룹핑부 140 : 대표 사진 선정부

150 : 썸네일 생성부 160 : 디스플레이부

170 : 제어부

최근 휴대용 촬영 장치(예를 들어, 디지털 캠코더, 및 디지털 카메라)를 이용하여 소정 영상을 촬영하는 사람들이 증가하면서, 개인이 취득한 수백 혹은 수천장의 사진을 관리하는데 따르는 어려움이 제기되고 있다.

예를 들어 디지털 카메라의 경우, 기기조작 인터페이스의 제약 및 취득된 사진의 방대함으로 인해 사진의 제목을 일일이 달아주는 것이 실질적으로 불가능하므로, 촬영된 수많은 사진의 제목이 임의로 자동 설정되어 저장되는 방식을 취하고 있는데, 이로 인해 사용자는 저장된 제목만을 보고 해당 사진 파일이 언제 어떤 일 로 촬영된 것인지 판별하기가 매우 곤란하다.

상기와 같은 문제점을 해결하기 위해, 통상 사용자가 촬영된 사진 파일들을 그 사진들이 찍힌 이벤트 단위로 폴더를 만들어서 그룹핑하면서 폴더의 제목을 이벤트에 따라 짓는 방법을 이용하고 있으나, 이는 사용자가 촬영 후 바로 사진파일들의 내용을 기초로 일일이 제목을 입력해야 하는 번거로움이 있으며, 폴더의 개수가 늘어나고 시간이 지날수록 제목만으로 특정 폴더에 담긴 사진들의 내용을 유추하기가 어려워진다는 단점이 있다.

이에, 상기와 같은 문제점을 해결하기 위한 다양한 시도가 제안되었다. 예를 들어, 종래의 이벤트 식별자인 '제목'의 단점을 보완하기 위해 Microsoft사의 Windows XP에선 사진 폴더의 아이콘에 해당 폴더의 대표사진 네 장의 썸네일을 보여주는 방식을 겸하고 있다. 즉, 소정 컨텐츠 파일이 저장된 폴더에 썸네일이 표시되어 사용자는 폴더 상에 나타난 썸네일을 확인하여 각각의 폴더에 어떠한 이미지 파일들이 저장되어 있는지를 확인할 수 있다.

그러나, 썸네일은 수백만 화소로 구성된 이미지를 아이콘으로 보여주기 위해 불과 수천 화소의 작은 크기로 축소한 것으로, 축소 과정에서 원 영상에 담긴 피사체 이미지 역시 크기가 줄어들면서 개체의 세부정보가 손실되므로 썸네일화된 이미지를 통해 사진 속의 피사체 이미지를 구분하는 데 어려움을 겪게 된다.

상기와 같이 썸네일 방식에 수반되는 문제를 해결하기 위해서 일본공개특허 2000-295570(전자 카메라 장치)은 촬영한 화상 전체를 축소하여 썸네일 화상을 작성하는 것이 아니라, 촬영 화상 전체에서 포커스 검출 영역(AF: auto focus)을 포 함하는 소정 영역의 화상물을 추출하고, 그 추출한 화상으로부터 썸네일 화상을 작성하는 기술을 개시하고 있다.

그러나, 상기 기술에서 사람을 중심으로 촬영한 경우, 풍경과 사람을 함께 촬영한 사진인 경우, 촬영자의 관심이 풍경에 있다 하더라도 사람이 흐릿하게 보여지는 것을 피하기 위해 일반적으로 반셔터를 이용하여 사람에 초점을 맞춘 뒤 뷰포인트를 옮겨 촬영을 하므로, 대부분의 촬영된 화상에 대한 포커스 검출 영역은 사람이 되며, 이에 썸네일 화상 역시 대부분 얼굴 영역이 된다.

이 경우, 피사체로서의 인물은 동일하되 각각 다른 장소에서 촬영된 화상이 저장된 폴더가 다수 존재할 때, 폴더에 표현된 썸네일이 모두 얼굴 영역인 경우, 각 폴더들간의 식별이 어렵다는 문제점이 있다. 이와 관련하여, J. Huang et al. 은 논문 "Image indexing using color correlograms"(IEEE Conf. Computer Vision and Pattern Recognition, 1997)에서 사람들은 통상 원하는 사진을 찾을 때 날짜(when), 장소(where), 인물(people) 이 세가지 정보를 가장 많이 사용한다고 보고하고 있다.

따라서, 기존 썸네일 방식이 보다 효과적인 탐색수단이 되려면 폴더에 표시된 썸네일을 통해 언제, 누구와 어디에서 촬영한 이미지 파일들이 저장되어 있는지 쉽게 확인할 수 있는 기술이 필요하다.

본 발명은 사진 파일의 메타데이터를 기초로 사진들을 촬영 당시의 관심 피사체에 따라 장소 사진과 인물 사진으로 분류하고, 종류별로 분류된 각 그룹의 대 표 사진에서 추출한 피사체 이미지를 조합하여 인물 정보와 장소 정보를 동시에 제공하는 썸네일로 생성하여 제공하는데 그 목적이 있다.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해되어질 수 있을 것이다.

상기 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 인물 및 장소정보를 제공하는 썸네일에 의한 사진탐색 방법은, 사진 파일로부터 메타데이터를 추출하는 단계와, 상기 추출된 메타데이터를 기초로 사진 파일들을 종류별로 분류하는 단계와, 상기 추출된 메타데이터 중 색상정보를 이용하여 상기 각 종류별로 분류된 그룹들에서 대표 사진을 선정하는 단계와, 상기 선정된 각 그룹의 대표 사진으로부터 추출한 피사체 이미지를 조합하여 썸네일로 생성하는 단계를 포함한다.

또한, 본 발명의 다른 실시예에 따른 인물 및 장소정보를 제공하는 썸네일에 의한 사진탐색 장치는, 사진 파일로부터 메타데이터를 추출하는 정보 추출부와, 상기 추출된 메타데이터를 기초로 사진 파일들을 종류별로 분류하는 그룹핑부와, 상기 추출된 메타데이터 중 색상정보를 이용하여 상기 각 종류별로 분류된 그룹들에서 대표 사진을 선정하는 대표 사진 선정부와, 상기 선정된 각 그룹의 대표 사진으로부터 추출한 피사체 이미지를 조합하여 썸네일로 생성하는 썸네일 생성부를 포함한다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있 다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이하, 본 발명의 실시예들에 의하여 인물 및 장소정보를 제공하는 썸네일에 의한 사진탐색 방법 및 그 장치를 설명하기 위한 블록도 또는 처리 흐름도에 대한 도면들을 참고하여 본 발명에 대해 설명하도록 한다. 이 때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장 된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

도 1은 본 발명의 일 실시예에 따른 인물 및 장소정보를 제공하는 썸네일에 의한 사진탐색 장치의 블록도를 나타낸 도면이다.

도시된 바와 같이, 사진 탐색 장치(10)는 정보 추출부(110), 저장부(120), 그룹핑부(130), 대표 사진 선정부(140), 썸네일 생성부(150), 디스플레이부(160), 및 제어부(170)를 포함하여 구성된다.

이 때, 본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그 렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

정보 추출부(110)는 사진 파일로부터 메타데이터를 추출하는 것으로, 여기서 사진 파일의 메타데이터는 최근 휴대용 촬영 장치(예를 들어, 디지탈 카메라 및 디지털 캠코더) 등으로 촬영한 이미지 파일의 저장 형식인 JPEG이나 TIFF에 매립되어(embedded) 제공되는 메타데이터를 통해 대부분 얻을 수 있는 정보이다. 예를 들어, 일본공업협회(JEITA)에 의해 주도적으로 도입되어 디지털 카메라에서의 실질적인 표준 메타데이터 포맷으로 자리매김한 EXIF(Exchangeable Image File Format)의 경우, 촬영 장치 제조사, 모델명, 촬영 날짜, 셔터 속도, 조리개 값, 초점 거리, 피사체와의 거리(subject distance), 얼굴 검출 정보, 플래시 사용 여부 등 다양한 부가 정보를 추출할 수 있다.

예를 들어, 정보 추출부(110)는 JPEG파일 내에 EXIF 형태로 매립된 메타데이터를 추출하고, 사진 내에 인물이 존재하는지 여부를 보여주는 얼굴 검출 정보가 상기 메타데이터에 포함되어 있지 않다면 얼굴검출부(도시되지 않음)를 이용하여 상기 얼굴 검출 정보를 추출하여 메타데이터를 증강한다. 상기 얼굴검출부는 예를 들어 일본 NTT DoCoMo형 휴대폰에 탑재된 Neven Vision사의 라이브러리 Mobile-I 혹은 일본 OMRON사의 OKAO와 같이 상용화가 충분히 이루어진 공지 기술을 사용한다. 본 발명에서는 EXIF 형태로 제공되는 정보를 이용하는 경우를 예로 들어 설명하고 있으나, EXIF 형태로 제공되는 정보 뿐만 아니라, IPTC 등의 다른 형태로 제공되는 메타데이터를 이용할 수도 있다.

저장부(120)는 사용자가 취득한 사진 파일, 사진 파일의 메타데이터, 및 그룹핑부(130)가 분류한 그룹핑 정보 등을 저장한다.

또한, 저장부(120)는 각 사진 파일의 칼라 히스토그램을 기초로 계산된 대표사진 여부 및 사진 내 얼굴 영역이 차지하는 비율 등을 저장한다.

그룹핑부(130)는 정보 추출부(110)가 추출한 메타데이터를 기초로 사진들을 종류별로 분류한다. 사진들은 크게 인물(people) 그룹 및 장소(location) 그룹으로 나뉘며, 장소 그룹은 풍경 그룹 및 사물 그룹으로 세분화된다.

예를 들어, 사진 내의 피사체 이미지에 얼굴 영역이 존재할 경우 해당 사진의 전체 영역에서 얼굴 영역이 차지하는 비율을 계산하여 제1 임계값 보다 상기 계산된 비율이 큰 경우, 인물 그룹에 속하는 것으로 간주된다.

즉, 그룹핑부(130)는 사진 파일의 EXIF에 저장된 메타데이터에서 얼굴 검출 정보를 체크하고, 체크 결과 사진 파일에 얼굴 영역 정보가 있는 경우, 사진 전체 크기 대비 얼굴 영역의 비율을 계산한다. 그 다음, 계산된 얼굴 영역의 비율이 제1 임계값 보다 클 경우, 해당 사진 파일을 인물 그룹으로 분류한다. 여기서, 제1 임계값은 사용자가 조정할 수도 있다.

반면, 사진 내의 피사체 이미지에 얼굴 영역이 존재하지 않거나 상기 계산된 비율이 제 1 임계값보다 작은 경우, 해당 사진은 장소 그룹으로 분류된다. 여기서, 장소 그룹으로 분류된 사진들은 다시 피사체와의 거리(subject distance) 정보에 의해 풍경 그룹 및 사물 그룹으로 세분화된다.

예를 들어, 사진 파일의 EXIF에 저장된 메타데이터에서 피사체 거리 정보를 체크하고, 체크 결과 피사체 거리 정보가 제2 임계값 보다 큰 경우 풍경 그룹으로 분류하고, 피사체 거리 정보가 제3 임계값 보다 작은 경우(즉, 근접 촬영을 한 경우) 사물 그룹으로 분류한다. 여기서, 제2 임계값 및 제3 임계값은 사용자가 조정할 수도 있다.

한편, 촬영기기의 미지원으로 인해 피사체 거리 정보가 EXIF에 누락되어 있을 경우, 장소 그룹을 풍경 그룹과 사물 그룹으로 세분화하는 과정은 생략되고, 풍경 그룹과 사물 그룹은 동일하게 상위 개념인 장소 그룹으로 묶인다.

여기서, 소정 사진 내의 얼굴 영역 비율을 계산하는 방법의 일 실시예는 하기 [수학식 1]과 같다.

즉, [수학식1]을 통해 계산된 얼굴 영역의 비율(즉, R)이 제1 임계값 보다 작은 경우, 촬영 당시 인물이 관심 피사체가 아니었다고 판단하여 배경 그룹으로 분류된다.

예를 들어, 도 2a에 도시된 바와 같이 산 배경과 사람이 함께 촬영된 사진의 경우, 사진 내의 얼굴 영역 비율을 계산한 결과 사진 내의 얼굴 비율이 0.009이고, 제1 임계값이 0.06이라면, 도 2a에 도시된 사진 파일은 제1 임계값 보다 계산된 얼굴 영역 비율의 값이 작기 때문에 촬영 당시 인물이 관심 피사체가 아니었다고 판단되므로 장소 그룹으로 분류된다.

반면, 도 2b에 도시된 바와 같이 여자 둘이서 함께 촬영한 사진의 경우, 사진 내의 얼굴 영역 비율을 계산한 결과 상기 얼굴 비율이 0.114이고, 제1 임계값이 0.06이라면, 도 2b에 도시된 사진 파일은 제1 임계값 보다 계산된 얼굴 영역 비율의 값이 크기 때문에 촬영 당시 관심 피사체가 앞의 두 사람이었다고 판단되어 인물 그룹으로 분류된다.

대표 사진 선정부(140)는 정보 추출부(110)에서 추출된 메타데이터 중 색상정보, 보다 정확히는 컬러 히스토그램을 이용하여 각 그룹들(인물 그룹, 풍경 그룹, 및 사물 그룹)에서 대표 사진을 선정한다. 컬러 히스토그램을 이용한 대표 사진의 선정 방법은 다양한 연구자들에 의해 제안되어 왔는데, 일 실시예로서 하기와 같이 [수학식2]에 의해 표현되는 해당 분야의 공지기술 중 하나인 Kullback-Leibler divergence를 계산하여 Y값이 가장 큰 사진을 해당 그룹의 대표 사진으로 선정한다.

여기서,

는 개별 히스토그램 벡터이고,

는 전체 평균 히스토그램 벡터이다.

썸네일 생성부(150)는 대표 사진 선정부(140)에 의해 선택된 각 그룹의 대표 사진으로부터 추출한 피사체 이미지를 조합하여 썸네일로 생성한다.

피사체 이미지의 조합에 의해 인물 및 장소 정보를 동시에 제공하는 썸네일을 생성하는 방안의 일실시예를 도 3a 및 도 3b에 도시하였다.

도 3a의 경우, 장소 그룹(a)와 인물 그룹(b)으로부터 각각 대표 사진들을 뽑아서, 장소 그룹(a)의 대표 사진의 경우 통상의 수법에 의해 별도의 수정을 거치지 않고 썸네일화 하였지만, 인물 그룹(b)의 대표 사진의 경우엔 피사체 이미지에서 얼굴 영역만을 잘라내어(cropping) 썸네일화 함으로써 정보의 손실을 최소화함을 보여주고 있다. 이렇게 생성된 상이한 그룹 별 썸네일을 적절한 비율로 배치(layout)함으로써, 인물과 장소 정보를 동시에 담은 새로운 썸네일(1)을 생성한다.

도 3b는 상기와 같은 과정을 통해 생성된 복합(composite) 썸네일을 사진 그룹의 아이콘으로 사용하는 모습을 표현한 것이다.

도 3b에 도시된 바와 같이, 해당 폴더 내의 사진들의 속성에 따라 복합 썸네일의 배치(layout)는 달라질 수 있다. 예를 들어, 사용자가 친구들과 여행 시 촬영한 사진의 집합이 폴더 A이고, 사용자가 여행 중 풍경을 촬영한 사진의 집합이 폴더 B라고 가정한다.

즉, 폴더 A는 친구들과 함께 촬영한 사진들을 인물 그룹 및 장소 그룹으로 분류한 후, 각 그룹의 대표 사진의 피사체 이미지를 썸네일로 생성하고, 폴더 상에 썸네일 아이콘 나타낸 것이다. 이에, 폴더 A는 인물 및 장소 정보를 제공하는 썸네일이 제공된다.

또한, 폴더 B는 사용자가 인물없이 풍경과 정물만 촬영한 것이므로, 폴더 A와 달리 풍경 및 장소 이미지만으로 구성 썸네일 아이콘이 제공된다.

한편, 폴더 A와 폴더 C는 인물 및 장소 이미지들로 구성된 썸네일이 제공된다. 도시된 바와 같이, 썸네일에 인물 이미지 및 장소 이미지가 모두 제공되기 때문에 촬영된 인물이 동일한 경우에도 사용자는 썸네일에 제공된 장소 이미지를 통해 어디서 촬영한 사진인지를 바로 알 수 있다.

또한, 배열되는 썸네일들의 개수 및 특정 그룹에서 몇 개의 이미지 파일을 이용할 것인지 등은 썸네일 생성부(150) 및 사용자의 임의 설정에 따라 달라질 수 있다.

따라서, 사용자는 사진 폴더를 일일이 열어보지 않고도 해당 폴더 안에 어떤 성격의 사진들이 저장되어 있는지, 구체적으로는 누구를 어디서 찍은 사진인지 한 눈에 파악할 수 있다.

디스플레이부(160)는 썸네일 생성부(150)가 생성한 썸네일 아이콘으로 표현된 사진 폴더들을 디스플레이 한다.

제어부(180)는 저장된 프로그램에 의해 각 모듈간 데이터의 흐름과 동작순서를 제어한다.

도 4는 본 발명의 다른 실시예에 따른 인물 및 장소정보를 제공하는 썸네일에 의한 사진탐색 장치의 전체 동작 과정을 나타낸 도면이다.

먼저, 다수의 사진 파일들이 존재할 경우 정보 추출부(110)는 사진 파일들의 메타데이터 중에서 피사체 거리 정보, 얼굴 검출 정보, 및 색상 정보 등을 추출하고, 그룹핑부(130)는 추출된 메타데이터들을 기초로 사진들을 종류별로 분류한다.

그 다음, 대표 사진 선정부(140)는 추출된 메타데이터 중 색상정보를 이용하여 각 그룹들(인물 그룹, 풍경 그룹, 및 사물 그룹)에서 대표 사진을 선정하고, 썸네일 생성부(150)는 상기 선정된 각 그룹의 대표 사진으로부터 추출한 피사체 이미지를 조합하여 썸네일로 생성한다. 이에, 디스플레이부(160)는 썸네일 아이콘으로 표현된 사진 폴더를 디스플레이 한다.

도 5는 본 발명의 또 다른 실시예에 따른 인물 및 장소정보를 제공하는 썸네일에 의한 사진탐색 방법을 나타낸 순서도이다.

먼저, 정보 추출부(110)는 저장부(120)에 저장된 사진 파일에서 메타데이터를 추출한다(S500). 여기서, 메타데이터는 촬영 장치 제조사, 모델명, 촬영 날짜, 셔터 속도, 조리개 값, 초점 거리, 피사체와의 거리(subject distance), 얼굴 검출 정보, 플래시 사용 여부 등 다양한 부가 정보 등을 말한다.

그 다음, 그룹핑부(130)는 추출된 메타데이터(즉, 피사체 거리 정보, 및 얼굴 검출 정보)를 기초로 사진 파일을 종류별로 분류한다(S510). 여기서, 사진 파일을 분류하는 종류는 인물 그룹, 풍경 그룹, 및 사물 그룹 등으로 이해될 수 있다. 이하, 도 6을 참조하여 사진 파일을 종류별로 분류하는 과정을 자세히 설명한다.

그 다음, 대표 사진 선정부(140)는 정보 추출부(110)에서 추출된 메타데이터 중 색상 정보(예를 들어, 컬러 히스토그램)을 이용하여 각 그룹들(인물 그룹, 풍경 그룹, 및 사물 그룹)에서 대표 사진을 선정한다(S520).

그 다음, 썸네일 생성부(150)는 대표 사진 선정부(140)에 의해 선택된 각 그룹의 대표 사진으로부터 추출한 피사체 이미지를 조합하여 썸네일로 생성한다(S530). 따라서, 인물, 풍경, 및 사물 이미지가 복합적으로 포함된 썸네일이 폴더 상에 제공된다.

그 다음, 디스플레이부(160)는 썸네일 생성부(150)가 생성한 썸네일 아이콘이 표현된 사진 폴더들을 디스플레이 한다(S540).

도 6은 본 발명의 또 다른 실시예에 따른 인물 및 장소정보를 제공하는 썸네일에 의한 사진탐색 방법 중 사진 파일을 그룹핑하는 과정을 나타낸 도면이다.

도시된 바와 같이, 그룹핑부(130)는 사진 파일의 메타데이터(즉, 피사체 거리 정보, 및 얼굴 검출 정보 등)를 기초로 사진 파일들을 종류별로 분류한다.

즉, 그룹핑부(130)는 정보 추출부(110)가 추출한 사진 파일의 메타데이터에서 얼굴 검출 정보가 있는지 체크하고(S511), 체크 결과 검출 영역 정보가 존재하면 사진 전체 크기 대비 얼굴 영역의 비율을 계산한다(S512). 여기서, 얼굴 영역 비율은 사진 파일의 전체 크기에서 얼굴 영역이 차지하는 비율을 말한다.

그 다음, 계산된 얼굴 영역의 비율이 제1 임계값 보다 클 경우(S513), 그룹핑부(130)는 촬영 당시 인물이 관심 피사체였다고 판단하고, 이에 해당 사진 파일을 인물 그룹으로 분류한다(S514). 여기서, 제1 임계값은 사용자가 조정할 수 있다.

또한, 추출된 메타데이터에 얼굴 검출 정보가 없는 경우(S513), 그룹핑부(130)는 촬영 당시 인물이 관심 피사체가 아니었다고 판단하고, 이에 해당 사진을 장소 그룹으로 분류하고, 피사체 거리 정보를 체크한다(S515).

체크 결과 피사체 거리 정보가 제2 임계값 보다 큰 경우(S516), 그룹핑부(130)는 해당 사진 파일을 풍경 그룹으로 분류하고(S517), 체크 결과 피사체 거리 정보가 제2 임계값 보다 작은 경우, 피사체 거리 정보가 제3 임계값 보다 작은지 여부를 판단한다(S518).

판단 결과 피사체 거리 정보가 제3 임계값 보다 작은 경우(즉, 근접 촬영을 한 경우) 그룹핑부(130)는 해당 사진 파일을 사물 그룹으로 분류한다(S519). 만일, 체크 결과 피사체 거리 정보가 제3 임계값 보다 작지 않은 경우, 그룹핑부(130)는 해당 사진 파일이 어떤 그룹에도 속하지 않는다고 판단하며, 이에 해당 사진 파일을 특정 그룹(예를 들어, 인물 그룹, 풍경 그룹, 및 사물 그룹)으로 분류하지 않는다. 여기서, 제2 임계값 및 제3 임계값은 사용자가 조정할 수 있다.

한편, 계산된 얼굴 영역의 비율이 제 1 임계값 보다 작은 경우(S513), 그룹핑부(130)는 해당 사진 파일에 얼굴 영역이 존재는 하지만 사진 파일에 존재하는 얼굴 영역이 상당히 작다고 판단하여 장소 그룹으로 분류한다. 그 다음 단계 S515 내지 S518 과정을 수행한다.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

상기한 바와 같은 본 발명은 썸네일 기반의 사진 탐색(photo browsing)환경 하에서 탐색의 실질적 최소 단위인 폴더에 저장된 사진들의 특성표현에 유용한 두 가지 상이한 정보(등장인물 및 촬영장소)를 결합하여 보여줌으로써, 다음과 같은 효과가 기대된다.

첫째, 상호보완 효과가 있는 유력한 특징(feature)을 복수 제공하므로 다량의 이미지 탐색 시 탐색시간 및 성공률을 향상시킬 수 있다.

둘째, 기존 공지기술과 달리 촬영장소는 달라도 등장인물이 중복되거나, 아예 인물사진이 포함되지 않은 경우에도 폴더 간 시각적 변별력을 유지한다.

셋째, 컴퓨터와 달리 문자입력이 불편한 TV와 같은 기기에서의 사진 탐색 및 관리를 용이하게 한다.

Claims

사진 파일로부터 메타데이터를 추출하는 단계;

상기 추출된 메타데이터를 기초로 사진 파일들을 종류별로 분류하는 단계;

상기 추출된 메타데이터 중 색상정보를 이용하여 상기 각 종류별로 분류된 그룹들에서 대표 사진을 선정하는 단계; 및

상기 선정된 각 그룹의 대표 사진으로부터 추출한 피사체 이미지를 조합하여 썸네일로 생성하는 단계를 포함하는 인물 및 장소정보를 제공하는 썸네일에 의한 사진탐색 방법.
제 1항에 있어서,

상기 생성된 썸네일이 아이콘으로 제공되는 사진 폴더들을 디스플레이하는 단계를 더 포함하는 인물 및 장소정보를 제공하는 썸네일에 의한 사진탐색 방법.
제 1항에 있어서,

상기 추출된 메타데이터를 기초로 사진 파일들을 종류별로 분류하는 단계는,

상기 추출된 메타데이터를 기초로 얼굴 검출 정보가 존재하는지 체크하는 단계; 및

상기 체크 결과 얼굴 검출 정보가 존재하는 경우, 상기 사진 파일을 인물 그룹으로 분류하는 단계를 포함하는 인물 및 장소정보를 제공하는 썸네일에 의한 사 진탐색 방법.
제 3항에 있어서,

상기 체크 결과 얼굴 검출 정보가 존재하는 경우, 상기 사진 파일을 인물 그룹으로 분류하는 단계는,

상기 체크 결과 사진 파일 내에 피사체 이미지의 얼굴 영역 비율을 계산하는 단계; 및

상기 계산된 얼굴 영역 비율이 제1 임계값 보다 큰 경우 인물 그룹으로 분류하는 단계를 더 포함하는 인물 및 장소정보를 제공하는 썸네일에 의한 사진탐색 방법.
제 3항에 있어서,

상기 체크 결과 얼굴 검출 정보가 존재하지 않은 경우, 상기 사진 파일을 장소 그룹으로 분류하는 단계를 포함하는 인물 및 장소정보를 제공하는 썸네일에 의한 사진탐색 방법.
제 5항에 있어서

상기 사진 파일을 장소 그룹으로 분류하는 단계는,

상기 사진 파일의 메티정보를 기초로 피사체의 거리 정보를 체크하는 단계;

상기 체크 결과 피사체 거리 정보가 제2 임계값 이상인 경우, 풍경 그룹으로 분류하는 단계; 및

상기 체크 결과 피사체 거리 정보가 제3 임계값 미만인 경우, 사물 그룹으로 분류하는 단계를 더 포함하는 인물 및 장소정보를 제공하는 썸네일에 의한 사진탐색 방법.
사진 파일로부터 메타데이터를 추출하는 정보 추출부;

상기 추출된 메타데이터를 기초로 사진 파일들을 종류별로 분류하는 그룹핑부;

상기 추출된 메타데이터 중 색상정보를 이용하여 상기 각 종류별로 분류된 그룹들에서 대표 사진을 선정하는 대표 사진 선정부; 및

상기 선정된 각 그룹의 대표 사진으로부터 추출한 피사체 이미지를 조합하여 썸네일로 생성하는 썸네일 생성부를 포함하는 인물 및 장소정보를 제공하는 썸네일에 의한 사진탐색 장치.
제 7항에 있어서,

상기 생성된 썸네일이 아이콘으로 제공되는 사진 폴더들을 디스플레이 하는 디스플레이부를 더 포함하는 인물 및 장소정보를 제공하는 썸네일에 의한 사진탐색 장치.