KR20120064577A - 부가정보를 이용한 자동 사진분류방법 및 장치 - Google Patents

Abstract

사진분류 처리속도를 개선시키고 사진 분류 성능을 높이기 위한 부가정보를 이용한 자동 사진분류방법 및 장치가 개시된다. 부가정보를 이용한 자동 사진분류방법은 자동 사진분류장치에서 수행되는 자동 사진분류방법에 있어서, 저장된 적어도 하나의 사진으로부터 얼굴특징 및 부가정보를 추출하고 사용자가 지정한 사진으로부터 얼굴특징 및 부가정보를 추출한다. 또한 저장된 적어도 하나의 사진의 부가정보와 사용자가 지정한 사진의 부가정보를 비교한 결과에 따라 추천사진으로 등록한다. 이후, 사용자가 지정한 사진의 얼굴특징 및 추천사진의 얼굴특징과 저장된 적어도 하나의 사진의 얼굴특징을 비교하고 비교결과에 따라 사진을 분류한다. 따라서 사진분류의 처리속도를 개선시키고 사진 분류 성능을 높일 수 있다.

Description

부가정보를 이용한 자동 사진분류방법 및 장치{METHOD AND APPARATUS FOR CLASSIFYING PHOTOGRAPHS USING ADDITIONAL INFORMATION}

본 발명은 사진분류방법에 관한 것으로, 더욱 상세하게는 부가정보를 이용한 자동 사진분류방법 및 장치에 관한 것이다.

멀티미디어 기기의 보급과 대용량 저장장치 증가와 디지털 기기의 가격하락 등 많은 요소에 의해 디지털 콘텐츠의 사용량이 증가하고 있다. 더욱이 디지털카메라의 기술 발달로 전문성을 요하던 사진 기술이 누구나 손쉽게 생산, 제작이 가능해졌다. 그리고 기존의 필름카메라에서 디지털카메라의 보급이 확산됨에 따라 사진관리가 사진앨범관리에서 사진파일관리로 변화하고 있는 추세이다. 따라서 사진파일을 효율적으로 인덱싱하고 관리하는 방법이 중요한 문제로 인식되고 있다.

사진분류방법은 콘텐츠기반의 정지영상 검색기술(CBIR, Content-Based Image Retrieval)의 한 응용분야로 인물별로 사진을 분류하여 동일한 색인어로 태깅(tagging)하여 사진을 관리하는 방법이다. 상기 사진분류방법은 입력된 사진에서 검출된 얼굴이 저장된 사진속의 얼굴과 유사한지 판단하기 위해 입력 사진과 저장되어 있는 사진 사이의 상관관계를 분석하여, 사용자에게 입력 사진에 적절한 태그를 자동으로 추천하는 방법이다. 그러나 기존의 사진분류방법은 동일 인물의 다양한 얼굴을 분류하기 위하여 여러 각도의 얼굴을 수동으로 각각 훈련시켜야 하므로 사진분류 처리속도가 느리고, 사진 분류 성능이 낮다는 문제점이 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 동일인물의 다양한 얼굴을 학습하기 위해 사진의 부가정보를 이용해 사용자가 등록하는 사진 이외에 자동으로 추천사진을 등록함으로써 사진분류 처리속도를 개선시키고 사진 분류 성능을 높이기 위한 부가정보를 이용한 자동 사진분류방법 및 장치를 제공하는데 있다.

상기 목적을 달성하기 위한 본 발명의 일 측면에 따른 부가정보를 이용한 자동 사진분류방법은, 저장된 적어도 하나의 사진으로부터 얼굴특징 및 부가정보를 추출하는 단계와, 사용자가 지정한 사진으로부터 얼굴특징 및 부가정보를 추출하는 단계와, 상기 저장된 적어도 하나의 사진의 부가정보와 상기 사용자가 지정한 사진의 부가정보를 비교한 결과에 따라 추천사진으로 등록하는 단계와, 상기 사용자가 지정한 사진의 얼굴특징 및 상기 추천사진의 얼굴특징과 상기 저장된 적어도 하나의 사진의 얼굴특징을 비교하는 단계 및 상기 비교결과에 따라 사진을 분류하는 단계를 포함한다.

상기와 같은 본 발명에 따른 부가정보를 이용한 자동 사진분류방법 및 장치에 따르면, 자동 사진분류장치는 저장된 적어도 하나의 사진으로부터 얼굴특징 및 부가정보를 추출하고 사용자가 지정한 사진으로부터 얼굴특징 및 부가정보를 추출해 비교결과 유사한 경우 추천사진으로 등록을 한다. 상기 사용자가 지정한 사진의 얼굴특징 및 상기 추천사진의 얼굴특징과 상기 저장된 적어도 하나의 사진의 얼굴특징을 비교한 비교결과 유사한 것으로 판단된 경우 동일인물로 사진을 분류함으로써 사진분류 처리속도를 개선시키고 사진 분류 성능을 높일 수 있으며, 기존의 사진 앨범으로만 관리하는 경우 사진검색이 불가능하다는 문제점을 개선할 수 있다.

또한, 저장된 하나 이상의 사진을 인물별로 분류함으로써 특정 인물의 시간대별 모습의 변화과정을 한눈에 살펴 볼 수 있는 것과 같이 다양한 응용분야에 이용될 수 있다는 장점이 있다.

도 1은 본 발명의 일 실시예에 따른 부가정보를 이용한 추천사진등록방법의 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 부가정보를 이용한 자동 사진분류방법의 흐름도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 부가정보를 이용한 추천사진등록 방법의 흐름도로서 상기 부가정보를 이용한 추천사진등록방법은 컴퓨터나 디지털카메라와 같은 자동 사진분류장치에서 실시될 수 있다.

도 1을 참조하면, 상기 자동 사진분류장치는 사용자가 사진을 지정하면 상기 사진을 획득하고(단계 100), 사용자가 지정한 사진의 얼굴을 검출한다(단계 110). 여기서, 얼굴검출방법은 공지된 Adaboost 알고리즘을 이용하여 미리 훈련된 얼굴검출기를 사용할 수 있다.

얼굴 검출이 완료된 경우, 검출된 얼굴의 특징을 추출한다(단계120). 여기서 검출된 얼굴의 특징은 공지된 AAM(Active Appearance Model)을 이용하여 파라미터 벡터로 구성될 수 있다.

또한, 사용자가 지정한 사진으로부터 부가정보를 추출하는데(단계 130), 상기 부가정보 추출과정은 날짜정보 추출과 옷정보 추출과 같이 두 단계로 나누어진다.

첫째, 획득된 사진의 메타데이타로부터 날짜정보를 추출할 수 있다. 상기 메타데이타는 예를 들어, 일본 전자공업발달협회에서 만든 표준파일 형식인 EXIF(EXchangable Image File format)가 될 수 있다. 상기 EXIF는 사진파일 내부에 저장되기 때문에 각 사진들의 고유 정보이며, 상기 EXIF에는 셔터 스피드, 노출 보정, 조리개, ISO(International Standard Organization)감도, 시간, 위치 등이 있다.

둘째, MPEG-7(Moving Picture Experts Group-7)의 비주얼 서술자(visual descriptor)를 사용하여 획득된 사진으로부터 옷정보를 추출할 수 있다. 상기 MPEG-7은 멀티미디어 콘텐츠의 대한 구조정보와 의미정보를 기술하는 국제표준으로 그 중 비주얼 서술자(visual descriptor)는 이미지의 색상, 질감, 형태 등 내용기반 특징을 표현한다.

도 1에 도시한 본 발명의 일 실시예에 따른 부가정보를 이용한 추천사진등록방법의 흐름도에서는 획득된 사진으로부터 얼굴을 검출하는 단계(단계 110) 및 검출된 얼굴의 특징추출을 하는 단계(단계 120)를 수행한 후, 획득된 사진의 부가정보를 추출하는 단계(단계 130)를 수행하는 것으로 예를 들어 도시하였으나, 본 발명의 다른 실시예에서는 단계 130을 먼저 수행한 후 단계 110 및 단계 120을 수행하도록 구성될 수도 있고, 단계 110 또는 단계 120과 단계 130이 동시에 수행되도록 구성될 수도 있다.

이후, 사용자가 지정한 사진의 날짜 정보를 이용하여 저장된 적어도 하나 이상의 사진에서 상기 사용자가 지정한 사진의 날짜와 동일한 날짜의 사진을 검출한다(단계 140). 이 후 검출된 동일한 날짜의 사진들의 옷정보를 비교한다(단계 150).

상기 비교결과 유사한 것으로 판단된 경우, 자동 사진분류장치는 사용자가 지정한 사진과 동일인물로 판단하여 추천사진으로 등록을 한다(단계160). 유사한지 여부판단은 예를들어, 유클리안 거리(Euclidean distance) 또는 SSD(Sum of Square Difference) 등과 유사도측정 알고리즘을 사용할 수 있다.

도 2는 본 발명의 일 실시예에 따른 부가정보를 이용한 자동 사진분류방법의 흐름도이다.

도 2를 참고하면, 자동 사진분류장치는 저장된 적어도 하나 이상의 사진을 지정하고(단계 200), 상기 저장된 적어도 하나 이상의 사진에 대해 얼굴을 검출한다(단계210).

또한, 상기 저장된 적어도 하나 이상의 사진으로부터 검출된 얼굴의 특징을 추출한다(단계 220).

또한, 상기 저장된 적어도 하나 이상의 사진에서 부가정보를 추출한다(단계 230). 부가정보는 상술한 바와 같이 사진의 날짜 정보와 옷정보를 의미한다.

따라서, 자동 사진분류장치에서 저장된 적어도 하나 이상의 사진을 지정하면 지정한 모든 사진에 대해 얼굴의 특징벡터와 부가정보를 추출한다.

자동 사진분류장치는 특정 인물을 분류하기 위해 사용자가 지정한 사진을 획득하고, 상기 사용자가 지정한 사진으로부터 얼굴을 검출한다. 또한, 검출된 얼굴의 특징을 추출한다. 또한 상기 사용자가 지정한 사진으로부터 부가정보를 추출한다(단계 240).

도 2에 도시된 본 발명의 일 실시예에 따른 부가정보를 이용한 자동 사진분류방법의 흐름도에서는 저장된 적어도 하나 이상의 사진에 대해 얼굴을 검출하는 단계(단계 210)를 수행하고, 상기 저장된 적어도 하나 이상의 사진으로부터 검출된 얼굴의 특징추출을 하는 단계(단계 220)를 수행한 후, 상기 저장된 적어도 하나 이상의 부가정보를 추출하는 단계(단계 230)를 수행하는 것으로 예를 들어 도시하였으나, 본 발명의 다른 실시예에서는 단계 230을 먼저 수행한 후 단계 210 및 단계 220을 수행하도록 구성될 수도 있고, 단계 210 또는 단계 220과 단계 230이 동시에 수행되도록 구성될 수도 있다.

또한, 도 2에 도시한 본 발명의 일 실시예에 따른 부가정보를 이용한 자동 사진분류방법에서는 단계 200 내지 230을 수행한 후 단계 240을 수행하는 것으로 예를 들어 도시하였으나, 본 발명의 다른 실시예에서는 단계 240을 먼저 수행한 후 단계 200 내지 단계 230을 수행하도록 구성될 수도 있다.

또한, 본 발명의 다른 실시예에서는 단계 240의 수행시, 사용자가 지정한 사진에 대해 부가정보를 먼저 추출한 후, 상기 사용자가 지정한 사진으로 얼굴을 검출하고 검출된 얼굴에 대해 특징을 추출하도록 구성될 수도 있다.

이 후, 자동 사진분류장치는 사용자가 지정한 사진의 날짜정보를 이용하여 저장된 적어도 하나 이상의 사진에서 획득된 사진의 날짜와 동일한 날짜의 사진을 검출하고(단계 250), 검출된 동일한 날짜의 사진들의 옷정보를 비교하여(단계 260), 상기 옷정보가 유사한지 판단한다(단계270). 여기서, 옷정보의 유사도 판단은 전술한 바와 같이 공지된 다양한 알고리즘을 통해 수행될 수 있다.

상기 비교결과 유사한 것으로 판단된 경우, 동일 날짜와 동일 옷을 입은 인물을 자동적으로 동일 인물로 판단하여 여러장의 사진을 추천사진으로 등록을시킨다(단계280).

이 후, 자동 사진분류장치는 사용자가 지정한 사진 및 추천사진과 상기 저장된 적어도 하나 이상의 사진에서 상기 사용자가 지정한 사진 및 상기 추천사진을 제외한 사진의 얼굴특징을 비교하고, 얼굴특징을 비교한 결과 유사한 경우 동일 인물로 사진을 분류한다(단계 290). 여기서, 얼굴특징의 유사도 판단은 전술한 바와 같이 공지된 다양한 알고리즘을 통해 수행될 수 있다.

이와 같이 사용자가 지정한 사진 및 추천사진과 상기 저장된 적어도 하나 이상의 사진에서 상기 사용자가 지정한 사진 및 상기 추천사진을 제외한 사진의 얼굴특징을 비교 하는바 오분류 가능성을 낮추어 사진분류 성능을 높일 수가 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (1)

1. 자동 사진분류장치에서 수행되는 자동 사진분류방법에 있어서,
   저장된 적어도 하나의 사진으로부터 얼굴특징 및 부가정보를 추출하는 단계;
   사용자가 지정한 사진으로부터 얼굴특징 및 부가정보를 추출하는 단계;
   상기 저장된 적어도 하나의 사진의 부가정보와 상기 사용자가 지정한 사진의 부가정보를 비교한 결과에 따라 추천사진으로 등록하는 단계;
   상기 사용자가 지정한 사진의 얼굴특징 및 상기 추천사진의 얼굴특징과 상기 저장된 적어도 하나의 사진의 얼굴특징을 비교하는 단계; 및
   상기 비교결과에 따라 사진을 분류하는 단계를 포함하는 부가정보를 이용한 자동 사진분류방법.
   

Images