KR101645570B1 - 주관적 개념을 기반으로 한 사진 앨범 요약 장치 및 방법 - Google Patents

주관적 개념을 기반으로 한 사진 앨범 요약 장치 및 방법 Download PDF

Info

Publication number
KR101645570B1
KR101645570B1 KR1020150034339A KR20150034339A KR101645570B1 KR 101645570 B1 KR101645570 B1 KR 101645570B1 KR 1020150034339 A KR1020150034339 A KR 1020150034339A KR 20150034339 A KR20150034339 A KR 20150034339A KR 101645570 B1 KR101645570 B1 KR 101645570B1
Authority
KR
South Korea
Prior art keywords
photo
unit
photo album
score
album
Prior art date
Application number
KR1020150034339A
Other languages
English (en)
Inventor
이종석
김준혁
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020150034339A priority Critical patent/KR101645570B1/ko
Application granted granted Critical
Publication of KR101645570B1 publication Critical patent/KR101645570B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 미적 감응 정도, 관심 크기, 기억 당위성 정도의 주관적 개념을 기준으로 사진을 분류 및 저장할 수 있도록 한 주관적 개념을 기반으로 한 사진 앨범 요약 장치 및 방법에 관한 것으로, 요약하고자 하는 사진 파일을 입력하는 사진 파일 입력부;사진 파일 입력부를 통하여 입력된 사진 파일을 분석하여 미적 감응 정도(Aesthetic quality), 관심 크기(Interestingness), 기억 당위성 정도(Memorableness)의 주관적 개념을 기준으로 사진을 분류 및 저장할 수 있도록 사진 앨범을 요약하기 위한 판정을 하는 사진 앨범 요약 처리부;사진 앨범 요약 처리부에서 사진 앨범을 요약하기 위한 판정시에 사용되는 점수 체계의 기준을 변경 입력하는 기준 설정부;사진 앨범 요약 처리부의 판정에 따른 스코어를 기준으로 한 앨범 사진 요약 결과를 저장하는 사진 요약 결과 저장부;를 포함하는 것이다.

Description

주관적 개념을 기반으로 한 사진 앨범 요약 장치 및 방법{System and Method for photo album summarization based on the subjective concept}
본 발명은 사진 앨범 요약 정리에 관한 것으로, 구체적으로 미적 감응 정도, 관심 크기, 기억 당위성 정도의 주관적 개념을 기준으로 사진을 분류 및 저장할 수 있도록 한 주관적 개념을 기반으로 한 사진 앨범 요약 장치 및 방법에 관한 것이다.
디지털 영상 처리 기술의 발전에 따라 디지털 카메라 영상이 아날로그 카메라 영상과 근사한 화질을 보이고 있고, 디지털 컨텐츠가 아날로그 컨텐츠에 비해 보관 및 전송이 용이하기 때문에 사용자 간의 컨텐츠 공유가 자유롭다는 점이 디지털 카메라 사용을 증가시키고 있다.
특히, 최근 메모리 기술의 발전으로 고집적/초소형 메모리의 사용이 일반화되고 있고, 화질을 크게 손상시키지 않는 디지털 영상 압축 기술이 개발됨에 따라, 사용자들은 한 개의 메모리 장치에 많게는 수백 장에서 수천 장의 사진을 저장할 수 있게 되었다.
이에 따라, 많은 사진들을 보다 효과적으로 관리하기 위한 장치와 도구가 필요하게 되었다.
일반적인 디지털 사진 앨범은 사용자가 촬영한 사진을 디지털 카메라나 메모리 카드 등으로부터 사용자의 로컬 저장 장치로 옮겨오고, 사진 등을 컴퓨터에서 관리하기 위한 것이다.
사용자들은 사진 앨범을 이용하여 여러 사진들을 시간순 혹은 사용자가 임의로 만든 사진 카테고리로 인덱싱(indexing)하여 이에 맞도록 브라우징하거나 다른 사용자들과 사진을 공유한다.
그러나 대부분의 사람들은 디지털 사진 앨범의 필요성에는 동감하나, 많은 사진을 일일이 그룹핑하거나 라벨링하는데 소요되는 시간과 노력을 크게 불편해했으며, 다른 사람들과 사진을 공유하는 데에도 어려움을 호소하였다.
이렇게 사용자가 임의로 만드는 카테고리는 사용자가 일일이 주석을 다는데 매우 비효율적이고 또한 사진이 방대한 양일 때는 더욱 그러하다.
디지털 사진 앨범의 분류 및 저장 방법으로는 다음과 같은 방법들이 사용되고 있다.
먼저, 시간 정보만을 이용하여 사진 그룹핑을 하는 방법이 있다. 그러나 시간정보를 저장하지 않은 채 사진을 찍었거나 추후에 사진 편집을 통하여 시간 정보를 잃어버린 경우에는 사용할 수 없는 방법이다.
시간 정보만을 사용한 사진 그룹핑의 문제점들을 극복하기 위한 방법으로 사진의 내용 기반 특징값을 이용하는 방법이 있다.
사진의 시간 정보와 내용 기반 특징값을 함께 이용한 연구들 중의 하나는 사진의 시간 정보와 색상 정보를 이용하여 사진열을 이벤트 기반으로 클러스터링하는 방법을 제안되고 있으나, 내용 기반 특징값으로 사진의 색상 히스토그램 정보만 사용하였기 때문에 밝기의 변화에 매우 민감하며, 질감이나 모양의 변화를 감지하기 힘들다는 단점이 있다.
이와 같이 메타 데이터를 이용하여 사진을 카테고리별로 클러스터링하고 사람이 텍스트 기반으로 정리하는 방법은 텍스트 정보가 사진의 의미 개념을 기술하는데 효과적이지 못하다는 점에서 유용하지 못하다.
또한, 사진의 내용에 기반하여 추출된 색상, 모양, 질감 등의 내용기반 특징값(content-based features)을 이용하여 멀티미디어 컨텐츠를 카테고리화 하는 방법이 제안되고 있다.
그러나 사진이 다양한 의미 개념을 포함하고 있기 때문에, 다중 의미 개념들을 자동으로 추출하는 일은 여전히 쉬운 일이 아니다.
이러한 문제점을 해결하기 위해 사진에서 주된 객체를 추출하여, 해당 객체의 의미에 따라 사진을 인덱싱(indexing) 혹은 카테고리화하는 연구들이 수행되었다.
이는 사진이 포함하고 있는 다양한 의미 개념을 추출하는 일이 매우 어려운 일이기 때문에, 사진에 포함된 주된 의미 개념만 추출하는 방법이다.
따라서, 이와 같은 주된 객체 추출 방법에 의한 카테고리화는 사진이 포함하고 있는 그 밖의 많은 의미 개념들을 놓치는 결과를 낳는다
이와 같은 문제들을 해결할 수 있는 사진이 포함하고 있는 많은 의미 개념을 반영한 새로운 방식의 사진 앨범 요약 정리 방법의 개발이 요구되고 있다.
대한민국 공개특허번호 제10-2006-0029894호 대한민국 등록특허번호 제10-0793989호
본 발명은 이와 같은 종래 기술의 사진 앨범의 클러스터링의 문제를 해결하기 위한 것으로, 미적 감응 정도, 관심 크기, 기억 당위성 정도의 주관적 개념을 기준으로 사진을 분류 및 저장할 수 있도록 한 주관적 개념을 기반으로 한 사진 앨범 요약 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 중요 객체 검출(salient object), 얼굴 검출(face detection), 3등분 규칙(rule of thirds)을 기준으로 점수 체계를 구축하여 효율적으로 사진을 요약하여 분류 및 저장할 수 있도록 한 주관적 개념을 기반으로 한 사진 앨범 요약 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 사진에 포함된 여러 가지 개념이 반영되어 기계적인 분류의 한계를 극복할 수 있도록 한 주관적 개념을 기반으로 한 사진 앨범 요약 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 상황에 따라 사진 앨범 요약을 위한 점수 체계의 기준을 변경 설정하여 사용자가 요구하는 수준으로 사진 앨범 요약이 가능하도록 한 사진 앨범 요약 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
이와 같은 목적을 달성하기 위한 본 발명에 따른 주관적 개념을 기반으로 한 사진 앨범 요약 장치는 요약하고자 하는 사진 파일을 입력하는 사진 파일 입력부;사진 파일 입력부를 통하여 입력된 사진 파일을 분석하여 미적 감응 정도(Aesthetic quality), 관심 크기(Interestingness), 기억 당위성 정도(Memorableness)의 주관적 개념을 기준으로 사진을 분류 및 저장할 수 있도록 사진 앨범을 요약하기 위한 판정을 하는 사진 앨범 요약 처리부;사진 앨범 요약 처리부에서 사진 앨범을 요약하기 위한 판정시에 사용되는 점수 체계의 기준을 변경 입력하는 기준 설정부;사진 앨범 요약 처리부의 판정에 따른 스코어를 기준으로 한 앨범 사진 요약 결과를 저장하는 사진 요약 결과 저장부;를 포함하는 것을 특징으로 한다.
여기서, 사진 앨범 요약 처리부, 사진 파일 입력부에서 입력되는 사진 파일을 분석하여 미적 감응 정도(Aesthetic quality)에 관한 판정을 하여 점수를 출력하는 미적 감응 정도 판정부와,사진 파일 입력부에서 입력되는 사진 파일을 분석하여 관심 크기(Interestingness)에 관한 판정을 하여 점수를 출력하는 관심 크기 판정부와,사진 파일 입력부에서 입력되는 사진 파일을 분석하여 기억 당위성 정도(Memorableness)에 관한 판정을 하여 점수를 출력하는 기억 당위성 정도 판정부와,상기 미적 감응 정도 판정부,관심 크기 판정부,기억 당위성 정도 판정부에서 출력되는 점수를 기준으로 사진 요약 결과를 출력하는 사진 요약 결과 출력부를 포함하는 것을 특징으로 한다.
그리고 사진 앨범 요약 처리부에서의 판정시에 점수 비중은, 미적 감응 정도(Aesthetic quality), 관심 크기(Interestingness), 기억 당위성 정도(Memorableness) 항목을 동일하게 설정하거나, 서로 다른 가중치를 두어 판정하는 것을 특징으로 한다.
그리고 미적 감응 정도(Aesthetic quality)를 판정하기 위한 세부 판정 항목은 중요 객체 검출(salient object), 얼굴 검출(face detection), 3등분 규칙(rule of thirds), 명도(Brightness), 선명도(Sharpness), 파란 검출(blue sky detection) 항목을 포함하는 것을 특징으로 한다.
그리고 관심 크기(Interestingness)를 판정하기 위한 세부 판정 항목은 촬영 시간순서(chronological sequence), 상대적 비교(relative comparison) 항목을 포함하는 것을 특징으로 한다.
그리고 기억 당위성 정도(Memorableness)를 판정하기 위한 세부 판정 항목은 기억 대상(memorable things), 단체 사진(group picture), 찍힌 횟수(multiple taken) 항목을 포함하는 것을 특징으로 한다.
그리고 미적 감응 정도(Aesthetic quality)를 판정하기 위한 세부 판정 항목 중에서, 명도(Brightness) 기준의 사진 앨범 요약 판정은 균일 정도(uniform function), 사진의 밝기 히스토그램의 쿨백 라이블러 발산(Kullback-Leibler divergence)을 이용하는 것을 특징으로 한다.
그리고 미적 감응 정도(Aesthetic quality)를 판정하기 위한 세부 판정 항목 중에서, 선명도(Sharpness) 기준의 사진 앨범 요약 판정은 전체 이미지의 선명도(sharpness) 정도가 설정된 기준 레벨보다 낮고 선택된 영역의 선명도가 전체에서보다 낮다면 그 사진은 흐리게(blur) 된 사진이라 판단하여 앨범에서 지우는 것을 특징으로 한다.
다른 목적을 달성하기 위한 본 발명에 따른 주관적 개념을 기반으로 한 사진 앨범 요약 방법은 요약하고자 하는 사진 파일이 입력되면 사진 파일을 분석하여, 미적 감응 정도(Aesthetic quality)에 관한 판정을 하여 점수를 출력하는 단계;관심 크기(Interestingness)에 관한 판정을 하여 점수를 출력하는 단계;기억 당위성 정도(Memorableness)에 관한 판정을 하여 점수를 출력하는 단계;미적 감응 정도(Aesthetic quality)에 관한 판정, 관심 크기(Interestingness)에 관한 판정, 기억 당위성 정도(Memorableness)에 관한 판정에 의해 점수를 기준으로 사진 요약 결과를 출력하여 저장하는 단계;를 포함하는 것을 특징으로 한다.
여기서, 요약하고자 하는 사진 파일이 입력되면, 사진 앨범을 요약하기 위한 판정시에 사용되는 점수 체계의 기준을 변경 입력이 있는지 판단하는 단계;점수 체계의 기준을 변경 입력이 있는 경우에는 새로 설정된 기준을 적용하는 단계;를 더 포함하는 것을 특징으로 한다.
그리고 미적 감응 정도(Aesthetic quality)를 판정하기 위한 세부 판정 항목으로, 중요 객체 검출(salient object), 얼굴 검출(face detection), 3등분 규칙(rule of thirds), 명도(Brightness), 선명도(Sharpness), 파란 하늘 검출(blue sky detection) 항목을 포함하는 것을 특징으로 한다.
그리고 관심 크기(Interestingness)를 판정하기 위한 세부 판정 항목으로,촬영 시간순서(chronological sequence), 상대적 비교(relative comparison) 항목을 포함하는 것을 특징으로 한다.
그리고 기억 당위성 정도(Memorableness)를 판정하기 위한 세부 판정 항목으로, 기억 대상(memorable things), 단체 사진(group picture), 찍힌 횟수(multiple taken) 항목을 포함하는 것을 특징으로 한다.
이와 같은 본 발명에 따른 주관적 개념을 기반으로 한 사진 앨범 요약 장치 및 방법은 다음과 같은 효과를 갖는다.
첫째, 미적 감응 정도, 관심 크기, 기억 당위성 정도의 주관적 개념을 기준으로 사진을 분류 및 저장할 수 있도록 요약하는 것이 가능하다.
둘째, 중요 객체 검출(salient object), 얼굴 검출(face detection), 3등분 규칙(rule of thirds)을 기준으로 점수 체계를 구축하여 효율적으로 사진을 요약할 수 있다.
셋째, 미적 감응 정도, 관심 크기, 기억 당위성 정도를 요약 기준에 포함시켜 사진에 포함된 여러 가지 개념이 반영되도록 하여 기계적인 분류의 한계를 극복할 수 있다.
넷째, 상황에 따라 사진 앨범 요약을 위한 점수 체계의 기준을 변경 설정하여 사용자가 요구하는 수준으로 사진 앨범 요약이 가능하다.
다섯째, 많은 양의 사진을 효율적으로 요약할 수 있어 사진의 온라인 공유나 인화앨범제작 등의 응용에 유용하게 쓰일 수 있다.
여섯째, 많은 양의 사진을 효율적으로 요약할 수 있어 효율적인 사진 관리가 가능하고, 사진 관리에 필요한 시간을 줄일 수 있다.
도 1은 본 발명에 따른 주관적 개념을 기반으로 한 사진 앨범 요약 장치의 구성도
도 2는 본 발명에 따른 사진 앨범 요약 처리부의 상세 구성도
도 3은 본 발명에 따른 사진 앨범 요약 기준 지표 구성도
도 4는 본 발명에 따른 사진 앨범 요약을 위한 중요 객체 검출 기준 적용 구성도
도 5는 본 발명에 따른 사진 앨범 요약을 위한 점수 체계의 일 예를 나타낸 구성도
도 6은 명도(Brightness) 기준의 사진 앨범 요약의 일 예를 나타낸 구성도
도 7은 선명도(Sharpness) 기준의 사진 앨범 요약의 일 예를 나타낸 구성도
도 8은 본 발명에 따른 주관적 개념을 기반으로 한 사진 앨범 요약 과정을 나타낸 플로우 차트
이하, 본 발명에 따른 주관적 개념을 기반으로 한 사진 앨범 요약 장치 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.
본 발명에 따른 주관적 개념을 기반으로 한 사진 앨범 요약 장치 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.
도 1은 본 발명에 따른 주관적 개념을 기반으로 한 사진 앨범 요약 장치의 구성도이고, 도 2는 본 발명에 따른 사진 앨범 요약 처리부의 상세 구성도이다.
본 발명은 미적 감응 정도(Aesthetic quality), 관심 크기(Interestingness), 기억 당위성 정도(Memorableness)의 주관적 개념을 기준으로 사진을 분류 및 저장할 수 있도록 사진 앨범을 요약하는 것이다.
미적 감응 정도(Aesthetic quality)는 얼마나 미적으로 아름다운지에 대한 기준이며, 관심 크기(Interestingness)는 얼마나 더 흥미로운지에 대한 기준이고, 기억 당위성 정도(Memorableness)는 얼마나 더 기억할 만하냐에 대한 기준이다.
본 발명에 따른 주관적 개념을 기반으로 한 사진 앨범 요약 장치는 이와 같은 미적 감응 정도(Aesthetic quality), 관심 크기(Interestingness), 기억 당위성 정도(Memorableness)의 주관적 개념을 기준으로 종합적으로 판단하여 사진앨범을 요약하는 것이다.
또한, 본 발명에 따른 주관적 개념을 기반으로 한 사진 앨범 요약 장치는 중요 객체 검출(salient object), 얼굴 검출(face detection), 3등분 규칙(rule of thirds)을 기준으로 점수 체계를 구축하여 효율적으로 사진을 요약할 수 있도록 한 것이다.
이를 위한 본 발명에 따른 주관적 개념을 기반으로 한 사진 앨범 요약 장치는 도 1에서와 같이, 요약하고자 하는 사진 파일을 입력하는 사진 파일 입력부(10)와, 미적 감응 정도(Aesthetic quality), 관심 크기(Interestingness), 기억 당위성 정도(Memorableness)의 주관적 개념을 기준으로 사진을 분류 및 저장할 수 있도록 사진 앨범을 요약하기 위한 판정을 하는 사진 앨범 요약 처리부(20)와, 사진 앨범 요약 처리부(20)에서 사진 앨범을 요약하기 위한 판정시에 사용되는 점수 체계의 기준을 변경 입력하는 기준 설정부(30)와, 사진 앨범 요약 처리부(20)의 판정에 따른 스코어를 기준으로 한 앨범 사진 요약 결과를 저장하는 사진 요약 결과 저장부(40)를 포함한다.
여기서, 사진 앨범 요약 처리부(20)는 도 2에서와 같이, 사진 파일 입력부(10)에서 입력되는 사진 파일을 분석하여 미적 감응 정도(Aesthetic quality)에 관한 판정을 하여 점수를 출력하는 미적 감응 정도 판정부(21)와, 사진 파일 입력부(10)에서 입력되는 사진 파일을 분석하여 관심 크기(Interestingness)에 관한 판정을 하여 점수를 출력하는 관심 크기 판정부(22)와, 사진 파일 입력부(10)에서 입력되는 사진 파일을 분석하여 기억 당위성 정도(Memorableness)에 관한 판정을 하여 점수를 출력하는 기억 당위성 정도 판정부(23)와, 상기 미적 감응 정도 판정부(21),관심 크기 판정부(22),기억 당위성 정도 판정부(23)에서 출력되는 점수를 기준으로 사진 요약 결과를 출력하는 사진 요약 결과 출력부(40)를 포함한다.
여기서, 사진 앨범 요약 처리부(20)에서의 판정시에 점수 비중은 미적 감응 정도(Aesthetic quality), 관심 크기(Interestingness), 기억 당위성 정도(Memorableness) 항목이 동일하게 설정하거나, 서로 다른 가중치를 두어 판정할 수 있다.
그리고 사진 앨범 요약 처리부(20)에서의 판정시에 사용되는 세부 판정 항목은 도 3에서와 같다.
도 3은 본 발명에 따른 사진 앨범 요약 기준 지표 구성도이다.
먼저, 미적 감응 정도(Aesthetic quality)를 판정하기 위한 세부 판정 항목은 중요 객체 검출(salient object), 얼굴 검출(face detection), 3등분 규칙(rule of thirds), 명도(Brightness), 선명도(Sharpness), 파란 하늘 검출(blue sky detection) 항목을 포함한다.
그리고 관심 크기(Interestingness)를 판정하기 위한 세부 판정 항목은 촬영 시간순서(chronological sequence), 상대적 비교(relative comparison) 항목을 포함한다.
그리고 기억 당위성 정도(Memorableness)를 판정하기 위한 세부 판정 항목은 기억 대상(memorable things), 단체 사진(group picture), 찍힌 횟수(multiple taken) 항목을 포함한다.
이와 같은 세부 판정 항목은 도 3에서와 같이 한정되지 않고 상황에 따라 다르게 설정될 수 있음은 당연하다.
이와 같은 본 발명에 따른 주관적 개념을 기반으로 한 사진 앨범 요약 장치의 미적 감응 정도(Aesthetic quality), 관심 크기(Interestingness), 기억 당위성 정도(Memorableness)의 주관적 개념을 기준으로 종합적으로 판단하여 사진앨범을 요약하는 과정을 구체적으로 설명하면 다음과 같다.
도 4는 본 발명에 따른 사진 앨범 요약을 위한 중요 객체 검출 기준 적용 구성도이고, 도 5는 본 발명에 따른 사진 앨범 요약을 위한 점수 체계의 일 예를 나타낸 구성도이다.
그리고 도 6은 명도(Brightness) 기준의 사진 앨범 요약의 일 예를 나타낸 구성도이고, 도 7은 선명도(Sharpness) 기준의 사진 앨범 요약의 일 예를 나타낸 구성도이다.
먼저, 미적 감응 정도(Aesthetic quality)의 판정에 관하여 설명하면 다음과 같다.
본 발명의 일 실시 예에서는 특성 점수(saliency score)는 0 ~ 80의 범위를 갖도록 하고, 3등분 규칙(rule of thirds)에 위한 점수를 0 ~ 100의 범위를 갖도록 설정한다.
도 5는 본 발명에 따른 사진 앨범 요약을 위한 점수 체계의 일 예를 나타낸 것으로, 미적 감응 정도(Aesthetic quality)를 판정하기 위한 점수 체계를 나타낸 것이다.
사진 파일에서 검출되 얼굴 수(FaceNumber)에 따라 특성 점수(saliency score) 및 3등분 규칙에 위한 점수(ROT score)가 다르게 계산되는 것을 알 수 있다.
그리고 도 6에서와 같은 명도(Brightness) 기준의 사진 앨범 요약 판정은 균일 정도(uniform function), 사진의 밝기 히스토그램의 쿨백 라이블러 발산(Kullback-Leibler divergence)을 이용한다.
밝기 분포가 골고루 퍼져있을수록 uniform function과 유사하고, KL divergence이 감소하는 특성을 보인다.
명도(Brightness) 기준의 사진 앨범 요약 판정은 0~100으로 점수화하고, 빨간 박스 안의 메인 부분만을 고려한다.
그리고 도 7은 선명도(Sharpness) 기준의 사진 앨범 요약을 위한 판정을 나타낸 것으로, 전체 이미지의 선명도(sharpness) 정도가 설정된 기준 레벨보다 낮고 선택된 영역 즉, 빨간 박스안의 선명도가 전체에서보다 낮다면 그 사진은 흐리게(blur) 된 사진이라 판단하여 앨범에서 지운다.
그리고 관심 크기(Interestingness)의 판정에 관하여 설명하면 다음과 같다.
관심 크기(Interestingness)의 판정은 비슷한 이미지들 간의 상대적인 개념을 적용하는 것으로, 비슷한 정도의 기준을 다음과 같이 설정한다.
시간적 비슷함의 경우에는 예를 들어, t < 5분(300초)을 기준으로 하고, 내용적 비슷함의 경우에는 SURF(Speeded Up Robust Features) 알고리즘을 이용하여 판정한다.
이와 같은 상대적 비교 기준으로 비슷한 두 사진 비교한 후, 한 개는 지우고 남은 사진에게 1점(winnumber)을 부여하는 방식으로 처리할 수 있다.
그리고 기억 당위성 정도(Memorableness)의 판정에 관하여 설명하면 다음과 같다.
기억 당위성 정도(Memorableness)의 판정은 보편적으로 기억할 만한 것을 판정하는 것으로 단체사진 여부의 기준(예를 들어, 1,2명은 0점, 3명 이상은 점수 부여), 비슷한 것이 많이 찍힌 사진에게 2점(winnumber)을 부여하는 방식으로 처리할 수 있다.
이와 같은 본 발명에 따른 주관적 개념을 기반으로 한 사진 앨범 요약 장치에서의 처리 과정은 다음과 같다.
도 8은 본 발명에 따른 주관적 개념을 기반으로 한 사진 앨범 요약 과정을 나타낸 플로우 차트이다.
먼저, 요약하고자 하는 사진 파일을 입력한다.(S801)
사진 앨범을 요약하기 위한 판정시에 사용되는 점수 체계의 기준을 변경 입력이 있는지 판단한다.(S802)
점수 체계의 기준을 변경 입력이 있는 경우에는 새로 설정된 기준을 적용한다.(S803)
입력되는 사진 파일을 분석하여 미적 감응 정도(Aesthetic quality)에 관한 판정을 하여 점수를 출력한다.(S804)
입력되는 사진 파일을 분석하여 관심 크기(Interestingness)에 관한 판정을 하여 점수를 출력한다.(S805)
입력되는 사진 파일을 분석하여 기억 당위성 정도(Memorableness)에 관한 판정을 하여 점수를 출력한다.(S806)
그리고 미적 감응 정도(Aesthetic quality)에 관한 판정, 관심 크기(Interestingness)에 관한 판정, 기억 당위성 정도(Memorableness)에 관한 판정에 의해 점수를 기준으로 사진 요약 결과를 출력한다.(S807)
이어, 판정에 따른 스코어를 기준으로 한 앨범 사진 요약 결과를 저장하여 사진 분류에 사용될 수 있도록 한다.(S808)
이와 같은 본 발명에 따른 주관적 개념을 기반으로 한 사진 앨범 요약 장치 및 방법은 미적 감응 정도(Aesthetic quality), 관심 크기(Interestingness), 기억 당위성 정도(Memorableness)의 주관적 개념을 기준으로 사진을 분류 및 저장할 수 있도록 사진 앨범을 요약하는 것이다.
이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.
그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
10. 사진 파일 입력부 20. 사진 앨범 요약 처리부
30. 기준 설정부 40. 사진 요약 결과 저장부

Claims (13)

  1. 요약하고자 하는 사진 파일을 입력하는 사진 파일 입력부;
    상기 사진 파일 입력부에서 입력되는 사진 파일을 분석하여 미적 감응 정도(Aesthetic quality)에 관한 판정을 하여 점수를 출력하는 미적 감응 정도 판정부와, 사진 파일 입력부에서 입력되는 사진 파일을 분석하여 관심 크기(Interestingness)에 관한 판정을 하여 점수를 출력하는 관심 크기 판정부와, 사진 파일 입력부에서 입력되는 사진 파일을 분석하여 기억 당위성 정도(Memorableness)에 관한 판정을 하여 점수를 출력하는 기억 당위성 정도 판정부와, 상기 미적 감응 정도 판정부,관심 크기 판정부,기억 당위성 정도 판정부에서 출력되는 미적 감응 정도(Aesthetic quality), 관심 크기(Interestingness), 기억 당위성 정도(Memorableness)의 주관적 개념의 점수를 기준으로 사진 요약 결과를 출력하는 사진 요약 결과 출력부를 포함하는 사진 앨범 요약 처리부;
    사진 앨범 요약 처리부에서 사진 앨범을 요약하기 위한 판정시에 사용되는 점수 체계의 기준을 변경 입력하는 기준 설정부;
    사진 앨범 요약 처리부의 판정에 따른 스코어를 기준으로 한 앨범 사진 요약 결과를 저장하는 사진 요약 결과 저장부;를 포함하는 것을 특징으로 하는 주관적 개념을 기반으로 한 사진 앨범 요약 장치.
  2. 삭제
  3. 제 1 항에 있어서, 상기 사진 앨범 요약 처리부에서의 판정시에 점수 비중은,
    미적 감응 정도(Aesthetic quality), 관심 크기(Interestingness), 기억 당위성 정도(Memorableness) 항목을 동일하게 설정하거나, 서로 다른 가중치를 두어 판정하는 것을 특징으로 하는 주관적 개념을 기반으로 한 사진 앨범 요약 장치.
  4. 제 1 항에 있어서, 상기 미적 감응 정도(Aesthetic quality)를 판정하기 위한 세부 판정 항목은 중요 객체 검출(salient object), 얼굴 검출(face detection), 3등분 규칙(rule of thirds), 명도(Brightness), 선명도(Sharpness), 파란 하늘 검출(blue sky detection) 항목을 포함하는 것을 특징으로 하는 주관적 개념을 기반으로 한 사진 앨범 요약 장치.
  5. 제 1 항에 있어서, 상기 관심 크기(Interestingness)를 판정하기 위한 세부 판정 항목은 촬영 시간순서(chronological sequence), 상대적 비교(relative comparison) 항목을 포함하는 것을 특징으로 하는 주관적 개념을 기반으로 한 사진 앨범 요약 장치.
  6. 제 1 항에 있어서, 상기 기억 당위성 정도(Memorableness)를 판정하기 위한 세부 판정 항목은 기억 대상(memorable things), 단체 사진(group picture), 찍힌 횟수(multiple taken) 항목을 포함하는 것을 특징으로 하는 주관적 개념을 기반으로 한 사진 앨범 요약 장치.
  7. 제 4 항에 있어서, 상기 미적 감응 정도(Aesthetic quality)를 판정하기 위한 세부 판정 항목 중에서,
    명도(Brightness) 기준의 사진 앨범 요약 판정은 균일 정도(uniform function), 사진의 밝기 히스토그램의 쿨백 라이블러 발산(Kullback-Leibler divergence)을 이용하는 것을 특징으로 하는 주관적 개념을 기반으로 한 사진 앨범 요약 장치.
  8. 제 4 항에 있어서, 상기 미적 감응 정도(Aesthetic quality)를 판정하기 위한 세부 판정 항목 중에서,
    선명도(Sharpness) 기준의 사진 앨범 요약 판정은 전체 이미지의 선명도(sharpness) 정도가 설정된 기준 레벨보다 낮고 선택된 영역의 선명도가 전체에서보다 낮다면 그 사진은 흐리게(blur) 된 사진이라 판단하여 앨범에서 지우는 것을 특징으로 하는 주관적 개념을 기반으로 한 사진 앨범 요약 장치.
  9. 미적 감응 정도(Aesthetic quality)에 관한 판정을 하여 점수를 출력하는 미적 감응 정도 판정부와, 관심 크기(Interestingness)에 관한 판정을 하여 점수를 출력하는 관심 크기 판정부와, 기억 당위성 정도(Memorableness)에 관한 판정을 하여 점수를 출력하는 기억 당위성 정도 판정부와, 미적 감응 정도(Aesthetic quality), 관심 크기(Interestingness), 기억 당위성 정도(Memorableness)의 주관적 개념의 점수를 기준으로 사진 요약 결과를 출력하는 사진 요약 결과 출력부를 포함하는 주관적 개념을 기반으로 한 사진 앨범 요약 장치에 있어서,
    요약하고자 하는 사진 파일이 입력되면 사진 파일을 분석하여,
    상기 미적 감응 정도 판정부에서 미적 감응 정도(Aesthetic quality)에 관한 판정을 하여 점수를 출력하는 단계;
    상기 관심 크기 판정부에서 관심 크기(Interestingness)에 관한 판정을 하여 점수를 출력하는 단계;
    상기 기억 당위성 정도 판정부에서 기억 당위성 정도(Memorableness)에 관한 판정을 하여 점수를 출력하는 단계;
    상기 사진 요약 결과 출력부에서 미적 감응 정도(Aesthetic quality)에 관한 판정, 관심 크기(Interestingness)에 관한 판정, 기억 당위성 정도(Memorableness)에 관한 판정에 의해 점수를 기준으로 사진 요약 결과를 출력하여 저장하는 단계;를 포함하는 것을 특징으로 하는 주관적 개념을 기반으로 한 사진 앨범 요약 방법.
  10. 제 9 항에 있어서, 요약하고자 하는 사진 파일이 입력되면,
    사진 앨범을 요약하기 위한 판정시에 사용되는 점수 체계의 기준을 변경 입력이 있는지 판단하는 단계;
    점수 체계의 기준을 변경 입력이 있는 경우에는 새로 설정된 기준을 적용하는 단계;를 더 포함하는 것을 특징으로 하는 주관적 개념을 기반으로 한 사진 앨범 요약 방법.
  11. 제 9 항에 있어서, 미적 감응 정도(Aesthetic quality)를 판정하기 위한 세부 판정 항목으로,
    중요 객체 검출(salient object), 얼굴 검출(face detection), 3등분 규칙(rule of thirds), 명도(Brightness), 선명도(Sharpness), 파란 하늘 검출(blue sky detection) 항목을 포함하는 것을 특징으로 하는 주관적 개념을 기반으로 한 사진 앨범 요약 방법.
  12. 제 9 항에 있어서, 관심 크기(Interestingness)를 판정하기 위한 세부 판정 항목으로,
    촬영 시간순서(chronological sequence), 상대적 비교(relative comparison) 항목을 포함하는 것을 특징으로 하는 주관적 개념을 기반으로 한 사진 앨범 요약 방법.
  13. 제 9 항에 있어서, 기억 당위성 정도(Memorableness)를 판정하기 위한 세부 판정 항목으로,
    기억 대상(memorable things), 단체 사진(group picture), 찍힌 횟수(multiple taken) 항목을 포함하는 것을 특징으로 하는 주관적 개념을 기반으로 한 사진 앨범 요약 방법.



KR1020150034339A 2015-03-12 2015-03-12 주관적 개념을 기반으로 한 사진 앨범 요약 장치 및 방법 KR101645570B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150034339A KR101645570B1 (ko) 2015-03-12 2015-03-12 주관적 개념을 기반으로 한 사진 앨범 요약 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150034339A KR101645570B1 (ko) 2015-03-12 2015-03-12 주관적 개념을 기반으로 한 사진 앨범 요약 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101645570B1 true KR101645570B1 (ko) 2016-08-12

Family

ID=56715000

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150034339A KR101645570B1 (ko) 2015-03-12 2015-03-12 주관적 개념을 기반으로 한 사진 앨범 요약 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101645570B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060029894A (ko) 2004-10-04 2006-04-07 삼성전자주식회사 디지털 사진 앨범의 카테고리 기반 클러스터링 방법 및시스템
KR100793989B1 (ko) 2006-07-11 2008-01-16 삼성전자주식회사 사진 카테고리 분류 방법 및 그 시스템
JP2014093058A (ja) * 2012-11-07 2014-05-19 Panasonic Corp 画像管理装置、画像管理方法、プログラム及び集積回路
KR20150017188A (ko) * 2013-08-06 2015-02-16 (주)엠팩토리 사진 자동 분류 시스템 및 방법
KR20150023148A (ko) * 2013-08-23 2015-03-05 삼성전자주식회사 전자기기에서 이미지를 관리하는 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060029894A (ko) 2004-10-04 2006-04-07 삼성전자주식회사 디지털 사진 앨범의 카테고리 기반 클러스터링 방법 및시스템
KR100793989B1 (ko) 2006-07-11 2008-01-16 삼성전자주식회사 사진 카테고리 분류 방법 및 그 시스템
JP2014093058A (ja) * 2012-11-07 2014-05-19 Panasonic Corp 画像管理装置、画像管理方法、プログラム及び集積回路
KR20150017188A (ko) * 2013-08-06 2015-02-16 (주)엠팩토리 사진 자동 분류 시스템 및 방법
KR20150023148A (ko) * 2013-08-23 2015-03-05 삼성전자주식회사 전자기기에서 이미지를 관리하는 방법 및 장치

Similar Documents

Publication Publication Date Title
KR101428715B1 (ko) 인물 별로 디지털 컨텐츠를 분류하여 저장하는 시스템 및방법
US8107689B2 (en) Apparatus, method and computer program for processing information
US8121358B2 (en) Method of grouping images by face
JP6049693B2 (ja) ウェブ情報マイニングを用いたビデオ内製品アノテーション
US20060253491A1 (en) System and method for enabling search and retrieval from image files based on recognized information
US20100064254A1 (en) Object search and navigation method and system
Kumar et al. Multiple face detection using hybrid features with SVM classifier
Martin et al. Dating color images with ordinal classification
FR2974433A1 (fr) Evaluation de la qualite d&#39;image
CN103988202A (zh) 基于索引和搜索的图像吸引力
TW201133357A (en) Detecting near duplicate images
Rudinac et al. Learning crowdsourced user preferences for visual summarization of image collections
US20210365490A1 (en) Method for ranking and selecting events in media collections
US9081801B2 (en) Metadata supersets for matching images
Simond et al. Image aesthetics depends on context
JP2014092955A (ja) 類似コンテンツ検索処理装置、類似コンテンツ検索処理方法、およびプログラム
WO2007058483A1 (en) Method, medium, and system with category-based photo clustering using photographic region templates
US8270731B2 (en) Image classification using range information
Chen et al. Automatic classification of photographs and graphics
Kuzovkin et al. Image selection in photo albums
Dao et al. Robust event discovery from photo collections using Signature Image Bases (SIBs)
Jang et al. Smart management system for digital photographs using temporal and spatial features with exif metadata
KR20120064577A (ko) 부가정보를 이용한 자동 사진분류방법 및 장치
KR101645570B1 (ko) 주관적 개념을 기반으로 한 사진 앨범 요약 장치 및 방법
Steiner et al. Clustering media items stemming from multiple social networks

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right