KR20160015838A - 컨텐츠 분류 방법 및 이를 위한 디바이스 - Google Patents

컨텐츠 분류 방법 및 이를 위한 디바이스 Download PDF

Info

Publication number
KR20160015838A
KR20160015838A KR1020140098628A KR20140098628A KR20160015838A KR 20160015838 A KR20160015838 A KR 20160015838A KR 1020140098628 A KR1020140098628 A KR 1020140098628A KR 20140098628 A KR20140098628 A KR 20140098628A KR 20160015838 A KR20160015838 A KR 20160015838A
Authority
KR
South Korea
Prior art keywords
folder
content
keywords
information
contents
Prior art date
Application number
KR1020140098628A
Other languages
English (en)
Inventor
얀 페이레즐
박성범
임태규
심우성
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140098628A priority Critical patent/KR20160015838A/ko
Priority to CN201580001344.7A priority patent/CN105451846B/zh
Priority to PCT/KR2015/007663 priority patent/WO2016017992A1/en
Priority to TW104124616A priority patent/TWI585712B/zh
Priority to EP15179149.8A priority patent/EP2980712A1/en
Priority to US14/814,831 priority patent/US20160034559A1/en
Publication of KR20160015838A publication Critical patent/KR20160015838A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information

Abstract

복수의 이미지를 분류하여 제공하는 디바이스에 있어서, 복수의 이미지를 저장하는 저장부; 복수의 이미지 중 적어도 하나의 이미지를 선택하는 입력을 수신하는 사용자 입력부; 및 선택된 이미지에 포함된 속성 정보 및 선택된 이미지의 영상 분석 정보를 획득하고, 획득한 속성 정보 및 영상 분석 정보를 이용하여 복수의 이미지를 분류하여 사용자에게 제공하는 제어부를 포함하는 것을 특징으로 하는 디바이스를 개시한다.

Description

컨텐츠 분류 방법 및 이를 위한 디바이스{METHOD AND DEVICE FOR CLASSIFYING CONTENTS}
본 발명은 소정 컨텐츠에 포함된 속성 정보 또는 소정 컨테츠의 영상 분석 정보를 이용하여, 복수의 컨텐츠를 분류하는 방법 및 이를 위한 디바이스에 관한 것이다.
전자 기기들이 다양화되고 있으며, 1인당 소지하는 전자 기기들의 종류도 다양해 지고 있다. 또한, 사용자는 자신이 소지한 복수의 전자 기기들 각각을 이용하여, 다양한 콘텐트, 애플리케이션, 서비스를 소비하고 있으며, 사용자가 이용할 수 있는 콘텐트들도 증가하고 있다.
이에 따라, 사용자는 많은 종류의 콘텐트를 접할 수 있으나, 사용자에게 무의미한 콘텐트들을 접하는 횟수가 증가할수록 사용자의 피로감도 함께 증가할 수 있다. 따라서, 사용자가 관심 있는 컨텐츠에 효율적으로 접근할 수 있도록 해 주는 시스템이 필요하다.
본 발명은 사용자에 의해 선택된 컨텐츠를 설명하는 복수의 키워드에 기반하여 복수의 폴더를 생성하고, 복수의 폴더 각각에 대응되는 키워드에 따라 컨텐츠를 분류하여 해당 폴더에 저장하는 컨텐츠 분류 방법 및 이를 위한 디바이스에 관한 것이다.
본 발명의 일 실시예에 따른 디바이스는, 복수의 이미지를 저장하는 저장부; 복수의 이미지 중 적어도 하나의 이미지를 선택하는 입력을 수신하는 사용자 입력부; 및 선택된 이미지에 포함된 속성 정보 및 선택된 이미지의 영상 분석 정보를 획득하고, 획득한 속성 정보 및 영상 분석 정보를 이용하여 복수의 이미지를 분류하여 사용자에게 제공하는 제어부를 포함할 수 있다.
본 발명의 일 실시예에 따른 디바이스의 제어부는, 획득한 복수의 속성 정보 및 영상 분석 정보를 이용하여 복수의 이미지를 분류하기 위하여, 상기 획득한 복수의 속성 정보 및 영상 분석 정보 중 적어도 둘 이상의 정보에 대응되는 분류 항목들을 생성할 수 있다.
본 발명의 일 실시예에 따른 디바이스의 저장부는, 사용자의 계정으로 설정되어 디바이스 밖에 구현된 외부 저장부를 포함할 수 있다.
본 발명의 일 실시예에 따른 디바이스의 제어부는, 분류 항목들에 기초하여 복수의 이미지를 분류할 수 있다.
본 발명의 일 실시예에 따른 디바이스의 제어부는, 분류 항목들과 복수의 이미지의 속성 정보를 비교하여 복수의 이미지를 분류할 수 있다.
본 발명의 일 실시예에 따른 디바이스의 제어부는, 분류 항목들에 대응하는 복수의 폴더를 생성하고, 분류 항목들에 기초하여 분류된 상기 복수의 이미지를 해당 폴더에 저장할 수 있다.
본 발명의 일 실시예에 따른 디바이스의 제어부는, 복수의 이미지 각각을 해당 폴더로 이동하여 저장하거나 복수의 이미지에 대한 링크 정보를 해당 폴더에 저장할 수 있다.
본 발명의 일 실시예에 따른 디바이스는, 복수의 폴더를 표시하는 디스플레이부를 더 포함하고, 사용자 입력부는 복수의 폴더 중 제 1 폴더를 선택하는 입력을 수신하고, 제어부는, 상기 제 1 폴더에 저장된 적어도 하나의 이미지를 표시하도록 디스플레이부를 제어할 수 있다.
본 발명의 일 실시예에 따른 디바이스의 사용자 입력부는, 선택된 이미지와 다른 새로운 이미지를 선택하는 입력을 수신하고, 제어부는, 새로운 이미지에 포함된 속성 정보 및 새로운 이미지의 영상 분석 정보를 이용하여, 복수의 이미지를 재분류할 수 있다.
본 발명의 일 실시예에 따른 디바이스의 사용자 입력부는, 복수의 폴더 중 제 1 폴더를 선호 폴더로 지정하는 입력을 수신하고, 제어부는, 제 1 폴더에 관한 정보를 선호 폴더 목록에 추가할 수 있다.
본 발명의 일 실시예에 따른 디바이스는, 복수의 폴더 중 제 1 폴더에 대한 공유를 요청하는 입력에 기초하여, 제 1 폴더에 포함된 적어도 하나의 이미지를 외부 장치와 공유하는 통신부를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 디바이스는, 생성된 분류 항목들의 목록을 표시하는 디스플레이부를 더 포함하고, 사용자 입력부는, 분류 항목들의 목록에서 적어도 둘 이상의 분류 항목들을 선택하는 입력을 수신하고, 제어부는, 선택된 적어도 둘 이상의 분류 항목들에 대응하는 복수의 폴더를 생성할 수 있다.
본 발명의 일 실시예에 따른 디바이스는, 복수의 이미지를 저장하는 저장부; 복수의 이미지 중 제 1 이미지 및 제 2 이미지를 선택하는 입력을 수신하는 사용자 입력부; 및 제 1 이미지에 포함된 제 1 속성 정보와 제 2 이미지에 포함된 제 2 속성 정보 간의 공통되는 공통 속성 정보를 이용하여, 복수의 이미지를 분류하고, 분류된 복수의 이미지에 관한 정보를 사용자에게 제공하는 제어부를 포함할 수 있다.
본 발명의 일 실시예에 따른 디바이스에서 복수의 이미지를 분류하여 제공하는 방법은, 복수의 이미지 중 하나의 이미지를 선택하는 단계; 선택된 이미지에 포함된 속성 정보 또는 선택된 이미지의 영상 분석 정보를 획득하는 단계; 획득한 속성 정보 또는 영상 분석 정보를 이용하여, 복수의 이미지를 분류하는 단계; 및 분류된 복수의 이미지에 관한 정보를 제공하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 복수의 이미지를 분류하는 단계는, 획득한 복수의 속성 정보 및 영상 분석 정보 중 적어도 둘 이상의 정보에 대응되는 분류 항목들을 생성하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 복수의 이미지는, 사용자의 계정으로 설정되어 디바이스 밖에 구현된 외부 저장부에 저장된 이미지를 포함할 수 있다.
본 발명의 일 실시예에 따른 복수의 이미지를 분류하는 단계는, 분류 항목들에 대응하는 복수의 폴더를 생성하는 단계; 및 분류 항목들에 기초하여 분류된 복수의 이미지를 해당 폴더에 저장하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 디바이스에서 복수의 이미지를 분류하여 제공하는 방법은, 선택된 이미지와 다른 새로운 이미지를 선택하는 입력을 수신하는 단계; 및 새로운 이미지에 포함된 속성 정보 또는 새로운 이미지의 영상 분석 정보를 이용하여, 복수의 이미지를 재분류하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 복수의 이미지를 분류하는 단계는, 생성된 분류 항목들의 목록을 표시하는 단계; 분류 항목들의 목록에서 적어도 둘 이상의 분류 항목들을 선택하는 입력을 수신하는 단계; 및 선택된 적어도 둘 이상의 분류 항목들에 대응하는 복수의 폴더를 생성하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 디바이스는, 복수의 컨텐츠 중 하나의 컨텐츠를 선택하는 입력을 수신하는 사용자 입력부; 및 선택된 컨텐츠를 설명(describe)하는 복수의 키워드를 획득하고, 획득한 복수의 키워드 중 적어도 둘 이상의 키워드에 대응되는 복수의 폴더를 생성하고, 복수의 폴더 각각에 대응되는 키워드에 따라 복수의 컨텐츠를 분류하여 해당 폴더에 저장하는 제어부를 포함할 수 있다.
본 발명의 일 실시예에 따른 디바이스의 제어부는, 복수의 컨텐츠 각각을 해당 폴더로 이동하여 저장하거나 복수의 컨텐츠에 대한 링크 정보를 해당 폴더에 저장할 수 있다.
본 발명의 일 실시예에 따른 디바이스의 제어부는, 선택된 컨텐츠의 속성 정보를 확인하고, 속성 정보를 일반화하여 복수의 키워드를 생성할 수 있다.
본 발명의 일 실시예에 따른 디바이스의 제어부는, 선택된 컨텐츠에 대한 영상 분석 정보를 이용하여 복수의 키워드를 검출할 수 있다.
본 발명의 일 실시예에 따른 디바이스의 제어부는, 복수의 폴더 각각에 대응되는 키워드와 복수의 컨텐츠 각각의 속성 정보를 비교한 결과를 이용하여, 복수의 컨텐츠와 해당 폴더를 매칭할 수 있다.
본 발명의 일 실시예에 따른 디바이스는, 생성된 복수의 폴더를 표시하는 디스플레이부를 더 포함하고, 본 발명의 일 실시예에 따른 디바이스의 사용자 입력부는, 표시된 복수의 폴더 중 제 1 폴더를 선택하는 입력을 수신하고, 본 발명의 일 실시예에 따른 디바이스의 제어부는, 제 1 폴더에 저장된 적어도 하나의 컨텐츠를 표시하도록 디스플레이부를 제어할 수 있다.
본 발명의 일 실시예에 따른 디바이스의 사용자 입력부는, 제 1 폴더에 포함된 제 1 컨텐츠를 선택하는 입력을 수신하고, 제어부는, 제 1 컨텐츠로부터 복수의 키워드를 획득하고, 제 1 컨텐츠로부터 획득한 복수의 키워드 중 적어도 둘 이상의 키워드에 대응되는 새로운 복수의 폴더를 생성하고, 새로운 복수의 폴더 각각에 대응되는 키워드에 따라 복수의 컨텐츠를 재분류할 수 있다.
본 발명의 일 실시예에 따른 디바이스의 사용자 입력부는, 복수의 폴더 중 제 1 폴더를 선호 폴더로 지정하는 입력을 수신하고, 제어부는, 제 1 폴더에 관한 정보를 선호 폴더 목록에 추가할 수 있다.
본 발명의 일 실시예에 따른 디바이스는, 복수의 폴더 중 제 1 폴더에 대한 공유를 요청하는 입력에 기초하여, 제 1 폴더에 포함된 적어도 하나의 컨텐츠를 외부 장치와 공유하는 통신부를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 디바이스는, 선택된 컨텐츠를 설명(describe)하는 복수의 키워드의 목록을 표시하는 디스플레이부를 더 포함하고, 본 발명의 일 실시예에 따른 디바이스의 사용자 입력부는, 복수의 키워드의 목록에서 적어도 둘 이상의 키워드를 선택하는 입력을 수신할 수 있다.
본 발명의 일 실시예에 따른 디바이스는, 복수의 컨텐츠 중 제 1 컨텐츠 및 제 2 컨텐츠를 선택하는 입력을 수신하는 사용자 입력부; 및 제 1 컨텐츠를 설명하는 복수의 제 1 키워드와 제 2 컨텐츠를 설명하는 복수의 제 2 키워드 간에 공통되는 공통 키워드들을 검출하고, 공통 키워드들에 대응되는 복수의 폴더를 생성하고, 복수의 폴더 각각에 대응되는 키워드에 따라 복수의 컨텐츠를 분류하여 해당 폴더에 저장하는 제어부를 포함할 수 있다.
본 발명의 일 실시예에 따른 디바이스의 복수의 컨텐츠를 분류하는 방법은, 복수의 컨텐츠 중 하나의 컨텐츠를 선택하는 단계; 선택된 컨텐츠를 설명(describe)하는 복수의 키워드를 획득하는 단계; 획득한 복수의 키워드 중 적어도 둘 이상의 키워드에 대응되는 복수의 폴더를 생성하는 단계; 및 복수의 폴더 각각에 대응되는 키워드에 따라 복수의 컨텐츠를 분류하여 해당 폴더에 저장하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 복수의 컨텐츠를 해당 폴더에 저장하는 단계는, 복수의 컨텐츠 각각을 해당 폴더로 이동하여 저장하거나 복수의 컨텐츠에 대한 링크 정보를 해당 폴더에 저장하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 복수의 키워드를 획득하는 단계는, 선택된 컨텐츠의 속성 정보 및 선택된 컨텐츠에 대한 영상 분석 정보 중 적어도 하나를 이용하여, 복수의 키워드를 획득하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 복수의 컨텐츠를 분류하는 단계는, 복수의 폴더 각각에 대응되는 키워드와 복수의 컨텐츠 각각의 속성 정보를 비교하는 단계; 및 비교한 결과를 이용하여, 복수의 컨텐츠와 해당 폴더를 매칭하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 복수의 컨텐츠를 분류하는 단계는, 복수의 폴더 각각에 대응되는 키워드와 복수의 컨텐츠 각각에 대해 기 정의된 키워드들을 비교하는 단계; 및 비교한 결과를 이용하여, 복수의 컨텐츠와 해당 폴더를 매칭하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 디바이스의 복수의 컨텐츠를 분류하는 방법은, 선택된 컨텐츠와 상이한 새로운 컨텐츠를 선택하는 단계; 새로운 컨텐츠를 설명하는 복수의 키워드를 획득하는 단계; 새로운 컨텐츠를 설명하는 복수의 키워드 중 적어도 둘 이상의 키워드에 대응되는 새로운 복수의 폴더를 생성하는 단계; 및 새로운 복수의 폴더 각각에 대응되는 키워드에 따라 복수의 컨텐츠를 재분류하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 디바이스의 복수의 컨텐츠를 분류하는 방법은, 복수의 컨텐츠 중 하나의 컨텐츠를 선택하는 단계; 선택된 컨텐츠를 설명(describe)하는 복수의 키워드의 목록을 표시하는 단계; 복수의 키워드의 목록에서 적어도 둘 이상의 키워드를 선택하는 입력을 수신하는 단계; 선택된 적어도 둘 이상의 키워드에 대응되는 복수의 폴더를 생성하는 단계; 및 복수의 폴더 각각에 대응되는 키워드에 따라 복수의 컨텐츠를 분류하여 해당 폴더에 저장하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 디바이스의 복수의 컨텐츠를 분류하는 방법은, 복수의 컨텐츠 중 제 1 컨텐츠 및 제 2 컨텐츠를 선택하는 단계; 제 1 컨텐츠를 설명하는 복수의 제 1 키워드와 상기 제 2 컨텐츠를 설명하는 복수의 제 2 키워드 간에 공통되는 공통 키워드들을 검출하는 단계; 공통 키워드들에 대응되는 복수의 폴더를 생성하는 단계; 및 복수의 폴더 각각에 대응되는 키워드에 따라 복수의 컨텐츠를 분류하여 해당 폴더에 저장하는 단계를 포함할 수 있다.
도 1a는 일반적인 이미지 관리 시스템을 설명하기 위한 도면이고, 도 1b는 본 발명의 일 실시예에 따르는, 컨텐츠 관리 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따르는, 디바이스의 컨텐츠 분류 방법을 설명하기 위한 순서도이다.
도 3은 본 발명의 일 실시예에 따르는, 컨텐츠 선택 방법을 설명하기 위한 순서도이다.
도 4는 컨텐츠 선택 방법을 결정하는 GUI(Graphical User Interface)를 나타내는 도면이다.
도 5a는 기 저장된 컨텐츠 중 하나의 컨텐츠가 선택되는 일례를 나타내는 도면이고, 도 5b는 캡쳐 이미지가 선택되는 일례를 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따르는, 디바이스가 복수의 키워드를 획득하는 방법을 설명하기 위한 순서도이다.
도 7은 본 발명의 일 실시예에 따르는, 디바이스가 복수의 키워드를 검출하는 방법을 설명하기 위한 순서도이다.
도 8은 컨텐츠의 속성 정보를 포함하는 메타데이터의 일례를 나타내는 도면이다.
도 9는 디바이스에서 컨텐츠의 메타데이터를 이용하여 복수의 키워드를 획득하는 일례를 나타내는 도면이다.
도 10은 디바이스에서 컨텐츠에 대한 영상 분석 정보를 이용하여 복수의 키워드를 검출하는 일례를 나타내는 도면이다.
도 11은 본 발명의 일 실시예에 따르는, 디바이스가 복수의 컨텐츠를 분류하는 방법을 설명하기 위한 순서도이다.
도 12는 디바이스가 복수의 컨텐츠를 분류하여 해당 폴더와 매칭하는 일례를 나타내는 도면이다.
도 13은 디바이스에서 복수의 폴더를 표시하는 일례를 나타내는 도면이다.
도 14는 본 발명의 일 실시예에 따르는, 디바이스에서 복수의 키워드의 목록을 제공하는 방법을 설명하는 순서도이다.
도 15는 디바이스가 선택된 컨텐츠에 대응되는 복수의 키워드의 목록을 표시하는 일례를 나타내는 도면이다.
도 16은 디바이스가 사용자에 의해 선택된 일부 키워드에 대응되는 폴더들을 표시하는 일례를 나타내는 도면이다.
도 17은 본 발명의 일 실시예에 따르는, 디바이스가 공통 키워드들에 기반하여 복수의 컨텐츠를 분류하는 방법을 설명하기 위한 순서도이다.
도 18a는 적어도 둘 이상의 컨텐츠가 선택되는 일례를 나타내는 도면이고, 도 18b는 선택된 적어도 둘 이상의 컨텐츠 간의 공통 키워드가 검출되는 일례를 나타내는 도면이다.
도 19는 본 발명의 일 실시예에 따르는, 디바이스가 정확률에 따라 복수의 키워드 간의 검출 순서를 결정하는 방법을 설명하기 위한 순서도이다.
도 20은 디바이스가 정확률에 따라 복수의 키워드 간의 검출 순서를 결정하는 일례를 나타내는 도면이다.
도 21은 본 발명의 일 실시예에 따르는, 디바이스가 사용자의 폴더 선호도 정보에 따라 복수의 키워드 간의 검출 순서를 결정하는 방법을 설명하기 위한 순서도이다.
도 22는 사용자의 폴더 선호도 정보에 따라 복수의 키워드 간의 검출 순서가 변경되는 일례를 나타내는 도면이다.
도 23은 디바이스가 폴더의 형태를 조절하는 일례를 나타내는 도면이다.
도 24는 본 발명의 일 실시예에 따르는, 디바이스가 새로운 컨텐츠의 선택에 기초하여 복수의 컨텐츠를 재분류하는 방법을 설명하기 위한 순서도이다.
도 25a 내지 도 25e는 디바이스가 새로운 컨텐츠의 선택에 기초하여 복수의 컨텐츠를 재분류하는 일례를 나타내는 도면이다.
도 26은 본 발명의 일 실시예에 따르는, 디바이스가 SNS 서버에 저장된 컨텐츠로부터 획득되는 복수의 키워드에 기초하여, 복수의 컨텐츠를 분류하는 방법을 설명하기 위한 순서도이다.
도 27a 내지 27c는 디바이스가 SNS 서버에 저장된 컨텐츠로부터 획득되는 복수의 키워드에 기초하여, 복수의 컨텐츠를 분류하는 일례를 설명하기 위한 도면이다.
도 28은 클라우드 스토리지에 저장된 컨텐츠가 선택되는 일례를 나타내는 도면이다.
도 29는 본 발명의 일 실시예에 따르는, 디바이스가 선호 폴더에 관한 정보를 저장하는 방법을 설명하기 위한 순서도이다.
도 30은 디바이스가 선호 폴더에 관한 정보를 저장하는 일례를 나타내는 도면이다.
도 31은 본 발명의 일 실시예에 따르는, 디바이스가 다이나믹 폴더를 외부 장치와 공유하는 방법을 설명하기 위한 순서도이다.
도 32는 디바이스가 다이나믹 폴더를 외부 장치와 공유하는 일례를 설명하기 위한 도면이다.
도 33은 본 발명의 일 실시예에 따르는, 컨텐츠 관리 시스템을 설명하기 위한 도면이다.
도 34는 본 발명의 일 실시예에 따르는, 클라우드 서버의 컨텐츠 분류 방법을 설명하기 위한 순서도이다.
도 35는 본 발명의 일 실시예에 따르는, 디바이스가 클라우드 서버에서 검출된 복수의 키워드를 이용하여 복수의 컨텐츠를 분류하는 방법을 설명하기 위한 순서도이다.
도 36은 본 발명의 일 실시예에 따르는, 디바이스가 클라우드 서버로부터 복수의 키워드에 관한 정보를 수신하는 일례를 나타내는 도면이다.
도 37은 본 발명의 일 실시예에 따르는, 디바이스가 클라우드 서버로부터 수신된 복수의 키워드에 관한 정보에 기초하여 컨텐츠를 분류하는 일례를 나타내는 도면이다.
도 38및 도 39는 본 발명의 일 실시예에 따르는, 디바이스를 설명하기 위한 블록 구성도이다.
도 40은 본 발명의 일 실시예에 따르는, 클라우드 서버를 설명하기 위한 블록 구성도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
명세서 전체에서 "터치 입력"이란 사용자가 디바이스를 제어하기 위해 터치 스크린에 행하는 제스처 등을 의미한다. 예를 들어, 본 명세서에서 기술되는 터치 입력에는 탭, 터치&홀드, 더블 탭, 드래그, 패닝, 플릭, 드래그 앤드 드롭 등이 있을 수 있다.
"탭(tap)"은 사용자가 손가락 또는 터치 도구(예컨대, 전자 펜)를 이용하여 화면을 터치한 후 움직이지 않은 채 화면에서 즉시 들어올리는 동작을 나타낸다.
"터치&홀드(touch & hold)"는 사용자가 손가락이나 터치 도구(예컨대, 전자 펜)를 이용하여 화면을 터치한 후 임계 시간(예컨대, 2초) 이상 터치 입력을 유지하는 동작을 나타낸다. 예를 들어, 터치-인 시점과 터치-아웃 시점 간의 시간 차이가 임계 시간(예컨대, 2초) 이상인 경우를 의미한다. 터치 입력이 탭인지 터치&홀드인지를 사용자에게 인식시키도록 하기 위하여 터치 입력이 임계 시간 이상 유지되면 시각적 또는 청각적 또는 촉각적으로 피드백 신호를 제공할 수도 있다. 상기 임계 시간은 구현 예에 따라서 변경될 수 있다.
"더블 탭(double tap)"은 사용자가 손가락이나 터치 도구(예컨대, 전자펜)를 이용하여 화면을 두 번 터치하는 동작을 나타낸다.
"드래그(drag)"는 사용자가 손가락이나 터치 도구를 화면에 터치한 후 터치를 유지한 상태에서 손가락이나 터치 도구를 화면 내의 다른 위치로 이동시키는 동작을 의미한다. 드래그 동작으로 인하여 오브젝트가 이동되거나 후술할 패닝 동작이 수행된다.
"패닝(panning)"은 사용자가 오브젝트를 선택하지 않고 드래그 동작을 수행하는 경우를 나타낸다. 패닝은 특정 오브젝트를 선택하지 않기 때문에 오브젝트가 페이지 내에서 이동되는 것이 아니라 페이지 자체가 화면 내에서 이동하거나, 오브젝트의 그룹이 페이지 내에서 이동한다.
"플릭(flick)"은 사용자가 손가락이나 터치 도구를 이용하여 임계 속도(예컨대, 100 pixel/s) 이상으로 드래그하는 동작을 나타낸다. 손가락이나 터치 도구의 이동 속도가 임계 속도(예컨대, 100 pixel/s) 이상인지에 기초하여 드래그(또는 패닝)와 플릭을 구별할 수 있다.
"드래그 앤드 드롭(drag & drop)"은 사용자가 손가락이나 터치 도구를 이용해 오브젝트를 화면 내 소정 위치에 드래그한 후 놓는 동작을 의미한다.
“핀치(pinch)”는 사용자가 두 손가락을 화면 위에 터치한 상태에서 서로 다른 방향으로 움직이는 동작을 나타낸다. 오브젝트 또는 페이지의 확대(Pinch Open) 또는 축소(Pinch Close)를 위한 제스처이며, 두 손가락의 거리에 따라 확대 값이나 축소 값이 결정된다.
“스와이프(swipe)”는 손가락이나 터치 도구로 화면 위의 오브젝트를 터치한 상태에서 수평 또는 수직 방향으로 일정 거리를 움직이는 동작이다. 사선 방향의 움직임은 스와이프 이벤트로 인식되지 않을 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1a는 일반적인 이미지 관리 시스템을 설명하기 위한 도면이고, 도 1b는 본 발명의 일 실시예에 따르는, 컨텐츠 관리 시스템을 설명하기 위한 도면이다.
도 1a에 도시된 바와 같이, 일반적인 디바이스(10)는, 이미지를 분류하기 위한 카테고리를 고정된 형태로 제공할 수 있다. 예를 들어, 디바이스(10)는, 앨범(Albums), 전체(All), 시간(Time), 장소(Locations), 사람(People) 등의 기 정의된 카테고리(11)를 제공할 수 있다. 이때, 사용자는 기 정의된 카테고리(11) 중에서 하나의 카테고리를 선택할 수 있다. 예를 들어, 사용자가 시간(Time)을 선택하는 경우, 디바이스(10)는 월별로 이미지들을 분류하여 제공할 수 있다.
하지만, 기 정의된 카테고리(11) 중에서 사용자가 원하는 카테고리가 존재하지 않을 수 있다. 또한, 분류해야 하는 이미지가 많은 경우, 하나의 카테고리에 속하는 이미지들의 수가 증가하게 되므로, 사용자가 각 카테고리에 속하는 이미지들을 정확히 파악하기 어려울 수 있다. 따라서, 좀 더 세분화된 카테고리가 필요할 수 있다.
또한, 디바이스(10)에 저장된 이미지들이 많은 경우, 사용자가 기 정의된 카테고리(11)를 이용하여, 전체 이미지 중에서 특정 이미지를 검색하기 어려울 수 있다.
이하에서는, 사용자가 컨텐츠를 쉽게 검색하거나 확인할 수 있도록 적응적으로 컨텐츠를 분류하는 시스템에 대하여 도 1b를 참조하여 살펴보기로 한다.
도 1b에 도시된 바와 같이, 본 발명의 일 실시예에 따른 컨텐츠 관리 시스템은 디바이스(100)를 포함할 수 있다. 그러나 도시된 구성 요소보다 많은 구성 요소에 의해 컨텐츠 관리 시스템이 구현될 수도 있다. 예를 들어, 컨텐츠 관리 시스템은 디바이스(100) 외에 서버(미도시)를 더 포함할 수도 있다. 컨텐츠 관리 시스템이 서버를 더 포함하는 경우에 대해서는 도 33 내지 도 37을 참조하여 후에 자세히 살펴보기로 한다.
본 발명의 일 실시예에 따른 디바이스(100)는, 컨텐츠를 저장하고 관리하는 장치일 수 있다. 본 발명의 일 실시예에 따른 디바이스(100)는 다양한 형태로 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 디바이스(100)는, 데스크톱 컴퓨터, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 태블릿 PC, 전자북 단말기, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어, 디지털 카메라, IPTV(Internet Protocol Television), DTV(Digital Television), CE 기기(예컨대, 디스플레이 장치를 갖는 냉장고, 에이컨 등) 등이 있을 수 있으나, 이에 한정되는 것은 아니다. 본 명세서에서 기술되는 디바이스(100)는 사용자에 의해 착용될 수 있는 장치(wearable device)일 수 있다. 예를 들어, 본 발명의 일 실시예에 따른 디바이스(100)는 손목 시계, 안경, 반지, 팔찌, 목걸이 등일 수 있다.
본 발명의 일 실시예에 의하면, 디바이스(100)는, 사용자에 의해 선택된 컨텐츠에 기반하여, 기 저장된 복수의 컨텐츠를 적응적으로 분류할 수 있다.
명세서 전체에서 ‘컨텐츠’는 문자, 부호, 음성, 음향, 이미지, 동영상 등이 디지털 방식으로 제작된 디지털 정보를 의미할 수 있다. 본 발명의 일 실시예에 따른 컨텐츠는, 정지 영상 컨텐츠(예컨대, 사진, 그림 등), 동영상 컨텐츠(예컨대, TV 프로그램 영상, VOD(Video On Demand), 개인 영상(UCC: User-Created Contents), 뮤직비디오, 유투브 영상 등), 텍스트 컨텐츠(예컨대, 전자책(시, 소설), 편지, 업무 파일), 음악 컨텐츠(예컨대, 음악, 연주곡, 라디오 방송 등), 웹 페이지 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
예를 들어, 디바이스(100)가 복수의 컨텐츠 중에서 제 1 이미지(101)를 선택하는 사용자 입력을 수신하는 경우(100-1), 디바이스(100)는 제 1 이미지(101)를 설명하는 복수의 키워드(102)를 검출할 수 있다(100-2).
본 명세서에서 ‘키워드’는, 컨텐츠를 설명하는 핵심적인 단어, 문구 또는 컨텐츠의 주제가 되는 단어, 문구 등일 수 있다. 본 발명의 일 실시예에 의하면, 키워드는, 컨텐츠의 속성 정보 또는 컨텐츠에 대한 영상 분석 정보를 이용하여 검출될 수 있다. 본 발명의 일 실시예에 의하면, 키워드는 컨텐츠를 분류하기 위한 ‘분류 항목’ 또는 ‘레이블(label)’로 표현될 수도 있다. 디바이스(100)가 컨텐츠의 키워드를 검출하는 방법에 대해서는 도 7을 참조하여 후에 자세히 살펴보기로 한다.
제 1 이미지(101)가 공원에서 여름에 찍은 가족 사진이므로, 디바이스(100)는, Portrait, Kid, Summer, Park, Fun, Mother, Dad, Group, Smile 등의 키워드를 검출할 수 있다. 이때, 디바이스(100)는, 복수의 키워드(102)에 대응하는 복수의 폴더(103)를 생성하여, 기 저장된 복수의 컨텐츠를 분류할 수 있다(100-3).
본 명세서에서 ‘폴더(folder)’는, 일정 기준(카테고리)에 따라 관련 있는 컨텐츠를 묶어서 보여주기 위한 사용자 인터페이스일 수 있다. 예를 들어, 폴더(fulder)는, 정렬되지 않은 컨텐츠를 새로 생성되는 카테고리에 따라 정렬하는 GUI(Graphical User Interface)일 수도 있고, 기 정렬된 컨텐츠를 새로 생성되는 카테고리에 따라 재 정렬하는 GUI(Graphical User Interface)일 수도 있다.
본 발명의 일 실시예에 의하면, 폴더(folder)는 다양한 형태의 이미지로 표현될 수 있다. 예를 들어, 폴더는, 파일 폴더 아이콘 모양일 수도 있고, 포토 앨범 모양일 수도 있으나, 이에 한정되는 것은 아니다.
또한, 본 발명의 일 실시예에 의하면, 폴더는, 폴더 안에 저장되어 있는 컨텐츠의 섬네일 이미지들을 결합한 결합 이미지 형태로 표현될 수 있다. 폴더는 폴더 안에 저장되어 있는 컨텐츠 중 대표 컨텐츠의 섬네일 이미지를 이용하여 표현될 수도 있다.
본 발명의 일 실시예에 의하면, 디바이스(100)는, 컨텐츠 자체를 폴더 내에 저장하여 관리할 수도 있고, 컨텐츠의 링크 정보(예컨대, URL, 저장 위치 정보)를 폴더 내에 저장하여 컨텐츠를 관리할 수도 있다.
한편, 본 발명의 일 실시예에 따른 폴더는, 컨텐츠 선택에 따라 일시적으로 생성되었다가 사라질 수 있다. 예를 들어, 디바이스(100)는, 제 1 컨텐츠의 선택에 기초하여, 제 1 폴더 및 제 2 폴더를 생성할 수 있다. 그리고 제 2 컨텐츠가 선택되는 경우, 디바이스(100)는, 제 2 컨텐츠로부터 검출되는 키워드에 기초하여 제 3 폴더 및 제 4 폴더를 새로 생성할 수 있다. 이때, 제 1 폴더 및 제 2 폴더의 유지를 요청하는 특별한 사용자 입력이 수신되지 않는 경우, 디바이스(100)는, 제 1 폴더 및 제 2 폴더에 관한 정보는 저장하지 않을 수 있다. 따라서, 제 2 컨텐츠가 선택되는 경우, 제 1 폴더 및 제 2 폴더는 사라지고, 제 3 폴더 및 제 4 폴더가 나타날 수 있다. 이하에서는 설명의 편의상 컨텐츠의 선택에 따라 적응적으로 생성되는 폴더를 ‘다이나믹 폴더’라고 부르기로 한다.
본 발명의 일 실시예에 의하면, 디바이스(100)는 컨텐츠의 선택에 따라 다양한 종류의 다이나믹 폴더를 생성하고, 자동으로 컨텐츠를 분류할 수 있다. 따라서, 사용자는 다이나믹 폴더를 이용하여, 특정 컨텐츠를 용이하게 검색할 수 있으며, 유사한 특징을 가지는 컨텐츠를 모아서 확인할 수 있다.
이하에서는 디바이스(100)가 컨텐츠의 선택에 따라 적응적으로 폴더를 생성함으로써, 컨텐츠를 분류하는 방법에 대해서 도 2를 참조하여 자세히 살펴보기로 한다.
도 2는 본 발명의 일 실시예에 따르는, 디바이스의 컨텐츠 분류 방법을 설명하기 위한 순서도이다.
단계 S210에서, 디바이스(100)는, 컨텐츠를 선택할 수 있다. 예를 들어, 디바이스(100)는, 복수의 컨텐츠 중 하나의 컨텐츠를 선택할 수도 있고, 복수의 컨텐츠 중 적어도 둘 이상의 컨텐츠를 선택할 수도 있다. 디바이스(100)가 적어도 둘 이상의 컨텐츠를 선택하는 경우에 대해서는 도 17을 참조하여 후에 자세히 살펴보기로 하고, 도 2에서는 디바이스(100)가 하나의 컨텐츠를 선택하는 경우를 예로 들어 설명하기로 한다.
본 발명의 일 실시예에 의하면, 디바이스(100)는, 사용자 입력에 기초하여 하나의 컨텐츠를 선택할 수 있다. 예를 들어, 디바이스(100)는 컨텐츠를 선택하는 사용자 입력을 수신할 수 있다.
본 발명의 일 실시예에 의하면, 컨텐츠를 선택하는 사용자 입력은 다양할 수 있다. 본 명세서에서 사용자 입력은, 키 입력, 터치 입력, 모션 입력, 벤딩 입력, 음성 입력, 다중 입력 등을 포함할 수 있다.
명세서 전체에서 "터치 입력"이란 사용자가 디바이스(100)를 제어하기 위해 터치 스크린에 행하는 제스처 등을 의미한다. 예를 들어, 본 명세서에서 기술되는 터치 입력에는 탭, 터치&홀드, 더블 탭, 드래그, 패닝, 플릭, 드래그 앤드 드롭 등이 있을 수 있다.
명세서 전체에서 "모션 입력"은, 사용자가 디바이스(100)를 제어하기 위해 디바이스(100)에 가하는 모션을 의미한다. 예를 들어, 모션 입력은, 사용자가 디바이스(100)를 회전시키거나, 디바이스(100)를 기울이거나, 디바이스(100)를 상하좌우로 이동시키는 입력을 포함할 수 있다. 디바이스(100)는, 가속도 센서(Acceleration sensor), 기울기 센서(tilt sensor), 자이로 센서(Gyro sensor), 자기장 센서(3-axis Magnetic sensor) 등을 이용하여, 사용자에 의해 기 설정된 모션 입력을 감지할 수 있다.
명세서 전체에서 "벤딩 입력"은, 디바이스(100)가 플렉서블 디스플레이 장치인 경우, 사용자가 디바이스(100)를 제어하기 위해 디바이스(100)의 전체 또는 일부 영역을 구부리는 입력을 의미한다. 본 발명의 일 실시예에 의하면, 디바이스(100)는 벤딩 센서를 이용하여, 벤딩 위치(좌표 값), 벤딩 방향, 벤딩 각도, 벤딩 속도, 벤딩 횟수, 벤딩 동작 발생 시점, 벤딩 동작 유지 시간 등을 감지할 수 있다.
명세서 전체에서 “키 입력”은 사용자가 디바이스(100)에 부착된 물리적인 키를 이용하여, 디바이스(100)를 제어하는 입력을 의미한다.
명세서 전체에서 “다중 입력”은, 적어도 둘 이상의 입력 방식이 결합된 것을 의미한다. 예를 들어, 디바이스(100)는, 사용자의 터치 입력 및 모션 입력을 수신할 수도 있고, 사용자의 터치 입력 및 음성 입력을 수신할 수도 있다. 또한, 디바이스(100)는 사용자의 터치 입력 및 안구 입력을 수신할 수도 있다. 안구 입력은 디바이스(100)를 제어하기 위해 사용자가 눈의 깜빡임, 응시 위치, 안구의 이동 속도 등을 조절하는 입력을 의미한다.
이하에서는 설명의 편의상 사용자 입력이 키 입력 또는 터치 입력인 경우를 예로 들어 설명하기로 한다.
본 발명의 일 실시예에 의하면, 디바이스(100)는, 기 설정된 버튼을 선택하는 사용자 입력을 수신할 수 있다. 기 설정된 버튼은, 디바이스(100)에 부착된 물리적인 버튼일 수도 있고, GUI(Graphical User Interface) 형태의 가상의 버튼일 수도 있다. 예를 들어, 사용자가 제 1 버튼(예컨대, 홈 버튼) 및 제 2 버튼(예컨대, 음량 조절 버튼)을 함께 선택하는 경우, 디바이스(100)는 화면에 표시되고 있는 컨텐츠를 선택할 수 있다.
본 발명의 다른 실시예에 의하면, 디바이스(100)는, 화면에 표시된 복수의 컨텐츠 중 특정 컨텐츠를 터치하는 사용자 입력을 수신할 수 있다. 예를 들어, 디바이스(100)는, 특정 컨텐츠를 소정 시간 이상(예컨대, 2초 이상) 터치하거나 소정 횟수 이상 터치하는 입력(예컨대, 더블 탭)을 수신할 수 있다.
본 발명의 일 실시예에 의하면, 선택되는 컨텐츠의 종류는 다양할 수 있다. 예를 들어, 디바이스(100)는, 메모리에 저장된 포토 앨범에서 하나의 포토 이미지를 선택할 수도 있고, 실시간으로 캡쳐되는 이미지를 선택할 수도 있고, SNS(Social Networking Service) 서버에 등록된 친구의 컨텐츠를 선택할 수도 있고, 클라우드 스토리지에 저장된 동영상 컨텐츠를 선택할 수도 있으나, 이에 한정되는 것은 아니다.
단계 S220에서, 디바이스(100)는, 선택된 컨텐츠와 관련된 복수의 키워드를 획득할 수 있다. 본 발명의 일 실시예에 의하면, 복수의 키워드는, 선택된 컨텐츠와 관련된 단어나 문구일 수 있다.
예를 들어, 선택된 컨텐츠가 제 1 이미지(예컨대, 제 1 이미지에는 사람이 있고, 사람이 두 명이며, 사람이 서로 껴안고 있고, 배경은 집의 실내이며, 사람들 옆에는 강아지가 있음)인 경우, 디바이스(100)는 제 1 이미지와 관련된 단어(예컨대, person, group, indoor, dog)를 키워드로 추출할 수 있다.
한편, 복수의 키워드를 획득한다는 것은, 해당 이미지에 기 추출된 복수의 키워드를 이용하거나, 외부로부터 해당 이미지와 관련된 복수의 키워드를 수신하거나, 해당 이미지로부터 직접 복수의 키워드를 추출하는 것을 모두 포함할 수 있으며, 이에 한정되는 것은 아니다. 해당 이미지와 관련한 키워드의 획득은 다양한 방법으로 이루어질 수 있다.
예를 들어, 해당 이미지에 기추출된 복수의 키워드를 이용하거나, 외부로부터 해당 이미지와 관련된 복수의 키워드를 수신하는 경우, 디바이스(100)는, 선택된 컨텐츠의 메타데이터 형태로 저장된 복수의 키워드를 확인(identify)하여 이용하거나 외부로부터 수신된 메타데이터 형태의 기추출된 복수의 키워드를 이용할 수 있다.
또한, 디바이스(100)는, 선택된 컨텐츠의 속성 정보 및 선택된 컨텐츠에 대한 영상 분석 정보 중 적어도 하나를 이용하여, 컨텐츠와 관련된 복수의 키워드를 선택된 컨텐츠로부터 직접 추출할 수도 있다.
디바이스(100)가 선택된 컨텐츠와 관련된 복수의 키워드를 컨텐츠로부터 직접 추출하는 동작에 대해서는 도 7을 참조하여 후에 자세히 살펴보기로 한다.
본 발명의 일 실시예에 의하면, 속성(attribute) 정보는 컨텐츠의 특성을 나타내는 정보로서, 예를 들어, 컨텐츠의 형식에 관한 정보, 컨텐츠의 크기에 관한 정보, 컨텐츠의 생성 위치 정보(예, GPS 정보), 컨텐츠의 생성 시기 정보, 컨텐츠와 관련된 이벤트 정보, 컨텐츠가 생성된 디바이스에 관한 정보, 컨텐츠의 출처 정보 및 사용자에 의해 추가된 주석(annotation) 정보, 사용자 정보 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 본 발명의 일 실시예에 의하면, 컨텐츠의 속성 정보는, 메타데이터 형태로 저장될 수 있다. 메타데이터는, 정보를 효율적으로 찾기 위해 일정한 규칙에 따라 컨텐츠에 부여되는 데이터를 의미한다.
본 발명의 일 실시예에 의하면, 영상 분석 정보는, 컨텐츠에 대한 이미지 프로세싱을 통해 획득되는 데이터를 분석한 정보로서, 예를 들어, 컨텐츠에 나타나는 객체에 관한 정보(예컨대, 객체의 종류, 명칭, 객체의 수 등), 컨텐츠에 나타나는 장소에 관한 정보(예, 에펠탑 -> 파리), 컨텐츠에 나타나는 계절이나 시간에 관한 정보(예, 눈 -> 겨울, 낙엽 -> 가을), 컨텐츠에 나타나는 분위기나 감정에 관한 정보(예, 촛불 -> 낭만), 컨텐츠에 나타나는 문자나 기호에 관한 정보(예, 텍스트 내용 분석) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 본 발명의 일 실시예에 의하면, 컨텐츠에 대한 영상 분석 정보가 메타데이터 형태로 저장되는 경우, 컨텐츠에 대한 영상 분석 정보는 컨텐츠의 속성 정보가 될 수도 있다.
본 발명의 일 실시예에 의하면, 디바이스(100)는 복수의 키워드를 직접 검출할 수도 있고, 외부 장치에서 검출된 복수의 키워드를 수신할 수도 있다. 예를 들어, 디바이스(100)가 컨텐츠 또는 컨텐츠에 관한 정보를 외부 장치로 전송하면서 키워드의 검출을 요청하는 경우, 외부 장치는, 컨텐츠의 속성 정보 또는 컨텐츠에 대한 영상 분석 정보를 이용하여 복수의 키워드를 검출할 수 있다. 이때, 외부 장치는 디바이스(100)와 연결된 호스트 디바이스 또는 디바이스(100)와 연결된 클라우드 서버일 수 있으나, 이에 한정되는 것은 아니다.
단계 S230에서, 디바이스(100)는, 복수의 키워드 중 적어도 둘 이상의 키워드에 대응되는 복수의 폴더를 생성할 수 있다.
본 발명의 일 실시예에 의하면, 디바이스(100)는, 획득된 복수의 키워드 모두에 대응하는 복수의 폴더를 생성할 수 있다. 또한, 디바이스(100)는, 복수의 키워드 중 일부의 키워드에 대응하는 복수의 폴더를 생성할 수도 있다.
예를 들어, 생성 가능한 폴더의 수가 기 설정되어 있는 경우, 디바이스(100)는, 기 설정된 수만큼의 폴더를 생성할 수 있다. 만일, 생성 가능한 폴더의 수가 4개로 설정되어 있는 경우, 디바이스(100)는, 획득된 10개의 키워드 중 4개의 키워드를 이용하여 4개의 폴더를 생성할 수 있다. 이때, 디바이스(100)는, 키워드들 간의 검출 순서에 따라 소정 수의 폴더를 생성할 수 있다. 디바이스(100)가 키워드들 간의 검출 순서를 결정하는 동작에 대해서는 도 19를 참조하여 후에 자세히 살펴보기로 한다.
한편, 본 발명의 일 실시예에 의하면, 디바이스(100)는, 사용자에 의해 선택된 적어도 둘 이상의 키워드에 대응되는 복수의 폴더를 생성할 수도 있다. 예를 들어, 디바이스(100)는, 획득된 복수의 키워드의 목록을 화면에 표시하고, 복수의 키워드 중에서 일부 키워드들을 선택하는 사용자 입력을 수신할 수 있다. 이때, 디바이스(100)는, 일부 키워드들에 대응하는 복수의 폴더를 생성할 수 있다.
본 발명의 일 실시예에 의하면, 디바이스(100)는, 폴더에 대응하는 키워드를 해당 폴더의 명칭으로 이용할 수 있다. 예를 들어, ‘person’, ‘group, ‘indoor’, ‘dog’ 등의 키워드가 검출된 경우, 키워드들 각각에 대응하는 폴더의 폴더 명은 ‘person’, ‘group’, ‘indoor’, ‘dog’이 될 수 있다.
본 발명의 일 실시예에 의하면, 복수의 폴더의 배치 순서는, 복수의 폴더에 대응하는 키워드들 간의 검출 순서에 기초하여 결정될 수 있다. 또한, 본 발명의 일 실시예에 의하면, 디바이스(100)는, 복수의 폴더의 사이즈를 다양하게 결정할 수 있다. 예를 들어, 디바이스(100)는 각 폴더에 대응하는 키워드의 정확률에 따라 각 폴더의 사이즈를 다르게 조절할 수 있다(도 23 참조). 또한, 디바이스(100)는 각 폴더에 포함된 컨텐츠의 수에 따라 각 폴더의 사이즈를 다르게 조절할 수도 있다.
단계 S240에서, 디바이스(100)는, 복수의 폴더 각각에 대응되는 키워드에 따라 복수의 컨텐츠를 분류하여 해당 폴더에 저장할 수 있다.
본 발명의 일 실시예에 의하면, 디바이스(100)는, 복수의 폴더 각각에 대응되는 키워드와 복수의 컨텐츠 각각의 키워드를 비교한 결과를 이용하여, 복수의 컨텐츠와 해당 폴더를 매칭할 수 있다. 예를 들어, 제 1 컨텐츠가, 제 1 폴더에 대응되는 제 1 키워드(예컨대, dog)와 동일한 키워드(예컨대, dog) 또는 제 1 키워드와 유사한 키워드(예컨대, puppy)를 가지는 경우, 디바이스(100)는, 제 1 컨텐츠와 제 1 폴더를 매칭할 수 있다.
본 발명의 일 실시예에 의하면, 디바이스(100)는, 복수의 폴더 각각에 대응되는 키워드와 복수의 컨텐츠 각각의 속성 정보를 비교한 결과를 이용하여, 복수의 컨텐츠와 해당 폴더를 매칭할 수도 있다. 예를 들어, 제 1 컨텐츠가, 제 1 폴더에 대응되는 제 1 키워드(예컨대, 프랑스)와 동일한 속성 정보(장소: 프랑스) 또는 유사한 속성 정보(장소: 에펠탑)를 가지는 경우, 디바이스(100)는 제 1 컨텐츠와 제 1 폴더를 매칭할 수 있다.
이때, 본 발명의 일 실시예에 의하면, 디바이스(100)는 워드넷(계층적 어휘 참조 체계), 온톨로지 등을 이용하여, 복수의 폴더 각각에 대응되는 키워드와 복수의 컨텐츠 각각의 키워드(또는 속성 정보) 간의 동일/유사 여부를 판단할 수 있다. 디바이스(100)가 복수의 폴더 각각에 대응되는 키워드와 복수의 컨텐츠 각각의 키워드(또는 속성 정보) 간의 유사도를 검출하는 동작에 대해서는 도 11을 참조하여 후에 자세히 살펴보기로 한다.
본 발명의 일 실시예에 의하면, 복수의 컨텐츠를 해당 폴더에 저장한다는 것은, 컨텐츠의 저장 위치를 나타내는 링크 정보를 해당 폴더에 저장하는 것을 의미할 수도 있고, 컨텐츠의 저장 위치를 해당 폴더로 변경하는 것을 의미할 수도 있다. 각 경우에 대해 살펴보기로 한다.
본 발명의 일 실시예에 의하면, 디바이스(100)는, 복수의 폴더 각각에 대응되는 키워드에 따라 복수의 컨텐츠를 분류하고, 복수의 컨텐츠에 대한 링크 정보를 해당 폴더에 저장할 수 있다. 이때, 컨텐츠의 저장 위치는 변경되지 않을 수 있다.
본 명세서에서 ‘링크 정보’는, 컨텐츠에 접근하기 위한 정보로서, 예를 들어, 저장 위치(예컨대, 디렉토리 명 등) 정보, 웹 URL(uniform resource locator) 정보 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
디바이스(100)는, 복수의 컨텐츠에 대한 링크 정보가 해당 폴더에 저장되는 경우, 컨텐츠와 폴더를 1:多로 매칭할 수 있다. 예를 들어, 제 1 이미지가 복수의 키워드 중 ‘person’, ‘dog’, ‘park’와 관련된 경우, 디바이스(100)는, ‘person’에 대응하는 제 1 폴더, ‘dog’에 대응하는 제 2 폴더, ‘park’에 대응하는 제 3 폴더 각각에 제 1 이미지에 대한 링크 정보를 저장할 수 있다.
본 발명의 다른 실시예에 의하면, 디바이스(100)는, 복수의 컨텐츠 각각을 해당 폴더로 이동하여 저장할 수 있다. 이 경우, 폴더와 컨텐츠는 1:1로 매칭될 수 있다. 만일, 하나의 컨텐츠가 복수의 키워드와 관련된 경우, 디바이스(100)는, 소정 기준에 따라 컨텐츠를 하나의 폴더와 매칭할 수 있다. 예를 들어, 제 1 이미지가 복수의 키워드 중 ‘person’, ‘dog’, ‘park’와 관련된 경우, 디바이스(100)는, ‘person’, ‘dog’, ‘park’ 중에서 검출 순위가 가장 높은 ‘person’에 대응하는 제 1 폴더에 제 1 이미지를 저장할 수 있다.
또한, 디바이스(100)는, 키워드의 종류에 따른 우선 순위에 기초하여, 폴더와 컨텐츠를 매칭할 수도 있다. 예를 들어, 디바이스(100)는, 객체와 관련된 키워드, 장소와 관련된 키워드, 시간에 관련된 키워드 순으로 컨텐츠와 폴더를 매칭할 수도 있다. 만일, 제 1 이미지가 복수의 키워드 중 ‘dog’, ‘park’와 관련된 경우, 디바이스(100)는, ‘dog’, ‘park’ 중에서 객체와 관련된 ‘dog’에 대응하는 제 1 폴더에 제 1 이미지를 저장할 수 있다.
본 발명의 일 실시예에 의하면, 디바이스(100)는, 선택된 하나의 컨텐츠를 의미적으로 표현하는 복수의 키워드에 따라, 복수의 컨텐츠를 자동으로 분류하여 사용자에게 제공할 수 있다. 이하에서는, 복수의 컨텐츠를 분류하는 기준이 되는 컨텐츠를 선택하는 동작에 대해서 도 3을 참조하여 자세히 살펴보기로 한다.
도 3은 본 발명의 일 실시예에 따르는, 컨텐츠 분류 방법을 설명하기 위한 순서도이다.
단계 S310에서, 디바이스(100)는, 복수의 컨텐츠를 표시할 수 있다.
이때, 복수의 컨텐츠는 디바이스(100)의 메모리에 저장된 컨텐츠일 수 있다. 또한, 복수의 컨텐츠는, 디바이스(100)와 연결된 클라우드 스토리지에 저장된 컨텐츠일 수도 있다. 클라우드 스토리지는 네트워크 기반에서 데이터를 저장할 수 있는 공간을 의미한다.
단계 S320에서, 디바이스(100)는, 사용자로부터 복수의 컨텐츠 중 하나의 컨텐츠를 선택하는 입력을 수신할 수 있다. 이때, 컨텐츠를 선택하는 입력은 다양할 수 있다. 예를 들어, 디바이스(100)는, 사용자에 의해 컨텐츠가 소정 시간 이상(예컨대, 2초 이상) 터치되거나 소정 횟수 이상 터치하는 입력(예컨대, 더블 탭)을 수신함으로써 하나의 컨텐츠를 선택하는 입력을 수신할 수 있다.
단계 S330에서, 디바이스(100)가 저장된 복수의 컨텐츠 중 하나의 컨텐츠를 선택하는 입력(S320) 대신에 디바이스(100)는 이미지 센서를 활성화하고, 활성화된 이미지 센서를 이용하여 외부 이미지를 캡쳐(촬영)함으로써 하나의 컨텐츠를 선택할 수 있다. 외부 이미지는 디바이스(100)의 외부에 존재하는 실제 환경에 대한 이미지를 의미한다.
본 발명의 일 실시예에 의하면, 디바이스(100)는, 내부 이미지를 캡쳐(예컨대, 스크린 캡쳐)할 수도 있다. 내부 이미지는, 디바이스(100) 내에서 재생 또는 표시되는 이미지를 의미할 수 있다.
단계 S340에서, 디바이스(100)는, 선택된 이미지를 기준 컨텐츠로 결정할 수 있다. 여기서, 기준 컨텐츠는, 디바이스(100)에 저장된 복수의 컨텐츠를 분류하기 위한 속성 또는 키워드(또는 분류 항목)을 추출하는데 이용되는 컨텐츠를 의미한다.
단계 S350에서, 디바이스(100)는, 기준 컨텐츠를 설명하는 복수의 키워드를 획득할 수 있다. 예를 들어, 디바이스(100)는, 기준 컨텐츠의 속성 정보 및 기준 컨텐츠에 대한 영상 분석 정보 중 적어도 하나를 이용하여 복수의 키워드를 획득할 수 있다.
단계 S360에서, 디바이스(100)는, 복수의 키워드 각각에 대응되는 복수의 폴더를 생성할 수 있다.
단계 S350 및 단계 S360은 도 2의 단계 S220 및 S230에 대응하므로, 구체적인 설명은 생략하기로 한다.
도 4는 컨텐츠 선택 방법을 결정하는 GUI(Graphical User Interface)를 나타내는 도면이다.
도 4의 400-1을 참조하면, 디바이스(100)는 카테고리를 선택할 수 있는 메뉴 창(400)을 제공할 수 있다. 이때, 사용자가 메뉴 창(400)에서 다이나믹 폴더 메뉴(410)를 선택하는 경우, 디바이스(100)는 다이나믹 폴더를 생성하기 위한 기준 컨텐츠의 종류를 선택하는 선택 창(500)을 제공할 수 있다. 메뉴 창(400) 및 선택 창(500)은 GUI(Graphical User Interface)의 일종일 수 있다.
도 4의 400-2를 참조하면, 디바이스(100)는 이미지 선택 방식을 결정할 수 있는 선택 창(500)을 화면에 표시할 수 있다. 예를 들어, 디바이스(100)는, 선택 창(500)을 이용하여, 사진 앨범에서 이미지를 선택할 수 있는 사진 앨범 메뉴(510), 카메라를 통해 캡쳐된 이미지를 선택할 수 있는 카메라 메뉴(520), SNS 서버에 저장된 컨텐츠를 선택할 수 있는 SNS 메뉴(530)를 제공할 수 있다. 도 5a 및 도 5b를 참조하여 디바이스(100)에서 기준 컨텐츠를 선택하는 방법에 대해 좀 더 살펴보기로 한다.
도 5a는 기 저장된 컨텐츠 중 하나의 컨텐츠가 선택되는 일례를 나타내는 도면이고, 도 5b는 캡쳐 이미지가 선택되는 일례를 나타내는 도면이다.
도 5a를 참조하면, 디바이스(100)는, 선택 창(500)에서 사진 앨범 메뉴(510)를 선택하는 입력을 수신할 수 있다(500-1). 이때, 디바이스(100)는, 사진 앨범 메뉴(510) 선택에 응답하여, 사진 앨범에 저장된 복수의 사진 이미지들을 화면에 표시할 수 있다. 디바이스(100)는 복수의 사진 이미지들 중 하나의 사진 이미지를 선택하는 사용자 입력을 수신할 수 있다(500-2).
도 5b를 참조하면, 디바이스(100)는, 선택 창(500)에서 카메라 메뉴(520)를 선택하는 입력을 수신할 수 있다(500-3). 이때, 디바이스(100)는, 카메라 메뉴(520) 선택에 응답하여, 카메라(이미지 센서)를 활성화시킬 수 있다. 디바이스(100)는, 활성화된 카메라(이미지 센서)를 통해 외부 이미지를 캡쳐할 수 있다(500-4). 디바이스(100)는 캡쳐된 이미지로부터 복수의 키워드를 검출하여, 복수의 컨텐츠를 분류하기 위한 복수의 폴더를 생성할 수 있다.
이하에서는 디바이스(100)에서 복수의 키워드를 획득하는 동작에 대해서 도 6 및 도 7을 참조하여 자세히 살펴보기로 한다.
도 6은 본 발명의 일 실시예에 따르는, 디바이스가 복수의 키워드를 획득하는 방법을 설명하기 위한 순서도이다.
단계 S610에서, 디바이스(100)는, 컨텐츠를 선택할 수 있다. 예를 들어, 위에서 살펴본 바와 같이, 디바이스(100)는 기 저장된 복수의 컨텐츠 중 하나의 컨텐츠를 선택할 수도 있고, 카메라를 통해 실시간으로 캡쳐되는 이미지를 선택할 수도 있고, SNS 서버에 등록된 컨텐츠를 선택할 수도 있으나, 이에 한정되는 것은 아니다.
단계 S620에서, 디바이스(100)는, 선택된 컨텐츠에 복수의 키워드가 정의되어 있는지 판단할 수 있다. 예를 들어, 디바이스(100)는 컨텐츠를 저장할 때, 컨텐츠 각각을 설명하는 복수의 키워드를 검출하고, 검출된 복수의 키워드를 컨텐츠와 함께 저장할 수 있다. 이 경우, 디바이스(100)는 선택된 컨텐츠에 복수의 키워드가 정의되어 있다고 판단할 수 있다. 본 발명의 일 실시예에 의하면, 컨텐츠 각각에 대응하는 복수의 키워드는, 컨텐츠 각각에 대한 메타데이터 형태로 저장될 수 있다.
단계 S630에서, 디바이스(100)는, 선택된 컨텐츠에 복수의 키워드가 미리 정의되어 있는 경우, 선택된 컨텐츠에 대응하는 복수의 키워드를 추출하여 확인할 수 있다.
단계 S640에서, 디바이스(100)는, 선택된 컨텐츠에 복수의 키워드가 정의되어 있지 않은 경우, 복수의 키워드를 검출할 수 있다. 예를 들어, 디바이스(100)는, 메타데이터 형태로 저장된 속성 정보를 이용하여, 복수의 키워드를 검출하거나, 컨텐츠에 대한 영상 처리를 통해 획득되는 영상 분석 정보를 이용하여 복수의 키워드를 검출할 수 있다. 단계 S640에 대해서 도 7을 참조하여 좀 더 자세히 살펴보기로 한다.
도 7은 본 발명의 일 실시예에 따르는, 디바이스가 복수의 키워드를 검출하는 방법을 설명하기 위한 순서도이다. 도 7에서는 컨텐츠에 복수의 키워드가 기 정의되어 있지 않은 경우를 예로 들어 설명하기로 한다.
단계 S710에서, 디바이스(100)는, 컨텐츠를 선택할 수 있다. 단계 S710는 도 6의 단계 S610에 대응하므로, 구체적인 설명은 생략하기로 한다.
단계 S720에서, 디바이스(100)는, 선택된 컨텐츠에 대응하는 속성 정보가 존재하는지 판단할 수 있다. 예를 들어, 디바이스(100)는, 선택된 컨텐츠에 대응하는 메타데이터를 확인할 수 있다. 디바이스(100)는, 메타데이터 형태로 저장된 속성 정보가 존재하는 경우, 선택된 컨텐츠의 속성 정보를 추출할 수 있다.
본 발명의 일 실시예에 의하면, 속성 정보는 컨텐츠의 특성을 나타내는 정보로서, 예를 들어, 컨텐츠의 형식에 관한 정보, 컨텐츠의 크기에 관한 정보, 컨텐츠에 포함된 객체에 관한 정보(예컨대, 객체의 종류, 명칭, 객체의 수 등), 컨텐츠의 생성 위치 정보, 컨텐츠의 생성 시기 정보, 컨텐츠와 관련된 이벤트 정보, 컨텐츠가 생성된 디바이스에 관한 정보, 컨텐츠의 출처 정보, 사용자에 의해 추가된 주석(annotation) 정보, 및 컨텐츠 생성 시의 컨텍스트 정보(날씨, 온도 등) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
단계 S730 및 단계 S750에서, 디바이스(100)는 선택된 컨텐츠에 대한 속성 정보를 일반화하여, 복수의 키워드를 생성할 수 있다.
본 명세서에서, 속성 정보를 일반화한다는 것은, 워드넷(계층적 어휘 참조 체계)에 기반하여 속성 정보를 상위 계층 언어로 표현하는 것을 의미할 수 있다.
‘워드넷(Wordnet)’은 단어 사이의 의미나 사용 패턴에 관한 정보로 단어 간의 연관성을 구축한 데이터베이스이다. 워드넷의 기본적 구조는 의미적으로 동일한 단어 리스트를 가진 신세(synset)이라는 논리적 그룹들과 이러한 신셋들 사이의 관계를 정의한 의미적 관계로 구성된다. 의미적 관계로는 상위어(hypernym)과 하위어(hyponym), 부분어(meronym)와 전체어(holonym)가 있다. 워드넷의 명사 부분에서는 최상위어로 개체(entity)를 가지며 의미에 따라 이를 확장함으로써 하위어를 형성할 수 있다. 그러므로 워드넷도 개념 어휘를 분류하고 정의하여 계층적 구조를 이룬 일종의 온톨로지라고 할 수 있다.
‘온톨로지(ontology)’는 공유된 개념화(shared conceptualization)에 대한 정형화되고 명시적인 명세(formal and explicit specification)를 의미한다. 온톨로지는 단어와 관계들로 구성된 일종의 사전으로서 볼 수 있으며, 그 속에는 특정 도메인에 관련된 단어들이 계층적으로 표현되어 있고, 추가적으로 이를 확장할 수 있는 추론 규칙이 포함되어 있다.
본 발명의 일 실시예에 의하면, 디바이스(100)는, 속성 정보에 포함된 위치 정보를 상위 계층 정보로 일반화하여, 키워드를 검출할 수 있다. 예를 들어, 디바이스(100)는, GPS 좌표 값(위도: 37.4872222 경도: 127.0530792)을 존(zone), 빌딩, 주소, 지역 명, 도시명, 국가 명 등의 상위 개념으로 표현할 수 있다. 이때, 빌딩, 지역 명, 도시명, 국가 명 등이, 선택된 컨텐츠에 대한 키워드로 검출될 수 있다.
또한, 디바이스(100)는, 속성 정보에 포함된 시간 정보를 상위 계층 정보로 일반화할 수 있다. 디바이스(100)는, 시분초 단위(예컨대, 2012년 10월 9일 오후 5시 10분 30초)로 표현된 시간 정보를 상위 계층 정보로 일반화하여, 오전/오후/저녁, 일, 주, 월, 연 단위, 휴일, 주말, 근무일, 주중, 및/또는 또 다른 시간 범위로 표현할 수도 있다. 이때, 일(day), 주(week), 월(month), 연(year), 기념일(anniversary) 등이, 선택된 컨텐츠에 대한 키워드로 검출될 수 있다.
본 발명의 일 실시예에 의하면, 디바이스(100)는 기 설정된 일반화 레벨에 따라, 속성 정보를 일반화할 수 있다. 예를 들어, 시간 정보는 ‘월 단위’로 표현되도록 시간 정보에 대한 일반화 레벨이 설정될 수 있다. 디바이스(100)는, 사용자 입력에 기초하여 일반화 레벨을 설정할 수도 있고, 자동으로 일반화 레벨을 설정할 수도 있다.
본 발명의 일 실시예에 의하면, 속성 정보의 레벨이 일반화 레벨보다 상위 레벨 또는 동일 레벨인 경우, 디바이스(100)는, 속성 정보를 일반화하지 않고 그대로 키워드로 이용할 수 있다. 예를 들어, 속성 정보에 포함된 시간 정보가 ‘September, 2014’로 저장되어 있는 경우, 디바이스(100)는, 시간 정보를 상위 개념으로 일반화하지 않고, ‘September, 2014’를 컨텐츠에 대한 키워드로 검출할 수 있다.
단계 S740 및 단계 S750에서, 디바이스(100)는, 선택된 컨텐츠에 대응하는 속성 정보가 존재하는지 않는 경우, 컨텐츠에 대한 영상 분석 정보를 획득하고, 영상 분석 정보를 이용하여 컨텐츠에 대한 복수의 키워드를 생성할 수 있다.
본 발명의 일 실시예에 의하면, 영상 분석 정보는, 컨텐츠에 대한 이미지 프로세싱을 통해 획득되는 데이터를 분석한 정보로서, 예를 들어, 컨텐츠에 나타나는 객체에 관한 정보(예컨대, 객체의 종류, 명칭, 객체의 수 등), 컨텐츠에 나타나는 장소에 관한 정보, 컨텐츠에 나타나는 계절이나 시간에 관한 정보, 컨텐츠에 나타나는 분위기나 감정에 관한 정보, 컨텐츠에 나타나는 문자나 기호에 관한 정보 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
본 발명의 일 실시예에 의하면, 디바이스(100)는, 이미지에 포함된 객체의 외곽선을 검출할 수 있다. 본 발명의 일 실시예에 의하면, 디바이스(100)는, 이미지에 포함된 객체의 외곽선을 기 정의된 템플릿(template)과 비교하여, 객체의 종류, 객체의 명칭 등을 검출할 수 있다. 예를 들어, 디바이스(100)는, 객체의 외곽선이 차량의 템플릿과 유사한 경우, 이미지에 포함된 객체를 차량으로 인식할 수 있다. 이 경우, 디바이스(100)는 이미지에 포함된 객체의 정보를 이용하여, ‘car’라는 키워드를 생성할 수 있다.
본 발명의 일 실시예에 의하면, 디바이스(100)는 이미지에 포함된 객체에 대한 얼굴 인식을 수행할 수도 있다. 예를 들어, 디바이스(100)는, 선택된 컨텐츠에서 사람의 얼굴 영역을 검출할 수 있다. 얼굴 영역을 검출하는 방법에는, 지식 기반 방법(Knowledge-based Methods), 특징 기반 방법 (Feature-based Methods), 템플릿 매칭 방법(Template-matching Methods) 및 외형 기반 방법(Appearance-based Methods) 등이 있을 수 있으나, 이에 한정되는 것은 아니다..
디바이스(100)는, 검출된 얼굴 영역으로부터 얼굴의 특징(예컨대, 얼굴의 주요 부분인 눈, 코, 입의 모양 등)을 추출할 수 있다. 얼굴 영역에서 얼굴의 특징을 추출하는 방법은 Gabor 필터 또는 LBP(Local Binary Pattern)등 다양한 방법이 사용될 수 있으나, 이에 한정되는 것은 아니다.
디바이스(100)는, 선택된 컨텐츠의 얼굴 영역으로부터 추출된 얼굴의 특징을 기 등록된 사용자들의 얼굴의 특징과 비교할 수 있다. 예를 들어, 추출된 얼굴의 특징이 기 등록된 제 1 사용자(예컨대, Tom)의 얼굴의 특징과 유사한 경우, 디바이스(100)는, 선택된 컨텐츠에 제 1 사용자(예컨대, Tom)의 이미지가 포함되어 있다고 판단할 수 있다. 이때, 디바이스(100)는 얼굴 인식 결과에 기반하여, ‘Tom’이라는 키워드를 생성할 수 있다.
본 발명의 일 실시예에 의하면, 디바이스(100)는, 이미지의 일정 영역을 컬러 맵(컬러 히스토그램)과 비교하여, 이미지의 색상 배치, 무늬, 분위기 등의 시각적 특징을 영상 분석 정보로 추출할 수 있다. 디바이스(100)는 이미지의 시각적 특징을 이용하여 키워드를 생성할 수 있다. 예를 들어, 선택된 컨텐츠가 하늘 배경 이미지인 경우, 디바이스(100)는, 하늘 배경 이미지에 대한 시각적 특징을 이용하여, ‘sky blue’ 라는 키워드를 검출할 수 있다.
또한, 본 발명의 일 실시예에 의하면, 디바이스(100)는, 이미지를 영역 단위로 나눈 후, 각 영역과 가장 유사한 클러스터를 찾아서 그 클러스터에 연결된 키워드를 검출할 수도 있다.
한편, 본 발명의 일 실시예에 의하면, 디바이스(100)는, 선택된 컨텐츠에 포함된 활자 영상에 대한 문자 인식을 수행할 수도 있다. 문자 인식 (OCR, Optical Character Recognition)은 이미지 문서에 포함된 한글, 영문, 숫자 폰트 등을 디바이스(100)에서 편집 가능한 문자 코드로 변환하는 기술을 의미한다. 예를 들어, 디바이스(100)는, 컨텐츠에 포함된 ‘Happy Birthday’라는 활자 영상에 대한 문자 인식을 통해, ‘Happy’, ‘Birthday’ 등의 키워드를 검출할 수 있다.
단계 S760에서, 디바이스(100)는, 복수의 키워드 중 적어도 둘 이상의 키워드에 대응되는 복수의 폴더를 생성할 수 있다. 단계 S760은 도 2의 단계 S230에 대응하므로, 구체적인 설명은 생략하기로 한다.
한편, 도 7에서는, 선택된 컨텐츠의 속성 정보가 존재하지 않는 경우에 디바이스(100)에서 선택된 컨텐츠에 대한 영상 분석 정보를 획득하는 실시예를 설명하였으나, 이에 한정되는 것은 아니다.
예를 들어, 디바이스(100)는, 선택된 컨텐츠에 대응하는 속성 정보가 존재하더라도 컨텐츠에 대한 영상 분석 정보를 추가로 획득할 수도 있다. 이때, 디바이스(100)는 컨텐츠에 대응하는 속성 정보와 컨텐츠에 대한 영상 분석 정보를 함께 이용하여, 복수의 키워드를 검출할 수 있다.
본 발명의 일 실시예에 의하면, 디바이스(100)는, 컨텐츠의 속성 정보로부터 검출되는 키워드들과 영상 분석 정보로부터 검출되는 키워드들을 비교하여, 공통되는 키워드들을 검출할 수도 있다. 공통되지 않는 키워드들에 비해 공통되는 키워드들의 신뢰도는 높을 수 있다. 신뢰도는, 컨텐츠로부터 추출되는 키워드들이 적합한 키워드라고 믿을 수 있는 정도를 의미한다.
이하에서는, 도 8 내지 도 10을 참조하여, 디바이스(100)에서 복수의 키워드를 검출하는 실시예에 대해서 구체적으로 살펴보기로 한다.
도 8은 컨텐츠의 속성 정보를 포함하는 메타데이터의 일례를 나타내는 도면이다.
도 8에 도시된 바와 같이, 컨텐츠의 속성 정보가 메타데이터 형태로 저장될 수 있다. 예를 들어, 컨텐츠 별로 종류(810), 시간(811), 위치(GPS)(812), 해상도(813), 크기(814), 수집 디바이스(817) 등의 정보가 속성 정보로 저장될 수 있다.
본 발명의 일 실시예에 의하면, 컨텐츠 생성 시의 컨텍스트 정보도 메타데이터 형태로 저장될 수 있다. 예를 들어, 디바이스(100)에서 제 1 컨텐츠(801)가 생성되는 경우, 디바이스(100)는, 제 1 컨텐츠(801) 생성 시점에 날씨 애플리케이션으로부터 날씨 정보(예컨대, cloudy), 기온 정보(예컨대, 20℃) 등을 수집할 수 있다. 그리고 디바이스(100)는 제 1 컨텐츠(801)에 대한 속성 정보로서 날씨 정보(815) 및 기온 정보(816)를 저장할 수 있다. 또한, 디바이스(100)는, 제 1 컨텐츠(801) 생성 시점에 일정 애플리케이션으로부터 이벤트 정보를 수집할 수도 있다. 이 경우, 디바이스(100)는, 제 1 컨텐츠(801)에 대한 속성 정보로서 이벤트 정보(미도시)를 저장할 수 있다.
본 발명의 일 실시예에 의하면, 사용자에 의해 입력된 사용자 추가 정보(818)가 메타데이터 형태로 저장될 수도 있다. 예를 들어, 사용자 추가 정보(818)에는, 사용자가 컨텐츠를 설명하기 위해 입력한 주석(annotation) 정보, 사용자에 의해 정의된 타이틀 정보, 사용자에 의한 강조 표시 등이 포함될 수 있다.
본 발명의 일 실시예에 의하면, 컨텐츠에 대한 이미지 프로세싱 결과 획득된 영상 분석 정보(예컨대, 객체 정보(819), 문자 인식 정보 등)를 메타데이터 형태로 저장할 수도 있다. 예를 들어, 디바이스(100)는 제 1 컨텐츠(801)에 포함된 객체들에 관한 정보(예컨대, User 1, User 2, Dad, Mom)를 제 1 컨텐츠(801)에 대한 속성 정보로 저장할 수 있다.
도 9는 디바이스에서 컨텐츠의 메타데이터를 이용하여 복수의 키워드를 획득하는 일례를 나타내는 도면이다.
본 발명의 일 실시예에 의하면, 디바이스(100)는 사용자 입력에 기초하여 가족 사진(900)을 다이나믹 폴더 생성을 위한 기준 컨텐츠로 선택할 수 있다. 이때, 디바이스(100)는 선택된 가족 사진(900)의 속성 정보(910)를 확인할 수 있다. 디바이스(100)는, 가족 사진(900)의 속성 정보(910)를 이용하여, 복수의 키워드(920)를 검출할 수 있다.
예를 들어, 디바이스(100)는, 시간 정보(예컨대, 2012.5.3.15:13)를 이용하여, ‘Summer’라는 키워드를 검출하고, 위치 정보(예컨대, 위도: 37; 25; 26.928…, 경도: 126; 35; 31.235…)를 이용하여, ‘Park’ 라는 키워드를 검출하고, 객체 정보(예컨대, Me, Mom, Dad, Kid, Smile, Fun Family…)를 이용하여, ‘Portrait’, ‘kid’, ‘Fun’, ‘Mother’ 등의 키워드를 검출할 수 있다.
도 10은 디바이스에서 컨텐츠에 대한 영상 분석 정보를 이용하여 복수의 키워드를 검출하는 일례를 나타내는 도면이다.
본 발명의 일 실시예에 의하면, 디바이스(100)는 사용자 입력에 기초하여 가족 사진(1000)을 다이나믹 폴더 생성을 위한 기준 컨텐츠로 선택할 수 있다. 이때, 디바이스(100)는, 가족 사진(1000)에 대한 영상 분석 정보(1040)를 획득할 수 있다. 예를 들어, 디바이스(100)는, 가족 사진(1000)의 일정 영역을 컬러 맵(1010)과 비교하여, 가족 사진(1000)의 색상 배치, 무늬, 분위기 등의 시각적 특징을 영상 분석 정보(1040)(예컨대, forest)로 추출할 수 있다.
또한, 디바이스(100)는, 가족 사진(1000)에서 사람의 얼굴 영역을 검출할 수 있다. 그리고 디바이스(100)는, 검출된 얼굴 영역으로부터 얼굴의 특징을 추출할 수 있다. 디바이스(100)는, 추출된 얼굴의 특징과 기 등록된 사용자들의 얼굴의 특징을 비교하여, 가족 사진(1000)에 포함된 사용자들(예컨대, Me, Mom, Dad, Kid 등)을 검출할 수 있다.
디바이스(100)는, 가족 사진(1000)에 포함된 활자 영상에 대한 문자 인식(1030)을 수행할 수도 있다. 예를 들어, 디바이스(100)는, 가족 사진(1000)에 포함된 ‘Fun Famile
Figure pat00001
’라는 활자 영상에 대한 문자 인식을 통해, ‘Fun’, ‘Family’, ‘smile’ 등의 영상 분석 정보(1040)를 획득할 수 있다.
디바이스(100)는 가족 사진(100)에 대한 영상 분석 정보(1040)를 이용하여, 복수의 키워드(1050)를 검출할 수 있다. 예를 들어, 디바이스(100)는 가족 사진(100)에 대한 영상 분석 정보(1040)로부터 ‘Kid’, ‘Mother’, ‘Dad’, ‘Fun’ 등의 키워드를 검출할 수 있다.
이하에서는, 도 11을 참조하여 디바이스(100)가 복수의 컨텐츠를 폴더에 대응하는 키워드에 따라 분류하는 방법에 대해서 자세히 살펴보기로 한다.
도 11은 본 발명의 일 실시예에 따르는, 디바이스가 복수의 컨텐츠를 분류하는 방법을 설명하기 위한 순서도이다.
단계 S1105에서, 디바이스(100)는, 선택된 컨텐츠에 기반하여 복수의 폴더를 생성할 수 있다. 예를 들어, 디바이스(100)는 선택된 컨텐츠를 설명하는 복수의 키워드를 획득하고, 복수의 키워드 중 적어도 둘 이상의 키워드에 대응되는 복수의 폴더를 생성할 수 있다. 단계 S1105는, 단계 S230에 대응되므로, 구체적인 설명은 생략하기로 한다.
본 발명의 일 실시예에 의하면, 디바이스(100)는, 복수의 컨텐츠 각각에 키워드가 기 정의되어 있는 경우, 복수의 폴더 각각에 대응하는 키워드와 복수의 컨텐츠 각각에 정의된 키워드를 비교하여, 복수의 컨텐츠를 분류할 수 있다.
단계 S1110에서, 디바이스(100)는, 제 n 컨텐츠에 키워드가 정의되어 있는지 판단할 수 있다. 예를 들어, 디바이스(100)는 제 1 컨텐츠의 메타데이터에 키워드가 정의되어 있는지 판단할 수 있다.
단계 S1115에서, 디바이스(100)는, 제 n 컨텐츠에 키워드가 정의되어 있는 경우, 제 i 폴더에 대응하는 키워드와 제 n 컨텐츠의 키워드 간의 유사도를 검출할 수 있다. 예를 들어, 제 1 폴더에 대응하는 키워드와 제 1 컨텐츠의 키워드를 비교하여, 제 1 폴더에 대응하는 키워드와 제 1 컨텐츠의 키워드 간의 유사도를 검출할 수 있다. 본 발명의 일 실시예에 의하면, 유사도는 1 에서 0 사이로 표현될 수 있으나, 이에 한정되는 것은 아니다.
본 발명의 일 실시예에 의하면, 디바이스(100)는, 온톨리지, 워드넷과 같은 지식 베이스와 위키피디아와 같은 집단 지성을 활용하여, 키워드 간의 의미적 연관성(semantic similarity, semantic relatedness)(예컨대, 어휘 유사성, 구조 유사성)을 측정할 수 있다. 예를 들어, 디바이스(100)는, 1) 제 1 폴더에 대응하는 제 1 키워드와 제 1 컨텐츠에 포함된 제 2 키워드가 동의어 관계인 경우 유사도를 1로 산출하고, 2) 제 1 폴더에 대응하는 제 1 키워드와 제 1 컨텐츠에 포함된 제 2 키워드가 유사어 관계인 경우 유사도를 0.95로 산출하고, 3) 제 1 폴더에 대응하는 제 1 키워드와 제 1 컨텐츠에 포함된 제 2 키워드가 상하관계에 있는 경우 유사도를 0.9로 산출하고, 4) 제 1 폴더에 대응하는 제 1 키워드와 제 1 컨텐츠에 포함된 제 2 키워드가 같은 카테고리 내에 존재하는 경우 유사도를 0.85로 산출하고, 5) 제 1 폴더에 대응하는 제 1 키워드와 제 1 컨텐츠에 포함된 제 2 키워드가 반의어 관계인 경우 유사도를 0.1로 산출할 수 있다.
단계 S1125에서, 디바이스(100)는, 제 i 폴더에 대응하는 키워드와 제 n 컨텐츠의 키워드 간의 유사도가 임계 값(예컨대, 0.9)보다 큰지 여부를 판단할 수 있다. 만일, 유사도가 임계 값보다 크지 않은 경우, 디바이스(100)는 제 i 폴더와 제 n 컨텐츠를 매칭하지 않을 수 있다. 예를 들어, 제 1 폴더에 대응하는 키워드는 ‘family’이나, 제 1 컨텐츠에 기 정의된 키워드들 중에는 ‘family’와 유사도가 0.9 이상인 단어가 존재하지 않는 경우, 제 1 컨텐츠는 제 1 폴더에 매칭되지 않을 수 있다.
단계 S1130에서, 디바이스(100)는, 제 i 폴더에 대응하는 키워드와 제 n 컨텐츠의 키워드 간의 유사도가 임계 값(예컨대, 0.9)보다 큰 경우, 제 i 폴더와 제 n 컨텐츠를 매칭할 수 있다. 예를 들어, 제 1 폴더에 대응하는 키워드가 ‘family’이고, 제 1 컨텐츠에 기 정의된 키워드들 중에도 ‘family’가 존재하는 경우, 디바이스(100)는, 제 1 컨텐츠를 제 1 폴더에 매칭할 수 있다.
한편, 본 발명의 일 실시예에 의하면, 디바이스(100)는, 복수의 컨텐츠 각각에 키워드가 기 정의되어 있지 않은 경우, 복수의 폴더 각각에 대응하는 키워드와 복수의 컨텐츠 각각의 속성 정보를 비교할 수도 있다.
단계 S1120에서, 디바이스(100)는, 제 i 폴더에 대응하는 키워드와 제 n 컨텐츠의 속성 정보 간의 유사도를 검출할 수 있다.
본 발명의 일 실시예에 의하며, 디바이스(100)는 형태소 분석기를 사용하여 각 컨텐츠의 속성 정보(메타데이터)로부터 비교 가능한 키워드를 추출할 수 있다. 이때, 추출되는 키워드들은 온톨로지 내에 존재하는 클래스 또는 인스턴스일 수 있다.
본 발명의 일 실시예에 의하면, 디바이스(100)는, 제 i 폴더에 대응하는 키워드와 제 n 컨텐츠의 속성 정보로부터 추출되는 키워드를 비교하여, 제 i 폴더에 대응하는 키워드와 제 n 컨텐츠의 속성 정보 간의 유사도를 검출할 수 있다. 유사도는, 구조적 연관성과 의미적 관계성을 고려하여 측정될 수 있다. 본 발명의 일 실시예에 의하면, 유사도는 1 에서 0 사이로 표현될 수 있으나, 이에 한정되는 것은 아니다.
예를 들어, 디바이스(100)는, 1) 제 1 폴더에 대응하는 제 1 키워드와 제 1 컨텐츠의 속성 정보로부터 추출된 제 2 키워드가 동의어 관계인 경우 유사도를 1로 산출하고, 2) 제 1 폴더에 대응하는 제 1 키워드와 제 1 컨텐츠의 속성 정보로부터 추출된 제 2 키워드가 유사어 관계인 경우 유사도를 0.95로 산출하고, 3) 제 1 폴더에 대응하는 제 1 키워드와 제 1 컨텐츠의 속성 정보로부터 추출된 제 2 키워드가 상하관계에 있는 경우 유사도를 0.9로 산출하고, 4) 제 1 폴더에 대응하는 제 1 키워드와 제 1 컨텐츠의 속성 정보로부터 추출된 제 2 키워드가 같은 카테고리 내에 존재하는 경우 유사도를 0.85로 산출하고, 5) 제 1 폴더에 대응하는 제 1 키워드와 제 1 컨텐츠의 속성 정보로부터 추출된 제 2 키워드가 반의어 관계인 경우 유사도를 0.1로 산출할 수 있다.
단계 S1125에서, 디바이스(100)는, 제 i 폴더에 대응하는 키워드와 제 n 컨텐츠의 속성 정보 간의 유사도가 임계 값(예컨대, 9)보다 큰지 여부를 판단할 수 있다. 만일, 유사도가 임계 값보다 크지 않은 경우, 디바이스(100)는 제 i 폴더와 제 n 컨텐츠를 매칭하지 않을 수 있다.
예를 들어, 제 1 폴더에 대응하는 키워드는 ‘family’이나, 제 1 컨텐츠의 속성 정보로부터 추출되는 키워드들 중에는 ‘family’와 유사도가 0.9 이상인 단어가 존재하지 않는 경우, 제 1 컨텐츠는 제 1 폴더에 매칭되지 않을 수 있다.
단계 S1130에서, 디바이스(100)는, 디바이스(100)는, 제 i 폴더에 대응하는 키워드와 제 n 컨텐츠의 속성 정보 간의 유사도가 임계 값(예컨대, 0.9)보다 큰 경우, 제 i 폴더와 제 n 컨텐츠를 매칭할 수 있다.
예를 들어, 제 1 폴더에 대응하는 키워드가 ‘family’이고, 제 1 컨텐츠의 속성 정보로부터 추출된 키워드들 중에도 ‘family’가 존재하는 경우, 디바이스(100)는, 제 1 컨텐츠를 제 1 폴더에 매칭할 수 있다.
단계 S1135에서, 디바이스(100)는, 제 n 컨텐츠가 마지막 컨텐츠인지 판단할 수 있다.
단계 S1140에서, 제 n 컨텐츠가 마지막 컨텐츠가 아닌 경우, 디바이스(100)는, 제 n+1 컨텐츠와 제 i 폴더의 매칭 여부를 결정할 수 있다. 예를 들어, 디바이스(100)는, 제 1 폴더와 제 1 컨텐츠의 매칭 여부를 판단한 다음 제 1 폴더와 제 2 컨텐츠의 매칭 여부를 판단하고, 그 다음에 제 1 폴더와 제 3 컨텐츠의 매칭 여부를 판단할 수 있다.
단계 S1145에서, 디바이스(100)는, 제 n 컨텐츠가 마지막 컨텐츠인 경우, 제 i 폴더가 마지막 폴더인지 판단할 수 있다.
단계 S1150에서, 디바이스(100)는, 제 i 폴더가 마지막 폴더가 아닌 경우, 제 i+1 폴더와 제 n 컨텐츠의 매칭 여부를 결정할 수 있다.
예를 들어, 디바이스(100)에 제 1 컨텐츠, 제 2 컨텐츠, 제 3 컨텐츠가 저장되어 있고, 제 1 폴더, 제 2 폴더가 생성된 경우, 디바이스(100)는, 제 1 폴더와 제 1 컨텐츠의 매칭 여부를 결정한 후, 제 1 폴더와 제 2 컨텐츠의 매칭 여부를 결정하고, 그 다음 제 1 폴더와 제 3 컨텐츠의 매칭 여부를 결정할 수 있다. 이때, 제 3 컨텐츠가 마지막 컨텐츠고, 제 1 폴더는 마지막 폴더가 아니므로, 디바이스(100)는, 제 2 폴더와 제 1 컨텐츠, 제 2 폴더와 제 2 컨텐츠, 제 2 폴더와 제 3 컨텐츠 각각의 매칭 여부를 결정할 수 있다.
단계 S1155에서, 디바이스(100)는, 복수의 컨텐츠에 대한 분류가 완료된 경우, 복수의 폴더를 표시할 수 있다.
본 발명의 일 실시예에 의하면, 디바이스(100)는, 복수의 폴더에 대응하는 키워드들 간의 검출 순서에 기초하여 복수의 폴더의 배치 순서를 결정할 수 있다. 또한, 본 발명의 일 실시예에 의하면, 디바이스(100)는, 복수의 폴더의 사이즈를 다양하게 결정할 수 있다. 예를 들어, 디바이스(100)는 각 폴더에 대응하는 키워드의 정확률에 따라 각 폴더의 사이즈를 다르게 조절할 수 있다(도 23 참조).
본 발명의 일 실시예에 의하면, 디바이스(100)는, 복수의 폴더 각각의 폴더 명(예컨대, 폴더 각각에 대응하는 키워드)을 각 폴더 위에 표시할 수도 있다. 이하에서는, 도 12를 참조하여, 디바이스(100)가 복수의 컨텐츠를 폴더에 대응하는 키워드에 따라 분류하는 실시예에 대해서 자세히 살펴보기로 한다.
도 12는 디바이스가 복수의 컨텐츠를 분류하여 해당 폴더와 매칭하는 일례를 나타내는 도면이다.
본 발명의 일 실시예에 의하면, 디바이스(100)는 사용자 입력에 기초하여 가족 사진(1200)을 다이나믹 폴더 생성을 위한 기준 컨텐츠로 선택할 수 있다. 이때, 디바이스(100)는 가족 사진(1200)을 설명하는 복수의 키워드(예컨대, Portrait, Kid, Summer, Park, Fun, Mother)를 획득하고, 복수의 키워드에 대응하는 복수의 폴더(1210)를 생성할 수 있다.
본 발명의 일 실시예에 의하면, 디바이스(100)는, 복수의 폴더(1210)와 포토 앨범(1220)에 저장된 컨텐츠 간의 매칭 여부를 결정할 수 있다. 예를 들어, 제 1 이미지(1221)의 속성 정보(또는 기 정의된 키워드)에 Portrait, Kid, Summer, Park, Mother와 동일/유사한 단어가 존재하는 경우, 디바이스(100)는, 제 1 이미지(1221)를 Portrait 폴더(1211), Kid 폴더(1212), Summer 폴더(1213), Park 폴더(1214), Mother(1216) 폴더 각각에 매칭할 수 있다. 이때, 디바이스(100)는 제 1 이미지(1221)의 링크 정보를 Kid 폴더(1212), Summer 폴더(1213), Park 폴더(1214), Mother(1216) 폴더 각각에 저장할 수 있다.
제 2 이미지(1222)는 사용자의 사진 이미지이므로, 제 2 이미지(1222)의 속성 정보(또는 기 정의된 키워드)에 Portrait와 동일/유사한 단어(예컨대, Me, 사용자 이름)가 존재하는 경우, 디바이스(100)는, 제 2 이미지(1222)를 Portrait 폴더(1211)에 매칭할 수 있다. 이때, 디바이스(100)는 제 2 이미지(1222)의 링크 정보를 Portrait 폴더(1211)에 저장할 수 있다.
제 3 이미지(1223)의 속성 정보(또는 기 정의된 키워드)에 Kid, Summer, Fun, Mother와 동일/유사한 단어가 존재하는 경우, 디바이스(100)는, 제 3 이미지(1223)를 Kid 폴더(1212), Summer 폴더(1213), Fun 폴더(1215), Mother(1216) 폴더 각각에 매칭할 수 있다. 이때, 디바이스(100)는 제 3 이미지(1223)의 링크 정보를 Kid 폴더(1212), Summer 폴더(1213), Fun 폴더(1214), Mother(1216) 폴더 각각에 저장할 수 있다.
도 13은 디바이스에서 복수의 폴더를 표시하는 일례를 나타내는 도면이다.
도 13의 1300-1을 참조하면, 디바이스(100)는, 선택된 컨텐츠에 기반하여 복수의 컨텐츠의 분류가 완료된 경우, 복수의 폴더를 표시할 수 있다. 이때, 본 발명의 일 실시예에 의하면, 디바이스(100)는, 복수의 폴더 각각에 포함된 컨텐츠의 수, 폴더 명(예컨대, 폴더에 대응하는 키워드) 등을 해당 폴더 위에 표시할 수 있다. 디바이스(100)는, 복수의 폴더 중 Portrait 폴더(1300)를 선택하는 입력을 수신할 수 있다.
도 13의 1300-2를 참조하면, 디바이스(100)는, Portrait 폴더(1300)를 선택하는 입력에 응답하여, Portrait 폴더(1300)에 저장된 적어도 하나의 컨텐츠를 표시할 수 있다.
본 발명의 일 실시예에 의하면, 디바이스(100)는, 컨텐츠 생성 시간 정보, 컨텐츠 생성 위치 정보, 컨텐츠의 용량 정보, 및 컨텐츠의 해상도 정보 중 적어도 하나에 기초하여, Portrait 폴더(1300)에 포함된 적어도 하나의 컨텐츠를 배열할 수 있다.
도 14는 본 발명의 일 실시예에 따르는, 디바이스에서 복수의 키워드의 목록을 제공하는 방법을 설명하는 순서도이다.
단계 S1410에서, 디바이스(100)는, 복수의 컨텐츠 중 하나의 컨텐츠를 선택할 수 있다. 본 발명의 일 실시예에 의하면, 디바이스(100)는, 사용자 입력에 기초하여 하나의 컨텐츠를 선택할 수 있다. 예를 들어, 디바이스(100)는 컨텐츠를 선택하는 사용자 입력을 수신할 수 있다.
단계 S1420에서, 디바이스(100)는, 선택된 컨텐츠를 설명하는 복수의 키워드를 획득할 수 있다. 본 발명의 일 실시예에 의하면, 복수의 키워드는, 선택된 컨텐츠를 표현하는 적어도 둘 이상의 핵심적인 단어나 문구일 수 있다.
예를 들어, 디바이스(100)는, 선택된 컨텐츠의 메타데이터에 복수의 키워드가 기 정의되어 있는 경우, 선택된 컨텐츠의 메타데이터에서 복수의 키워드를 확인(identify)할 수 있다. 또한, 디바이스(100)는, 선택된 컨텐츠의 속성 정보 및 선택된 컨텐츠에 대한 영상 분석 정보 중 적어도 하나를 이용하여, 컨텐츠를 설명하는 복수의 키워드를 검출할 수도 있다.
단계 S1410 및 단계 S1420은 도 2의 단계 S210 및 S220에 대응하므로, 구체적인 설명은 생략하기로 한다.
단계 S1430에서, 디바이스(100)는, 복수의 키워드의 목록을 표시할 수 있다. 이 경우, 사용자는 자신이 선택한 컨텐츠로부터 검출되는 키워드들의 목록을 확인할 수 있다.
본 발명의 일 실시예에 의하면, 디바이스(100)는, 복수의 키워드의 검출 순서에 따라 복수의 키워드의 목록을 배열할 수 있다. 복수의 키워드의 검출 순서는 키워드의 정확률 정보 및 사용자의 폴더 선호도 정보 중 적어도 하나에 기초하여 결정될 수 있다.
디바이스(100)가 키워드들 간의 검출 순서를 결정하는 동작에 대해서는 도 19를 참조하여 후에 자세히 살펴보기로 한다.
단계 S1440에서, 디바이스(100)는, 복수의 키워드의 목록에서 적어도 둘 이상의 키워드를 선택하는 입력을 수신할 수 있다. 본 발명의 일 실시예에 의하면, 디바이스(100)는 복수의 키워드 전체를 선택하는 입력을 수신할 수도 있고, 복수의 키워드 중에서 일부 키워드들을 선택하는 입력을 수신할 수 있다.
본 발명의 일 실시예에 의하면, 키워드를 선택하는 사용자 입력은 다양할 수 있다. 예를 들어, 사용자 입력은, 키 입력, 터치 입력, 모션 입력, 벤딩 입력, 음성 입력, 다중 입력 중 적어도 하나일 수 있다.
단계 S1450에서, 디바이스(100)는, 선택된 적어도 둘 이상의 키워드에 대응되는 복수의 폴더를 생성할 수 있다.
본 발명의 일 실시예에 의하면, 디바이스(100)는, 폴더에 대응하는 키워드를 해당 폴더의 명칭으로 이용할 수 있다. 예를 들어, ‘person’, ‘group, ‘indoor’, ‘dog’ 등의 키워드가 선택된 경우, 키워드들 각각에 대응하는 폴더의 폴더 명은 ‘person’, ‘group’, ‘indoor’, ‘dog’이 될 수 있다.
단계 S1460에서, 디바이스(100)는, 복수의 폴더 각각에 대응되는 키워드에 따라 복수의 컨텐츠를 분류하여 해당 폴더에 저장할 수 있다. 본 발명의 일 실시예에 의하면, 디바이스(100)는, 복수의 폴더 각각에 대응되는 키워드와 복수의 컨텐츠 각각의 키워드(또는 속성 정보)를 비교한 결과를 이용하여 복수의 컨텐츠와 해당 폴더를 매칭함으로써, 복수의 컨텐츠를 분류할 수 있다.
본 발명의 일 실시예에 의하면, 복수의 컨텐츠를 해당 폴더에 저장한다는 것은, 컨텐츠의 저장 위치를 나타내는 링크 정보를 해당 폴더에 저장하는 것을 의미할 수도 있고, 컨텐츠의 저장 위치를 해당 폴더로 변경하는 것을 의미할 수도 있다. 단계 S1460은 도 2의 S240에 대응되므로, 구체적인 설명은 생략하기로 한다.
도 15는 디바이스가 선택된 컨텐츠에 대응되는 복수의 키워드의 목록을 표시하는 일례를 나타내는 도면이다.
도 15의 1500-1을 참조하면, 디바이스(100)는 사용자 입력에 기초하여 가족 사진(1510)을 다이나믹 폴더 생성을 위한 기준 컨텐츠로 선택할 수 있다.
본 발명의 일 실시예에 의하면, 디바이스(100)는 가족 사진(1510)을 설명하는 복수의 키워드를 획득할 수 있다. 예를 들어, 디바이스(100)는 Portrait, Mother, Kid, Dad, Summer, Group, Park, Smile, Fun 등의 키워드들을 획득할 수 있다.
도 15의 1500-2를 참조하면, 디바이스(100)는, 획득된 복수의 키워드의 목록(1520)을 표시할 수 있다. 이때, 디바이스(100)는, 복수의 키워드의 목록(1520) 중에서 일부 키워드들을 선택하는 사용자 입력을 수신할 수 있다. 예를 들어, 디바이스(100)는, Portrait, Kid, Dad, Park를 선택하는 사용자 입력을 수신할 수 있다. 디바이스(100)는 사용자에 의해 선택된 키워드들(예컨대, Portrait, Kid, Dad, Park)에 대응하는 복수의 폴더를 생성할 수 있다. 도 16을 참조하기로 한다.
도 16은 디바이스가 사용자에 의해 선택된 일부 키워드에 대응되는 폴더들을 표시하는 일례를 나타내는 도면이다.
도 16에 도시된 바와 같이, 디바이스(100)는, 획득된 복수의 키워드(예컨대, Portrait, Mother, Kid, Dad, Summer, Group, Park, Smile, Fun) 중 사용자에 의해 선택된 키워드들(예컨대, Portrait, Kid, Dad, Park)에 대응하는 복수의 폴더를 생성할 수 있다.
디바이스(100)는 생성된 복수의 폴더(예컨대, Portrait 폴더, Kid 폴더, Dad 폴더, Park 폴더) 각각에 대응하는 키워드에 따라 복수의 컨텐츠를 분류할 수 있다. 복수의 컨텐츠에 대한 분류가 완료되는 경우, 디바이스(100)는 복수의 폴더(예컨대, Portrait 폴더, Kid 폴더, Dad 폴더, Park 폴더)를 표시할 수 있다.
본 발명의 일 실시예에 의하면, 사용자는 자신이 선택한 컨텐츠에 기반하여 생성되는 키워드들을 확인하고, 폴더로 생성되길 원하는 일부 키워드를 선택할 수 있다.
도 17은 본 발명의 일 실시예에 따르는, 디바이스가 공통 키워드들에 기반하여 복수의 컨텐츠를 분류하는 방법을 설명하기 위한 순서도이다.
단계 S1710에서, 디바이스(100)는, 사용자 입력에 기초하여 복수의 컨텐츠 중 적어도 둘 이상의 컨텐츠를 선택할 수 있다. 예를 들어, 디바이스(100)는, 제 1 컨텐츠 및 제 2 컨텐츠를 선택하는 사용자 입력을 수신할 수 있다.
단계 S1720에서, 디바이스(100)는, 제 1 컨텐츠를 설명하는 복수의 제 1 키워드와 제 2 컨텐츠를 설명하는 복수의 제 2 키워드 간에 공통되는 키워드들(이하, ‘공통 키워드들’이라 함)을 검출할 수 있다.
예를 들어, 디바이스(100)는, 제 1 컨텐츠의 메타데이터에 복수의 제 1 키워드가 기 정의되어 있는 경우, 제 1 컨텐츠의 메타데이터에서 복수의 제 1 키워드를 확인(identify)할 수 있다. 또한, 디바이스(100)는, 제 1 컨텐츠의 속성 정보 및 제 1 컨텐츠에 대한 영상 분석 정보 중 적어도 하나를 이용하여, 제 1 컨텐츠를 설명하는 복수의 제 1 키워드를 검출할 수도 있다.
한편, 디바이스(100)는, 제 2 컨텐츠의 메타데이터에 복수의 제 2 키워드가 기 정의되어 있는 경우, 제 2 컨텐츠의 메타데이터에서 복수의 제 2 키워드를 확인(identify)할 수 있다. 또한, 디바이스(100)는, 제 2 컨텐츠의 속성 정보 및 제 2 컨텐츠에 대한 영상 분석 정보 중 적어도 하나를 이용하여, 제 2 컨텐츠를 설명하는 복수의 제 2 키워드를 검출할 수도 있다.
본 발명의 일 실시예에 의하면, 디바이스(100)는, 제 1 컨텐츠를 설명하는 복수의 제 1 키워드와 제 2 컨텐츠를 설명하는 복수의 제 2 키워드를 비교하고, 복수의 제 1 키워드와 복수의 제 2 키워드 간의 공통 키워드들을 검출할 수 있다.
단계 S1730에서, 디바이스(100)는, 공통 키워드들에 대응되는 복수의 폴더를 생성할 수 있다.
본 발명의 일 실시예에 의하면, 디바이스(100)는, 공통 키워드들 각각에 대응하는 복수의 폴더를 생성할 수도 있고, 공통 키워드들 중 일부의 키워드들에 대응되는 복수의 폴더를 생성할 수도 있다.
본 발명의 일 실시예에 의하면, 디바이스(100)는, 폴더에 대응하는 공통 키워드를 해당 폴더의 명칭으로 이용할 수 있다. 예를 들어, ‘person’, ‘group, ‘indoor’, ‘dog’ 등의 공통 키워드들이 검출된 경우, 공통 키워드들 각각에 대응하는 폴더의 폴더 명은 ‘person’, ‘group’, ‘indoor’, ‘dog’이 될 수 있다.
단계 S1740에서, 디바이스(100)는, 복수의 폴더 각각에 대응되는 공통 키워드에 따라 복수의 컨텐츠를 분류하여 해당 폴더에 저장할 수 있다.
본 발명의 일 실시예에 의하면, 디바이스(100)는, 복수의 폴더 각각에 대응되는 공통 키워드와 복수의 컨텐츠 각각의 키워드(또는 속성 정보)를 비교한 결과를 이용하여 복수의 컨텐츠와 해당 폴더를 매칭함으로써, 복수의 컨텐츠를 분류할 수 있다.
본 발명의 일 실시예에 의하면, 디바이스(100)는, 매칭된 컨텐츠의 저장 위치를 나타내는 링크 정보를 해당 폴더에 저장할 수도 있고, 매칭된 컨텐츠를 해당 폴더로 이동시켜 저장할 수도 있다. 단계 S1740은 도 2의 S240에 대응되므로, 구체적인 설명은 생략하기로 한다.
도 18a는 적어도 둘 이상의 컨텐츠가 선택되는 일례를 나타내는 도면이고, 도 18b는 선택된 적어도 둘 이상의 컨텐츠 간의 공통 키워드가 검출되는 일례를 나타내는 도면이다.
도 18a를 참조하면, 디바이스(100)는, 복수의 컨텐츠 중 제 1 컨텐츠(1811)와 제 2 컨텐츠(1821)를 선택하는 입력을 제 1 사용자로부터 수신할 수 있다.
이때, 디바이스(100)는, 제 1 컨텐츠(1811)를 설명하는 복수의 제 1 키워드(1812)를 획득할 수 있다. 예를 들어, 제 1 컨텐츠(1811)는, 긴 머리의 제 1 사용자가 방에서 마이크를 들고 웃으며 노래 부르는 모습의 포토 이미지이므로, ‘Portrait’, ‘Room’, ‘Smile’, ‘Long hair’, ‘microphone’ 등의 복수의 제 1 키워드(1812)가 검출될 수 있다(1800-1).
또한, 디바이스(100)는, 제 2 컨텐츠(1821)를 설명하는 복수의 제 2 키워드(1822)를 획득할 수 있다. 예를 들어, 제 2 컨텐츠(1821)는, 긴 머리의 제 1 사용자가 학교에서 웃는 모습을 촬영한 포토 이미지므로, ‘Portrait’, ‘School’, ‘Smile’, ‘Long hair’ 등의 복수의 제 2 키워드(1822)가 검출될 수 있다(1800-2).
도 18a를 참조하면, 디바이스(100)는, 복수의 제 1 키워드(1812)와 복수의 제 2 키워드(1822) 간의 공통되는 공통 키워드들을 검출할 수 있다. 복수의 제 1 키워드(1812)는, ‘Portrait’, ‘Room’, ‘Smile’, ‘Long hair’, ‘microphone’이고, 복수의 제 2 키워드(1822)는, ‘Portrait’, ‘School’, ‘Smile’, ‘Long hair’이므로, 디바이스(100)는, 공통 키워드들로 ‘Portrait’, ‘Smile’, ‘Long hair’를 검출할 수 있다.
본 발명의 일 실시예에 의하면, 디바이스(100)는 검출된 공통 키워드들에 대응하는 복수의 폴더를 생성할 수 있다(1800-3). 예를 들어, 디바이스(100)는, ‘Portrait 폴더’, ‘Smile 폴더’, ‘Long hair 폴더’를 생성할 수 있다.
디바이스(100)는, 복수의 폴더에 대응하는 키워드와 디바이스(100)에 저장된 복수의 컨텐츠의 키워드(또는 속성 정보)를 비교하여, 복수의 컨텐츠를 복수의 폴더에 분류할 수 있다.
도 18a 및 도 18b에서는 두 개의 컨텐츠가 선택되는 경우를 예로 들어 설명하였으나, 이에 한정되는 것은 아니고, 세 개 이상의 컨텐츠가 선택될 수도 있다. 이 경우, 디바이스(100)는, 세 개 이상의 컨텐츠 간의 공통 키워드들을 이용하여 복수의 폴더를 생성할 수 있다.
이하에서는, 디바이스(100)에서 복수의 키워드의 검출 순서를 결정하는 동작에 대해서 도 19를 참조하여 자세히 살펴보기로 한다.
도 19는 본 발명의 일 실시예에 따르는, 디바이스가 정확률에 따라 복수의 키워드 간의 검출 순서를 결정하는 방법을 설명하기 위한 순서도이다.
단계 S1910에서, 디바이스(100)는, 복수의 컨텐츠 중에서 하나의 컨텐츠를 선택할 수 있다. 본 발명의 일 실시예에 의하면, 디바이스(100)는, 사용자 입력에 기초하여 하나의 컨텐츠를 선택할 수 있다. 예를 들어, 디바이스(100)는 컨텐츠를 선택하는 사용자 입력을 수신할 수 있다.
단계 S1920에서, 디바이스(100)는, 선택된 컨텐츠를 설명하는 복수의 키워드를 획득할 수 있다. 예를 들어, 디바이스(100)는, 선택된 컨텐츠의 메타데이터에 복수의 키워드가 기 정의되어 있는 경우, 선택된 컨텐츠의 메타데이터에서 복수의 키워드를 확인(identify)할 수 있다. 또한, 디바이스(100)는, 선택된 컨텐츠의 속성 정보 및 선택된 컨텐츠에 대한 영상 분석 정보 중 적어도 하나를 이용하여, 컨텐츠를 설명하는 복수의 키워드를 검출할 수도 있다.
단계 S1910 및 단계 S1920은 도 2의 단계 S210 및 S220에 대응하므로, 구체적인 설명은 생략하기로 한다.
단계 S1930에서, 디바이스(100)는, 복수의 키워드 각각의 정확률을 검출할 수 있다. 본 발명의 일 실시예에 의하면, 복수의 키워드 각각의 정확률은, 컨텐츠에 연결된 키워드가 컨텐츠에 대한 설명(description)을 얼마나 정확하게 반영하는지를 나타내는 정확도에 관한 확률을 의미할 수 있다.
본 발명의 일 실시예에 의하면, 디바이스(100)는 표준 컨텐츠에 대한 키워드들의 정확률 정보를 이용하여, 새롭게 선택된 컨텐츠로부터 검출되는 키워드들에 대한 정확률을 계산할 수 있다.
예를 들어, 정확률은 다음과 같은 방식으로 산출될 수 있으나, 이에 한정되는 것은 아니다. 컨텐츠가 이미지인 경우를 예로 들어 설명하기로 한다. 정확률을 산출하기 위해서는, 미리 키워드가 연결된 표준 이미지의 집합인 트레이닝 집합(Training set) T가 필요하다. 디바이스(100)는, 새로운 이미지 Inew와 트레이닝 집합 T에 속한 각 표준 이미지 Ii 사이의 시각적 특성의 유사도 FeatureSimilarity(Inew, Ii)를 계산한다. 이때, FeatureSimilariy(Inew, Ii)는 0부터 1사이의 값을 갖으며, 1에 가까울수록 두 이미지의 시각적 특성이 비슷하다는 것을 나타낸다. 디바이스(100)는, 전체 키워드의 집합 W에 속하는 키워드 kw가 새로운 이미지 Inew에서 가지는 정확률 Inew.Accuracykw를 아래 식 (1)을 이용하여 계산할 수 있다.
Figure pat00002
- 식 (1)
이때, 모든 이미지는 최대 M개의 키워드를 가질 수 있으므로, 디바이스(100)는, 정확률을 기준으로 상위 M개의 키워드를 선택하여 새로운 이미지 Inew의 키워드 집합으로 설정할 수 있다. 만약 선택된 M 개의 키워드 중에서 정확도가 최소 임계 값보다 작은 것이 있다면 디바이스(100)는, 해당 키워드를 Inew의 키워드 집합에서 삭제할 수 있다.
한편, 본 발명의 일 실시예에 의하면, 디바이스(100)는, 표준 이미지에 대한 적합성 피드백(Relevance feedback)을 적용하여, 키워드들의 정확률을 계산할 수도 있다. 적합성 피드백은, 초기 검출 키워드의 정확률을 사용자에게 평가 받고, 사용자가 원하는 데이터의 특성을 파악하여, 좀 더 정확한 키워드 검출을 제공해 주는 방법이다. 예를 들어, 디바이스(100)는, 사용자에 의해 긍정적으로 평가된 키워드의 정확률은 높이고, 부정적으로 평가된 키워드의 정확률은 낮출 수 있다.
단계 S1940에서, 디바이스(100)는, 정확률에 따라 복수의 키워드 간의 검출 순서를 결정할 수 있다. 예를 들어, 정확률이 높은 키워드일수록 검출 순서가 빠를 수 있다.
본 발명의 일 실시예에 의하면, 디바이스(100)는, 검출되는 키워드의 수가 기 결정되어 있는 경우, 정확률에 따라 기 결정된 개수의 키워드만을 검출할 수 있다. 예를 들어, 디바이스(100)는, 기 결정된 키워드의 수가 5개인 경우, 정확률을 기준으로 상위 5개의 키워드를 검출할 수 있다.
또한, 본 발명의 일 실시예에 의하면, 검출된 복수의 키워드를 정확률 순으로 배치할 수 있다. 이때, 사용자는 복수의 키워드 중에서 다이나믹 폴더를 생성하기 위한 일부 키워드를 선택할 수 있다.
도 20은 디바이스가 정확률에 따라 복수의 키워드 간의 검출 순서를 결정하는 일례를 나타내는 도면이다.
도 20의 2000-1을 참조하면, 디바이스(100)는, 사용자 입력에 기초하여 가족 사진(2000)을 다이나믹 폴더 생성을 위한 기준 컨텐츠로 선택할 수 있다. 본 발명의 일 실시예에 의하면, 디바이스(100)는 가족 사진(2000)을 설명하는 복수의 키워드를 획득할 수 있다. 예를 들어, 디바이스(100)는 Portrait, Kid, Summer, Park, Fun, Mother, Dad, Group, Smile 등의 키워드들을 획득할 수 있다.
도 20의 2000-2를 참조하면, 디바이스(100)는, 가족 사진(2000)과 유사한 표준 컨텐츠에 대한 키워드들의 정확률 정보를 이용하여, 가족 사진(2000)으로부터 검출되는 키워드들(2010)(예컨대, Portrait, Kid, Summer, Park, Fun, Mother, Dad, Group, Smile)에 대한 정확률(2020)을 산출할 수 있다. 예를 들어, Portrait의 정확률은 4.00%이고, Kid의 정확률은 3.80%이고, Summer와 Park의 정확률은 3.30%이고, Fun의 정확률은 3.10%이고, Mother의 정확률은 2.80%이고, Dad와 Group의 정확률은 2.40%이고, Smile의 정확률은 2.20%일 수 있다.
디바이스(100)는, 키워드들(예컨대, Portrait, Mother, Kid, Dad, Summer, Group, Park, Smile, Fun) 각각의 정확률에 기초하여, 키워드들의 검출 순서를 결정할 수 있다. 예를 들어, 검출 순서는 정확률에 따라 Portrait, Kid, Summer, Park, Fun, Mother, Dad, Group, Smile 순으로 결정될 수 있다.
도 21은 본 발명의 일 실시예에 따르는, 디바이스가 사용자의 폴더 선호도 정보에 따라 복수의 키워드 간의 검출 순서를 결정하는 방법을 설명하기 위한 순서도이다.
단계 S2110에서, 디바이스(100)는, 복수의 컨텐츠 중 하나의 컨텐츠를 선택할 수 있다. 본 발명의 일 실시예에 의하면, 디바이스(100)는, 사용자 입력에 기초하여 하나의 컨텐츠를 선택할 수 있다. 예를 들어, 디바이스(100)는 컨텐츠를 선택하는 사용자 입력을 수신할 수 있다.
단계 S2120에서, 디바이스(100)는, 선택된 컨텐츠를 설명하는 복수의 키워드를 획득할 수 있다. 예를 들어, 디바이스(100)는, 선택된 컨텐츠의 메타데이터에 복수의 키워드가 기 정의되어 있는 경우, 선택된 컨텐츠의 메타데이터에서 복수의 키워드를 확인(identify)할 수 있다. 또한, 디바이스(100)는, 선택된 컨텐츠의 속성 정보 및 선택된 컨텐츠에 대한 영상 분석 정보 중 적어도 하나를 이용하여, 컨텐츠를 설명하는 복수의 키워드를 검출할 수도 있다.
단계 S2110 및 단계 S2120은 도 2의 단계 S210 및 S220에 대응하므로, 구체적인 설명은 생략하기로 한다.
단계 S2130에서, 디바이스(100)는, 사용자의 폴더 선호도 정보에 따라 복수의 키워드 간의 검출 순서 결정할 수 있다. 본 명세서에서, 폴더 선호도 정보는, 컨텐츠가 분류되는 복수의 폴더 중에서 사용자가 선호하는 형태의 폴더에 관한 정보를 의미할 수 있다.
본 발명의 일 실시예에 의하면, 디바이스(100)는, 사용자의 폴더 이용 히스토리 정보(예컨대, 특정 종류의 폴더에 대한 이용 횟수 정보 등), 사용자에 의해 선택되는 키워드들에 관한 정보, 사용자가 수집하는 컨텐츠에 관한 정보(예컨대, 컨텐츠의 종류, 컨텐츠의 포함된 객체 정보 등) 중 적어도 하나를 이용하여, 사용자가 선호하는 형태의 폴더 정보를 유추할 수 있다. 예를 들어, 디바이스(100)는, 사용자가 인물 사진 위주로 컨텐츠를 수집하고, 컨텐츠에 포함된 객체(예컨대, 인물, 동물)와 관련된 키워드에 대응하는 폴더에 대한 이용률이 높은 경우, 객체와 관련된 키워드들의 검출 순서를 높게 결정할 수 있다.
본 발명의 일 실시예에 의하면, 디바이스(100)는, 검출되는 키워드의 수가 기 결정되어 있는 경우, 사용자의 폴더 선호도 정보에 따라 기 결정된 개수의 키워드들만을 검출할 수 있다. 예를 들어, 디바이스(100)는, 기 결정된 키워드의 수가 5개인 경우, 사용자의 폴더 선호도 정보를 기준으로 상위 5개의 키워드들을 검출할 수 있다.
또한, 본 발명의 일 실시예에 의하면, 검출된 복수의 키워드를 사용자의 폴더 선호도 정보를 고려하여 배치할 수 있다. 이때, 사용자는 복수의 키워드 중에서 다이나믹 폴더를 생성하기 위한 일부 키워드를 선택할 수 있다.
단계 S2140에서, 디바이스(100)는, 적어도 둘 이상의 키워드에 대응되는 복수의 폴더를 생성할 수 있다. 예를 들어, 사용자의 폴더 선호도 정보에 기초하여 ‘Kid’, ‘Portrait’, ‘Dog’, ‘park’ 등의 키워드들이 검출된 경우, 디바이스(100)는, ‘Kid’, ‘Portrait’, ‘Dog’, ‘park’ 각각에 대응하는 폴더를 생성할 수 있다.
본 발명의 일 실시예에 의하면, 디바이스(100)는, 복수의 폴더 각각에 대응되는 키워드와 복수의 컨텐츠 각각의 키워드(또는 속성 정보)를 비교한 결과를 이용하여 복수의 컨텐츠와 해당 폴더를 매칭함으로써, 복수의 컨텐츠를 분류할 수 있다.
디바이스(100)는, 복수의 컨텐츠의 분류가 완료되는 경우, 키워드의 검출 순서에 따라 복수의 폴더를 배열할 수 있다. 예를 들어, 검출 순서가 빠른 키워드에 대응하는 폴더가 상위에 표시될 수 있다.
이하에서는, 도 22를 참조하여, 복수의 키워드 간의 검출 순서가 정확률 및 사용자의 폴더 선호도 정보에 기반하여 결정되는 일례에 대해서 자세히 살펴보기로 한다.
도 22는 사용자의 폴더 선호도 정보에 따라 복수의 키워드 간의 검출 순서가 변경되는 일례를 나타내는 도면이다.
도 22의 2200-1을 참조하면, 디바이스(100)는, 사용자 입력에 기초하여 가족 사진(2200)을 다이나믹 폴더 생성을 위한 기준 컨텐츠로 선택할 수 있다. 본 발명의 일 실시예에 의하면, 디바이스(100)는 가족 사진(2200)을 설명하는 복수의 키워드를 획득할 수 있다. 예를 들어, 디바이스(100)는 Portrait, Kid, Summer, Park, Fun, Mother, Dad, Group, Smile 등의 키워드들을 획득할 수 있다. 이때, Portrait의 정확률은 4.00%이고, Kid의 정확률은 3.80%이고, Summer와 Park의 정확률은 3.30%이고, Fun의 정확률은 3.10%이고, Mother의 정확률은 2.80%이고, Dad와 Group의 정확률은 2.40%이고, Smile의 정확률은 2.20%일 수 있다. 디바이스(100)는, 키워드의 정확률 정보에 기초하여, 키워드의 검출 순서를 Portrait, Kid, Summer, Park, Fun, Mother, Dad, Group, Smile 순으로 결정할 수 있다.
디바이스(100)는, 키워드들 각각에 대응하는 폴더를 생성하고, 복수의 컨텐츠를 분류할 수 있다. 디바이스(100)는, 컨텐츠의 분류가 완료되는 경우, 폴더들 각각에 대응하는 키워드의 검출 순서에 기초하여, 폴더들을 표시할 수 있다. 예를 들어, 디바이스(100)는, Portrait 폴더, Kid 폴더, Summer 폴더, Park 폴더, Fun 폴더, Mother 폴더, Dad 폴더, Group 폴더, Smile 폴더 순서로 표시할 수 있다.
도 22의 2200-2를 참조하면, 디바이스(100)는, 사용자의 폴더 선호도 정보를 더 반영하여, 키워드의 검출 순서를 결정할 수도 있다.
예를 들어, 디바이스(100)에서 사용자의 폴더 이용 이력을 분석해 본 결과, 컨텐츠에 포함된 객체 중에서 아이 또는 사용자 자신과 관련된 폴더에 대한 선택 횟수가 가장 높고, 그 다음으로 장소에 관련된 폴더를 선택하는 횟수가 높고, 감정과 관련된 폴더를 선택하는 횟수가 가장 낮을 수 있다.
이 경우, 디바이스(100)는, 가족 사진(2200)을 설명하는 복수의 키워드에 대한 정확률 정보뿐 아니라 사용자의 폴더 선호도 정보를 더 고려하여, 가족 사진(2200)을 설명하는 복수의 키워드의 검출 순서를 Kid, Portrait, Park, Mother, Dad, Summer, Group, Fun, Smile 순으로 결정할 수 있다.
디바이스(100)는, 키워드들 각각에 대응하는 폴더를 생성하고, 복수의 컨텐츠를 분류할 수 있다. 디바이스(100)는, 컨텐츠의 분류가 완료되는 경우, 폴더들 각각에 대응하는 키워드의 검출 순서에 기초하여, 폴더들을 표시할 수 있다. 예를 들어, 디바이스(100)는, Kid 폴더, Portrait 폴더, Park 폴더, Mother 폴더, Dad 폴더, Summer 폴더, Group 폴더, Fun 폴더, Smile 폴더 순으로 결정할 수 있다.
사용자가 다이나믹 폴더를 생성하기 위해 하나의 컨텐츠를 선택하는 경우, 디바이스(100)는, 키워드의 정확률 정보만 고려하여 키워드의 검출 순서 및 폴더의 배치 순서를 결정할 수도 있고(2200-1), 키워드의 정확률 정보 이외에 사용자의 폴더 선호도 정보를 더 고려하여, 키워드의 검출 순서 및 폴더의 배치 순서를 결정할 수도 있다(2200-2).
도 23은 디바이스가 폴더의 형태를 조절하는 일례를 나타내는 도면이다.
도 23의 2300-1을 참조하면, 디바이스(100)는, 사용자 입력에 기초하여 가족 사진(2310)을 다이나믹 폴더 생성을 위한 기준 컨텐츠로 선택할 수 있다. 본 발명의 일 실시예에 의하면, 디바이스(100)는 가족 사진(2310)을 설명하는 키워드들(2320)을 획득할 수 있다. 예를 들어, 디바이스(100)는 Portrait, Kid, Summer, Park, Fun, Mother, Dad, Group, Smile 등의 키워드들(2320)을 획득할 수 있다. 이때, Portrait의 정확률은 4.00%이고, Kid의 정확률은 3.80%이고, Summer와 Park의 정확률은 3.30%이고, Fun의 정확률은 3.10%이고, Mother의 정확률은 2.80%이고, Dad와 Group의 정확률은 2.40%이고, Smile의 정확률은 2.20%일 수 있다. 디바이스(100)는, 키워드의 정확률 정보에 기초하여, 키워드들(2320)의 검출 순서를 Portrait, Kid, Summer, Park, Fun, Mother, Dad, Group, Smile 순으로 결정할 수 있다.
도 23의 2300-2를 참조하면, 디바이스(100)는, 키워드들(2320) 각각에 대응하는 폴더를 생성하고, 복수의 컨텐츠를 분류할 수 있다. 디바이스(100)는, 컨텐츠의 분류가 완료되는 경우, 폴더들 각각에 대응하는 키워드의 검출 순서에 기초하여, 표시되는 폴더들의 크기를 조절할 수 있다. 예를 들어, 디바이스(100)는, Portrait 폴더의 크기를 가장 크게 표시할 수 있으며, Kid 폴더 및 Summer 폴더를 그 다음으로 크게 표시할 수 있다.
도 23에서는 키워드의 검출 순서에 기초하여 폴더의 사이즈가 조절되는 경우를 예로 들어 설명하였으나, 이에 한정되는 것은 아니다. 본 발명의 일 실시예에 의하면, 디바이스(100)는 각 폴더들에 포함되는 컨텐츠의 수에 따라 폴더의 사이즈를 조절할 수도 있다. 예를 들어, Kid 폴더에 포함된 컨텐츠가 100개이고, Portrait 폴더에 포함된 컨텐츠가 88개인 경우, 디바이스(100)는 Kid 폴더를 Portrait의 폴더보다 크게 표시할 수 있다.
도 24는 본 발명의 일 실시예에 따르는, 디바이스가 새로운 컨텐츠의 선택에 기초하여 복수의 컨텐츠를 재분류하는 방법을 설명하기 위한 순서도이다.
단계 S2410에서, 디바이스(100)는, 복수의 컨텐츠 중 하나의 컨텐츠를 선택할 수 있다. 본 발명의 일 실시예에 의하면, 디바이스(100)는, 사용자 입력에 기초하여 하나의 컨텐츠를 선택할 수 있다. 예를 들어, 디바이스(100)는 컨텐츠를 선택하는 사용자 입력을 수신할 수 있다.
단계 S2420에서, 디바이스(100)는, 선택된 컨텐츠를 설명하는 복수의 키워드 획득할 수 있다. 본 발명의 일 실시예에 의하면, 복수의 키워드는, 선택된 컨텐츠를 표현하는 적어도 둘 이상의 핵심적인 단어나 문구일 수 있다.
예를 들어, 디바이스(100)는, 선택된 컨텐츠의 메타데이터에 복수의 키워드가 기 정의되어 있는 경우, 선택된 컨텐츠의 메타데이터에서 복수의 키워드를 확인(identify)할 수 있다. 또한, 디바이스(100)는, 선택된 컨텐츠의 속성 정보 및 선택된 컨텐츠에 대한 영상 분석 정보 중 적어도 하나를 이용하여, 컨텐츠를 설명하는 복수의 키워드를 검출할 수도 있다.
단계 S2430에서, 디바이스(100)는, 복수의 키워드 중 적어도 둘 이상의 키워드에 대응되는 복수의 폴더를 생성할 수 있다.
본 발명의 일 실시예에 의하면, 디바이스(100)는, 획득된 복수의 키워드 모두에 대응하는 복수의 폴더를 생성할 수 있다. 또한, 디바이스(100)는, 복수의 키워드 중 일부의 키워드에 대응하는 복수의 폴더를 생성할 수도 있다. 한편, 본 발명의 일 실시예에 의하면, 디바이스(100)는, 사용자에 의해 선택된 적어도 둘 이상의 키워드에 대응되는 복수의 폴더를 생성할 수도 있다.
단계 S2440에서, 디바이스(100)는, 복수의 컨텐츠를 분류하여 해당 폴더에 저장할 수 있다. 본 발명의 일 실시예에 의하면, 디바이스(100)는, 복수의 폴더 각각에 대응되는 키워드와 복수의 컨텐츠 각각의 키워드(또는 속성 정보)를 비교한 결과를 이용하여 복수의 컨텐츠와 해당 폴더를 매칭함으로써, 복수의 컨텐츠를 분류할 수 있다.
본 발명의 일 실시예에 의하면, 복수의 컨텐츠를 해당 폴더에 저장한다는 것은, 컨텐츠의 저장 위치를 나타내는 링크 정보를 해당 폴더에 저장하는 것을 의미할 수도 있고, 컨텐츠의 저장 위치를 해당 폴더로 변경하는 것을 의미할 수도 있다.
본 발명의 일 실시예에 의하면, 복수의 폴더의 배치 순서는, 복수의 폴더에 대응하는 키워드들 간의 검출 순서에 기초하여 결정될 수 있다. 또한, 본 발명의 일 실시예에 의하면, 디바이스(100)는, 복수의 폴더의 사이즈를 다양하게 결정할 수 있다. 예를 들어, 디바이스(100)는 각 폴더에 대응하는 키워드의 정확률 또는 컨텐츠의 수에 따라 각 폴더의 사이즈를 다르게 조절할 수 있다.
단계 S2410 내지 단계 S2440은, 도 2의 단계 S210 내지 단계 S240에 대응하므로, 구체적인 설명은 생략하기로 한다.
단계 S2450에서, 디바이스(100)는, 새로운 컨텐츠를 선택하는 입력의 수신 여부를 판단할 수 있다.
디바이스(100)는, 새로운 컨텐츠를 선택하는 입력이 수신되는 경우, 새로운 컨텐츠를 설명하는 새로운 복수의 키워드를 획득할 수 있다. 그리고 디바이스(100)는, 새로운 복수의 키워드에 대응되는 새로운 복수의 폴더를 생성할 수 있다. 이때, 디바이스(100)는, 새로운 복수의 폴더 각각에 대응하는 키워드에 따라 복수의 컨텐츠를 재분류할 수 있다.
본 발명의 일 실시예에 의하면, 디바이스(100)는, 새로운 컨텐츠의 선택에 따라 연속적으로 복수의 컨텐츠를 재분류할 수 있다. 도 25를 참조하여 디바이스(100)가 컨텐츠를 재분류하는 실시예에 대해서 자세히 살펴보기로 한다.
도 25a 내지 도 25e는 디바이스가 새로운 컨텐츠의 선택에 기초하여 복수의 컨텐츠를 재분류하는 일례를 나타내는 도면이다.
도 25a를 참조하면, 사용자는, 강아지가 꽃을 바라보는 제 1 사진(2500)을 검색하고 싶을 수 있다. 이때, 사용자는 강아지와 관련된 다이나믹 폴더를 디바이스(100)에 요청하고 확인할 수 있다. 사용자가 다이나믹 폴더를 통해 제 1 사진(2500)을 검색하는 일례에 대해서 도 25b 내지 도 25e를 참조하여 자세히 살펴보자.
도 25b를 참조하면, 디바이스(100)는, 강아지가 포함된 제 2 사진(2510)을 선택하면서 다이나믹 폴더의 생성을 요청하는 사용자 입력을 수신할 수 있다(2500-1). 다이나믹 폴더의 생성을 요청하는 사용자 입력은 다양할 수 있다. 예를 들어, 사용자는 소정 시간(예컨대, 3초) 이상 제 2 사진(2510)을 터치하거나, 소정 횟수(예컨대, 2회) 이상 제 2 사진(2510)을 터치할 수 있다.
디바이스(100)는, 제 2 사진(2510)을 설명하는 복수의 키워드(2520)를 획득할 수 있다(2500-2). 예를 들어, 디바이스(100)는, Puppy, Room, White, Cute, Animal 등의 키워드들을 획득할 수 있다.
본 발명의 일 실시예에 의하면, 제 2 사진(2510)에 기 정의되어 있는 복수의 키워드(2520)를 추출할 수도 있고, 제 2 사진(2510)의 속성 정보 및 영상 분석 정보 중 적어도 하나를 이용하여 복수의 키워드(2520)를 추출할 수도 있다.
도 25c를 참조하면, 디바이스(100)는, 복수의 키워드(2520) 각각에 대응하는 복수의 폴더를 생성하여 표시할 수 있다(2500-3). 예를 들어, 디바이스(100)는, Puppy 폴더, Room 폴더, White 폴더, Cute 폴더, Animal 폴더를 생성할 수 있다. 디바이스(100)는, 복수의 폴더에 대응하는 키워드와 디바이스(100)에 기 저장된 복수의 컨텐츠의 키워드(예컨대, 컨텐츠에 기 정의된 키워드 또는 속성 정보로부터 검출된 키워드)를 비교한 결과에 기초하여, 복수의 컨텐츠를 해당 폴더에 분류(또는 저장)할 수 있다. 예를 들어, Puppy 폴더에는 강아지와 관련된 이미지들이 저장될 수 있으며, Room 폴더에는 방 안에서 촬영된 이미지들이 저장될 수 있다.
디바이스(100)에 기 저장된 복수의 컨텐츠들의 분류가 완료된 경우, 디바이스(100)는, 복수의 폴더(예컨대, Puppy 폴더, Room 폴더, White 폴더, Cute 폴더, Animal 폴더)를 표시할 수 있다. 이때, 사용자는 제 1 사진(2500)을 포함하고 있을 것 같은 Puppy 폴더(2530)를 선택할 수 있다. 예를 들어, 디바이스(100)는, 복수의 폴더 중 Puppy 폴더(2530)를 선택하는 사용자 입력을 수신할 수 있다.
디바이스(100)는 Puppy 폴더(2530)를 선택하는 사용자 입력에 응답하여, Puppy 폴더(2530)에 포함된 컨텐츠의 목록을 표시할 수 있다(2500-4). 사용자는 Puppy 폴더(2530)에 포함된 컨텐츠 중 강아지가 꽃을 바라보는 제 1 사진(2500)이 존재하는지 확인할 수 있다.
도 25d를 참조하면, 사용자가 Puppy 폴더(2530)에서 제 1 사진(2500)을 찾지 못하는 경우, 사용자는 강아지가 꽃을 물고 있는 제 3 사진(2540)을 새로 선택하면서 다이나믹 폴더 생성을 다시 요청할 수 있다(2500-5). 예를 들어, 사용자는 소정 시간(예컨대, 3초) 이상 제 3 사진(2540)을 터치하거나, 소정 횟수(예컨대, 2회) 이상 제 3 사진(2540)을 터치할 수 있다.
디바이스(100)는, 제 3 사진(2540)을 설명하는 복수의 키워드(2550)를 획득할 수 있다(2500-6). 예를 들어, 디바이스(100)는, Puppy, Flower, Puppy with flower, Outdoor, White, Cute 등의 키워드들을 획득할 수 있다.
본 발명의 일 실시예에 의하면, 제 3 사진(2540)에 기 정의되어 있는 복수의 키워드(2550)를 추출할 수도 있고, 제 3 사진(2550)의 속성 정보 및 영상 분석 정보 중 적어도 하나를 이용하여 복수의 키워드(2550)를 추출할 수도 있다.
도 25e를 참조하면, 디바이스(100)는, 복수의 키워드(2550) 각각에 대응하는 복수의 폴더를 새로 생성하여 표시할 수 있다(2500-7). 예를 들어, 디바이스(100)는, Puppy 폴더, Flower 폴더, Puppy with flower 폴더, Outdoor 폴더, White 폴더, Cute 폴더를 생성할 수 있다. 디바이스(100)는, 복수의 폴더에 대응하는 키워드와 디바이스(100)에 기 저장된 복수의 컨텐츠의 키워드(예컨대, 컨텐츠에 기 정의된 키워드 또는 속성 정보로부터 검출된 키워드)를 비교한 결과에 기초하여, 복수의 컨텐츠를 해당 폴더에 재분류(또는 저장)할 수 있다. 예를 들어, Puppy 폴더에는 강아지와 관련된 이미지들이 저장될 수 있으며, Flower 폴더에는 꽃과 관련된 이미지들이 저장될 수 있다.
디바이스(100)에 기 저장된 복수의 컨텐츠들의 재분류가 완료된 경우, 디바이스(100)는, 복수의 폴더(예컨대, Puppy 폴더, Flower 폴더, Puppy with flower 폴더, Outdoor 폴더, White 폴더, Cute 폴더)를 표시할 수 있다. 이때, 사용자는 제 1 사진(2500)을 포함하고 있을 것 같은 Puppy with flower 폴더(2560)를 선택할 수 있다. 예를 들어, 디바이스(100)는, 복수의 폴더 중 Puppy with flower 폴더(2560)를 선택하는 사용자 입력을 수신할 수 있다.
디바이스(100)는 Puppy with flower 폴더(2560)를 선택하는 사용자 입력에 응답하여, Puppy with flower 폴더(2560)에 포함된 컨텐츠의 목록을 표시할 수 있다(2500-8). 사용자는 Puppy with flower 폴더(2560)에 포함된 컨텐츠 중 강아지가 꽃을 바라보는 제 1 사진(2500)이 존재하는 것을 확인할 수 있다.
도 26은 본 발명의 일 실시예에 따르는, 디바이스가 SNS 서버에 저장된 컨텐츠로부터 획득되는 복수의 키워드에 기초하여, 복수의 컨텐츠를 분류하는 방법을 설명하기 위한 순서도이다.
단계 S2600에서, SNS 서버(2600)는, 복수의 컨텐츠를 저장할 수 있다. SNS 서버(2600)는, 네트워크로 연결되는 디바이스에 소셜 네트워킹 서비스를 제공하는 서버일 수 있다. 소셜 네트워킹 서비스는, 온라인상에서 이용자들이 인맥을 새롭게 쌓거나 기존 인맥과의 관계를 강화할 수 있게 하는 서비스를 의미한다.
본 발명의 일 실시예에 의하면, SNS 서버(2600)는, 여러 사용자의 디바이스들로부터 업로드되는 컨텐츠를 저장할 수 있다.
단계 S2610에서, 디바이스(100)는, SNS 서버(2600)에 로그인할 수 있다. 로그인은, SNS 서버(2600))에 저장된 컨텐츠에 대한 접근 권한을 획득하는 절차일 수 있다. 예를 들어, 디바이스(100)는, 식별 정보(예컨대, 계정 정보) 및 인증 정보(예컨대, 비밀번호)를 SNS 서버(2600)에 전송하면서 인증을 요청을 할 수 있다. 인증에 성공한 경우, 디바이스(100)는 SNS 서버(2600))에 저장된 컨텐츠에 접근할 수 있다.
단계 S2620에서, SNS 서버(2600)는, SNS 서버(2600)에 저장된 컨텐츠에 관한 정보를 디바이스(100)로 전송할 수 있다. 예를 들어, SNS 서버(2600)는, 저장된 컨텐츠의 목록, 컨텐츠의 게시자, 컨텐츠에 대한 코멘트, 컨텐츠에 대한 추천 정보 등을 디바이스(100)로 전송할 수 있다.
단계 S2620에서, 디바이스(100)는, SNS 서버(2600)에 저장된 컨텐츠에 관한 정보를 표시할 수 있다. 예를 들어, 디바이스(100)는, SNS 서버(2600)로부터 수신된 컨텐츠의 목록, 컨텐츠의 게시자, 컨텐츠에 대한 코멘트, 컨텐츠에 대한 추천 정보 등을 표시할 수 있다.
단계 S2630에서, 디바이스(100)는, 컨텐츠를 선택하는 입력을 수신할 수 있다. 예를 들어, 디바이스(100)는, SNS 서버(2600)에 저장된 복수의 컨텐츠 중 하나의 컨텐츠를 선택하는 사용자 입력을 수신할 수도 있고, SNS 서버(2600)에 저장된 복수의 컨텐츠 중 적어도 둘 이상의 컨텐츠를 선택하는 사용자 입력을 수신할 수도 있다.
본 발명의 일 실시예에 의하면, 컨텐츠를 선택하는 사용자 입력은 다양할 수 있다. 사용자 입력은, 키 입력, 터치 입력, 모션 입력, 벤딩 입력, 음성 입력, 다중 입력 등을 포함할 수 있다. 예를 들어, 디바이스(100)는, SNS 서버(2600)에 저장된 복수의 컨텐츠 중 특정 컨텐츠를 소정 시간 이상(예컨대, 2초 이상) 터치하거나 소정 횟수 이상 터치하는 입력(예컨대, 더블 탭)을 수신할 수 있다.
단계 S2640에서, 디바이스(100)는, 선택된 컨텐츠와 관련된 속성 정보를 SNS 서버(2600)에 요청할 수 있다.
본 발명의 일 실시예에 의하면, 속성(attribute) 정보는 컨텐츠의 특성을 나타내는 정보로서, 예를 들어, 컨텐츠의 형식에 관한 정보, 컨텐츠의 크기에 관한 정보, 컨텐츠에 포함된 객체에 관한 정보(예컨대, 객체의 종류, 명칭, 객체의 수 등), 컨텐츠의 생성 위치 정보, 컨텐츠의 생성 시기 정보, 컨텐츠와 관련된 이벤트 정보, 컨텐츠가 생성된 디바이스에 관한 정보, 컨텐츠의 출처 정보, 사용자에 의해 추가된 주석(annotation) 정보 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, SNS 서버(200)에 저장된 컨텐츠와 관련된 속성 정보는, 게시자 정보(예컨대, 계정 정보), 디바이스(100)의 사용자와 게시자 간의 관계 정보, 게시물의 타이틀, 게시물에 대한 코멘트 정보 중 적어도 하나를 더 포함할 수 있다.
단계 S2650에서, SNS 서버(2600)는, 선택된 컨텐츠와 관련된 속성 정보를 추출할 수 있다. 단계 S2660에서, SNS 서버(2600)는, 선택된 컨텐츠와 관련된 속성 정보를 디바이스(100)로 송신할 수 있다.
예를 들어, SNS 서버(200)는, 컨텐츠의 형식에 관한 정보, 컨텐츠의 크기에 관한 정보, 컨텐츠에 포함된 객체에 관한 정보(예컨대, 객체의 종류, 명칭, 객체의 수 등), 컨텐츠의 생성 위치 정보, 컨텐츠의 생성 시기 정보, 컨텐츠와 관련된 이벤트 정보, 컨텐츠가 생성된 디바이스에 관한 정보, 게시자 정보(예컨대, 계정 정보), 디바이스(100)의 사용자와 게시자 간의 관계 정보, 게시물의 타이틀, 게시물에 대한 코멘트 정보 등을 추출하여, 디바이스(100)로 전송할 수 있다.
단계 S2670에서, 디바이스(100)는, 선택된 컨텐츠를 설명하는 복수의 키워드를 획득할 수 있다. 예를 들어, 디바이스(100)는, SNS 서버(2600)로부터 수신된 속성 정보를 이용하여, 선택된 컨텐츠를 설명하는 복수의 키워드를 검출할 수 있다.
단계 S2680에서, 디바이스(100)는, 복수의 키워드 중 적어도 둘 이상의 키워드에 대응되는 복수의 폴더를 생성할 수 있다.
본 발명의 일 실시예에 의하면, 디바이스(100)는, 획득된 복수의 키워드 모두에 대응하는 복수의 폴더를 생성할 수 있다. 또한, 디바이스(100)는, 복수의 키워드 중 일부의 키워드에 대응하는 복수의 폴더를 생성할 수도 있다.
한편, 본 발명의 일 실시예에 의하면, 디바이스(100)는, 사용자에 의해 선택된 적어도 둘 이상의 키워드에 대응되는 복수의 폴더를 생성할 수도 있다. 예를 들어, 디바이스(100)는, 획득된 복수의 키워드의 목록을 화면에 표시하고, 복수의 키워드 중에서 일부 키워드들을 선택하는 사용자 입력을 수신할 수 있다. 이때, 디바이스(100)는, 일부 키워드들에 대응하는 복수의 폴더를 생성할 수 있다.
본 발명의 일 실시예에 의하면, 디바이스(100)는, 폴더에 대응하는 키워드를 해당 폴더의 명칭으로 이용할 수 있다. 본 발명의 일 실시예에 의하면, 복수의 폴더의 배치 순서는, 복수의 폴더에 대응하는 키워드들 간의 검출 순서에 기초하여 결정될 수 있다. 또한, 본 발명의 일 실시예에 의하면, 디바이스(100)는, 복수의 폴더의 사이즈를 다양하게 결정할 수 있다.
단계 S2690에서, 디바이스(100)는, 디바이스(100)에 저장된 복수의 컨텐츠를 복수의 폴더 각각에 대응되는 키워드에 따라 분류할 수 있다.
본 발명의 일 실시예에 의하면, 디바이스(100)는, 복수의 폴더 각각에 대응되는 키워드와 복수의 컨텐츠 각각의 키워드를 비교한 결과를 이용하여, 복수의 컨텐츠와 해당 폴더를 매칭할 수 있다. 본 발명의 일 실시예에 의하면, 디바이스(100)는, 복수의 폴더 각각에 대응되는 키워드와 복수의 컨텐츠 각각의 속성 정보를 비교한 결과를 이용하여, 복수의 컨텐츠와 해당 폴더를 매칭할 수도 있다.
단계 S2680 및 단계 S2690은, 도 2의 단계 S230 및 단계 S240에 대응하므로, 구체적인 설명은 생략하기로 한다. 도 27a 내지 27c를 참조하여, 디바이스(100)가 SNS 서버(2600)에 저장된 컨텐츠로부터 획득되는 복수의 키워드에 기반하여, 복수의 컨텐츠를 분류하는 실시예에 대해서 구체적으로 살펴보기로 한다.
도 27a 내지 27c는 디바이스가 SNS 서버에 저장된 컨텐츠로부터 획득되는 복수의 키워드에 기초하여, 복수의 컨텐츠를 분류하는 일례를 설명하기 위한 도면이다.
도 27a를 참조하면, 디바이스(100)는, 컨텐츠 관리 애플리케이션을 실행하고, 컨텐츠 관리 애플리케이션의 실행 창을 화면에 표시할 수 있다(2700-1). 이때, 디바이스(100)는, 컨텐츠 관리 애플리케이션의 실행 창을 통해서, 컨텐츠를 분류하기 위한 메뉴들을 포함하는 메뉴 창(2710)을 제공할 수 있다. 디바이스(100)는, 메뉴 창(2710)에서 다이나믹 폴더 메뉴(2711)를 선택 받을 수 있다.
본 발명의 일 실시예에 의하면, 디바이스(100)는, 다이나믹 폴더 메뉴(2711)를 선택하는 입력에 응답하여, 다이나믹 폴더를 생성하기 위한 기준 컨텐츠의 종류를 선택하는 제 1 선택창(2720)을 제공할 수 있다(2700-2). 예를 들어, 디바이스(100)는, 제 1 선택창(2720)을 이용하여, 사진 앨범에서 이미지를 선택할 수 있는 사진 앨범 메뉴, 카메라를 통해 캡쳐된 이미지를 선택할 수 있는 카메라 메뉴, SNS 서버(2600)에 저장된 컨텐츠를 선택할 수 있는 SNS 메뉴(2721) 등을 제공할 수 있다. 디바이스(100)는 제 1 선택창(2720)에서 SNS 메뉴(2721)를 선택하는 입력을 수신할 수 있다.
본 발명의 일 실시예에 의하면, 디바이스(100)는, SNS 메뉴(2721)를 선택하는 입력에 응답하여, SNS의 종류를 선택할 수 있는 제 2 선택창(2730)을 제공할 수 있다(2700-3). 제 2 선택창(2730)에서 사용자가 제 1 SNS(2731)를 선택하는 경우, 디바이스(100)는, 제 1 SNS 서버(2700)에 연결 요청할 수 있다. 예를 들어, 디바이스(100)는, 계정 정보와 인증 정보를 제 1 SNS 서버(2700)로 전송하면, 로그인할 수 있다.
본 발명의 일 실시예에 의하면, 메뉴 창(2710), 제 1 선택창(2720), 제 2 선택 창(2730)은 GUI(Graphical User Interface)의 일종일 수 있다.
도 27b를 참조하면, 디바이스(100)는, 제 1 SNS 서버(2700)에 저장된 컨텐츠 중에서 제 1 이미지(2740)를 선택하는 입력 및 제 1 이미지(2740)에 기반하여 다이나믹 폴더의 생성을 요청하는 입력을 수신할 수 있다(2700-4). 예를 들어, 사용자는, 친구가 제 1 SNS 서버(2700)에 업로드한 졸업식에서 찍은 제 1 이미지(2740)와 관련된 복수의 이미지를 검색하고 싶은 경우, 제 1 이미지(2740)를 소정 시간(예컨대, 3초) 이상 터치할 수 있다. 이때, 디바이스(100)는, 제 1 SNS 서버(2700)에 제 1 이미지(2740)에 관한 정보를 요청할 수 있다.
제 1 SNS 서버(2700)는 제 1 이미지(2740)의 메타데이터를 확인하고, 제 1 이미지(2740)의 기본 속성 정보(예컨대, 객체: Sunny, Kim, Bae, Lee, Goo, 장소: Photo Studio, 이벤트: Graduation, 시간: February 등)를 디바이스(100)로 전송할 수 있다. 또한, 제 1 SNS 서버(2700)는 제 1 이미지(2740)를 업로드한 친구에 관한 정보(예컨대, 친구 이름: Sunny, 관계: friend), 제 1 이미지(2740)와 함께 게시한 코멘트에 관한 정보(예컨대, With Kim, Lee, Goo, and, Bae 등)을 포함하는 추가 데이터(2750)를 디바이스(100)로 전송할 수도 있다(2700-5).
도 27c를 참조하면, 디바이스(100)는, 제 1 SNS 서버(2700)로부터 수신된 제 1 이미지(2740)에 관한 정보를 이용하여, 제 1 이미지(2740)를 설명하는 복수의 키워드(2760)를 검출할 수 있다(2700-6). 예를 들어, 디바이스(100)는, Sunny, Friend, Graduation, Photo Studio, Group, Kim, Bae, Lee, Exciting 등의 키워드들을 검출할 수 있다.
디바이스(100)는 검출된 키워드들에 대응하는 복수의 폴더를 생성할 수 있다. 예를 들어, 디바이스(100)는, Sunny 폴더, Friend 폴더, Graduation 폴더, Photo Studio 폴더, Group 폴더 등을 생성할 수 있다.
이때, 디바이스(100)는 각 폴더의 키워드에 기초하여, 디바이스(100)에 저장된 복수의 컨텐츠를 분류할 수 있다. 예를 들어, Sunny 폴더에는 Sunny와 함께 찍은 사진 이미지들이 포함될 수 있고, Graduation 폴더에는 졸업식과 관련된 사진 이미지들이 포함될 수 있고, Photo Studio 폴더에는 포토 스튜디오에서 촬영된 사진 이미지들이 포함될 수 있다.
도 28은 클라우드 스토리지에 저장된 컨텐츠가 선택되는 일례를 나타내는 도면이다.
도 28의 2800-1을 참조하면, 디바이스(100)는, 클라우드 스토리지에 저장된 컨텐츠를 선택할 수 있는 Cloud storage 메뉴(2800)를 제 1 선택창(2720)을 통해 제공할 수도 있다. 디바이스(100)는, 제 1 선택창(2720)에서 Cloud storage 메뉴(2800)를 선택하는 입력을 수신할 수 있다.
도 28의 2800-2를 참조하면, 디바이스(100)는, Cloud storage 메뉴(2800)를 선택하는 입력에 응답하여, Cloud storage에 저장된 컨텐츠의 목록(2810)을 표시할 수 있다. 디바이스(100)는, Cloud storage에 저장된 컨텐츠의 목록(2810) 중에서 특정 컨텐츠(2820)를 선택하는 입력을 수신할 수 있다. 이 경우, 디바이스(100)는 특정 컨텐츠(2820)를 설명하는 복수의 키워드를 획득하고, 복수의 키워드에 대응하는 복수의 폴더를 생성함으로써, 컨텐츠를 분류할 수 있다.
도 29는 본 발명의 일 실시예에 따르는, 디바이스가 선호 폴더에 관한 정보를 저장하는 방법을 설명하기 위한 순서도이다.
단계 S2910에서, 디바이스(100)는, 복수의 폴더를 표시할 수 있다. 예를 들어, 디바이스(100)는, 사용자에 의해 선택된 특정 컨텐츠에 기반하여 생성되는 복수의 폴더를 표시할 수 있다.
단계 S2920에서, 디바이스(100)는, 복수의 폴더 중 제 1 폴더를 선호 폴더로 지정하는 입력을 수신할 수 있다. 본 명세서에서 선호 폴더로 지정한다는 것은, 사용자가 다시 확인하고 싶은 폴더를 즐겨 찾기 목록에 추가하는 것을 의미할 수 있다.
단계 S2930에서, 디바이스(100)는, 제 1 폴더를 선호 폴더로 지정하는 입력에 응답하여, 제 1 폴더에 관한 정보를 선호 폴더 목록에 추가할 수 있다. 예를 들어, 디바이스(100)는, 제 1 폴더의 식별 정보(예컨대, 제 1 폴더의 명칭)를 선호 폴더 목록에 추가하고, 제 1 폴더에 포함된 복수의 컨텐츠 각각의 링크 정보를 메모리에 저장하여 관리할 수 있다. 선호 폴더 목록은 경우에 따라서 즐겨 찾기 목록으로 표현될 수도 있다.
이후, 사용자가 선호 폴더 목록(즐겨 찾기 목록)에서 제 1 폴더를 선택하는 경우, 디바이스(100)는, 제 1 폴더에 포함된 컨텐츠의 링크 정보를 확인하고, 제 1 폴더에 포함된 컨텐츠의 목록을 제공할 수 있다.
본 발명의 일 실시예에 의하면, 특정 컨텐츠에 기반하여 생성되는 복수의 폴더는 일시적으로 존재하나, 사용자가 복수의 폴더 중 제 1 폴더를 선호 폴더로 지정하는 경우, 제 1 폴더는 사라지지 않고 유지될 수 있다. 따라서, 사용자는, 특정 컨텐츠를 선택하여 제 1 폴더를 다시 생성하지 않더라도, 선호 폴더 목록(즐겨 찾기 목록)에서 제 1 폴더를 확인할 수 있다.
도 30은 디바이스가 선호 폴더에 관한 정보를 저장하는 일례를 나타내는 도면이다.
도 30의 3000-1을 참조하면, 디바이스(100)는, 사용자에 의해 선택된 특정 컨텐츠에 기반하여 복수의 폴더를 표시할 수 있다. 예를 들어, 집에서 분홍색 꽃을 물고 있는 강아지의 모습을 캡쳐한 사진 이미지가 선택된 경우, 디바이스(100)는, Puppy 폴더(3010), Home 폴더, 2014 폴더, Pink 폴더, Flower 폴더, Present 폴더 등을 표시할 수 있다.
이때, 디바이스(100)는 복수의 폴더 중에서 Puppy 폴더(3010)를 선택하는 사용자 입력을 수신할 수 있다. 디바이스(100)는 사용자 입력에 응답하여, 폴더 탐색 메뉴, 즐겨 찾기 추가 메뉴(3021), 폴더 전송 메뉴를 포함하는 메뉴 창(3020)을 제공할 수 있다.
사용자가 메뉴 창(3020)에서 즐겨 찾기 추가 메뉴(3021)를 선택하는 경우, 디바이스(100)는, Puppy 폴더(3010)를 선호 폴더로 지정하는 입력을 감지할 수 있다. 따라서, 디바이스(100)는, Puppy 폴더(3010)의 식별 정보(예컨대, Puppy)를 즐겨 찾기 목록에 추가하고, Puppy 폴더(3010)에 포함된 강아지와 관련된 이미지들의 링크 정보(예컨대, 저장 위치 정보)를 Puppy 폴더(3010)의 식별 정보와 매핑하여 저장할 수 있다.
도 30의 3000-2를 참조하면, 디바이스(100)는, 사용자 입력에 기초하여 즐겨 찾기 목록(3030)을 표시할 수 있다. 이 경우, 사용자는 즐겨 찾기 목록(3030)에 추가된 Puppy 폴더(3010)를 확인할 수 있다. 즐겨 찾기 목록(3030)에서 사용자가 Puppy 폴더(3010)를 선택하는 경우, 디바이스(100)는 Puppy 폴더(3010)에 포함된 적어도 하나의 컨텐츠를 표시할 수 있다.
도 31은 본 발명의 일 실시예에 따르는, 디바이스가 다이나믹 폴더를 외부 장치와 공유하는 방법을 설명하기 위한 순서도이다.
단계 S3110에서, 디바이스(100)는, 복수의 폴더를 표시할 수 있다. 예를 들어, 디바이스(100)는, 사용자에 의해 선택된 특정 컨텐츠에 기반하여 생성되는 복수의 폴더를 표시할 수 있다.
단계 S3120에서, 디바이스(100)는, 복수의 폴더 중 제 1 폴더에 대한 공유를 요청하는 입력을 수신할 수 있다. 제 1 폴더에 대한 공유는, 제 1 폴더에 포함된 적어도 하나의 컨텐츠들에 대한 공유를 의미할 수 있다.
본 발명의 일 실시예에 의하면, 제 1 폴더에 대한 공유를 요청하는 입력은 다양할 수 있다. 예를 들어, 제 1 폴더에 대한 공유를 요청하는 입력은 키 입력, 음성 입력, 터치 입력, 밴딩 입력 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
본 발명의 일 실시예에 의하면, 디바이스(100)는, 제 1 폴더를 공유하기 위한 외부 장치에 대한 정보를 사용자로부터 수신할 수 있다. 여기서, 외부 장치는 디바이스(100)와 연결된 클라우드 서버, SNS 서버, 동일 사용자의 다른 디바이스, 타 사용자의 디바이스, 및 웨어러블 디바이스 중 적어도 하나일 수 있으나, 이에 한정되는 것은 아니다.
예를 들어, 사용자는, 제 1 폴더에 포함된 전체 컨텐츠를 업로드하기 위한 클라우드 스토리지의 계정 정보, 사용자의 SNS 계정 정보, 제 1 폴더에 포함된 전체 컨텐츠를 전송하기 위한 친구 디바이스의 식별 정보(예컨대, 전화 번호 정보, MAC 주소 정보 등), 친구의 이메일 계정 정보 등을 입력할 수 있다.
단계 S3130에서, 디바이스(100)는, 제 1 폴더에 포함된 적어도 하나의 컨텐츠를 외부 장치와 공유할 수 있다.
예를 들어, 디바이스(100)는, 제 1 폴더에 포함된 적어도 하나의 컨텐츠의 링크 정보(예컨대, 저장 위치 정보, URL 등)를 외부 장치로 전송할 수 있다. 또한, 디바이스(100)는, 제 1 폴더에 포함된 적어도 하나의 컨텐츠를 외부 장치로 전송할 수도 있다.
본 발명의 일 실시예에 의하면, 디바이스(100)는, 제 1 폴더에 포함된 적어도 하나의 컨텐츠를 특정 서버에 업로드하고, 특정 서버에 접근할 수 있는 권한을 외부 장치에 부여할 수도 있다.
도 32는 디바이스가 다이나믹 폴더를 외부 장치와 공유하는 일례를 설명하기 위한 도면이다.
도 32의 3200-1을 참조하면, 디바이스(100)는, 사용자에 의해 선택된 특정 컨텐츠에 기반하여 복수의 폴더를 표시할 수 있다. 예를 들어, 집에서 분홍색 꽃을 물고 있는 강아지의 모습을 캡쳐한 사진 이미지가 선택된 경우, 디바이스(100)는, Puppy 폴더(3010), Home 폴더, 2014 폴더, Pink 폴더, Flower 폴더, Present 폴더 등을 표시할 수 있다.
이때, 디바이스(100)는 복수의 폴더 중에서 Puppy 폴더(3210)를 선택하는 사용자 입력을 수신할 수 있다. 예를 들어, 디바이스(100)는, Puppy 폴더(3210)를 소정 시간(예컨대, 2초) 이상 터치하는 입력을 수신할 수 있다. 디바이스(100)는 사용자 입력에 응답하여, 폴더 탐색 메뉴, 즐겨 찾기 추가 메뉴, 폴더 전송 메뉴(3221)를 포함하는 메뉴 창(3220)을 제공할 수 있다.
도 32의 3200-2를 참조하면, 사용자가 메뉴 창(3220)에서 폴더 전송 메뉴(3221)를 선택하는 경우, 디바이스(100)는, 수신 장치를 선택할 수 있는 선택창(3230)을 제공할 수 있다. 디바이스(100)는, 선택창(3230)에서 연락처(Contact)(3231)를 선택하는 입력을 수신할 수 있다. 사용자는 연락처(Contact)에서 특정 친구를 선택할 수 있다. 이때, 디바이스(100)는, 특정 친구의 디바이스와 Puppy 폴더(3210)를 공유할 수 있다.
예를 들어, 디바이스(100)는 특정 친구의 디바이스로 Puppy 폴더(3210)에 포함된 컨텐츠를 전송할 수 있다. 또한, 디바이스(100)는 특정 친구의 디바이스로 Puppy 폴더(3210)에 포함된 컨텐츠의 링크 정보를 전송할 수도 있다.
본 발명의 일 실시예에 의하면, 디바이스(100)는, 이메일 또는 문자 메시지를 통해 특정 친구의 디바이스로 Puppy 폴더(3210)에 포함된 컨텐츠(또는 컨텐츠의 링크 정보)를 전송할 수 있다.
도 33은 본 발명의 일 실시예에 따르는, 컨텐츠 관리 시스템을 설명하기 위한 도면이다.
도 33에 도시된 바와 같이, 본 발명의 일 실시예에 따른 컨텐츠 관리 시스템은 디바이스(100) 및 클라우드 서버(200)를 포함할 수 있다. 그러나 도시된 구성 요소보다 많은 구성 요소에 의해 컨텐츠 관리 시스템이 구현될 수도 있고, 도시된 구성 요소보다 적은 구성 요소에 의해 컨텐츠 관리 시스템이 구현될 수도 있다.
본 발명의 일 실시예에 따른 디바이스(100)는 다양한 형태로 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 디바이스(100)는, 데스크톱 컴퓨터, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 태블릿 PC, 전자북 단말기, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어, 디지털 카메라, IPTV(Internet Protocol Television), DTV(Digital Television), CE 기기(예컨대, 디스플레이 장치를 갖는 냉장고, 에이컨 등) 중 하나일 수 있으나, 이에 한정되는 것은 아니다. 본 명세서에서 기술되는 디바이스(100)는 사용자에 의해 착용될 수 있는 장치(wearable device)일 수도 있다. 예를 들어, 본 발명의 일 실시예에 따른 디바이스(100)는 손목 시계, 안경, 반지, 팔찌, 목걸이 중 적어도 하나일 수 있다.
디바이스(100)에 대한 설명은 도 1b의 설명 부분과 일부 중복되므로, 디바이스(100)에 대한 구체적인 설명은 생략하기로 한다. 이하에서는 설명의 편의상 디바이스(100)가 제 1 디바이스, 제 2 디바이스, …, 및 제 N 디바이스 중 하나인 경우를 예로 들어 설명하기로 한다.
클라우드 서버(200)는, 디바이스(100)와 통신 연결될 수 있다. 예를 들어, 클라우드 서버(200)는, 디바이스(100)와 계정 정보를 통해 연결될 수 있다.
본 발명의 일 실시예에 의하면, 클라우드 서버(200)는, 디바이스(100)와 데이터를 송수신할 수 있다. 예를 들어, 디바이스(100)는, 클라우드 서버(200)에 적어도 하나의 컨텐츠를 업로드할 수 있다. 또한, 디바이스(100)는, 클라우드 서버(200)로부터 컨텐츠에 대한 속성 정보, 키워드 정보, 컨텍스트 정보 등을 수신할 수도 있다.
본 발명의 일 실시예에 따른 클라우드 서버(200)는 인텔리젼스 엔진을 포함할 수 있으며, 클라우드 서버(200)는, 디바이스(100)에서 수집되는 컨텐츠를 인텔리젼스 엔진을 통하여 분석할 수 있다. 예를 들어, 클라우드 서버(200)는, 컨텐츠에 대한 속성 정보로부터 키워드를 검출할 수도 있고, 컨텐츠에 대한 영상 처를 통해 영상 분석 정보를 획득할 수도 있다. 또한, 클라우드 서버(200)는, 디바이스(100)에서 발생하는 이벤트 정보를 분석하여 사용자의 상태, 디바이스(100)의 상황 등을 추론할 수도 있다.
이하에서는, 클라우드 서버(200)가, 사용자에 의해 선택된 특정 컨텐츠에 기반하여 클라우드 서버(200)에 저장된 복수의 컨텐츠를 분류하는 방법에 대해서 도 34를 참조하여 자세히 살펴보기로 한다.
도 34는 본 발명의 일 실시예에 따르는, 클라우드 서버의 컨텐츠 분류 방법을 설명하기 위한 순서도이다.
단계 S3400에서, 디바이스(100)는 클라우드 서버(200)와 연결될 수 있다. 예를 들어, 디바이스(100)는, 식별 정보(예컨대, 계정 정보) 및 인증 정보(예컨대, 비밀번호)를 클라우드 서버(200)에 전송하면서 연결을 요청을 할 수 있다. 클라우드 서버(200)는, 디바이스(100)의 식별 정보(예컨대, 계정 정보) 및 인증 정보(예컨대, 비밀번호)를 기 등록된 디바이스 정보와 비교할 수 있다. 디바이스(100)의 식별 정보 (예컨대, 계정 정보) 및 인증 정보(예컨대, 비밀번호)가 기 등록된 디바이스 정보에 존재하는 경우, 디바이스(100)는 클라우드 서버(200)에 연결될 수 있다. 이때, 디바이스(100)는 클라우드 서버(200)에 컨텐츠를 업로드하거나, 클라우드 서버(200)에 저장된 컨텐츠에 접근할 수 있다.
단계 S3410에서, 클라우드 서버(200)는, 복수의 컨텐츠를 저장할 수 있다.
예를 들어, 클라우드 서버(200)는, 디바이스(100)에서 업로드된 컨텐츠를 저장할 수 있다. 이때, 클라우드 서버(200)는 디바이스(100)의 식별 정보와 컨텐츠를 매핑하여 저장할 수 있다.
단계 S3420에서, 클라우드 서버(200)는, 클라우드 서버(200)에 저장된 컨텐츠 목록을 디바이스(100)로 전송할 수 있다. 예를 들어, 디바이스(100)는, 특정 계정을 통해 클라우드 서버(200)와 연결되는 경우, 클라우드 서버(200)에 컨텐츠의 목록을 요청하여 수신할 수 있다.
단계 S3430에서, 디바이스(100)는, 컨텐츠를 선택하는 입력을 수신할 수 있다. 예를 들어, 디바이스(100)는, 컨텐츠의 목록을 표시하고, 컨테츠의 목록에서 하나의 컨텐츠를 선택하는 사용자 입력을 수신할 수도 있고, 컨텐츠의 목록에서 적어도 둘 이상의 컨텐츠를 선택하는 사용자 입력을 수신할 수도 있다.
본 발명의 일 실시예에 의하면, 컨텐츠를 선택하는 사용자 입력은 다양할 수 있다. 사용자 입력은, 키 입력, 터치 입력, 모션 입력, 벤딩 입력, 음성 입력, 다중 입력 등을 포함할 수 있다. 예를 들어, 디바이스(100)는, 클라우드 서버(200)에 저장된 복수의 컨텐츠 중 특정 컨텐츠를 소정 시간 이상(예컨대, 2초 이상) 터치하거나 소정 횟수 이상 터치하는 입력(예컨대, 더블 탭)을 수신할 수 있다.
단계 S3440에서, 디바이스(100)는, 선택된 컨텐츠에 기반한 폴더 생성 요청을 클라우드 서버(200)로 송신할 수 있다. 예를 들어, 디바이스(100)는, 선택된 컨텐츠의 식별 정보(예컨대, 컨텐츠의 명, 인덱스 등)를 클라우드 서버(200)로 전송할 수 있다. 본 명세서에서 폴더 생성을 요청하는 것은, 클라우드 서버(200)에 저장된 복수의 컨텐츠의 분류를 요청하는 것을 포함할 수 있다.
단계 S3450에서, 클라우드 서버(200)는, 컨텐츠를 설명하는 복수의 키워드를 획득할 수 있다. 본 발명의 일 실시예에 의하면, 복수의 키워드는, 선택된 컨텐츠를 표현하는 적어도 둘 이상의 핵심적인 단어나 문구일 수 있다.
예를 들어, 클라우드 서버(200)는, 선택된 컨텐츠의 메타데이터에 복수의 키워드가 기 정의되어 있는 경우, 선택된 컨텐츠의 메타데이터에서 복수의 키워드를 확인(identify)할 수 있다. 또한, 클라우드 서버(200)는, 선택된 컨텐츠의 속성 정보 및 선택된 컨텐츠에 대한 영상 분석 정보 중 적어도 하나를 이용하여, 컨텐츠를 설명하는 복수의 키워드를 검출할 수도 있다.
단계 S3460에서, 클라우드 서버(200)는, 적어도 둘 이상의 키워드에 대응되는 복수의 폴더를 생성할 수 있다.
본 발명의 일 실시예에 의하면, 클라우드 서버(200)는, 획득된 복수의 키워드 모두에 대응하는 복수의 폴더를 생성할 수 있다. 또한, 클라우드 서버(200)는, 복수의 키워드 중 일부의 키워드에 대응하는 복수의 폴더를 생성할 수도 있다.
예를 들어, 생성 가능한 폴더의 수가 기 설정되어 있는 경우, 클라우드 서버(200)는, 기 설정된 수만큼의 폴더를 생성할 수 있다. 만일, 생성 가능한 폴더의 수가 4개로 설정되어 있는 경우, 클라우드 서버(200)는, 획득된 10개의 키워드 중 4개의 키워드를 이용하여 4개의 폴더를 생성할 수 있다. 이때, 클라우드 서버(200)는, 키워드들 간의 검출 순서에 따라 소정 수의 폴더를 생성할 수 있다. 본 발명의 일 실시예에 의하면, 키워드들 간의 검출 순서는, 키워드의 정확률 및 사용자의 폴더 선호도 정보 중 적어도 하나에 기초하여 결정될 수 있다.
본 발명의 일 실시예에 의하면, 클라우드 서버(200)는, 폴더에 대응하는 키워드를 해당 폴더의 명칭으로 이용할 수 있다.
본 발명의 일 실시예에 의하면, 복수의 폴더의 배치 순서는, 복수의 폴더에 대응하는 키워드들 간의 검출 순서에 기초하여 결정될 수 있다. 또한, 본 발명의 일 실시예에 의하면, 클라우드 서버(200)는, 복수의 폴더의 사이즈를 다양하게 결정할 수 있다. 예를 들어, 클라우드 서버(200)는 각 폴더에 대응하는 키워드의 정확률에 따라 각 폴더의 사이즈를 다르게 조절할 수 있고, 각 폴더에 포함된 컨텐츠의 수에 따라 각 폴더의 사이즈를 다르게 조절할 수도 있다.
단계 S3470에서, 클라우드 서버(200)는, 복수의 컨텐츠를 분류하여 해당 폴더에 저장할 수 있다.
본 발명의 일 실시예에 의하면, 클라우드 서버(200)는, 복수의 폴더 각각에 대응되는 키워드와 복수의 컨텐츠 각각의 키워드를 비교한 결과를 이용하여, 복수의 컨텐츠와 해당 폴더를 매칭할 수 있다. 예를 들어, 제 1 컨텐츠가, 제 1 폴더에 대응되는 제 1 키워드(예컨대, dog)와 동일한 키워드(예컨대, dog) 또는 제 1 키워드와 유사한 키워드(예컨대, puppy)를 가지는 경우, 클라우드 서버(200)는 제 1 컨텐츠와 제 1 폴더를 매칭할 수 있다.
본 발명의 일 실시예에 의하면, 클라우드 서버(200)는, 복수의 폴더 각각에 대응되는 키워드와 복수의 컨텐츠 각각의 속성 정보를 비교한 결과를 이용하여, 복수의 컨텐츠와 해당 폴더를 매칭할 수도 있다. 예를 들어, 제 1 컨텐츠가, 제 1 폴더에 대응되는 제 1 키워드(예컨대, 프랑스)와 동일한 속성 정보(장소: 프랑스) 또는 유사한 속성 정보(장소: 에펠탑)를 가지는 경우, 클라우드 서버(200)는 제 1 컨텐츠와 제 1 폴더를 매칭할 수 있다.
이때, 본 발명의 일 실시예에 의하면, 클라우드 서버(200)는 워드넷(계층적 어휘 참조 체계), 온톨로지 등을 이용하여, 복수의 폴더 각각에 대응되는 키워드와 복수의 컨텐츠 각각의 키워드(또는 속성 정보) 간의 동일/유사 여부를 판단할 수 있다.
본 발명의 일 실시예에 의하면, 클라우드 서버(200)는, 컨텐츠의 저장 위치를 나타내는 링크 정보를 해당 폴더에 저장할 수도 있고, 컨텐츠 자체를 해당 폴더로 이동시켜 저장할 수도 있다.
단계 S3480에서, 클라우드 서버(200)는, 복수의 컨텐츠가 분류된 복수의 폴더에 관한 정보를 디바이스(100)로 송신할 수 있다.
단계 S3490에서, 디바이스(100)는, 복수의 컨텐츠가 분류된 복수의 폴더를 표시할 수 있다.
본 발명의 일 실시예에 의하면, 복수의 폴더는 다양한 형태의 이미지로 표현될 수 있다. 예를 들어, 복수의 폴더 각각은, 파일 폴더 아이콘 모양일 수도 있고, 포토 앨범 모양일 수도 있으나, 이에 한정되는 것은 아니다.
또한, 본 발명의 일 실시예에 의하면, 복수의 폴더 각각은, 폴더 안에 저장되어 있는 컨텐츠의 섬네일 이미지들을 결합한 결합 이미지 형태로 표현될 수 있다. 복수의 폴더 각각은 폴더 안에 저장되어 있는 컨텐츠 중 대표 컨텐츠의 섬네일 이미지를 이용하여 표현될 수도 있다.
이하에서는 클라우드 서버(200)에서 사용자에 의해 선택된 컨텐츠를 설명하는 복수의 키워드를 검출하는 동작에 대해서 도 35를 참조하여 자세히 살펴보기로 한다.
도 35는 본 발명의 일 실시예에 따르는, 디바이스가 클라우드 서버에서 검출된 복수의 키워드를 이용하여 복수의 컨텐츠를 분류하는 방법을 설명하기 위한 순서도이다.
단계 S3510에서, 디바이스(100)는, 복수의 컨텐츠 중 하나의 컨텐츠를 선택할 수 있다. 본 발명의 일 실시예에 의하면, 디바이스(100)는, 사용자 입력에 기초하여 하나의 컨텐츠를 선택할 수 있다. 예를 들어, 디바이스(100)는 컨텐츠를 선택하는 사용자 입력을 수신할 수 있다.
단계 S3520에서, 디바이스(100)는, 선택된 컨텐츠를 클라우드 서버(200)로 전송할 수 있다. 예를 들어, 디바이스(100)는 선택된 컨텐츠를 클라우드 서버(200)로 전송하면서 복수의 키워드의 검출을 요청할 수 있다.
이때, 디바이스(100)는 컨텐츠를 클라우드 서버(200)로 전송할 수도 있고, 컨텐츠의 식별 정보를 클라우드 서버(200)로 전송할 수도 있다. 예를 들어, 선택된 컨텐츠가 클라우드 서버(200)에 저장된 컨텐츠인 경우, 디바이스(100)는 선택된 컨텐츠의 식별 정보(예컨대, 컨텐츠 명, 컨텐츠의 인덱스)를 클라우드 서버(200)로 전송할 수 있다.
단계 S3530에서, 클라우드 서버(200)는, 컨텐츠를 설명하는 복수의 키워드를 검출할 수 있다.
본 발명의 일 실시예에 의하면, 클라우드 서버(200)는, 선택된 컨텐츠의 메타데이터에 복수의 키워드가 기 정의되어 있는 경우, 선택된 컨텐츠의 메타데이터에서 복수의 키워드를 확인(identify)할 수 있다. 또한, 클라우드 서버(200)는, 선택된 컨텐츠의 속성 정보 및 선택된 컨텐츠에 대한 영상 분석 정보 중 적어도 하나를 이용하여, 컨텐츠를 설명하는 복수의 키워드를 검출할 수도 있다.
예를 들어, 클라우드 서버(200)는, 선택된 컨텐츠에 대한 속성 정보를 일반화하여, 복수의 키워드를 생성할 수 있다. 본 명세서에서, 속성 정보를 일반화한다는 것은, 워드넷(계층적 어휘 참조 체계)에 기반하여 속성 정보를 상위 계층 언어로 표현하는 것을 의미할 수 있다.
본 발명의 일 실시예에 의하면, 클라우드 서버(200)는, 속성 정보에 포함된 위치 정보를 상위 계층 정보로 일반화하여, 키워드를 검출할 수 있다. 예를 들어, 클라우드 서버(200)는, GPS 좌표 값(위도: 37.4872222 경도: 127.0530792)을 존(zone), 빌딩, 주소, 지역 명, 도시명, 국가 명 등의 상위 개념으로 표현할 수 있다. 이때, 빌딩, 지역 명, 도시명, 국가 명 등이, 선택된 컨텐츠에 대한 키워드로 검출될 수 있다.
또한, 클라우드 서버(200)는, 속성 정보에 포함된 시간 정보를 상위 계층 정보로 일반화할 수 있다. 클라우드 서버(200)는, 시분초 단위(예컨대, 2012년 10월 9일 오후 5시 10분 30초)로 표현된 시간 정보를 상위 계층 정보로 일반화하여, 오전/오후/저녁, 일, 주, 월, 연 단위, 휴일, 주말, 근무일, 주중, 및/또는 또 다른 시간 범위로 표현할 수도 있다. 이때, 일(day), 주(week), 월(month), 연(year), 기념일(anniversary) 등이, 선택된 컨텐츠에 대한 키워드로 검출될 수 있다.
본 발명의 일 실시예에 의하면, 클라우드 서버(200)는, 기 설정된 일반화 레벨에 따라, 속성 정보를 일반화할 수 있다. 예를 들어, 시간 정보는 ‘월 단위’로 표현되도록 시간 정보에 대한 일반화 레벨이 설정될 수 있다. 클라우드 서버(200)는, 사용자 입력에 기초하여 일반화 레벨을 설정할 수도 있고, 자동으로 일반화 레벨을 설정할 수도 있다.
본 발명의 일 실시예에 의하면, 클라우드 서버(200)는, 이미지에 포함된 객체의 외곽선을 검출할 수 있다. 본 발명의 일 실시예에 의하면, 클라우드 서버(200)는, 이미지에 포함된 객체의 외곽선을 기 정의된 템플릿(template)과 비교하여, 객체의 종류, 객체의 명칭 등을 검출할 수 있다. 예를 들어, 클라우드 서버(200)는, 객체의 외곽선이 차량의 템플릿과 유사한 경우, 이미지에 포함된 객체를 차량으로 인식할 수 있다. 이 경우, 클라우드 서버(200)는, 이미지에 포함된 객체의 정보를 이용하여, ‘car’라는 키워드를 생성할 수 있다.
본 발명의 일 실시예에 의하면, 클라우드 서버(200)는, 이미지에 포함된 객체에 대한 얼굴 인식을 수행할 수도 있다. 예를 들어, 클라우드 서버(200)는, 선택된 컨텐츠에서 사람의 얼굴 영역을 검출할 수 있다. 얼굴 영역을 검출하는 방법에는, 지식 기반 방법(Knowledge-based Methods), 특징 기반 방법 (Feature-based Methods), 템플릿 매칭 방법(Template-matching Methods) 및 외형 기반 방법(Appearance-based Methods) 등이 있을 수 있으나, 이에 한정되는 것은 아니다..
클라우드 서버(200)는, 검출된 얼굴 영역으로부터 얼굴의 특징(예컨대, 얼굴의 주요 부분인 눈, 코, 입의 모양 등)을 추출할 수 있다. 얼굴 영역에서 얼굴의 특징을 추출하는 방법은 Gabor 필터 또는 LBP(Local Binary Pattern)등 다양한 방법이 사용될 수 있으나, 이에 한정되는 것은 아니다.
클라우드 서버(200)는, 선택된 컨텐츠의 얼굴 영역으로부터 추출된 얼굴의 특징을 기 등록된 사용자들의 얼굴의 특징과 비교할 수 있다. 예를 들어, 추출된 얼굴의 특징이 기 등록된 제 1 사용자(예컨대, Tom)의 얼굴의 특징과 유사한 경우, 클라우드 서버(200)는, 선택된 컨텐츠에 제 1 사용자(예컨대, Tom)의 이미지가 포함되어 있다고 판단할 수 있다. 이때, 클라우드 서버(200)는, 얼굴 인식 결과에 기반하여, ‘Tom’이라는 키워드를 생성할 수 있다.
본 발명의 일 실시예에 의하면, 클라우드 서버(200)는, 이미지의 일정 영역을 컬러 맵(컬러 히스토그램)과 비교하여, 이미지의 색상 배치, 무늬, 분위기 등의 시각적 특징을 영상 분석 정보로 추출할 수 있다. 클라우드 서버(200)는, 이미지의 시각적 특징을 이용하여 키워드를 생성할 수 있다. 예를 들어, 선택된 컨텐츠가 하늘 배경 이미지인 경우, 클라우드 서버(200)는, 하늘 배경 이미지에 대한 시각적 특징을 이용하여, ‘sky blue’ 라는 키워드를 검출할 수 있다.
또한, 본 발명의 일 실시예에 의하면, 클라우드 서버(200)는, 이미지를 영역 단위로 나눈 후, 각 영역과 가장 유사한 클러스터를 찾아서 그 클러스터에 연결된 키워드를 검출할 수도 있다.
한편, 본 발명의 일 실시예에 의하면, 클라우드 서버(200)는, 선택된 컨텐츠에 포함된 활자 영상에 대한 문자 인식을 수행할 수도 있다. 문자 인식 (OCR, Optical Character Recognition)은 이미지 문서에 포함된 한글, 영문, 숫자 폰트 등을 클라우드 서버(200)에서 편집 가능한 문자 코드로 변환하는 기술을 의미한다. 예를 들어, 클라우드 서버(200)는, 컨텐츠에 포함된 ‘Happy Birthday’라는 활자 영상에 대한 문자 인식을 통해, ‘Happy’, ‘Birthday’ 등의 키워드를 검출할 수 있다.
단계 S3540에서, 클라우드 서버(200)는, 복수의 키워드에 관한 정보를 디바이스(100)로 전송할 수 있다. 예를 들어, 클라우드 서버(200)는, 검출된 복수의 키워드, 복수의 키워드의 검출 순서 정보 등을 디바이스(100)로 전송할 수 있다. 복수의 키워드의 검출 순서는 키워드의 정확률 및 사용자의 폴더 선호도 정보 중 적어도 하나에 기초하여 결정될 수 있다.
단계 S3550에서, 디바이스(100)는, 적어도 둘 이상의 키워드에 대응되는 복수의 폴더를 생성할 수 있다.
본 발명의 일 실시예에 의하면, 디바이스(100)는, 클라우드 서버(200)로부터 수신된 복수의 키워드 모두에 대응하는 복수의 폴더를 생성할 수 있다. 또한, 디바이스(100)는, 복수의 키워드 중 일부의 키워드에 대응하는 복수의 폴더를 생성할 수도 있다.
예를 들어, 생성 가능한 폴더의 수가 기 설정되어 있는 경우, 디바이스(100)는, 기 설정된 수만큼의 폴더를 생성할 수 있다. 만일, 생성 가능한 폴더의 수가 4개로 설정되어 있는 경우, 디바이스(100)는, 수신된 10개의 키워드 중 4개의 키워드를 이용하여 4개의 폴더를 생성할 수 있다. 이때, 디바이스(100)는, 키워드들 간의 검출 순서에 따라 소정 수의 폴더를 생성할 수 있다.
한편, 본 발명의 일 실시예에 의하면, 디바이스(100)는, 사용자에 의해 선택된 적어도 둘 이상의 키워드에 대응되는 복수의 폴더를 생성할 수도 있다. 예를 들어, 디바이스(100)는, 수신된 복수의 키워드의 목록을 화면에 표시하고, 복수의 키워드 중에서 일부 키워드들을 선택하는 사용자 입력을 수신할 수 있다. 이때, 디바이스(100)는, 일부 키워드들에 대응하는 복수의 폴더를 생성할 수 있다.
본 발명의 일 실시예에 의하면, 복수의 폴더의 배치 순서는, 복수의 폴더에 대응하는 키워드들 간의 검출 순서에 기초하여 결정될 수 있다. 또한, 본 발명의 일 실시예에 의하면, 디바이스(100)는, 복수의 폴더의 사이즈를 다양하게 결정할 수 있다. 예를 들어, 디바이스(100)는 각 폴더에 대응하는 키워드의 정확률에 따라 각 폴더의 사이즈를 다르게 조절할 수도 있고, 각 폴더에 포함된 컨텐츠의 수에 따라 각 폴더의 사이즈를 다르게 조절할 수도 있다.
단계 S3560에서, 디바이스(100)는, 복수의 컨텐츠를 분류하여 해당 폴더에 저장할 수 있다.
본 발명의 일 실시예에 의하면, 디바이스(100)는, 복수의 폴더 각각에 대응되는 키워드와 복수의 컨텐츠 각각의 키워드(또는 속성 정보)를 비교한 결과를 이용하여 복수의 컨텐츠와 해당 폴더를 매칭함으로써, 복수의 컨텐츠를 분류할 수 있다.
본 발명의 일 실시예에 의하면, 복수의 컨텐츠를 해당 폴더에 저장한다는 것은, 컨텐츠의 저장 위치를 나타내는 링크 정보를 해당 폴더에 저장하는 것을 의미할 수도 있고, 컨텐츠의 저장 위치를 해당 폴더로 변경하는 것을 의미할 수도 있다.
단계 S3550 및 단계 S3560은, 도 2의 단계 S230 및 단계 S240에 대응하므로, 구체적인 설명은 생략하기로 한다.
도 36은 본 발명의 일 실시예에 따르는, 디바이스가 클라우드 서버로부터 복수의 키워드에 관한 정보를 수신하는 일례를 나타내는 도면이다. 도 37은 본 발명의 일 실시예에 따르는, 디바이스가 클라우드 서버로부터 수신된 복수의 키워드에 관한 정보에 기초하여 컨텐츠를 분류하는 일례를 나타내는 도면이다.
본 발명의 일 실시예에 의하면, 디바이스(100)는 사용자 입력에 기초하여 강아지와 함께 찍은 가족 사진(3610)을 다이나믹 폴더 생성을 위한 기준 컨텐츠로 선택할 수 있다. 이때, 디바이스(100)는, 강아지와 함께 찍은 가족 사진(3610)을 클라우드 서버(200)로 전송하면서 키워드 검출을 요청할 수 있다.
클라우드 서버(200)는, 가족 사진(3610)에 대한 영상 분석 정보를 획득할 수 있다. 예를 들어, 클라우드 서버(200)는, 가족 사진(3610)의 일정 영역을 컬러 맵과 비교하여, 가족 사진(3610)의 색상 배치, 무늬, 분위기 등의 시각적 특징을 영상 분석 정보로 추출할 수 있다.
또한, 클라우드 서버(200)는, 가족 사진(3610)에서 사람의 얼굴 영역을 검출할 수 있다. 그리고 클라우드 서버(200)는, 검출된 얼굴 영역으로부터 얼굴의 특징을 추출할 수 있다. 클라우드 서버(200)는, 추출된 얼굴의 특징과 기 등록된 사용자들의 얼굴의 특징 정보(3620)를 비교하여, 가족 사진(3610)에 포함된 사용자들(예컨대, John, Dad 등)을 검출할 수 있다.
클라우드 서버(200)는, 가족 사진(3610)에 포함된 객체의 외곽선을 검출할 수 있다. 예를 들어, 클라우드 서버(200)는, 객체의 외곽선이 강아지의 템플릿과 유사한 경우, 가족 사진(3610)에 포함된 객체를 강아지로 인식할 수 있다. 클라우드 서버(200)는, 가족 사진(3610)에 포함된 객체의 정보를 이용하여, ‘Dog’라는 키워드를 검출할 수 있다.
또한, 클라우드 서버(200)는, 가족 사진(3610)에 대해 사용자가 입력한 주석 정보 등으로부터 키워드(예컨대, smile, happy, beach 등)를 검출할 수도 있다.
한편, 클라우드 서버(200)는 가족 사진(3610)의 기본 속성 정보(예컨대, 시간 정보, 위치 정보 등)를 이용하여 키워드(예컨대, Beach, Summer 등)를 검출할 수도 있다.
클라우드 서버(200)는, 가족 사진(3610)을 설명하는 복수의 키워드(3630)의 검출이 완료된 경우, 디바이스(100)로 복수의 키워드(3630)(예컨대, John, Group, Dog, Person, Beach, Summer, Smile, happy)에 관한 정보를 전송할 수 있다.
도 37을 참조하면, 디바이스(100)는, 클라우드 서버(200)로부터 수신된 복수의 키워드(3630)를 이용하여 복수의 폴더(3700)를 생성할 수 있다. 예를 들어, 디바이스(100)는, John폴더, Group 폴더, Dog 폴더, Person 폴더, Beach 폴더, Summer 폴더, Smile 폴더, happy 폴더를 생성할 수 있다.
디바이스(100)는, 복수의 폴더(3700)에 대응하는 키워드와 디바이스(100)에 저장된 복수의 컨텐츠 각각의 키워드(기 정의된 키워드 또는 속성 정보로부터 검출된 키워드)를 비교한 결과에 기반하여, 복수의 컨텐츠를 해당 폴더에 분류할 수 있다.
도 38및 도 39는 본 발명의 일 실시예에 따르는, 디바이스를 설명하기 위한 블록 구성도이다.
도 38에 도시된 바와 같이, 본 발명의 일 실시예에 따른 디바이스(100)는, 사용자 입력부(110) 및 제어부(120)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 디바이스(100)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 디바이스(100)는 구현될 수 있다.
예를 들어, 도 39에 도시된 바와 같이, 본 발명의 일 실시예에 따른 디바이스(100)는, 사용자 입력부(110), 제어부(120) 이외에 출력부(130), 통신부(140), 센싱부(150), A/V 입력부(160), 메모리(170)를 더 포함할 수도 있다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
사용자 입력부(110)는, 사용자가 디바이스(100)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(110)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
사용자 입력부(110)는, 복수의 컨텐츠 중 하나의 컨텐츠를 선택하는 입력을 수신할 수 있다. 본 발명의 일 실시예에 의하면, 컨텐츠를 선택하는 사용자 입력은 다양할 수 있다. 예를 들어, 사용자 입력은, 키 입력, 터치 입력, 모션 입력, 벤딩 입력, 음성 입력, 다중 입력 등을 포함할 수 있다.
본 발명의 일 실시예에 의하면, 사용자 입력부(110)는, 복수의 컨텐츠 중 제 1 컨텐츠 및 제 2 컨텐츠를 선택하는 입력을 수신할 수도 있다.
사용자 입력부(110)는, 복수의 폴더 중 제 1 폴더를 선택하는 입력을 수신할 수 있다. 또한, 사용자 입력부(110)는, 제 1 폴더에 포함된 제 1 컨텐츠를 선택하는 입력을 수신할 수 있다.
사용자 입력부(110)는, 복수의 폴더 중 제 1 폴더를 선호 폴더로 지정하는 입력을 수신할 수도 있다. 사용자 입력부(110)는, 복수의 폴더 중 제 1 폴더에 대한 공유를 요청하는 입력을 수신할 수 있다.
사용자 입력부(110)는, 복수의 키워드의 목록에서 적어도 둘 이상의 키워드를 선택하는 입력을 수신할 수도 있다.
제어부(120)는, 통상적으로 디바이스(100)의 전반적인 동작을 제어한다. 예를 들어, 제어부(120)는, 메모리(170)에 저장된 프로그램들을 실행함으로써, 사용자 입력부(110), 출력부(130), 통신부(140), 센싱부(150), A/V 입력부(160) 등을 전반적으로 제어할 수 있다.
제어부(120)는, 선택된 컨텐츠를 설명(describe)하는 복수의 키워드를 획득할 수 있다. 예를 들어, 제어부(120)는, 선택된 컨텐츠의 속성 정보를 확인하고, 속성 정보를 일반화하여 복수의 키워드를 생성할 수 있다.
제어부(120)는, 선택된 컨텐츠에 대한 영상 분석 정보를 이용하여 복수의 키워드를 검출할 수 있다. 제어부(120)는, 획득한 복수의 키워드 중 적어도 둘 이상의 키워드에 대응되는 복수의 폴더를 생성할 수 있다.
제어부(120)는, 복수의 폴더 각각에 대응되는 키워드에 따라 복수의 컨텐츠를 분류하여 해당 폴더에 저장할 수 있다. 예를 들어, 제어부(120)는, 복수의 컨텐츠 각각을 해당 폴더로 이동하여 저장할 수 있다. 또한, 제어부(120)는, 복수의 컨텐츠에 대한 링크 정보를 해당 폴더에 저장할 수도 있다.
제어부(120)는, 복수의 폴더 각각에 대응되는 키워드와 복수의 컨텐츠 각각의 속성 정보를 비교한 결과를 이용하여, 복수의 컨텐츠를 분류할 수 있다. 예를 들어, 제어부(120)는, 복수의 폴더 각각에 대응되는 키워드와 복수의 컨텐츠 각각의 속성 정보를 비교한 결과를 이용하여, 복수의 컨텐츠와 해당 폴더를 매칭할 수 있다.
또한, 제어부(120)는, 복수의 폴더 각각에 대응되는 키워드와 복수의 컨텐츠 각각의 키워드들을 비교한 결과를 이용하여, 복수의 컨텐츠를 분류할 수도 있다.
제어부(120)는, 제 1 폴더에 저장된 적어도 하나의 컨텐츠를 표시하도록 디스플레이부(131)를 제어할 수도 있다.
제어부(120)는, 제 1 컨텐츠로부터 복수의 키워드를 획득하고, 제 1 컨텐츠로부터 획득한 복수의 키워드 중 적어도 둘 이상의 키워드에 대응되는 새로운 복수의 폴더를 생성할 수 있다. 그리고 제어부(120)는, 새로운 복수의 폴더 각각에 대응되는 키워드에 따라 복수의 컨텐츠를 재분류할 수 있다.
제어부(120)는, 복수의 폴더 중 제 1 폴더를 선호 폴더로 지정하는 입력이 수신되는 경우, 제 1 폴더에 관한 정보를 메모리(170)에 저장할 수도 있다. 예를 들어, 제어부(120)는, 제 1 폴더의 식별 정보(예컨대, 제 1 폴더의 명칭)를 즐겨 찾기 목록에 추가하고, 제 1 폴더에 포함된 복수의 컨텐츠 각각의 링크 정보를 메모리(170)에 저장하여 관리할 수 있다.
제어부 (120)는, 복수의 폴더 중 제 1 컨텐츠 및 제 2 컨텐츠가 선택된 경우, 제 1 컨텐츠를 설명하는 복수의 제 1 키워드와 제 2 컨텐츠를 설명하는 복수의 제 2 키워드 간에 공통되는 공통 키워드들을 검출할 수 있다. 제어부(120)는, 공통 키워드들에 대응되는 복수의 폴더를 생성하고, 복수의 폴더 각각에 대응되는 키워드에 따라 복수의 컨텐츠를 분류하여 해당 폴더에 저장할 수 있다.
출력부(130)는, 오디오 신호 또는 비디오 신호 또는 진동 신호의 출력을 위한 것으로, 이에는 디스플레이부(131)와 음향 출력부(132), 진동 모터(133) 등이 포함될 수 있다.
디스플레이부(131)는 디바이스(100)에서 처리되는 정보를 표시할 수 있다. 예를 들어, 디스플레이부(131)는, 복수의 컨텐츠, 컨텐츠를 설명하는 복수의 키워드, 복수의 폴더 등을 표시할 수 있다.
디스플레이부(131)는, 복수의 컨텐츠가 분류된 상기 복수의 폴더를 표시할 수 있다. 본 발명의 일 실시예에 의하면, 복수의 폴더의 배치 순서는, 복수의 폴더에 대응하는 키워드들 간의 검출 순서에 기초하여 결정될 수 있다. 또한, 복수의 폴더의 사이즈는 다양하게 결정될 수 있다. 예를 들어, 각 폴더에 대응하는 키워드의 정확률에 따라 각 폴더의 사이즈가 조절될 수 있다.
본 발명의 일 실시예에 의하면, 디스플레이부(131)는, 복수의 폴더 각각의 폴더 명(예컨대, 폴더 각각에 대응하는 키워드) 또는 복수의 폴더 각각에 포함된 컨텐츠의 수를 각 폴더 위에 표시할 수도 있다.
본 발명의 일 실시예에 의하면, 디스플레이부(131)는, 복수의 폴더 중 제1 폴더를 선택하는 입력에 기초하여, 제 1 폴더에 저장된 적어도 하나의 컨텐츠를 표시할 수 있다.
본 발명의 일 실시예에 의하면, 디스플레이부(131)는, 컨텐츠 생성 시간 정보, 컨텐츠 생성 위치 정보, 컨텐츠의 용량 정보, 및 컨텐츠의 해상도 정보 중 적어도 하나에 기초하여, 제 1 폴더에 포함된 컨텐츠를 배열할 수 있다.
디스플레이부(131)는, 선택된 컨텐츠를 설명하는 복수의 키워드의 목록을 표시할 수 있다. 본 발명의 일 실시예에 의하면, 복수의 키워드의 목록은, 복수의 키워드의 검출 순서에 따라 배열될 수 있다. 복수의 키워드의 검출 순서는 키워드의 정확률 정보 및 사용자의 폴더 선호도 정보 중 적어도 하나에 기초하여 결정될 수 있다.
한편, 디스플레이부(131)와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(131)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이부(31)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고 디바이스(100)의 구현 형태에 따라 디바이스(100)는 디스플레이부(131)를 2개 이상 포함할 수도 있다.
음향 출력부(132)는 통신부(140)로부터 수신되거나 메모리(170)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(132)는 디바이스(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다. 이러한 음향 출력부(132)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
진동 모터(133)는 진동 신호를 출력할 수 있다. 예를 들어, 진동 모터(133)는 오디오 데이터 또는 비디오 데이터(예컨대, 호신호 수신음, 메시지 수신음 등)의 출력에 대응하는 진동 신호를 출력할 수 있다. 또한, 진동 모터(133)는 터치스크린에 터치가 입력되는 경우 진동 신호를 출력할 수도 있다.
통신부(140)는, 디바이스(100)와 클라우드 서버(200), 디바이스(100)와 외부 장치, 디바이스(100)와 SNS 서버(2600) 또는 디바이스(100)와 외부 웨어러블 디바이스 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(140)는, 근거리 통신부(141), 이동 통신부(142), 방송 수신부(143)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)(141)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부(142)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
방송 수신부(143)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 디바이스(100)가 방송 수신부(143)를 포함하지 않을 수도 있다.
통신부(140)는, 복수의 폴더 중 제 1 폴더에 대한 공유를 요청하는 입력에 기초하여, 제 1 폴더에 포함된 적어도 하나의 컨텐츠를 외부 장치와 공유할 수 있다. 여기서, 외부 장치는 디바이스(100)와 연결된 클라우드 서버, SNS 서버, 동일 사용자의 다른 디바이스, 및 타 사용자의 디바이스 중 적어도 하나일 수 있으나, 이에 한정되는 것은 아니다.
예를 들어, 통신부(140)는, 제 1 폴더에 포함된 적어도 하나의 컨텐츠의 링크 정보(예컨대, 저장 위치 정보, URL 등)를 외부 장치로 전송할 수 있다. 또한, 통신부(140)는, 제 1 폴더에 포함된 적어도 하나의 컨텐츠를 외부 장치로 전송할 수도 있다.
센싱부(150)는, 디바이스(100)의 상태, 디바이스(100) 주변의 상태, 디바이스(100)를 착용한 사용자의 상태 등을 감지하고, 감지된 정보를 제어부(120)로 전달할 수 있다.
센싱부(150)는, 지자기 센서(Magnetic sensor)(151), 가속도 센서(Acceleration sensor)(152), 기울기 센서(153), 적외선 센서(154), 자이로스코프 센서(155), 위치 센서(예컨대, GPS)(156), 기압 센서(157), 근접 센서(158), 및 광 센서(159) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 센싱부(150)는, 온도 센서, 조도 센서, 압력 센서, 홍채 인식 센서 등을 포함할 수도 있다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
A/V(Audio/Video) 입력부(160)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(161)와 마이크로폰(162) 등이 포함될 수 있다. 카메라(161)는 화상 통화모드 또는 촬영 모드에서 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 카메라(161)를 통해 캡쳐된 이미지는 제어부(120) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.
카메라(161)에서 처리된 화상 프레임은 메모리(170)에 저장되거나 통신부(140)를 통하여 외부로 전송될 수 있다. 카메라(161)는 디바이스(100)의 구성 태양에 따라 2개 이상이 구비될 수도 있다.
마이크로폰(162)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(162)은 외부 디바이스 또는 화자로부터 음향 신호를 수신할 수 있다. 마이크로폰(162)은 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.
메모리(170)는, 제어부(120)의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들(예컨대, 복수의 컨텐츠, 복수의 폴더, 선호 폴더 목록 등)을 저장할 수도 있다.
메모리(170)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 디바이스(100)는 인터넷(internet)상에서 메모리(170)의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영할 수도 있다.
메모리(170)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(171), 알림 모듈(172), 영상 처리 모듈(173) 등으로 분류될 수 있다.
UI 모듈(171)은, 애플리케이션 별로 디바이스(100)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 알림 모듈(172)은 디바이스(100)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다. 알림 모듈(172)은 디스플레이부(131)를 통해 비디오 신호 형태로 알림 신호를 출력할 수도 있고, 음향 출력부(132)를 통해 오디오 신호 형태로 알림 신호를 출력할 수도 있고, 진동 모터(133)를 통해 진동 신호 형태로 알림 신호를 출력할 수도 있다.
영상 처리 모듈(173)은, 캡쳐된 이미지에 대한 분석을 통해 캡쳐된 이미지에 포함된 객체 정보, 에지 정보, 분위기 정보, 색상 정보 등을 획득할 수 있다.
본 발명의 일 실시예에 의하면, 영상 처리 모듈(173)은, 이미지에 포함된 객체의 외곽선을 검출할 수 있다. 본 발명의 일 실시예에 의하면, 영상 처리 모듈(173)은, 이미지에 포함된 객체의 외곽선을 기 정의된 템플릿(template)과 비교하여, 객체의 종류, 객체의 명칭 등을 검출할 수 있다. 예를 들어, 영상 처리 모듈(173)은, 객체의 외곽선이 차량의 템플릿과 유사한 경우, 이미지에 포함된 객체를 차량으로 인식할 수 있다.
본 발명의 일 실시예에 의하면, 영상 처리 모듈(173)은 이미지에 포함된 객체에 대한 얼굴 인식을 수행할 수도 있다. 예를 들어, 영상 처리 모듈(173)은 선택된 컨텐츠에서 사람의 얼굴 영역을 검출할 수 있다. 얼굴 영역을 검출하는 방법에는, 지식 기반 방법(Knowledge-based Methods), 특징 기반 방법 (Feature-based Methods), 템플릿 매칭 방법(Template-matching Methods) 및 외형 기반 방법(Appearance-based Methods) 등이 있을 수 있으나, 이에 한정되는 것은 아니다..
영상 처리 모듈(173)은, 검출된 얼굴 영역으로부터 얼굴의 특징(예컨대, 얼굴의 주요 부분인 눈, 코, 입의 모양 등)을 추출할 수 있다. 얼굴 영역에서 얼굴의 특징을 추출하는 방법은 Gabor 필터 또는 LBP(Local Binary Pattern)등 다양한 방법이 사용될 수 있으나, 이에 한정되는 것은 아니다.
영상 처리 모듈(173)은, 선택된 컨텐츠의 얼굴 영역으로부터 추출된 얼굴의 특징을 기 등록된 사용자들의 얼굴의 특징과 비교할 수 있다. 예를 들어, 추출된 얼굴의 특징이 기 등록된 제 1 사용자(예컨대, Tom)의 얼굴의 특징과 유사한 경우, 영상 처리 모듈(173)은, 선택된 컨텐츠에 제 1 사용자(예컨대, Tom)의 이미지가 포함되어 있다고 판단할 수 있다.
본 발명의 일 실시예에 의하면, 영상 처리 모듈(173)은, 이미지의 일정 영역을 컬러 맵(컬러 히스토그램)과 비교하여, 이미지의 색상 배치, 무늬, 분위기 등의 시각적 특징을 영상 분석 정보로 추출할 수 있다.
한편, 본 발명의 일 실시예에 의하면, 영상 처리 모듈(173)은, 선택된 컨텐츠에 포함된 활자 영상에 대한 문자 인식을 수행할 수도 있다. 문자 인식 (OCR, Optical Character Recognition)은 이미지 문서에 포함된 한글, 영문, 숫자 폰트 등을 디바이스(100)에서 편집 가능한 문자 코드로 변환하는 기술을 의미한다.
도 40은 본 발명의 일 실시예에 따르는, 클라우드 서버를 설명하기 위한 블록 구성도이다.
도 40에 도시된 바와 같이, 본 발명의 일 실시예에 따른 클라우드 서버(200)는 통신부(210), 제어부(220), 저장부(230)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 클라우드 서버(200)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 클라우드 서버(200)는 구현될 수 있다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
통신부(210)는, 클라우드 서버(200)와 디바이스(100) 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 통신부(210)는, 수신부 및 전송부를 포함할 수 있다.
통신부(210)는, 클라우드 서버(200)에 저장된 컨텐츠 목록을 디바이스(100)로 전송할 수 있다. 예를 들어, 통신부(210)는, 특정 계정을 통해 연결된 디바이스(100)로부터 컨텐츠의 목록 요청을 수신하는 경우, 클라우드 서버(200)에 저장된 컨텐츠 목록을 디바이스(100)로 전송할 수 있다.
통신부(210)는, 디바이스(100)에서 선택된 컨텐츠에 기반한 폴더 생성 요청을 디바이스(100)로부터 수신할 수 있다. 예를 들어, 통신부(210)는, 선택된 컨텐츠의 식별 정보(예컨대, 컨텐츠의 명, 인덱스 등)를 디바이스(100)로부터 수신할 수 있다. 본 명세서에서 폴더 생성을 요청하는 것은, 클라우드 서버(200)에 저장된 복수의 컨텐츠의 분류를 요청하는 것을 포함할 수 있다.
통신부(210)는, 복수의 컨텐츠가 분류된 복수의 폴더에 관한 정보를 디바이스(100)로 송신할 수 있다.
제어부(220)는, 클라우드 서버(200)의 전반적인 동작을 제어한다. 예를 들어, 제어부(220)는, 컨텐츠를 설명하는 복수의 키워드를 획득할 수 있다. 본 발명의 일 실시예에 의하면, 복수의 키워드는, 선택된 컨텐츠를 표현하는 적어도 둘 이상의 핵심적인 단어나 문구일 수 있다.
예를 들어, 제어부(220)는, 선택된 컨텐츠의 메타데이터에 복수의 키워드가 기 정의되어 있는 경우, 선택된 컨텐츠의 메타데이터에서 복수의 키워드를 확인(identify)할 수 있다. 또한, 클라우드 서버(200)는, 선택된 컨텐츠의 속성 정보 및 선택된 컨텐츠에 대한 영상 분석 정보 중 적어도 하나를 이용하여, 컨텐츠를 설명하는 복수의 키워드를 검출할 수도 있다.
본 발명의 일 실시예에 의하면, 제어부(220)는, 획득된 복수의 키워드 모두에 대응하는 복수의 폴더를 생성할 수 있다. 또한, 제어부(220)는, 복수의 키워드 중 일부의 키워드에 대응하는 복수의 폴더를 생성할 수도 있다.
예를 들어, 생성 가능한 폴더의 수가 기 설정되어 있는 경우, 제어부(220)는, 기 설정된 수만큼의 폴더를 생성할 수 있다. 만일, 생성 가능한 폴더의 수가 4개로 설정되어 있는 경우, 제어부(220)는, 획득된 10개의 키워드 중 4개의 키워드를 이용하여 4개의 폴더를 생성할 수 있다. 이때, 제어부(220)는, 키워드들 간의 검출 순서에 따라 소정 수의 폴더를 생성할 수 있다. 본 발명의 일 실시예에 의하면, 키워드들 간의 검출 순서는, 키워드의 정확률 및 사용자의 폴더 선호도 정보 중 적어도 하나에 기초하여 결정될 수 있다.
본 발명의 일 실시예에 의하면, 제어부(220)는, 폴더에 대응하는 키워드를 해당 폴더의 명칭으로 이용할 수 있다.
본 발명의 일 실시예에 의하면, 복수의 폴더의 배치 순서는, 복수의 폴더에 대응하는 키워드들 간의 검출 순서에 기초하여 결정될 수 있다. 또한, 본 발명의 일 실시예에 의하면, 제어부(220)는, 복수의 폴더의 사이즈를 다양하게 결정할 수 있다. 예를 들어, 제어부(220)는, 각 폴더에 대응하는 키워드의 정확률에 따라 각 폴더의 사이즈를 다르게 조절할 수 있고, 각 폴더에 포함된 컨텐츠의 수에 따라 각 폴더의 사이즈를 다르게 조절할 수도 있다.
제어부(220)는, 복수의 폴더 각각에 대응되는 키워드와 복수의 컨텐츠 각각의 키워드를 비교한 결과를 이용하여, 복수의 컨텐츠와 해당 폴더를 매칭할 수 있다. 예를 들어, 제 1 컨텐츠가, 제 1 폴더에 대응되는 제 1 키워드(예컨대, dog)와 동일한 키워드(예컨대, dog) 또는 제 1 키워드와 유사한 키워드(예컨대, puppy)를 가지는 경우, 제어부(220)는 제 1 컨텐츠와 제 1 폴더를 매칭할 수 있다.
본 발명의 일 실시예에 의하면, 제어부(220)는, 복수의 폴더 각각에 대응되는 키워드와 복수의 컨텐츠 각각의 속성 정보를 비교한 결과를 이용하여, 복수의 컨텐츠와 해당 폴더를 매칭할 수도 있다. 예를 들어, 제 1 컨텐츠가, 제 1 폴더에 대응되는 제 1 키워드(예컨대, 프랑스)와 동일한 속성 정보(장소: 프랑스) 또는 유사한 속성 정보(장소: 에펠탑)를 가지는 경우, 제어부(220)는 제 1 컨텐츠와 제 1 폴더를 매칭할 수 있다.
이때, 본 발명의 일 실시예에 의하면, 제어부(220)는 워드넷(계층적 어휘 참조 체계), 온톨로지 등을 이용하여, 복수의 폴더 각각에 대응되는 키워드와 복수의 컨텐츠 각각의 키워드(또는 속성 정보) 간의 동일/유사 여부를 판단할 수 있다.
본 발명의 일 실시예에 의하면, 제어부(220)는, 컨텐츠의 저장 위치를 나타내는 링크 정보를 해당 폴더에 저장할 수도 있고, 컨텐츠 자체를 해당 폴더로 이동시켜 저장할 수도 있다.
저장부(230)는 제어부(220)의 처리를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들을 저장할 수도 있다. 예를 들어, 클라우드 서버(200)는, 컨텐츠 DB, 디바이스 DB, 사용자들의 얼굴의 특징 정보 DB, 객체 템플릿 DB 등을 구축할 수 있다.
저장부(230)는 복수의 컨텐츠를 저장할 수 있다. 예를 들어, 저장부(230)는, 디바이스(100)에서 업로드된 컨텐츠를 저장할 수 있다. 이때, 저장부(230)는 디바이스(100)의 식별 정보와 컨텐츠를 매핑하여 저장할 수 있다.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
본 발명의 일 실시예에 의하면, 디바이스(100)는 특정 컨텐츠의 선택에 기초하여, 컨텐츠의 분류 또는 컨텐츠의 검색을 간편하게 할 수 있는 인터페이스를 사용자에게 제공할 수 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (20)

  1. 복수의 이미지를 분류하여 제공하는 디바이스에 있어서,
    상기 복수의 이미지를 저장하는 저장부;
    상기 복수의 이미지 중 적어도 하나의 이미지를 선택하는 입력을 수신하는 사용자 입력부; 및
    상기 선택된 이미지에 포함된 속성 정보 및 상기 선택된 이미지의 영상 분석 정보를 획득하고, 상기 획득한 속성 정보 및 영상 분석 정보를 이용하여 상기 복수의 이미지를 분류하여 사용자에게 제공하는 제어부를 포함하는 것을 특징으로 하는 디바이스.
  2. 제 1 항에 있어서,
    상기 제어부는,
    상기 획득한 복수의 속성 정보 및 영상 분석 정보를 이용하여 상기 복수의 이미지를 분류하기 위하여, 상기 획득한 복수의 속성 정보 및 영상 분석 정보 중 적어도 둘 이상의 정보에 대응되는 분류 항목들을 생성하는 것을 특징으로 하는 디바이스.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 저장부는,
    상기 사용자의 계정으로 설정되어 상기 디바이스 밖에 구현된 외부 저장부를 포함하는 것을 특징으로 하는 디바이스.
  4. 제 2 항에 있어서,
    상기 제어부는,
    상기 분류 항목들에 기초하여 상기 복수의 이미지를 분류하는 것을 특징으로 하는 디바이스.
  5. 제 4 항에 있어서,
    상기 제어부는,
    상기 분류 항목들과 상기 복수의 이미지의 속성 정보를 비교하여 상기 복수의 이미지를 분류하는 것을 특징으로 하는 디바이스.
  6. 제 2 항에 있어서,
    상기 제어부는,
    상기 분류 항목들에 대응하는 복수의 폴더를 생성하고, 상기 분류 항목들에 기초하여 분류된 상기 복수의 이미지를 해당 폴더에 저장하는 것을 특징으로 하는 디바이스.
  7. 제 6 항에 있어서,
    상기 제어부는,
    상기 복수의 이미지 각각을 해당 폴더로 이동하여 저장하거나 상기 복수의 이미지에 대한 링크 정보를 해당 폴더에 저장하는 것을 특징으로 하는 디바이스.
  8. 제 6 항에 있어서,
    상기 디바이스는, 상기 복수의 폴더를 표시하는 디스플레이부를 더 포함하고,
    상기 사용자 입력부는 상기 표시된 복수의 폴더 중 제 1 폴더를 선택하는 입력을 수신하고,
    상기 제어부는, 상기 제 1 폴더에 저장된 적어도 하나의 이미지를 표시하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 디바이스.
  9. 제 1 항에 있어서,
    상기 사용자 입력부는, 상기 선택된 이미지와 다른 새로운 이미지를 선택하는 입력을 수신하고,
    상기 제어부는, 상기 새로운 이미지에 포함된 속성 정보 및 상기 새로운 이미지의 영상 분석 정보를 이용하여, 상기 복수의 이미지를 재분류하는 것을 특징으로 하는 디바이스.
  10. 제 6 항에 있어서, 상기 사용자 입력부는,
    상기 복수의 폴더 중 제 1 폴더를 선호 폴더로 지정하는 입력을 수신하고,
    상기 제어부는, 상기 제 1 폴더에 관한 정보를 선호 폴더 목록에 추가하는 것을 특징으로 하는 디바이스.
  11. 제 6 항에 있어서, 상기 디바이스는,
    상기 복수의 폴더 중 제 1 폴더에 대한 공유를 요청하는 입력에 기초하여, 상기 제 1 폴더에 포함된 적어도 하나의 이미지를 외부 장치와 공유하는 통신부를 더 포함하는 것을 특징으로 하는 디바이스.
  12. 제 2 항에 있어서, 상기 디바이스는,
    상기 생성된 분류 항목들의 목록을 표시하는 디스플레이부를 더 포함하고,
    상기 사용자 입력부는, 상기 분류 항목들의 목록에서 적어도 둘 이상의 분류 항목들을 선택하는 입력을 수신하고,
    상기 제어부는, 상기 선택된 적어도 둘 이상의 분류 항목들에 대응하는 복수의 폴더를 생성하는 것을 특징으로 하는 디바이스.
  13. 복수의 이미지를 분류하여 제공하는 디바이스에 있어서,
    상기 복수의 이미지를 저장하는 저장부;
    상기 복수의 이미지 중 제 1 이미지 및 제 2 이미지를 선택하는 입력을 수신하는 사용자 입력부; 및
    상기 제 1 이미지에 포함된 제 1 속성 정보와 상기 제 2 이미지에 포함된 제 2 속성 정보 간의 공통되는 공통 속성 정보를 이용하여, 상기 복수의 이미지를 분류하고, 상기 분류된 복수의 이미지에 관한 정보를 사용자에게 제공하는 제어부를 포함하는 것을 특징으로 하는 디바이스.
  14. 디바이스에서 복수의 이미지를 분류하여 제공하는 방법에 있어서,
    상기 복수의 이미지 중 하나의 이미지를 선택하는 단계;
    상기 선택된 이미지에 포함된 속성 정보 또는 상기 선택된 이미지의 영상 분석 정보를 획득하는 단계;
    상기 획득한 속성 정보 또는 영상 분석 정보를 이용하여, 상기 복수의 이미지를 분류하는 단계; 및
    상기 분류된 복수의 이미지에 관한 정보를 제공하는 단계를 포함하는, 방법.
  15. 제 14 항에 있어서,
    상기 복수의 이미지를 분류하는 단계는,
    상기 획득한 복수의 속성 정보 및 영상 분석 정보 중 적어도 둘 이상의 정보에 대응되는 분류 항목들을 생성하는 단계를 포함하는, 방법.
  16. 제 14 항에 있어서,
    상기 복수의 이미지는,
    상기 사용자의 계정으로 설정되어 상기 디바이스 밖에 구현된 외부 저장부에 저장된 이미지를 포함하는, 방법.
  17. 제 15 항에 있어서, 상기 복수의 이미지를 분류하는 단계는,
    상기 분류 항목들에 대응하는 복수의 폴더를 생성하는 단계; 및
    상기 분류 항목들에 기초하여 분류된 상기 복수의 이미지를 해당 폴더에 저장하는 단계를 포함하는, 방법.
  18. 제 14 항에 있어서, 상기 방법은,
    상기 선택된 이미지와 다른 새로운 이미지를 선택하는 입력을 수신하는 단계; 및
    상기 새로운 이미지에 포함된 속성 정보 또는 상기 새로운 이미지의 영상 분석 정보를 이용하여, 상기 복수의 이미지를 재분류하는 단계를 더 포함하는, 방법.
  19. 제 15 항에 있어서, 상기 복수의 이미지를 분류하는 단계는,
    상기 생성된 분류 항목들의 목록을 표시하는 단계;
    상기 분류 항목들의 목록에서 적어도 둘 이상의 분류 항목들을 선택하는 입력을 수신하는 단계; 및
    상기 선택된 적어도 둘 이상의 분류 항목들에 대응하는 복수의 폴더를 생성하는 단계를 포함하는, 방법.
  20. 제 14 항 내지 제 19 항 중 어느 한 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020140098628A 2014-07-31 2014-07-31 컨텐츠 분류 방법 및 이를 위한 디바이스 KR20160015838A (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020140098628A KR20160015838A (ko) 2014-07-31 2014-07-31 컨텐츠 분류 방법 및 이를 위한 디바이스
CN201580001344.7A CN105451846B (zh) 2014-07-31 2015-07-23 用于对内容进行分类的方法和装置
PCT/KR2015/007663 WO2016017992A1 (en) 2014-07-31 2015-07-23 Method and device for classifying content
TW104124616A TWI585712B (zh) 2014-07-31 2015-07-30 將圖像分類的方法與裝置
EP15179149.8A EP2980712A1 (en) 2014-07-31 2015-07-30 Method and device for classifying content
US14/814,831 US20160034559A1 (en) 2014-07-31 2015-07-31 Method and device for classifying content

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140098628A KR20160015838A (ko) 2014-07-31 2014-07-31 컨텐츠 분류 방법 및 이를 위한 디바이스

Publications (1)

Publication Number Publication Date
KR20160015838A true KR20160015838A (ko) 2016-02-15

Family

ID=53794052

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140098628A KR20160015838A (ko) 2014-07-31 2014-07-31 컨텐츠 분류 방법 및 이를 위한 디바이스

Country Status (6)

Country Link
US (1) US20160034559A1 (ko)
EP (1) EP2980712A1 (ko)
KR (1) KR20160015838A (ko)
CN (1) CN105451846B (ko)
TW (1) TWI585712B (ko)
WO (1) WO2016017992A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018117628A1 (ko) * 2016-12-20 2018-06-28 삼성전자 주식회사 컨텐트를 분류하는 방법 및 전자 장치

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9489104B2 (en) 2013-11-14 2016-11-08 Apple Inc. Viewable frame identification
US9582160B2 (en) 2013-11-14 2017-02-28 Apple Inc. Semi-automatic organic layout for media streams
US20150134661A1 (en) * 2013-11-14 2015-05-14 Apple Inc. Multi-Source Media Aggregation
CN106776662B (zh) * 2015-11-25 2020-03-03 腾讯科技（深圳）有限公司 一种照片的分类整理方法和装置
US10387210B2 (en) * 2016-04-04 2019-08-20 International Business Machines Corporation Resource schedule optimization
TWI605353B (zh) * 2016-05-30 2017-11-11 Chunghwa Telecom Co Ltd File classification system, method and computer program product based on lexical statistics
TWI607325B (zh) * 2016-07-21 2017-12-01 虹光精密工業股份有限公司 檢索索引產生方法及應用此方法之伺服器
JP7137173B2 (ja) * 2016-12-08 2022-09-14 チームラボ株式会社 コレクションシステム，端末用プログラム，及びコレクション方法
TWI628626B (zh) * 2017-07-18 2018-07-01 劉謹銘 Multiple image source processing methods
CN107454256B (zh) * 2017-07-28 2019-03-19 珠海市魅族科技有限公司 一种信息分享方法和装置、计算机装置、可读存储介质
CN108256070B (zh) * 2018-01-17 2022-07-15 北京百度网讯科技有限公司 用于生成信息的方法和装置
CN108596728A (zh) * 2018-04-26 2018-09-28 北京小米移动软件有限公司 收货地址提供方法及装置
CN108737758A (zh) * 2018-05-21 2018-11-02 深圳市沃特沃德股份有限公司 音视频记录方法和装置
TWI693524B (zh) * 2018-05-22 2020-05-11 正修學校財團法人正修科技大學 專屬個性化圖片搜尋優化方法
CN108920619A (zh) * 2018-06-28 2018-11-30 Oppo广东移动通信有限公司 文件显示方法、装置、存储介质及电子设备
US11907284B2 (en) * 2019-07-09 2024-02-20 Visuo Technology Pty Limited Method and a system for processing an image and for generating a contextually coherent video based on images processed thereby
CN112101367A (zh) * 2020-09-15 2020-12-18 杭州睿琪软件有限公司 文本识别方法、图像识别分类方法、文档识别处理方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3669016B2 (ja) * 1994-09-30 2005-07-06 株式会社日立製作所 文書情報分類装置
US6804684B2 (en) * 2001-05-07 2004-10-12 Eastman Kodak Company Method for associating semantic information with multiple images in an image database environment
JP2005062971A (ja) * 2003-08-19 2005-03-10 Pioneer Electronic Corp コンテンツ検索システム
EP1669890A4 (en) * 2003-09-26 2007-04-04 Nikon Corp METHOD, DEVICE AND SYSTEM FOR CUMULATING ELECTRONIC IMAGES
JP5149570B2 (ja) * 2006-10-16 2013-02-20 キヤノン株式会社 ファイル管理装置、ファイル管理装置の制御方法、及びプログラム
US8276098B2 (en) * 2006-12-22 2012-09-25 Apple Inc. Interactive image thumbnails
JP5059545B2 (ja) * 2007-10-23 2012-10-24 株式会社リコー 画像処理装置及び画像処理方法
US7899831B2 (en) * 2008-03-25 2011-03-01 International Business Machines Corporation Method and system for folder recommendation in a file operation
TW200945074A (en) * 2008-04-22 2009-11-01 Ein Si & S Co Ltd Method and system for providing content (3)
CN101650721A (zh) * 2008-08-15 2010-02-17 鸿富锦精密工业（深圳）有限公司 电子相框及图片分类管理方法
KR20100035043A (ko) * 2008-09-25 2010-04-02 삼성전자주식회사 컨텐츠 관리 방법 및 장치
WO2010065107A1 (en) * 2008-12-04 2010-06-10 Packetvideo Corp. System and method for browsing, selecting and/or controlling rendering of media with a mobile device
TW201025052A (en) * 2008-12-29 2010-07-01 Altek Corp Image capture device and an image classification method thereof
JP5552767B2 (ja) * 2009-07-27 2014-07-16 ソニー株式会社 表示処理装置、表示処理方法および表示処理プログラム
JP2012064297A (ja) * 2010-08-19 2012-03-29 Panasonic Corp コンテンツファイル分類装置およびコンテンツファイル分類方法
JP5512489B2 (ja) * 2010-10-27 2014-06-04 株式会社日立ソリューションズ ファイル管理装置及びファイル管理方法
US9026909B2 (en) * 2011-02-16 2015-05-05 Apple Inc. Keyword list view
CN103164713B (zh) * 2011-12-12 2016-04-06 阿里巴巴集团控股有限公司 图像分类方法和装置
US9008433B2 (en) * 2012-02-08 2015-04-14 International Business Machines Corporation Object tag metadata and image search
CA2869699A1 (en) * 2012-04-04 2013-10-10 Scribble Technologies Inc. System and method for generating digital content
US20140105466A1 (en) * 2012-10-16 2014-04-17 Ocean Images UK Ltd. Interactive photography system and method employing facial recognition
US9047847B2 (en) * 2013-02-05 2015-06-02 Facebook, Inc. Displaying clusters of media items on a map using representative media items
JP5767413B1 (ja) * 2014-03-18 2015-08-19 楽天株式会社 情報処理システム、情報処理方法、および情報処理プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018117628A1 (ko) * 2016-12-20 2018-06-28 삼성전자 주식회사 컨텐트를 분류하는 방법 및 전자 장치
US11176207B2 (en) 2016-12-20 2021-11-16 Samsung Electronics Co., Ltd. Method and electronic device for classifying content

Also Published As

Publication number Publication date
TWI585712B (zh) 2017-06-01
CN105451846A (zh) 2016-03-30
EP2980712A1 (en) 2016-02-03
WO2016017992A1 (en) 2016-02-04
TW201606699A (zh) 2016-02-16
US20160034559A1 (en) 2016-02-04
CN105451846B (zh) 2019-04-09

Similar Documents

Publication Publication Date Title
TWI585712B (zh) 將圖像分類的方法與裝置
US10733716B2 (en) Method and device for providing image
US10846324B2 (en) Device, method, and user interface for managing and interacting with media content
CN106462595B (zh) 内容管理方法及用于其的云服务器
KR102402511B1 (ko) 영상 검색 방법 및 이를 위한 장치
KR102199786B1 (ko) 콘텐트를 기반으로 하는 정보 제공 방법 및 장치
US10380208B1 (en) Methods and systems for providing context-based recommendations
US20170344631A1 (en) Task completion using world knowledge
US20160164815A1 (en) Terminal device and data processing method thereof
US10380256B2 (en) Technologies for automated context-aware media curation
WO2020019220A1 (zh) 在预览界面中显示业务信息的方法及电子设备
KR20160075126A (ko) 전자 장치가 콘텐츠를 제공하는 방법 및 그 전자 장치
Crestani et al. Mobile information retrieval
KR20160133307A (ko) 콘텐트를 제공하는 방법 및 디바이스
TWI637347B (zh) 提供影像的方法與裝置
US20240045899A1 (en) Icon based tagging
US20230237087A1 (en) System to generate contextual queries
KR102538156B1 (ko) 전자 장치에서 시나리오 작성을 지원하기 위한 방법 및 그 장치
CN113557504A (zh) 用于基于媒体内容项的目的地的对媒体内容项的改进的搜索和分类的系统和方法
WO2016077681A1 (en) System and method for voice and icon tagging
CN110929122B (zh) 一种数据处理方法、装置和用于数据处理的装置
KR20230162696A (ko) 사용자 콘텐츠를 위한 분류 추천들의 결정
KR20230159613A (ko) 추가적인 텍스트 콘텐츠를 포함하는 수정된 사용자 콘텐츠 생성

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application