KR20160069027A - 감성 기반의 영상 색인 시스템 및 방법 - Google Patents

감성 기반의 영상 색인 시스템 및 방법 Download PDF

Info

Publication number
KR20160069027A
KR20160069027A KR1020140173787A KR20140173787A KR20160069027A KR 20160069027 A KR20160069027 A KR 20160069027A KR 1020140173787 A KR1020140173787 A KR 1020140173787A KR 20140173787 A KR20140173787 A KR 20140173787A KR 20160069027 A KR20160069027 A KR 20160069027A
Authority
KR
South Korea
Prior art keywords
color
image
emotion
feature
value
Prior art date
Application number
KR1020140173787A
Other languages
English (en)
Inventor
김은이
Original Assignee
건국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 건국대학교 산학협력단 filed Critical 건국대학교 산학협력단
Priority to KR1020140173787A priority Critical patent/KR20160069027A/ko
Publication of KR20160069027A publication Critical patent/KR20160069027A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/232—Content retrieval operation locally within server, e.g. reading video streams from disk arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts

Abstract

본 기술은 감성 기반의 영상 색인 시스템이 개시된다. 본 발명의 구체적인 예에 따르면, 수집된 다수의 영상 중 각각의 영상에 대해, 컬러 조합에 대응되는 감정을 정의한 컬러 조합 사전을 기반으로 컬러 조합의 분포도인 컬러 특징 벡터를 도출하고, 크기 불변 특징 변환 알고리즘을 기반으로 각각의 영상에 대해 형태 특징을 도출한 후 도출된 형태 특징에 대한 시각 단어를 탐색한 후 탐색된 시각 단어 중 유사도가 높은 노드의 시각 단어의 개수인 형태 특징 벡터를 도출하며, 도출된 컬러 특징 벡터 및 형태 특징 벡터와 맵핑되는 다수의 감성에 대한 컬러 확률적 감성 예측 값 및 컬러 스케일 및 형태 확률적 감성 예측값 및 형태 스케일을 토대로 컬러 및 형태 특징과 매칭되는 감성어를 도출하고 도출된 감성어로 각 영상을 색인하여 저장함에 따라, 주어진 영상의 컬러 특징 및 형태 특징을 토대로 보다 강인한 감성어로 영상을 색인 및 저장할 수 있게 된다.

Description

감성 기반의 영상 색인 시스템 및 방법{SYSTEM AND METHOD FOR INDEXING IMAGE BASED ON AFFECT}
본 발명은 감성 기반의 영상 색인 시스템 및 방법에 관한 것으로서, 보다 구체적으로는 주어진 영상에 대한 컬러 및 형태 특징과 매칭되는 영상에 포함된 인간의 감성을 추출한 후 추출된 감성어로 영상을 색인 및 저장할 수 있도록 한 시스템 및 방법에 관한 것이다.
최근, 감성 공학의 중요성이 높아짐에 따라, 사람의 감성을 영상 색인과 검색에 적용하려는 다양한 시도가 진행되고 있다. 그러나 사람의 감성은 매우 주관적이기 때문에 영상에서 이러한 감성을 인식하는 것은 매우 어렵다.
이에, 컬러와 감정과 밀접한 관계에 있기 때문에, 컬러에 대한 인간의 행동과 반응을 연구하는 색채 심리학이란 분야가 생겨났으며 현재에도 활발한 연구가 이루어지고 있다.
일반적으로 고바야시에 의해 정의된 컬러 영상 스케일(color Image Scale)을 이용하여 감성을 대표하는 3가지 컬러로 구성된 1, 170개의 컬러 조합으로부터 주어진 영상의 컬러 특징이 도출되고, 도출된 컬러 특징과 감성 간의 관계에 대한 규칙을 토대로 사람의 감정이 인식된다.
이러한 인식된 감정을 기반으로 주어진 영상을 색인하여 지상 검증자료로 데이터 베이스를 구축함에 따라, 사용자에 의해 제시된 감정어와 매칭되는 영상은 감정어에 따라 색인하여 저장하고 제시된 감정어와 매칭되는 영상을 사용자 단말로 제공하는 서비스가 제공된다.
그러나, 이러한 주어진 영상의 컬러의 특징과 감정 과의 상관 관계를 토대로 주어진 영상에 대한 감정을 인식하고 있으나, 주어진 영상의 컬러 특징과 형태 특징을 토대로 주어진 영상에 대한 감성을 인식하는 기술은 현재 존재하지 아니한다.
즉, 다만, 컬러 특징을 토대로 주어진 영상의 감성을 인식한 후 감성어에 따라 주어진 영상을 색인하는 기술은 존재하였을 뿐, 주어진 영상의 컬러 특징과 형태 특징을 고려하여 시각 특징을 도출하고 도출된 시각 특징 각각의 컬러 및 형태 특징에 대응되는 감성을 인식함에 따라 보다 강인한 감정 인식하여 영상을 색인하는 시스템은 존재하지 아니하였다.
따라서, 본 발명은 상기의 문제점을 해결하기 위해 창출된 것으로, 본 발명의 목적은 수집된 다수의 영상 중 각각의 영상에 대해 컬러 조합에 대응되는 감정을 정의한 컬러 조합 사전을 기반으로 컬러 조합 분포도인 컬러 특징 벡터를 도출하고, 크기 불변 특징 변환 알고리즘을 기반으로 각각의 영상에 대해 형태 특징을 도출한 후 도출된 형태 특징에 대한 시각 단어를 탐색한 후 탐색된 시각 단어 중 유사도가 높은 노드의 시각 단어의 개수인 형태 특징 벡터를 도출하며, 도출된 컬러 특징 벡터 및 형태 특징 벡터와 매칭되는 다수의 감성에 대한 예측 확률 값인 컬러 스케일 및 형태 스케일을 각각 도출하고, 상기 컬러 특징 처리부의 컬러 스케일과 형태 특징 처리부의 형태 스케일을 토대로 감성어를 도출하고 도출된 감성어로 각 영상을 색인하여 저장하는 감성 기반의 영상 색인 시스템 및 방법을 제공함에 따라, 주어진 영상의 컬러 특징 및 형태 특징과 매칭되는 강인한 감성어로 영상을 색인 및 저장할 수 있게 된다.
상기 목적을 달성하기 위한 본 발명에 따른 감성 기반의 영상 색인 시스템은,
다수의 영상을 수집하는 영상 수집부와,
수집된 다수의 영상 중 각각의 영상에 대해, 컬러 조합에 대응되는 감정을 정의한 컬러 조합 사전을 기반으로 컬러 조합의 분포도인 컬러 특징 벡터를 도출한 후 컬러 특징 벡터와 매칭되는 다수의 감성에 대한 컬러 확률적 감성 예측 값 및 다수의 감정들의 상관 관계를 나타내는 컬러 스케일을 도출하는 컬러 특징 처리부;
크기 불변 특징 변환 알고리즘을 기반으로 각각의 영상에 대해 형태 특징을 도출한 후 도출된 형태 특징에 대한 시각 단어를 탐색한 후 탐색된 시각 단어 중 유사도가 높은 노드의 시각 단어의 개수인 형태 특징 벡터를 도출하고 도출된 형태 특징 벡터와 매칭되는 다수의 감성에 대한 형태 확률적 감성 예측값과 다수의 감정들의 상관 관계를 나타내는 형태 스케일을 도출하는 형태 특징 처리부; 및
상기 컬러 특징 처리부의 컬러 확률적 감성 예측값과 컬러 스케일 및 상기 형태 특징 처리부의 형태 확률적 감성 예측값과 형태 스케일을 토대로 컬러 특징 및 형태 특징과 매칭되는 감성어를 도출하고 도출된 감성어로 각 영상을 색인하여 저장하는 영상 색인부를 포함하는 것을 특징으로 한다.
상기 컬러 특징 처리부는,
상기 컬러 조합 사전을 토대로 각각의 영상에 대해 컬러 조합 분포인 컬러 특징 벡터를 출력하는 컬러 특징 검출 모듈; 및
컬러 조합과 감성에 대한 확률적 감성 예측 모델을 기반으로 컬러 특징 벡터와 맴핑되는 다수의 감성들간의 상관 관계(연결 강도)를 나타내는 컬러 스케일과 각 감정에 대한 컬러 확률적 감정 예측값을 도출하는 컬러 감정 인식 모듈을 포함하는 것이 바람직하다.
상기 컬러 특징 검출 모듈은,
주어진 각각의 영상에 대해 다수의 컬러 영역으로 클러스터링(clustering)을 실행하여 다수의 컬러 영역 단위로 분할하고,
분할된 컬러 영역에 대한 영역 값과 영상의 중심 좌표와 영역 중심 좌표 간의 가우시안 거리값을 연산하여 영역의 대표값을 도출하며,
도출된 영역 대표값을 기준으로 소정 수 영역 중 씨드 영역을 선택하며,
선택된 씨드 영역을 중심으로 이웃하는 영역 들 간의 컬러 조합 중 유사도가 높은 컬러 조합을 상기 컬러 조합 사전을 토대로 탐색하고,
탐색된 유사도가 높은 컬러 조합에 기 정해진 가중치를 부여하여 유사도가 높은 컬러 조합의 갯수인 컬러 조합 분포도를 컬러 특징 벡터로 출력하도록 구비되는 것이 바람직하다.
상기 컬러 감정 인식 모듈은,
상기 컬러 특징 벡터와 맵핑되는 감정에 대한 컬러 확률적 감정 예측값
Figure pat00001
을 도출하는 E- 스텝 부재과
상기 컬러 확률적 감정 예측값
Figure pat00002
을 토대로 감성들 간의 상관 관계를 나타내는 컬러 스케일
Figure pat00003
을 도출하는 M 스텝 부재를 포함하는 것이 바람직하다.
상기 컬러 감정 인식 모듈은,
새로운 영상에 대한 학습 시 상기 E 스텝 부재의 컬러 특징 확률적 감정 예측값
Figure pat00004
을 초기화하고 기 정해진 영상에 대한 컬러 영상 감성 확률값
Figure pat00005
을 고정하여 상기 M 스텝 부재에서 도출된 컬러 스케일
Figure pat00006
을 예측하여 업데이트하고
새로운 영상에 대한 테스트 시 상기 E 스텝 부재의 컬러 확률적 감정 예측값
Figure pat00007
을 초기화한 후 M 스텝 부재의 컬러 스케일
Figure pat00008
을 고정한 후 기 정해진 영상에 대한 감정 확률값
Figure pat00009
을 업데이트하도록 구비되는 것이 바람직하다.
상기 형태 특징 처리부는,
크기 불변 특징 변환 알고리즘을 기반으로 각각의 영상에 대해 형태 특징을 도출한 후 도출된 형태 특징에 대한 시각 단어를 탐색한 후 탐색된 시각 단어 중 유사도가 높은 노드의 시각 단어의 개수인 형태 특징 벡터를 도출하는 형태 특징 검출 모듈과,
형태 특징에 대한 감성의 확률적 감성 예측 모델을 기반으로 컬러 특징 벡터와 매칭되는 다수의 감성들간의 상관 관계(연결 강도)를 나타내는 형태 스케일과 각 감정에 대한 형태 특징 확률적 감정 예측값을 도출하는 형태 감정 인식 모듈을 포함하는 것이 바람직하다.
상기 형태 특징 검출 모듈은,
주어진 영상에 대해 기 정의된 탬플릿 데이터 셋을 토대로 클러스터링을 수행하여 대표성을 가지는 시각 단어와 시각 단어들의 계층적 구조인 시각 단어 트리를 구축하고,
구축된 시각 단어 트리 중 영상과 유사도가 높은 노드를 탐색한 후 탐색된 노드의 시각 단어에 기 정해진 가중치를 부여하여 유사도가 높은 시각 단어 개수인 형태 특징 벡터를 도출하도록 구비되는 것이 바람직하다.
상기 형태 감정 인식 모듈은,
상기 형태 특징 검출 모듈의 형태 특징 벡터와 맵핑되는 감정에 대한 형태 확률적 감정 예측값
Figure pat00010
을 도출하는 E- 스텝 부재과
상기 형태 확률적 감정 예측값
Figure pat00011
을 토대로 감성들 간의 상관 관계를 나타내는 형태 스케일
Figure pat00012
을 도출하는 M 스텝 부재로 구비되는 것이 바람직하다.
상기 형태 감정 인식 모듈은,
새로 입력된 영상에 대한 학습 시 E 스텝 부재의 형태 확률적 감정 예측값
Figure pat00013
을 초기화하고 기 정해진 영상에 대한 영상 감성 확률값
Figure pat00014
을 고정하여 상기 M 스텝 부재에서 도출된 형태 스케일
Figure pat00015
을 예측하여 업데이트하고
새로운 영상에 대한 테스트 시 상기 E 스텝 부재의 형태 특징 확률적 감정 예측값
Figure pat00016
을 초기화한 후 M 스텝 부재의 형태 스케일
Figure pat00017
을 고정한 후 기 정해진 영상에 대한 감정 확률값
Figure pat00018
을 업데이트하도록 구비되는 것이 바람직하다.
상기 영상 색인부는,
상기 컬러 특징 처리부의 컬러 특징 확률적 감성 예측 값과 상기 형태 특징 처리부의 형태 확률적 감성 예측값의 평균값을 도출하고 상기 평균값이 기 정해진 임계치를 넘는 경우 평균값과 맵핑되는 감성어로 영상을 색인 및 저장하도록 구비되는 것이 바람직하다.
상기 목적을 달성하기 위한 본 발명에 따른 감성 시간의 영상 색인 방법은,
a) 컬러 특징 처리부에서 수집된 다수의 영상 중 각각의 영상에 대해, 컬러 조합에 대응되는 감정을 정의한 컬러 조합 사전을 기반으로 컬러 조합의 분포인 컬러 특징 벡터를 도출한 후 컬러 특징 벡터와 맵핑되는 다수의 감성에 대한 컬러 특징에 대한 컬러 확률적 감성 예측 값 및 감정들 간의 상관 관계를 나타내는 컬러 스케일을 도출하는 컬러 특징 처리 과정;
b) 형태 특징 처리부에서 크기 불변 특징 변환 알고리즘을 기반으로 각각의 영상에 대해 형태 특징을 도출한 후 도출된 형태 특징에 대한 시각 단어를 탐색한 후 탐색된 시각 단어 중 유사도가 높은 노드의 시각 단어의 개수인 형태 특징 벡터를 도출하고 도출된 형태 특징 벡터와 맵핑되는 다수의 감성에 대한 형태 특징에 대한 형태 확률적 감성 예측값 및 감정들 간의 상관 관계를 나타내는 형태 스케일을 도출하는 형태 특징 처리 과정;
c) 상기 컬러 특징 처리부의 컬러 확률적 감성 예측값과 형태 특징 처리부의 컬러 확률적 감성 예측값을 토대로 주어진 영상에 대한 컬러 및 형태 특징과 맵핑되는 감성어를 도출하고 도출된 감성어로 영상을 색인하여 저장하는 영상 색인 과정을 포함하는 것을 특징으로 한다.
a) 상기 컬러 특징 처리 과정은,
a-1) 상기 컬러 조합 사전을 토대로 각각의 영상에 대해 컬러 조합 분포인 컬러 특징 벡터를 출력하는 컬러 특징 검출 단계;
a-2) 컬러 조합과 감성에 대한 확률적 감성 예측 모델을 기반으로 컬러 특징 벡터와 매칭되는 다수의 감성들간의 상관 관계(연결 강도)를 나타내는 컬러 스케일과 각 감정에 대한 컬러 확률적 감정 예측값을 도출하는 컬러 감성 인식 단계를 포함하는 것이 바람직하다.
상기 a-2) 는
컬러 특징 검출 모듈에서 도출된 컬러 특징 벡터와 맵핑되는 감정에 대한 컬러 확률적 감정 예측값
Figure pat00019
을 도출하는 E- 스텝 단계과,
상기 컬러 확률적 감정 예측값
Figure pat00020
을 토대로 감성들 간의 상관 관계를 나타내는 컬러 스케일
Figure pat00021
을 도출하는 M 스텝 단계로 구비되는 것이 바람직하다.
상기 a-2) 단계는,
새로운 형상에 대한 학습 시 E 스텝 단계의 컬러 특징 확률적 감정 예측값
Figure pat00022
을 초기화하고 기 정해진 영상에 대한 영상 감성 확률값
Figure pat00023
을 고정하여 상기 M 스텝 부재에서 도출된 컬러 스케일
Figure pat00024
을 예측하여 업데이트하고
새로운 영상에 대한 테스트 시 상기 E 스텝 단계의 컬러 특징 확률적 감정 예측값
Figure pat00025
을 초기화한 후 M 스텝 부재의 컬러 스케일
Figure pat00026
을 고정한 후 기 정해진 영상에 대한 감정 확률값
Figure pat00027
을 업데이트하도록 구비되는 것이 바람직하다.
상기 영상 색인 단계는,
상기 컬러 특징 처리부의 컬러 특징 확률적 감성 예측 값과 상기 형태 특징 처리부의 형태 확률적 감성 예측값의 평균값을 도출하고 상기 평균값이 기 정해진 임계치를 넘는 경우 평균값과 맵핑되는 감성어로 영상을 색인 및 저장하도록 구비되는 것이 바람직하다.
이상에서 설명한 바와 같이, 본 발명에 따른 감성 기반의 영상 색인 시스템 및 방법에 따르면, 수집된 다수의 영상 중 각각의 영상에 대해, 컬러 조합에 대응되는 감정을 정의한 컬러 조합 사전을 기반으로 컬러 조합의 분포도인 컬러 특징 벡터를 도출하고, 크기 불변 특징 변환 알고리즘을 기반으로 각각의 영상에 대해 형태 특징을 도출한 후 도출된 형태 특징에 대한 시각 단어를 탐색한 후 탐색된 시각 단어 중 유사도가 높은 노드의 시각 단어의 개수인 형태 특징 벡터를 도출하며, 도출된 컬러 특징 벡터 및 형태 특징 벡터와 맵핑되는 다수의 감성에 대한 컬러 특징 확률적 감성 예측 값 및 컬러 스케일 및 형태 특징 확률적 감성 예측값 및 형태 스케일을 토대로 컬러 특징 및 형태 특징과 매칭되는 감성어를 도출하고 도출된 감성어로 각 영상을 색인하여 저장함에 따라, 주어진 영상의 컬러 특징 및 형태 특징을 토대로 추출된 보다 강인한 감성어로 영상을 색인 및 저장할 수 있는 효과를 얻는다.
본 명세서에서 첨부되는 다음의 도면들은 본 발명의 바람직한 실시 예를 예시하는 것이며, 후술하는 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니된다.
도 1은 본 발명의 실시 예에 따른 감성 기반의 영상 색인 시스템의 구성을 보인 도이다.
도 2는 본 발명의 실시 예에 따른 감성 기반의 영상 색인 시스템에서 감성어로 색인된 영상들을 보인 예시도이다.
도 3은 본 발명의 실시 예에 따른 감성 기반의 영상 색인 시스템에서 컬러 특징과, 형태 특징과, 컬러 특징 및 형태 특징과 각각 매칭되는 감성들에 대한 각각의 확률값을 보인 도이다.
도 4는 본 발명의 다른 실시 예에 따른 감성 기반의 영상 색인 과정을 보인 흐름도이다.
도 5는 본 발명의 다른 실시 예에 따른 감성 기반의 영상 색인 과정에서 컬러 특징 처리과정을 보인 흐름도이다.
도 6은 본 발명의 다른 실시 예에 따른 감성 기반의 영상 색인 과정에서 형태 특징 처리과정을 보인 흐름도이다.
도 7은 본 발명의 다른 실시 예에 따른 감성 기반의 영상 색인 과정에서 영상 색인 과정을 보인 흐름도이다.
본 발명과 본 발명의 동작상의 잇점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시 예를 예시하는 첨부 도면 및 도면에 기재된 내용을 참조하여야 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 실시 예에 따른 감성 기반의 영상 색인 시스템의 구성을 보인 도이고, 도 2는 본 발명의 실시 예에 따른 감성 기반의 영상 색인 시스템에서 감성어로 색인된 영상들을 보인 예시도이며, 도 3은 본 발명의 실시 예에 따른 감성 기반의 영상 색인 시스템에서 컬러 특징과, 형태 특징과, 컬러 특징 및 형태 특징과 각각 매칭되는 감성들에 대한 각각의 확률적 감성 예측값을 보인 도이다.
본 발명의 실시 예에 따른 감성 시간의 영상 색인 시스템은 도 1 내지 도 3에 도시된 바와 같이, 크게 영상 수집부(100), 컬러 특징 처리부(200), 형태 특징 처리부(300), 및 영상 색인부(400)를 포함한다.
여기서, 상기 영상 수집부(100)는, 다양한 웹 상에 존재하는 다수의 영상을 수집하는 기능을 수행한다.
그리고, 상기 컬러 특징 처리부(200)는, 수집된 다수의 영상 중 각각의 영상에 대해, 컬러 조합에 대응되는 감정을 정의한 컬러 조합 사전을 기반으로 컬러 조합의 분포도, 즉 컬러 조합의 갯수인 컬러 특징 벡터를 도출한 후 컬러 특징 벡터와 매칭되는 다수의 감성에 대한 컬러 확률적 감성 예측 값과 다수의 감성들 간의 성관 관계(연결 강도)를 나타내는 컬러 스케일을 도출하도록 구비된다.
즉, 상기 컬러 특징 처리부(200)는, 상기 컬러 조합 사전을 토대로 각각의 영상에 대해 컬러 특징 벡터를 출력하는 컬러 특징 검출 모듈(210)과, 컬러 조합과 감성에 대한 확률적 감성 예측 모델인 PLSA(Probabilistic Latent Semantic Analysis) 모델을 기반으로 컬러 특징 벡터와 매칭되는 다수의 감성들간의 상관 관계(연결 강도)를 나타내는 컬러 스케일과 각 감정에 대한 확률적 감정 예측값을 도출하는 컬러 감정 인식 모듈(230)을 포함한다.
여기서, 상기 컬러 특징 검출 모듈(210)은, 주어진 영상에 대해 클러스터링(clustering)을 실행하여 다수의 영역 단위로 분할하고, 분할된 영역에 대한 영역 값과 영상의 중심 좌표와 영역 중심 좌표 간의 가우시안 거리값을 연산하여 영역의 대표값을 도출하며, 도출된 영역 대표값을 기준으로 소정 수 영역 중 씨드 영역을 선택하며, 선택된 씨드 영역을 중심으로 이웃하는 영역 들 간의 컬러 조합 중 유사도가 높은 컬러 조합을 상기 컬러 조합 사전을 토대로 탐색하고, 탐색된 유사도가 높은 컬러 조합에 기 정해진 가중치를 부여하여 유사도가 높은 컬러 조합의 갯수인 컬러 특징 벡터를 생성한다.
여기서, 상기 클러스터링은 통상의 mean shift clustering을 토대로 주어진 영상을 컬러 영역으로 분할하는 기능을 수행한다.
본 발명의 실시 예에서, 주어진 각각의 영상에 대해 다수의 컬러로 클러스터링(clustering)을 실행하여 다수의 컬러 영역 단위로 분할하고, 분할된 컬러 영역에 대한 영역 값과 영상의 중심 좌표와 영역 중심 좌표 간의 가우시안 거리값을 연산하여 영역의 대표값을 도출하며, 도출된 영역 대표값을 기준으로 소정 수 영역 중 씨드 영역을 선택하며, 선택된 씨드 영역을 중심으로 이웃하는 영역 들 간의 컬러 조합 중 유사도가 높은 컬러 조합을 상기 컬러 조합 사전을 토대로 탐색하고, 탐색된 유사도가 높은 컬러 조합에 기 정해진 가중치를 부여하여 유사도가 높은 컬러 조합의 갯수인 컬러 특징 벡터를 생성하는 일련의 과정은, 통상적인 주어진 영상을 컬러 영역으로 분할한 후 분할된 영역들의 영역 특성을 기반으로 각 영역의 중요도가 계산되며, 계산된 중요도를 기반으로 중요한 영역들을 선택하며 선택된 중요 영역들간의 관계를 영역 인접 분포도를 이용하여 분석한 후 서로 인접한 영역들의 컬러 조합을 추출하는 일련의 과정과 동일 또는 유사하므로, 이에 대한 구체적인 설명은 생략한다.
한편, 컬러 특징 검출 모듈(210)의 컬러 특징 벡터는 컬러 감성 인식 모듈(230)로 전달한다.
상기 컬러 감성 인식 모듈(230)은, 컬러 조합과 감성에 대한 확률적 감성 예측 모델인 PLSA(Probabilistic Latent Semantic Analysis) 모델을 기반으로 컬러 특징 벡터와 매칭되는 다수의 감성들의 확률적 감성 예측값인 컬러 확률적 감성 예측값과 각 감정들간의 상관 관계(연결 강도)를 나타내는 컬러 스케일을 도출하도록 구비된다.
여기서, 상기 PLSA 모델을 기반으로 컬러 특징 벡터와 매칭되는 컬러 특징 확률적 감성 예측값을 도출하는 과정은, 추출된 색상 조합들을 미리 정의된 감성 공간 상의 감성과 맵핑하여 영상의 감성을 예측하여 감성값인 확률적 감성 예측값을 도출하는 일반적인 과정과 동일 또는 유사하므로 이에 대한 구체적인 설명은 생략한다. 또한, 영상에 대한 감정 예측값은 미리 저장되어 있다.
한편, 상기 컬러 감성 인식 모듈(230)은 기 정해진 EM(Expectation Maximization) 알고리즘을 기반으로 상기 컬러 특징 검출 모듈에서 도출된 컬러 특징 벡터와 맵핑되는 감정에 대한 컬러 확률적 감정 예측값
Figure pat00028
을 도출하는 E- 스텝 부재(231)과, 상기 컬러 확률적 감정 예측값
Figure pat00029
을 토대로 감성들 의 상관 관계를 나타내는 컬러 스케일
Figure pat00030
을 도출하는 M 스텝 부재(233)로 구비된다.
상기 E 스텝부재(231)은 기 정해진 영상에 대한 감정 확률값
Figure pat00031
과 컬러 스케일
Figure pat00032
을 기반으로 컬러 특징 확률적 감성 예측값
Figure pat00033
을 도출하며 도출된 컬러 특징 확률적 감성 예측값
Figure pat00034
는 다음 식 1을 만족한다.
Figure pat00035
... 식 1
그리고, 상기 E 스텝 부재(231)에서 도출된 컬러 특징 확률적 감성 예측값
Figure pat00036
은 M 스텝 부재(233)으로 공급된다.
상기 M 스텝 부재(233)는 도출된 확률적 감성 예측값
Figure pat00037
및 기 정해진 영상에 대한 감정 확률값
Figure pat00038
을 기반으로 컬러 스케일
Figure pat00039
을 도출하도록 구비되며, 상기 도출된 컬러 스케일
Figure pat00040
는 다음 식 2 및 3을 만족한다.
Figure pat00041
... 식 2
Figure pat00042
... 식 3
아울러, 상기 컬러 감성 인식 모듈(230)은 도출된 컬럭 확률적 감성 예측값
Figure pat00043
및 컬러 스케일
Figure pat00044
및 기 정해진 영상에 대한 감정 확률값
Figure pat00045
를 토대로 새로운 영상에 대한 학습 시 E 스텝 부재의 컬러 확률적 감정 예측값
Figure pat00046
을 초기화하고 기 정해진 영상에 대한 영상 감성 확률값
Figure pat00047
을 고정하여 상기 M 스텝 부재에서 도출된 컬러 스케일
Figure pat00048
을 예측하여 업데이트하는 업데이트 부재(235)를 더 포함한다..
또한, 상기 업데이트 부재(235)는 새로운 영상에 대한 테스트할 때 상기 E 스텝 부재의 컬러 확률적 감정 예측값
Figure pat00049
을 초기화한 후 M 스텝 부재의 컬러 스케일
Figure pat00050
을 고정한 후 기 정해진 영상에 대한 감정 확률값
Figure pat00051
을 업데이트한다.
즉, 전술한 바와 같이, 상기 컬러 감성 인식 모듈(200)은 도출된 형태 스케일
Figure pat00052
및 영상에 대한 감정 확률값
Figure pat00053
등의 파라미터들을 새로운 영상이 수집될 때 마다 최적화하여 저장된다.
한편, 상기 형태 특징 처리부(300)는 크기 불변 특징 변환 알고리즘을 기반으로 각각의 영상에 대해 형태 특징을 도출한 후 도출된 형태 특징에 대한 시각 단어를 탐색한 후 탐색된 시각 단어 중 유사도가 높은 노드의 시각 단어의 개수인 형태 특징 벡터를 도출하는 형태 특징 도출 모듈(310)과, 기 정해진 PLSA(Probabilistic Latent Semantic Analysis) 모델을 기반으로 상기 형태 특징 벡터와 감성들간의 상관 관계를 나타내는 형태 스케일 및 각 감정 들의 확률적 감성 예측값을 도출하는 형태 감성 인식 모듈(330)을 포함한다.
여기서, 상기 형태 특징 도출 모듈(151)은 주어진 영상에 대해 기 정의된 탬플릿 데이터 셋을 토대로 클러스터링을 수행하여 대표성을 가지는 시각 단어와 시각 단어들의 계층적 구조인 시각 단어 트리를 구축하고, 구축된 시각 단어 트리 중 영상과 유사도가 높은 노드를 탐색한 후 탐색된 노드의 시각 단어에 기 정해진 가중치를 부여하여 유사도가 높은 시각 단어 개수인 형태 특징 벡터를 도출하도록 구비된다.
즉, 상기 클러스터링은 각 영상의 형태 특징과 매칭되는 시각 단어를 계층 구조를 이루는 시각 단어 트리 구조를 클러스터를 형성하는 Hierarchical K means clustering으로 실행된다.
상기 PLSA 모델을 기반으로 형태 특징 벡터와 매칭되는 다수 감정 클래스 간의 상관 관계를 나타내는 확률적 감성 예측값인 형태 스케일을 도출하는 과정은, 추출된 형태 특징을 미리 정의된 감성 공간 상의 감성과 맵핑하여 영상의 감성을 예측하여 감성값인 확률적 감성 예측값을 도출하는 일반적인 과정과 동일 또는 유사하므로 이에 대한 구체적인 설명은 생략한다.
한편, 상기 형태 특징 검출 모듈(310)의 컬러 특징 벡터는 형태 감성 인식 모듈(330)로 전달한다.
상기 형태 감성 인식 모듈(330)은, 형태 특징과 감성에 대한 확률적 감성 예측 모델인 PLSA(Probabilistic Latent Semantic Analysis) 모델을 기반으로 형태 특징 벡터와 매칭되는 다수의 감성들의 확률적 감성 예측값인 형태 확률적 감성 예측값과 각 감정들간의 상관 관계(연결 강도)를 나타내는 형태 스케일을 도출하도록 구비된다.
여기서, 상기 PLSA 모델을 기반으로 형태 특징 벡터와 매칭되는 형태 확률적 감성 예측값을 도출하는 과정은, 추출된 형태 특징을 미리 정의된 감성 공간 상의 감성과 맵핑하여 영상의 감성을 예측하여 확률적 감성 예측값을 도출하는 일반적인 과정과 동일 또는 유사하므로 이에 대한 구체적인 설명은 생략한다. 또한, 영상에 대한 감정 예측값은 미리 저장되어 있다.
즉, 상기 형태 감성 인식 모듈(330)은 기 정해진 EM(Expectation Maximization) 알고리즘을 기반으로 상기 형태 특징 검출 모듈에서 도출된 형태 특징 벡터와 맵핑되는 감정에 대한 형태 확률적 감정 예측값
Figure pat00054
을 도출하는 E- 스텝 부재(331)과, 상기 형태 특징 확률적 감정 예측값
Figure pat00055
을 토대로 감성들 의 상관 관계를 나타내는 형태 스케일
Figure pat00056
을 도출하는 M 스텝 부재(333)로 구비된다.
상기 E 스텝부재(331)은 기 정해진 영상에 대한 감정 확률값
Figure pat00057
과 형태 스케일
Figure pat00058
을 기반으로 형태 특징 확률적 감성 예측값
Figure pat00059
을 도출하며 도출된 형태 특징 확률적 감성 예측값
Figure pat00060
는 다음 식 11을 만족한다.
Figure pat00061
.. 식 11
그리고, 상기 E 스텝 부재(231)에서 도출된 형태 특징 확률적 감성 예측값
Figure pat00062
은 M 스텝 부재(233)으로 공급된다.
상기 M 스텝 부재(233)는 도출된 형태 확률적 감성 예측값
Figure pat00063
및 기 정해진 영상에 대한 감정 확률값
Figure pat00064
을 기반으로 형태 스케일
Figure pat00065
을 도출하도록 구비되며, 상기 도출된 형태 스케일
Figure pat00066
는 다음 식 12 및 13을 만족한다.
Figure pat00067
... 식 12
Figure pat00068
... 식 13
아울러, 상기 형태 감성 인식 모듈(230)은 도출된 형태 확률적 감성 예측값
Figure pat00069
및 컬러 스케일
Figure pat00070
및 기 정해진 영상에 대한 감정 확률값
Figure pat00071
를 토대로 학습 시 E 스텝 부재(331)의 형태 확률적 감정 예측값
Figure pat00072
을 초기화하고 기 정해진 영상에 대한 영상 감성 확률값
Figure pat00073
을 고정하여 상기 M 스텝 부재(333)에서 도출된 형태 스케일
Figure pat00074
을 예측하여 업데이트하는 업데이트 부재(335)를 더 포함한다.
또한, 상기 업데이트 부재(335)는 새로운 영상에 대한 감성 확률값을 테스트할 때 상기 E 스텝 부재의 형태 특징 확률적 감정 예측값
Figure pat00075
을 초기화한 후 M 스텝 부재(333)의 형태 스케일
Figure pat00076
을 고정한 후 기 정해진 영상에 대한 감정 확률값
Figure pat00077
을 업데이트한다.
즉, 전술한 바와 같이, 상기 형태 감성 인식 모듈(300)은 도출된 형태 스케일
Figure pat00078
및 영상에 대한 감정 확률값
Figure pat00079
등의 파라미터를 새로운 영상이 수집될 때 마다 최적화하여 저장된다.
한편, 상기 영상 색인부(400)는 상기 컬러 특징 처리부(200)의 컬러 특징 확률적 감성 예측 값과 상기 형태 특징 처리부(300)의 형태 특징 확률적 감성 예측값의 평균값을 도출하고 상기 평균값이 기 정해진 임계치를 넘는 경우 평균값과 맵핑되는 감성어로 영상을 색인 및 저장한다.
이때 각 감성어로 색인된 영상은 도 2에 도시된 바와 같으며, 도 2에 도시된 각 영상에 대해 컬러 특징와 형태 특징와 컬러 및 형태 특징에 따른 확률적 감성 예측값은 도 3에 도시된 바와 같다.
한편, 수집된 영상의 컬러 특징 및 형태 특징을 추출한 후 추출된 컬러 특징 벡터 및 형태 특징 벡터 각각과 맵핑되는 감성들의 확률적 감성 예측값과 스케일을 도출하고 도출된 확률적 감성 예측값 및 스케일을 토대로 주어진 영상과 맵핑되는 감성어를 생성한 후 생성된 감성어로 영상을 색인하며, 새로운 영상이 입력될 때 입력된 영상에 대한 감성 예측값 및 스케일을 업데이트하는 일련의 과정을 도 4를 참조하여 설명한다.
도 4는 도 1에 도시된 감성 기반의 영상 색인 시스템의 동작 과정을 보인 흐름도이고, 도 5는 도 4에 도시된 컬러 특징 처리 과정을 보인 흐름도이며, 도 6은 도 4에 도시된 형태 특징 처리 과정을 보인 흐름도이며, 도 7은 도 1에 도시된 영상 색인부의 과정을 보인 흐름도이다. 도 4 내지 도 7을 참조하여 본 발명의 다른 실시 예에 따른 감성 기반의 영상 색인 과정을 설명한다.
우선, 상기 영상 수집부(100)는 웹 상에 존재하는 다수의 영상을 수집하고 수집된 영상을 컬러 특징 처리부(200) 및 형태 특징 처리부(300)로 공급한다(단계 600)
상기 컬러 특징 처리부(200)는 수집된 영상의 수집된 다수의 영상 중 각각의 영상에 대해, 컬러 조합에 대응되는 감정을 정의한 컬러 조합 사전을 기반으로 컬러 조합의 분포도인 컬러 특징 벡터를 도출한 후 컬러 특징 벡터와 매칭되는 다수의 감성에 대한 확률적 감성 예측 값 및 다수의 감정들의 상관 관계를 나타내는 컬러 스케일을 도출한다(단계 700).
여기서, 상기 컬러 특징 처리부(200)는 상기 컬러 조합 사전을 토대로 각각의 영상에 대해 컬러 조합 분포인 컬러 특징 벡터를 도출한 후 도출된 컬러 특징과 맵핑되는 다수의 감성들에 대한 컬러 확률적 감성 예측값
Figure pat00080
및 다수의 감성들 간의 상관 관계를 나타내는 컬러 스케일
Figure pat00081
을 연산한다(단계 701, 703).
그리고, 상기 컬러 특징 처리부(200)는 기 저장된 영상에 대한 감성 확률값
Figure pat00082
을 추출한 후 새로 수집된 영상에 대한 학습, 및 테스트를 실행한다(단계 705).
즉, 상기 컬러 특징 처리부(200)는 새로운 영상이 수집되어 학습하는 지를 판정하고 판정 결과 학습 시 인 경우 컬러 확률적 감정 예측값
Figure pat00083
을 초기화하고 기 정해진 영상에 대한 영상 감성 확률값
Figure pat00084
을 고정하여 상기 M 스텝 부재에서 도출된 컬러 스케일
Figure pat00085
을 예측하여 업데이트한다(단계 707, 709) .
또한, 상기 단계(707)에서 새로운 영상에 대한 학습이 아닌 경우 테스트 인 경우 판정하여 컬러 확률적 감정 예측값
Figure pat00086
을 초기화한 후 M 스텝 부재의 컬러 스케일
Figure pat00087
을 고정한 후 기 정해진 영상에 대한 감정 확률값
Figure pat00088
을 업데이트한다(단계 711).
한편, 상기 주어진 영상 수집부(100)의 영상은 상기 형태 특징 처리부(300)로 전달되며, 상기 형태 특징 처리부(300)는 크기 불변 특징 변환 알고리즘을 기반으로 각각의 영상에 대해 형태 특징을 도출한 후 도출된 형태 특징에 대한 시각 단어를 탐색한 후 탐색된 시각 단어 중 유사도가 높은 노드의 시각 단어의 개수인 형태 특징 벡터를 도출하고 도출된 형태 특징 벡터와 매칭되는 다수의 감성에 대한 확률적 감성 예측값과 다수의 감정들의 상관 관계를 나타내는 형태 스케일을 도출한다(800).
상기 주어진 영상에 대해 형태 특징으로 도출한 후 도출된 형태 특징과 맵핑되는 다수의 감성들에 대한 형태 확률적 감성 예측값
Figure pat00089
과 다수의 감성들 간의 형태 스케일
Figure pat00090
를 연산한 후 영상에 대해 기 정의된 감성 확률값
Figure pat00091
을 추출한다(단계 801, 803, 805).
이어 상기 형태 특징 추출부(300)는 새로운 영상이 수집되어 학습하는 경우 형태 확률적 감정 예측값
Figure pat00092
을 초기화하고 기 정해진 영상에 대한 영상 감성 확률값
Figure pat00093
을 고정하여 상기 M 스텝 부재에서 도출된 형태 스케일
Figure pat00094
을 예측하여 업데이트한다(단계 807, 809).
또한 상기 단계(807)에서 학습하지 아니한 경우 테스트인 경우 판정하여 형태 확률적 감정 예측값
Figure pat00095
을 초기화한 후 M 스텝 부재의 형태 스케일
Figure pat00096
을 고정한 후 영상에 대해 기 정해진 감정 확률값
Figure pat00097
을 업데이트를 한다(단계 811).
그리고, 이러한 상기 컬러 특징 처리부(200)의 컬러 특징과 맵핑되는 다수의 감성들의 컬러 확률적 감성 예측값
Figure pat00098
와 상기 형태 특징 처리부(300)의 형태 확률적 감정 예측값
Figure pat00099
은 상기 영상 색인부(400)로 전달된다(단계 901).
상기 영상 색인부(400)는 수신된 컬러 확률적 감정 예측값
Figure pat00100
및 형태 확률적 감정 예측값
Figure pat00101
를 가산한 후 평균값을 도출하고(단계 901), 상기 도출된 평균값이 기 정해진 임계치를 넘는 경우 상기 평균값과 맴핑되는 감성어를 색인어로 정하여 영상을 색인한 후 저장한다(단계 903, 905, 907).
본 발명의 실시 예에 따르면, 수집된 다수의 영상 중 각각의 영상에 대해, 컬러 조합에 대응되는 감정을 정의한 컬러 조합 사전을 기반으로 컬러 조합의 분포도인 컬러 특징 벡터를 도출하고, 크기 불변 특징 변환 알고리즘을 기반으로 각각의 영상에 대해 형태 특징을 도출한 후 도출된 형태 특징에 대한 시각 단어를 탐색한 후 탐색된 시각 단어 중 유사도가 높은 노드의 시각 단어의 개수인 형태 특징 벡터를 도출하며, 도출된 컬러 특징 벡터 및 형태 특징 벡터와 맵핑되는 다수의 감성에 대한 컬러 확률적 감성 예측 값 및 컬러 스케일 및 형태 확률적 감성 예측값 및 형태 스케일을 토대로 컬러 특징 및 형태 특징과 매칭되는 감성어를 도출하고 도출된 감성어로 각 영상을 색인하여 저장함에 따라, 주어진 영상의 컬러 특징 및 형태 특징을 토대로 보다 강인한 감성어로 영상을 색인 및 저장할 수 있게 된다.
여기에 제시된 실시 예들과 관련하여 설명된 방법 또는 알고리즘의 단계들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
지금까지 본 발명을 바람직한 실시 예를 참조하여 상세히 설명하였지만, 본 발명이 상기한 실시 예에 한정되는 것은 아니며, 이하의 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 또는 수정이 가능한 범위까지 본 발명의 기술적 사상이 미친다 할 것이다.
수집된 다수의 영상 중 각각의 영상에 대해, 컬러 조합에 대응되는 감정을 정의한 컬러 조합 사전을 기반으로 컬러 조합의 분포도인 컬러 특징 벡터를 도출하고, 크기 불변 특징 변환 알고리즘을 기반으로 각각의 영상에 대해 형태 특징을 도출한 후 도출된 형태 특징에 대한 시각 단어를 탐색한 후 탐색된 시각 단어 중 유사도가 높은 노드의 시각 단어의 개수인 형태 특징 벡터를 도출하며, 도출된 컬러 특징 벡터 및 형태 특징 벡터와 맵핑되는 다수의 감성에 대한 컬러 확률적 감성 예측 값 및 컬러 스케일 및 형태 확률적 감성 예측값 및 형태 스케일을 토대로 컬러 및 형태 특징과 매칭되는 감성어를 도출하고 도출된 감성어로 각 영상을 색인하여 저장함에 따라, 주어진 영상의 컬러 특징 및 형태 특징을 토대로 보다 강인한 감성어로 영상을 색인 및 저장할 수 있는 감성 기반의 영상 색인 시스템 및 방법에 대한 운용의 정확성 및 신뢰도 측면, 더 나아가 성능 효율 면에 매우 큰 진보를 가져올 수 있으며, 적용되는 감성 공학 관련 어플리케이션 및 장치의 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.

Claims (16)

  1. 다수의 영상을 수집하는 영상 수집부와,
    수집된 다수의 영상 중 각각의 영상에 대해, 컬러 조합에 대응되는 감정을 정의한 컬러 조합 사전을 기반으로 컬러 조합의 분포도인 컬러 특징 벡터를 도출한 후 컬러 특징 벡터와 매칭되는 다수의 감성에 대한 컬러 확률적 감성 예측 값 및 다수의 감정들의 상관 관계를 나타내는 컬러 스케일을 도출하는 컬러 특징 처리부;
    크기 불변 특징 변환 알고리즘을 기반으로 각각의 영상에 대해 형태 특징을 도출한 후 도출된 형태 특징에 대한 시각 단어를 탐색한 후 탐색된 시각 단어 중 유사도가 높은 노드의 시각 단어의 개수인 형태 특징 벡터를 도출하고 도출된 형태 특징 벡터와 매칭되는 다수의 감성에 대한 형태 확률적 감성 예측값과 다수의 감정들의 상관 관계를 나타내는 형태 스케일을 도출하는 형태 특징 처리부; 및
    상기 컬러 특징 처리부의 컬러 확률적 감성 예측값과 컬러 스케일 및 상기 형태 특징 처리부의 형태 확률적 감성 예측값과 형태 스케일을 토대로 컬러 특징 및 형태 특징과 매칭되는 감성어를 도출하고 도출된 감성어로 각 영상을 색인하여 저장하는 영상 색인부를 포함하는 것을 특징으로 하는 감성 기반의 영상 색인 시스템.
  2. 제1항에 있어서, 상기 컬러 특징 처리부는,
    상기 컬러 조합 사전을 토대로 각각의 영상에 대해 컬러 조합 분포인 컬러 특징 벡터를 출력하는 컬러 특징 검출 모듈; 및
    컬러 조합과 감성에 대한 확률적 감성 예측 모델을 기반으로 컬러 특징 벡터와 맴핑되는 다수의 감성들간의 상관 관계(연결 강도)를 나타내는 컬러 스케일과 각 감정에 대한 컬러 확률적 감정 예측값을 도출하는 컬러 감정 인식 모듈을 포함하는 것을 특징으로 하는 감성 기반의 영상 색인 시스템.
  3. 제2항에 있어서, 상기 컬러 특징 검출 모듈은,
    주어진 각각의 영상에 대해 다수의 컬러 영역으로 클러스터링(clustering)을 실행하여 다수의 컬러 영역 단위로 분할하고,
    분할된 컬러 영역에 대한 영역 값과 영상의 중심 좌표와 영역 중심 좌표 간의 가우시안 거리값을 연산하여 영역의 대표값을 도출하며,
    도출된 영역 대표값을 기준으로 소정 수 영역 중 씨드 영역을 선택하며,
    선택된 씨드 영역을 중심으로 이웃하는 영역 들 간의 컬러 조합 중 유사도가 높은 컬러 조합을 상기 컬러 조합 사전을 토대로 탐색하고,
    탐색된 유사도가 높은 컬러 조합에 기 정해진 가중치를 부여하여 유사도가 높은 컬러 조합의 갯수인 컬러 조합 분포도를 컬러 특징 벡터로 출력하도록 구비되는 것을 특징으로 하는 감성 기반의 영상 색인 시스템.
  4. 제3항에 있어서, 상 상기 컬러 감정 인식 모듈은,
    상기 컬러 특징 벡터와 맵핑되는 감정에 대한 컬러 확률적 감정 예측값
    Figure pat00102
    을 도출하는 E- 스텝 부재와,
    상기 컬러 확률적 감정 예측값
    Figure pat00103
    을 토대로 감성들 간의 상관 관계를 나타내는 컬러 스케일
    Figure pat00104
    을 도출하는 M 스텝 부재를 포함하는 것을 특징으로 하는 감성 기반의 영상 색인 시스템.
  5. 제4항에 있어서, 상기 컬러 감정 인식 모듈은,
    새로운 영상에 대한 학습 시 상기 E 스텝 부재의 컬러 특징 확률적 감정 예측값
    Figure pat00105
    을 초기화하고 기 정해진 영상에 대한 컬러 영상 감성 확률값
    Figure pat00106
    을 고정하여 상기 M 스텝 부재에서 도출된 컬러 스케일
    Figure pat00107
    을 예측하여 업데이트하고
    새로운 영상에 대한 테스트 시 상기 E 스텝 부재의 컬러 확률적 감정 예측값
    Figure pat00108
    을 초기화한 후 M 스텝 부재의 컬러 스케일
    Figure pat00109
    을 고정한 후 기 정해진 영상에 대한 감정 확률값
    Figure pat00110
    을 업데이트하는 업데이터 부재를 더 포함하도록 구비되는 것을 특징으로 하는 감성 기반의 영상 색인 시스템.
  6. 제1항에 있어서, 상기 형태 특징 처리부는,
    크기 불변 특징 변환 알고리즘을 기반으로 각각의 영상에 대해 형태 특징을 도출한 후 도출된 형태 특징에 대한 시각 단어를 탐색한 후 탐색된 시각 단어 중 유사도가 높은 노드의 시각 단어의 개수인 형태 특징 벡터를 도출하는 형태 특징 검출 모듈과,
    형태 특징에 대한 감성의 확률적 감성 예측 모델을 기반으로 컬러 특징 벡터와 매칭되는 다수의 감성들간의 상관 관계(연결 강도)를 나타내는 형태 스케일과 각 감정에 대한 형태 특징 확률적 감정 예측값을 도출하는 형태 감정 인식 모듈을 포함하는 것을 특징으로 하는 감성 기반의 영상 색인 시스템.
  7. 제6항에 있어서, 상기 형태 특징 검출 모듈은,
    주어진 영상에 대해 기 정의된 탬플릿 데이터 셋을 토대로 클러스터링을 수행하여 대표성을 가지는 시각 단어와 시각 단어들의 계층적 구조인 시각 단어 트리를 구축하고,
    구축된 시각 단어 트리 중 영상과 유사도가 높은 노드를 탐색한 후 탐색된 노드의 시각 단어에 기 정해진 가중치를 부여하여 유사도가 높은 시각 단어 개수인 형태 특징 벡터를 도출하도록 구비되는 것을 특징으로 하는 감성 기반의 영상 색인 시스템.
  8. 제7항에 있어서, 상기 형태 감정 인식 모듈은,
    상기 형태 특징 검출 모듈의 형태 특징 벡터와 맵핑되는 감정에 대한 형태 확률적 감정 예측값
    Figure pat00111
    을 도출하는 E- 스텝 부재과
    상기 형태 확률적 감정 예측값
    Figure pat00112
    을 토대로 감성들 간의 상관 관계를 나타내는 형태 스케일
    Figure pat00113
    을 도출하는 M 스텝 부재로 구비되는 것을 특징으로 하는 감성 기반의 영상 색인 시스템.
  9. 제8항에 있어서, 상기 형태 감정 인식 모듈은,
    새로 입력된 영상에 대한 학습 시 E 스텝 부재의 형태 확률적 감정 예측값
    Figure pat00114
    을 초기화하고 기 정해진 영상에 대한 영상 감성 확률값
    Figure pat00115
    을 고정하여 상기 M 스텝 부재에서 도출된 형태 스케일
    Figure pat00116
    을 예측하여 업데이트하고
    새로운 영상에 대한 테스트 시 상기 E 스텝 부재의 형태 특징 확률적 감정 예측값
    Figure pat00117
    을 초기화한 후 M 스텝 부재의 형태 스케일
    Figure pat00118
    을 고정한 후 기 정해진 영상에 대한 감정 확률값
    Figure pat00119
    을 업데이트하는 업데이트 부재를 더 포함하도록 구비되는 것을 특징으로 하는 감성 기반의 영상 색인 시스템.
  10. 제9항에 있어서, 상기 영상 색인부는,
    상기 컬러 특징 처리부의 컬러 특징 확률적 감성 예측 값과 상기 형태 특징 처리부의 형태 확률적 감성 예측값의 평균값을 도출하고 상기 평균값이 기 정해진 임계치를 넘는 경우 평균값과 맵핑되는 감성어로 영상을 색인 및 저장하도록 구비되는 것을 특징으로 하는 감성 기반의 영상 색인 시스템.
  11. a) 컬러 특징 처리부에서 수집된 다수의 영상 중 각각의 영상에 대해, 컬러 조합에 대응되는 감정을 정의한 컬러 조합 사전을 기반으로 컬러 조합의 분포인 컬러 특징 벡터를 도출한 후 컬러 특징 벡터와 맵핑되는 다수의 감성에 대한 컬러 특징에 대한 컬러 확률적 감성 예측 값 및 감정들 간의 상관 관계를 나타내는 컬러 스케일을 도출하는 컬러 특징 처리 과정;
    b) 형태 특징 처리부에서 크기 불변 특징 변환 알고리즘을 기반으로 각각의 영상에 대해 형태 특징을 도출한 후 도출된 형태 특징에 대한 시각 단어를 탐색한 후 탐색된 시각 단어 중 유사도가 높은 노드의 시각 단어의 개수인 형태 특징 벡터를 도출하고 도출된 형태 특징 벡터와 맵핑되는 다수의 감성에 대한 형태 특징에 대한 형태 확률적 감성 예측값 및 감정들 간의 상관 관계를 나타내는 형태 스케일을 도출하는 형태 특징 처리 과정;
    c) 상기 컬러 특징 처리부의 컬러 확률적 감성 예측값과 형태 특징 처리부의 컬러 확률적 감성 예측값을 토대로 주어진 영상에 대한 컬러 및 형태 특징과 맵핑되는 감성어를 도출하고 도출된 감성어로 영상을 색인하여 저장하는 영상 색인 과정을 포함하는 것을 특징으로 하는 감성 기반의 영상 색인 방법.
  12. 제11항에 있어서, a) 상기 컬러 특징 처리 과정은,
    a-1) 상기 컬러 조합 사전을 토대로 각각의 영상에 대해 컬러 조합 분포인 컬러 특징 벡터를 출력하는 컬러 특징 검출 단계;
    a-2) 컬러 조합과 감성에 대한 확률적 감성 예측 모델을 기반으로 컬러 특징 벡터와 매칭되는 다수의 감성들간의 상관 관계(연결 강도)를 나타내는 컬러 스케일과 각 감정에 대한 컬러 확률적 감정 예측값을 도출하는 컬러 감성 인식 단계를 포함하는 것을 특징으로 하는 감성 기반의 영상 색인 방법.
  13. 제12항에 있어서, 상기 a-2) 는
    컬러 특징 검출 모듈에서 도출된 컬러 특징 벡터와 맵핑되는 감정에 대한 컬러 확률적 감정 예측값
    Figure pat00120
    을 도출하는 E- 스텝 단계와,
    상기 컬러 확률적 감정 예측값
    Figure pat00121
    을 토대로 감성들 간의 상관 관계를 나타내는 컬러 스케일
    Figure pat00122
    을 도출하는 M 스텝 단계로 구비되는 것을 특징으로 하는 감성 기반의 영상 색인 방법.
  14. 제13항에 있어서, 상기 a-2) 단계는,
    새로운 형상에 대한 학습 시 E 스텝 단계의 컬러 특징 확률적 감정 예측값
    Figure pat00123
    을 초기화하고 기 정해진 영상에 대한 영상 감성 확률값
    Figure pat00124
    을 고정하여 상기 M 스텝 부재에서 도출된 컬러 스케일
    Figure pat00125
    을 예측하여 업데이트하고
    새로운 영상에 대한 테스트 시 상기 E 스텝 단계의 컬러 특징 확률적 감정 예측값
    Figure pat00126
    을 초기화한 후 M 스텝 부재의 컬러 스케일
    Figure pat00127
    을 고정한 후 기 정해진 영상에 대한 감정 확률값
    Figure pat00128
    을 업데이트하는 단계를 더 포함하도록 구비되는 것을 특징으로 하는 감성 기반의 영상 색인 방법.
  15. 제14항에 있어서, 상기 영상 색인 단계는,
    상기 컬러 특징 처리부의 컬러 특징 확률적 감성 예측 값과 상기 형태 특징 처리부의 형태 확률적 감성 예측값의 평균값을 도출하고 상기 평균값이 기 정해진 임계치를 넘는 경우 평균값과 맵핑되는 감성어로 영상을 색인 및 저장하도록 구비되는 것을 특징으로 하는 감성 기반의 영상 색인 방법.
  16. 제11항 내지 제15항 중 어느 한 항에 따른 방법의 각 단계를 수행하기 위한 명령어를 포함하는 컴퓨터 판독 가능 매체.
KR1020140173787A 2014-12-05 2014-12-05 감성 기반의 영상 색인 시스템 및 방법 KR20160069027A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140173787A KR20160069027A (ko) 2014-12-05 2014-12-05 감성 기반의 영상 색인 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140173787A KR20160069027A (ko) 2014-12-05 2014-12-05 감성 기반의 영상 색인 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20160069027A true KR20160069027A (ko) 2016-06-16

Family

ID=56354622

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140173787A KR20160069027A (ko) 2014-12-05 2014-12-05 감성 기반의 영상 색인 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20160069027A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019039659A1 (ko) * 2017-08-23 2019-02-28 건국대학교 산학협력단 감성 기반의 사용자 관리 방법 및 이를 수행하는 장치들
KR20220117545A (ko) * 2021-02-17 2022-08-24 연세대학교 산학협력단 이미지 검색 기반 감성 색채 배색 추천 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019039659A1 (ko) * 2017-08-23 2019-02-28 건국대학교 산학협력단 감성 기반의 사용자 관리 방법 및 이를 수행하는 장치들
KR20220117545A (ko) * 2021-02-17 2022-08-24 연세대학교 산학협력단 이미지 검색 기반 감성 색채 배색 추천 장치 및 방법

Similar Documents

Publication Publication Date Title
Souza et al. Data stream classification guided by clustering on nonstationary environments and extreme verification latency
JP6402653B2 (ja) 物体認識装置、物体認識方法、およびプログラム
KR20150108673A (ko) 사용자 인식 방법 및 장치
KR20200075114A (ko) 이미지와 텍스트간 유사도 매칭 시스템 및 방법
JP2015158712A (ja) 学習装置、密度計測装置、学習方法、学習プログラム、及び密度計測システム
JP4937395B2 (ja) 特徴ベクトル生成装置、特徴ベクトル生成方法及びプログラム
JP6558863B2 (ja) モデル作成装置、推定装置、方法、及びプログラム
US11410327B2 (en) Location determination apparatus, location determination method and computer program
CN113806582B (zh) 图像检索方法、装置、电子设备和存储介质
JP2018018330A (ja) データ検索プログラム、データ検索方法およびデータ検索装置
JP5014479B2 (ja) 画像検索装置、画像検索方法及びプログラム
CN110751027A (zh) 一种基于深度多示例学习的行人重识别方法
CN113641906A (zh) 基于资金交易关系数据实现相似目标人员识别处理的系统、方法、装置、处理器及其介质
CN111783088B (zh) 一种恶意代码家族聚类方法、装置和计算机设备
KR20160069027A (ko) 감성 기반의 영상 색인 시스템 및 방법
CN117297606A (zh) 情绪识别方法和装置、电子设备及存储介质
KR20210018586A (ko) 등장인물의 생체특징을 이용하는 비디오 콘텐트 식별 방법 및 장치
KR102499861B1 (ko) 인공지능 기반 객체 재인식 장치
KR20150124825A (ko) 화상분류 기반의 나이브 베이즈 분류기
Bostrom Shapelet transforms for univariate and multivariate time series classification
JP2021163477A (ja) 画像処理方法及び装置、電子機器、コンピュータ可読記憶媒体並びにコンピュータプログラム
Miholca et al. Machine learning based approaches for sex identification in bioarchaeology
JP7143906B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2008293178A (ja) シーン管理装置及びシーン管理方法ならびにそのプログラム
JP7297704B2 (ja) 照合装置、照合方法およびプログラム

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination