KR101924200B1 - 감성 기반의 이미지 선택 장치 및 방법 - Google Patents

감성 기반의 이미지 선택 장치 및 방법 Download PDF

Info

Publication number
KR101924200B1
KR101924200B1 KR1020160177324A KR20160177324A KR101924200B1 KR 101924200 B1 KR101924200 B1 KR 101924200B1 KR 1020160177324 A KR1020160177324 A KR 1020160177324A KR 20160177324 A KR20160177324 A KR 20160177324A KR 101924200 B1 KR101924200 B1 KR 101924200B1
Authority
KR
South Korea
Prior art keywords
image
cluster
ranking
images
clusters
Prior art date
Application number
KR1020160177324A
Other languages
English (en)
Other versions
KR20180073851A (ko
Inventor
김은이
Original Assignee
건국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 건국대학교 산학협력단 filed Critical 건국대학교 산학협력단
Priority to KR1020160177324A priority Critical patent/KR101924200B1/ko
Publication of KR20180073851A publication Critical patent/KR20180073851A/ko
Application granted granted Critical
Publication of KR101924200B1 publication Critical patent/KR101924200B1/ko

Links

Images

Classifications

    • G06F17/30342—
    • G06F17/30253—
    • G06F17/30292—
    • G06F17/30401—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)

Abstract

감성 기반의 이미지 선택 장치에 관한 것이며, 감성 기반의 이미지 선택 장치는, 쿼리에 대응하는 검색 이미지들 각각의 감성 특징을 추출하는 감성 특징 추출부, 상기 감성 특징에 기초하여 복수의 이미지 클러스터를 형성하는 이미지 클러스터 형성부, 상기 복수의 이미지 클러스터의 랭킹을 산출하는 클러스터 랭킹 산출부, 기설정된 클러스터 랭킹에 속하는 이미지 클러스터에 포함된 이미지들 중 대표 이미지를 추출하는 이미지 추출부 및 상기 추출된 대표 이미지를 출력하는 출력부를 포함할 수 있다.

Description

감성 기반의 이미지 선택 장치 및 방법 {APPARATUS AND METHOD FOR SELECTING IMAGE BASED ON HUMAN AFFECTS}
본원은 감성 기반의 이미지 선택 장치 및 방법에 관한 것이다.
최근 인터넷 및 소셜 네트워크의 급속한 성장으로 인해 이미지의 수가 기하 급수적으로 증가하였으며, 이에 따라 사용자로부터 입력된 검색 키워드와 관련된 이미지를 보다 효율적인 방식으로 구성하여 제공할 수 있는 기술이 요구되고 있다.
종래의 이미지 검색 및 제공 서비스를 위한 검색 서버는 사용자 단말로부터 수신된 검색 키워드에 1차원적으로 직접 매칭되는 이미지만을 검색하여 제공할 뿐, 사용자의 감성을 고려한 이미지는 전혀 제공하지 못하고 있는 실정이다.
예를 들어, 검색 키워드가 '낙엽'인 경우, 종래의 검색 서버는 '낙엽'에 직접적으로 매칭되는 다양한 '낙엽'이 포함된 이미지만을 제공할 뿐이여서, 일예로 사용자가 '낙엽'으로부터 연상되는 '고독', '쓸쓸함' 및 '외로움' 등과 같은 감성적인 느낌과 연계하여 감성을 공유하는 이미지들을 제공받고자 할 경우, 종래 기술로는 이러한 사용자의 요구를 충족시켜주지 못하는 문제가 있었다.
본원의 배경이 되는 기술은 한국공개특허공보 제10-2007-0009833호(공개일: 2007.01.19)에 개시되어 있다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 사용자의 감성을 고려한 이미지를 보다 효율적인 방식으로 구성하여 제공할 수 있는 감성 기반의 이미지 선택 장치 및 방법을 제공하려는 것을 목적으로 한다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 사용자가 요구하는 검색 이미지를 제공함에 있어서, 만족도 높은 검색 결과를 제공할 수 있는 감성 기반의 이미지 선택 장치 및 방법을 제공하려는 것을 목적으로 한다.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 감성 기반의 이미지 선택 방법은, (a) 쿼리에 대응하는 검색 이미지들 각각의 감성 특징을 추출하는 단계, (b) 상기 감성 특징에 기초하여 복수의 이미지 클러스터를 형성하는 단계, (c) 상기 복수의 이미지 클러스터의 랭킹을 산출하는 단계, (d) 기설정된 클러스터 랭킹에 속하는 이미지 클러스터에 포함된 이미지들 중 대표 이미지를 추출하는 단계 및 (e) 상기 추출된 대표 이미지를 출력하는 단계를 포함할 수 있다.
또한, 상기 (a) 단계는, (a1) 상기 검색 이미지들 각각에 대하여, 평균 이동(Mean-shift) 클러스터링에 기초하여 이미지를 복수의 영역으로 분할하는 단계, (a2) 상기 분할된 복수의 영역 각각에 대하여 산출된 중요도 값(importance value)에 기초하여 상기 분할된 복수의 영역 중 M 개의 시드 영역을 추출하는 단계, (a3)상기 M개의 시드 영역의 컬러 정보와 상기 M개의 시드 영역의 각각에 인접한 복수의 영역의 컬러 정보를 이용하여 복수의 컬러 조합(color compositions)을 추출하는 단계 및 (a4) 확률 기반의 잠재적 의미 분석(Probabilistic Latent Semantic Analysis, PLSA)을 기반으로 하여, 상기 복수의 컬러 조합을 이용하여 상기 검색 이미지들 각각의 감성 벡터를 계산하는 단계를 포함할 수 있다.
또한, 상기 (b) 단계는, 상기 검색 이미지들 각각에 대하여 산출된 감성 벡터에 기초하여 k-평균 클러스터링(k-means Clustering)을 수행함으로써 상기 복수의 이미지 클러스터를 형성할 수 있다.
또한, 상기 (c) 단계는, 상기 복수의 이미지 클러스터 각각에 대하여 복수의 특성값을 계산하고, 상기 계산된 특성값 및 각 특성값의 가중치에 기초하여 이미지 클러스터의 랭킹을 산출할 수 있다.
또한, 상기 복수의 특성값은, 상기 이미지 클러스터에 포함된 이미지의 수를 고려한 커버리지(Coverage) 값, 상기 커버리지 값 및 클러스터 분산을 이용한 감성 일관성(affective coherence) 값 및 복수의 이미지 클러스터 간의 거리를 고려한 구별도(distinctiveness) 값을 포함할 수 있다.
또한, 상기 (d) 단계는, 상기 기설정된 클러스터 랭킹에 속하는 이미지 클러스터에 포함된 각 이미지와 상기 이미지 클러스터의 중심 간의 유클리드 거리 값 및 각 이미지로부터 미리 정의된 거리 내의 이미지의 수에 기초하여, 상기 이미지 클러스터에 포함된 이미지들에 대한 이미지 랭킹을 산출하고, 기설정된 이미지 랭킹에 속하는 이미지를 대표 이미지로서 추출할 수 있다.
또한, 상기 (d) 단계는, 상기 대표 이미지 추출시 L2-norm을 이용하여 상기 기설정된 이미지 랭킹에 속하는 이미지 간에 거리값을 계산한 후 기설정된 거리값 이하를 갖는 이미지를 중복 이미지로 판단하여 제거할 수 있다.
한편, 본원의 일 실시예에 따른 감성 기반의 이미지 선택 장치는, 쿼리에 대응하는 검색 이미지들 각각의 감성 특징을 추출하는 감성 특징 추출부, 상기 감성 특징에 기초하여 복수의 이미지 클러스터를 형성하는 이미지 클러스터 형성부, 상기 복수의 이미지 클러스터의 랭킹을 산출하는 클러스터 랭킹 산출부, 기설정된 클러스터 랭킹에 속하는 이미지 클러스터에 포함된 이미지들 중 대표 이미지를 추출하는 이미지 추출부 및 상기 추출된 대표 이미지를 출력하는 출력부를 포함할 수 있다.
또한, 상기 감성 특징 추출부는, 상기 검색 이미지들 각각에 대하여, 평균 이동(Mean-shift) 클러스터링에 기초하여 이미지를 복수의 영역으로 분할하고, 상기 분할된 복수의 영역 각각에 대하여 산출된 중요도 값(importance value)에 기초하여 상기 분할된 복수의 영역 중 M 개의 시드 영역을 추출하고, 상기 M개의 시드 영역의 컬러 정보와 상기 M개의 시드 영역의 각각에 인접한 복수의 영역의 컬러 정보를 이용하여 복수의 컬러 조합(color compositions)을 추출하고, 확률 기반의 잠재적 의미 분석(Probabilistic Latent Semantic Analysis, PLSA)을 기반으로 하여, 상기 복수의 컬러 조합을 이용하여 상기 검색 이미지들 각각의 감성 벡터를 계산할 수 있다.
또한, 상기 이미지 클러스터 형성부는, 상기 검색 이미지들 각각에 대하여 산출된 감성 벡터에 기초하여 k-평균 클러스터링(k-means Clustering)을 수행함으로써 상기 복수의 이미지 클러스터를 형성할 수 있다.
또한, 상기 클러스터 랭킹 산출부는, 상기 복수의 이미지 클러스터 각각에 대하여 복수의 특성값을 계산하고, 상기 계산된 특성값 및 각 특성값의 가중치에 기초하여 이미지 클러스터의 랭킹을 산출할 수 있다.
또한, 상기 복수의 특성값은, 상기 이미지 클러스터에 포함된 이미지의 수를 고려한 커버리지(Coverage) 값, 상기 커버리지 값 및 클러스터 분산을 이용한 감성 일관성(affective coherence) 값 및 복수의 이미지 클러스터 간의 거리를 고려한 구별도(distinctiveness) 값을 포함할 수 있다.
또한, 상기 이미지 추출부는, 상기 기설정된 클러스터 랭킹에 속하는 이미지 클러스터에 포함된 각 이미지와 상기 이미지 클러스터의 중심 간의 유클리드 거리 값 및 각 이미지로부터 미리 정의된 거리 내의 이미지의 수에 기초하여, 상기 이미지 클러스터에 포함된 이미지들에 대한 이미지 랭킹을 산출하고, 기설정된 이미지 랭킹에 속하는 이미지를 대표 이미지로서 추출할 수 있다.
또한, 상기 이미지 추출부는, 상기 대표 이미지 추출시 L2-norm을 이용하여 상기 기설정된 이미지 랭킹에 속하는 이미지 간에 거리값을 계산한 후 기설정된 거리값 이하를 갖는 이미지를 중복 이미지로 판단하여 제거할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 쿼리에 대응하는 검색 이미지들 각각에 대하여 산출된 감성 특징에 기초하여 복수의 이미지 클러스터를 형성하고, 복수의 이미지 클러스터의 랭킹을 산출하며, 기 설정된 클러스터 랭킹에 속하는 이미지들 중 대표 이미지를 추출하여 제공함으로써, 사용자의 감성을 고려한 이미지를 보다 효율적인 방식으로 구성하여 제공할 수 있는 효과가 있다.
전술한 본원의 과제 해결 수단에 의하면, 감성 기반의 이미지 선택 장치 및 방법을 제공함으로써, 사용자가 요구하는 쿼리에 대응하는 이미지를 제공함에 있어서 만족도 높은 검색 결과를 제공할 수 있는 효과가 있다.
다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.
도 1은 본원의 일 실시예에 따른 감성 기반의 이미지 선택 장치의 개략적인 블록도이다.
도 2는 본원의 일 실시예에 따른 감성 기반의 이미지 선택 장치에서 감성 특징 추출부에 의하여 수행되는 단계를 나타낸 도면이다.
도 3은 본원의 일 실시예에 따른 감성 기반의 이미지 선택 장치에서 제안된 PLSA-학습 기반의 컬러 스케일을 나타낸 도면이다.
도 4는 본원의 일 실시예에 따른 감성 기반의 이미지 선택 장치에서 수학식 14에 기초하여 산출된 이미지 클러스터의 이미지를 나타낸 도면이다.
도 5는 본원의 일 실시예에 따른 감성 기반의 이미지 선택 장치에 의하여 추출된 대표 이미지가 출력되는 과정을 개략적으로 나타낸 도면이다.
도 6은 본원의 일 실시예에 따른 감성 기반의 이미지 선택 방법에 대한 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본원은 사용자로부터 입력된 쿼리(query)에 대응하는 검색 이미지를 제공함에 있어서, 사용자의 감성이 고려된 이미지를 효과적으로 제공할 수 있는 기술에 관한 것이다.
도 1은 본원의 일 실시예에 따른 감성 기반의 이미지 선택 장치의 개략적인 블록도이다.
도 1을 참조하면, 본원의 일 실시예에 따른 감성 기반의 이미지 선택 장치(100)는 감성 특징 추출부(110), 이미지 클러스터 형성부(120), 클러스터 랭킹 산출부(130), 이미지 추출부(140) 및 출력부(150)를 포함할 수 있다.
감성 기반의 이미지 선택 장치(100)는 사용자로부터 쿼리를 입력받고, 입력된 쿼리에 대응하는 이미지를 검색 서버(예를 들어, 웹 서버)로부터 수신하고, 수신한 이미지를 출력하는 사용자 단말일 수 있다. 또는, 감성 기반의 이미지 선택 장치(100)는 사용자 단말(미도시)로부터 쿼리를 수신하고, 수신된 쿼리에 대응하는 이미지를 검색하며, 검색된 이미지를 사용자 단말로 제공하는 서버일 수 있다.
사용자 단말은, PCS(Personal Communication System), GSM(Global System for Mobile communication), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(WCode Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트패드(SmartPad), 태블릿 PC, 데스크탑 PC, 노트북, 웨어러블 디바이스 등일 수 있으며, 이에 한정되는 것은 아니고, 모든 종류의 유/무선 통신 장치를 포함할 수 있다.
감성 특징 추출부(110)는 사용자로부터 입력된 쿼리에 대응하는 검색 이미지들 각각의 감성 특징(affective features)을 추출할 수 있다.
감성 특징 추출부(110)는 감성 특징을 추출함에 있어서, 쿼리에 대응하는 검색 이미지들을 감성 공간(affective space, 정서적 공간)에 표현할 수 있으며, 이를 위해, 이미지의 시각적 특징(visual features)을 감성 공간으로 변환할 수 있다.
여기서, 감성 특징 추출부(110)는 고바야시(Kobayashi)에 의하여 정의된 정서적인 코퍼스(corpus)를 사용할 수 있으며, 이를 통해 이에 따라 본원의 일 실시예에 따른 감성 기반의 이미지 선택 장치(100)는 풍경과 관련된 쿼리 및 제품을 위한 표준 이미지를 자동으로 선택할 수 있다. 일본의 고바야시는 1990년 출판한 "Color Image Scale"에서 따뜻한-차가운, 단단한-부드러운 등과 같이 서로 반대 개념을 갖는 형용사 쌍으로 구성된 이미지 스케일을 정의하였으며, 뿐만 아니라 이 이미지 스케일에 단일 색채들과 감성 형용사들을 배열하고 단일 색채와 감성 형용사를 관련지은 바 있다. 또한, 몇몇 색들로 이루어진 배색에 대해서도 배색이 주는 가정과 관련지은 바 있다. 이에 따라, 감성 특징 추출부(110)는 고바야시가 정의한 이미지 스케일에 기초하여 감성 특징을 추출할 수 있다.
감성 특징 추출부(110)는 감성 특징 추출을 위한 감성 부류(affective classes)를 다음과 같이 정의할 수 있다. 감성 특징 추출부(110)는 플리커(Flickr)의 100만 개 풍경 이미지에 사용된 감성적 단어를 조사하기 위해, 100만 개 풍경 이미지에 태그를 지정하고 그들의 순위를 정할 수 있다. 그 결과에 기초하여, 일예로, 감성 특징 추출부(110)는 15개의 감성 부류(affective classes)를 선택하고, 선택된 감성 부류를 고바야시의 감성 부류와 매치시킬 수 있다. 일예로 선택된 15개의 감성 부류는, 이쁘고(pretty), 화려하고(colorful), 역동적이고(dynamic), 아름답고(gorgeous), 거칠고(wild), 낭만적이고(romantic), 자연스럽고(natural), 우아하고(graceful), 조용하고(quiet), 고전적이고(classic), 현대적이고(modern), 장엄하고(majestic), 순수하고(pure), 시원하고(cool), 멋진(dandy)의 감성으로 정의할 수 있다.
이하에서는, 감성 특징 추출부(110)에 의하여, 쿼리에 대응하는 검색 이미지들을 감성 공간에 맵핑하는 과정에 대하여 보다 구체적으로 살펴보기로 한다.
종래에 관련 분야에서는 색과 감성(affects) 사이에 강한 관계가 있음을 증명한 바 있으며, 이에 기초하여, 감성 특징 추출부(110)는 감성 특징 추출시 컬러 기반의 디스크립터(descriptors), 특히 컬러 조합(color compositions, CCs)을 이용할 수 있다. 컬러 조합(CCs)은 이미지에 존재하는 개별색의 특성과 이러한 부분을 본원에서 전체적으로 결합하기 위한 구성을 모두 포함한다.
감성 특징 추출부(110)는, 사용자의 감성을 사용하여 검색 이미지에 주석을 달기 위해, 이미지 분할 과정, 시드 영역 추출 과정, 컬러 조합 추출 과정 및 PLSA 기반의 감성 맵핑 과정을 수행할 수 있다. 이러한 과정을 통해 감성 특징 추출부(110)는, 검색 이미지들 각각에 대하여, 이미지 (I)를 감성 부류인
Figure 112016126508014-pat00001
에 의하여
Figure 112016126508014-pat00002
로 표현되는 감성 벡터로 변형할 수 있다. 여기서, 감성 특징인
Figure 112016126508014-pat00003
는 이미지 (I)가 m번째(mth) 감성 부류(
Figure 112016126508014-pat00004
)에 속할 확률을 나타낸다. 즉, 이미지 (I)의 감성 벡터인 E(I)는 하기 수학식 1과 같이 표현될 수 있다.
[수학식 1]
Figure 112016126508014-pat00005
여기서, 확률
Figure 112016126508014-pat00006
는 감성 부류 각각에 대하여 계산될 수 있다. 이러한 확률을 계산하기 위해, 감성 특징 추출부(110)는 검색 이미지들 각각에 대하여 앞서 말한 이미지 분할 과정, 시드 영역 추출 과정, 컬러 조합 추출 과정 및 PLSA 기반의 감성 맵핑 과정을 수행할 수 있으며, 이는 도 2를 통해 보다 쉽게 이해될 수 있다.
도 2는 본원의 일 실시예에 따른 감성 기반의 이미지 선택 장치(100)에서 감성 특징 추출부(110)에 의하여 수행되는 단계를 나타낸 도면이다.
도 2를 참조하면, 감성 특징 추출부(110)는, 이미지 분할 과정(S21), 시드 영역 추출 과정(S22), 컬러 조합 추출 과정(S23) 및 PLSA 기반의 감성 맵핑을 통한 감성 벡터 계산 과정(S24)을 포함할 수 있다.
단계S21에서는, 감성 특징 추출부(110)가 쿼리에 대응하는 검색 이미지들 각각에 대하여, 평균 이동(Mean-shift) 클러스터링에 기초하여 이미지를 복수의 영역으로 분할할 수 있다.
구체적으로, 이미지는 유사한 컬러를 사용하는 클러스터로 분할될 수 있는데, 이때, 감성 특징 추출부(110)는 RGB 컬러 공간을 고바야시의 온톨로지에서 사용되는 130 가지 기본 컬러로 바꾸기 위해, 컬러 양자화를 미리 수행할 수 있다. 이후, 감성 특징 추출부(110)는, 각각의 검색 이미지들을 복수의 영역(R,
Figure 112016126508014-pat00007
)으로 나누기 위해 평균 이동 클러스터링을 이용할 수 있다. 여기서, 평균 이동 알고리즘은 클러스터의 수를 고려하지 않으며, 또한 형상 분포(shape distribution)를 제약하지 않는다.
다음으로, 단계S22에서는, 감성 특징 추출부(110)가 단계S21에서 분할된 복수의 영역 각각에 대하여 산출된 중요도 값(importance value)에 기초하여 복수의 영역 중 M 개의 시드 영역(seed regions)을 추출할 수 있다.
구체적으로, 감성 특징 추출부(110)는 검색 이미지들 각각에 대하여, 이미지에서 RAG(region adjacency graph) 분석을 통해 모든 컬러 조합(CCs)을 추출할 수 있다. 여기서, 한 영역의 컬러 조합(CCs)은 해당 영역의 컬러와 인접한 두 영역의 컬러에 의하여 구성될 수 있다. 따라서, 만약 Rj가 3개의 이웃 영역을 갖는 경우, 이는 3C2의 구성을 가질 수 있다. 그리고 나서, 이미지로부터 모든 컬러 조합(CCs)을 추출하는 것이 매우 계산 집약적(computationally intensive)임을 고려할 때, 감성 특징 추출부(110)는 더 중요한 영역이라 불리는 시드 영역(seed regions)에 대한 컬러 조합(CCs)을 추출할 수 있다. 감성 특징 추출부(110)는 하기 수학식 2를 이용하여 분할된 영역 각각의 중요도 값을 계산함으로써, 시드 영역을 추출할 수 있다.
[수학식 2]
Figure 112016126508014-pat00008
여기서, A(Rj)는 현재 영역의 면적(area, 크기)을 나타내고, G(Rj)는, 현재 영역의 중심에서 이미지의 중심까지의 가우시안 거리(Gaussian distance)를 나타낸다. 따라서, 해당 영역이 면적이 크고 이미지의 중심에 가까울수록, 해당 영역의 중요도 값은 커진다고 할 수 있다.
감성 특징 추출부(110)는 분할된 복수의 영역 각각에 대하여 산출된 중요도 값에 기초하여, 복수의 영역 중 중요도 값이 높은순으로 상위 M 개의 영역을 시드 영역(S)으로서 추출(즉, M 개의 시드 영역(S)추출)할 수 있다.
다음으로, 단계23에서는, 감성 특징 추출부(110)가 M 개의 시드 영역의 컬러 정보와 M 개의 시드 영역의 각각에 인접한 복수의 영역의 컬러 정보를 이용하여 복수의 컬러 조합(CCs)을 추출할 수 있다.
구체적으로, 감성 특징 추출부(110)는 M 개의 시드 영역에 대한 컬러 조합(CCs)을 합산함으로써, 집합 Λ(
Figure 112016126508014-pat00009
)를 획득할 수 있다. 여기서, C(·)는 해당 영역과 그의 이웃 영역, 즉
Figure 112016126508014-pat00010
의 세 개의 컬러 조합으로 계산된 맵핑 함수를 나타낸다. 따라서, 수학식 1에서
Figure 112016126508014-pat00011
는 집합 Λ에 따라 하기 수학식 3과 같이 표현될 수 있다.
[수학식 3]
Figure 112016126508014-pat00012
여기서,
Figure 112016126508014-pat00013
는 컬러 조합
Figure 112016126508014-pat00014
가 감성 단어인
Figure 112016126508014-pat00015
에 맵핑될 확률을 나타낸다.
다음으로, 단계S24에서는, 감성 특징 추출부(110)가 확률 기반의 잠재적 의미 분석(Probabilistic Latent Semantic Analysis, PLSA)을 기반으로 하여, 복수의 컬러 조합을 이용하여 검색 이미지들 각각의 감성 벡터를 계산할 수 있다.
구체적으로, 확률
Figure 112016126508014-pat00016
를 계산하기 위해서는, 먼저 컬러 조합과 감성 부류 간에 상관 관계를 나타낼 수 있는 감성 공간을 구축할 필요가 있다. 이때, 실제 적용에서 제대로 작동하기 위해서는, 감성 공간(affective space)이 다른 시각적 특징과 감성 부류의 통합을 위해 보다 융통성이 있어야할 필요가 있다. 이를 위해, 감성 특징 추출부(110)는, 스파스 특징 공간(sparse feature space)에서 동시 발생 데이터(co-occurrence data)를 사용하는 잠재적 관계 분석을 위한 PLSA를 이용할 수 있다.
PLSA는 몇가지 잠재적 의미의 혼합으로 문서를 모델링하는 효과적인 분석 기법으로서, 텍스트 분석의 커뮤니티에서 상당히 관심 받는 기법이다. PLSA에서는 특정 가정에서 동시 발생 정보가 포착되는 방식의 변형을 도입하며, 동시 발생 정보가 관측되면, 잠재적 의미 공간 표현이 잠재적으로 데이터로부터 추출될 수 있다. 최근 이러한 모델은 이미지가 문서의 역할을 하고, 픽셀 또는 영역이 단어의 역할을 하는 컴퓨터 비전에 적용된바 있다. 감성 특징 추출부(110)는 이러한 PLSA를 이용하여 이미지의 감성 벡터를 계산할 수 있다.
감성 부류(
Figure 112016126508014-pat00017
)에서 묘사된 일련의 이미지(즉, 이미지 집합,
Figure 112016126508014-pat00018
)가 주어졌을 때, 감성 부류는 잠재적 토픽(
Figure 112016126508014-pat00019
)에 의해 생성되도록 모델링될 수 있다. 감성 특징 추출부(110)는 이미지 Ii로부터 추출된 컬러 조합(
Figure 112016126508014-pat00020
)을 잠재적 토픽으로서 이용할 수 있다. 이때, 잠재적 토픽의 각각의 속성(
Figure 112016126508014-pat00021
)은 컬러 조합 발생(
Figure 112016126508014-pat00022
)의 정규화된 히스토그램(histogram )일 수 있다.
이미지들과 감성(affects)으로 하위 구성된 동시 발생 형태의 관찰을 고려하면, PLSA는 독립적인 다항 분포 조건의 혼합으로서 각 동시 발생의 확률을 모델링할 수 있으면, 그 과정은 하기 수학식 4와 같이 표현될 수 있다.
[수학식 4]
Figure 112016126508014-pat00023
여기서, P(Ii)는 특정 이미지가 랜덤하게 선택될 확률을 나타내고,
Figure 112016126508014-pat00024
는 감성 부류 Wj에서 관찰되지 않은 조건에서 특정 컬러 조합(CC)의 분류-조건 확률(class-conditional probability)을 나타낸다. 또한,
Figure 112016126508014-pat00025
는 이미지 Ii에서 컬러 조합
Figure 112016126508014-pat00026
가 얻어지는 확률을 나타낸다. 이와 같은 경우, 감성 특징 추출부(110)는 확률
Figure 112016126508014-pat00027
에 초점을 맞춰, P(Ii)가 균일한 분포로 주어진다고 가정할 수 있다. 단계S24에서는, 확률
Figure 112016126508014-pat00028
를 가장 잘 묘사한 컬러 조합을 찾는 것이 목표이며, 이 과정은 분포
Figure 112016126508014-pat00029
와 이미지 특정 혼합 비율인
Figure 112016126508014-pat00030
에서
Figure 112016126508014-pat00031
의 행렬 분해로 간주될 수 있다. 감성 특징 추출부(110)는 이미지에서 관찰할 수 있는 모드 컬러 조합(CCs)의
Figure 112016126508014-pat00032
리스트를 나열할 수 있으며,
Figure 112016126508014-pat00033
는 본원에서 찾고자 하는 정보, 즉 감성과 컬러 조합 간에 관계를 포함할 수 있다. 이러한 분포는, 하기 수학식 5에 기초하여, EM(Expectation-Maximization) 알고리즘을 사용하여 log-likelihood 함수를 최대화함으로써 명확하게 설명될 수 있다.
[수학식 5]
Figure 112016126508014-pat00034
여기서, N, L, K는 각각 이미지의 수, 감성 부류 및 컬러 조합을 나타내며, n(In, wj)는 각 이미지에 대하여 컬러 조합이 발생한 빈도를 나타낸다.
EM 알고리즘에서, E-step은 모델 파라미터의 임의로 초기화된 모델 파라미터의 이전 추정값으로부터 하기 수학식 6의 토픽
Figure 112016126508014-pat00035
에 대한 사후 확률을 계산할 수 있다.
[수학식 6]
Figure 112016126508014-pat00036
그런 다음, 극대화하는 M-step은 파라미터
Figure 112016126508014-pat00037
,
Figure 112016126508014-pat00038
및 기대값
Figure 112016126508014-pat00039
를 업데이트할 수 있다. 여기서, 파라미터
Figure 112016126508014-pat00040
는 하기 수학식 7과 같이 표현되고, 파라미터
Figure 112016126508014-pat00041
는 하기 수학식 8과 같이 표현될 수 있다.
[수학식 7]
Figure 112016126508014-pat00042
[수학식 8]
Figure 112016126508014-pat00043
이미지 Iq가 주어졌을 때,
Figure 112016126508014-pat00044
는 이미지 Iq로부터 계산될 수 있다. 이때, 이전에 훈련된
Figure 112016126508014-pat00045
와 함께 이 새로운 이미지가 주어질 경우, j번째 감성 부류의 사후 확률은 하기 수학식 9로부터 추론될 수 있다.
[수학식 9]
Figure 112016126508014-pat00046
한편, 도 3은 본원의 일 실시예에 따른 감성 기반의 이미지 선택 장치(100)에서 제안된 PLSA-학습 기반의 컬러의 스케일을 나타낸 도면이다.
도 3을 참조하면, 도 3은 감성 부류와 고바야시가 정의한 1170개의 컬러 조합 사이에 스케일(척도)을 나타내고 있으며, 여기서, 모든 시각적 특징은 감성 부류에 대응하는 그들의 중요성에 따라 채색되어 있다. 이 그레이 레벨은 해당 감성 부류와 관련된 컬러 조합의 영향에 따라 10개의 레벨로 구분될 수 있다. 만약, 컬러가 흰색에 가깝다면, 이는 해당 컬러 조합이 해당 감성 부류와의 관계가 큼을 의미할 수 있다. 본원에서는, 이러한 스케일(척도)이 제안된 PLSA 학습을 사용함으로써 구성될 수 있다. 따라서, 각각의 그레이 레벨은, 감성 부류와 컬러 조합의 모든 결합 확률에 대한 분포
Figure 112016126508014-pat00047
를 나타낸다.
일반적으로, 일부 컬러 조합이 몇몇 감성 부류와 더 많은 관계가 있을 수 있고, 다른 컬러 조합은 오직 하나의 감성 부류와 관련될 수 있다는 것은 당연하다 할 수 있다.
고바야시의 상관관계는 오랜 조사를 통해 사람이 고안한 지식으로부터 도출된 것이라 할 수 있는데, 여기에서 그들은 편의상 하나의 컬러 조합을 하나의 감성 부류로 제한하였다. 이와는 대조적으로, 본원에서 제안하는 PLSA 학습 기반의 컬러 스케일은 컬러 조합과 감성 부류 간에 더 다양한 측면에서 관계가 있으며, 이는, 모든 컬러 조합이 서로 다른 영향을 미치는 하나 이상의 감성 부류와 관련되어 있음을 보여줄 수 있다. 때문에 PLSA 모델은 독립적인 다항 분포 조건의 혼합으로, 컬러 조합과 감성의 각 동시 발생의 확률을 모델링하며, 이는 감성 부류와 컬러 조합 사이의 잠재적 의미를 더 명확하게 고려할 수 있다. 이에 따라, 감성 특징 추출부(110)는 PLSA 기반의 감성 맵핑을 통해, 검색 이미지들 각각에 대한 감성 벡터를 계산할 수 있다.
이미지 클러스터 형성부(120)는, 감성 특징 추출부(110)에서 추출된 감성 특징에 기초하여 복수의 이미지 클러스터를 형성할 수 있다.
이하에서는 먼저 이미지 클러스터 형성부(120)가 표준 이미지(달리 표현하여, 쿼리에 대한 대표 이미지, 시각화할 이미지)를 선택하기 위해 감성 공간에서 클러스터링을 수행하는 과정에 대해 설명하기로 하며, 이후 유익한 정보를 갖는 클러스터를 선택하는 새로운 기준에 대하여 설명하기로 한다. 이렇게 정의된 새로운 기준 특성(즉, 후술할 복수의 특성값)에 기초하여 후술할 클러스터 랭킹 산출부(130)는 복수의 이미지 클러스터의 랭킹을 산출할 수 있다.
이미지 클러스터 형성부(120)는 감성 공간에서의 클러스터링을 수행하기 위해, 감성 특징을 이용할 수 있다.
종래에는 클러스터링을 위해, k-평균 클러스터링(k-means Clustering) 및 평균 이동(Mean-shift) 클러스터링과 같은 여러 알고리즘이 고려되어왔으며, 본원의 일 실시예에 따른 감성 기반의 이미지 선택 장치(100)는 이미지 클러스터 형성시 k-평균 클러스터링을 이용할 수 있다. 따라서, 이미지 클러스터 형성부(120)는 검색 이미지들 각각에 대하여 산출된 감성 벡터에 기초하여 k-평균 클러스터링을 수행함으로써 복수의 이미지 클러스터를 형성할 수 있다.
클러스터 랭킹 산출부(130)는, 이미지 클러스터 형성부(120)에 의하여 형성된 복수의 이미지 클러스터의 랭킹을 산출할 수 있다. 클러스터 랭킹 산출부(130)는 복수의 이미지 클러스터 각각에 대하여 복수의 특성값을 계산하고, 계산된 특성값 및 각 특성값의 가중치에 기초하여 이미지 클러스터의 랭킹을 산출할 수 있다. 여기서, 복수의 특성값은, 이미지 클러스터에 포함된 이미지의 수를 고려한 커버리지(Coverage) 값, 커버리지 값 및 클러스터 분산을 이용한 감성 일관성(affective coherence) 값 및 복수의 이미지 클러스터 간의 거리를 고려한 구별도(distinctiveness) 값을 포함할 수 있다.
구체적으로, 클러스터 랭킹 산출부(130)는 클러스터(ck∈C)가 주어졌을 때, 클러스터가 검색 쿼리와 얼마나 관련있고, 얼마나 다양하며, 그들이 쿼리에 부합하도록 제공하는 범위가 어느 정도인지 등을 평가할 수 있다. 표준 이미지는 후술할 이미지 추출부(140)에 의하여, 복수의 이미지 클러스터 중 상위 랭킹에 속하는 이미지 클러스터에서 선택될 수 있다. 이는 상위 랭킹에 속하는 이미지 클러스터가 대표적인 이미지를 더 많이 포함하고 있을 가능성이 있기 때문이다. 반면, 하위 랭킹에 속하는 이미지 클러스터는 더 적게 포함하고 있을 수 있다.
클러스터 랭킹 산출부(130)가 이미지 클러스터의 랭킹을 산출할 때 고려하는 기준 특성에 대하여 살펴보면 다음과 같다. 효과적인 표준 이미지 선택을 위해서는, 이미지 클러스터가 바람직한 특성(속성)값들에 대한 조건을 만족시켜야하며, 이러한 특성 값에는 커버리지(Coverage) 값, 감성 일관성(affective coherence) 값 및 구별도(distinctiveness) 값이 포함될 수 있다.
커버리지의 경우, 장면에 존재하는 공통 개념(comrnon concepts)은 그들이 다루는 양으로 표현될 수 있다. 이에 따라, 클러스터 랭킹 산출시 고려되는 클러스터는 많은 수의 이미지를 다루는 경우가 포함될 수 있다. 감성 일관성의 경우, 한 클러스터 내의 이미지는 공통된 느낌을 공유할 수 있다. 이에 따라, 클러스터 내의 이미지는 감성 측면에서 응집력이 있어야 한다. 구별도의 경우, 상위 이미지 클러스터들의 다양성은 비 중복성의 척도일 수 있다. 이에 따라, 서로 유사한 클러스터는 상위 이미지 클러스터에 포함되지 않을 수 있다.
세가지 속성에 대하여 구체적으로 살펴보면 다음과 같다.
먼저, 이미지 클러스터에 대한 커버리지 값은 하기 수학식 10과 같이 표현될 수 있다.
[수학식 10]
Figure 112016126508014-pat00048
커버리지 값을 고려하면, 클러스터 랭킹 산출부(130)는 이미지 클러스터의 랭킹 산출을 위해, 복수의 이미지 클러스터 중 많은 수의 이미지를 갖는 이미지 클러스터를 선택할 수 있다. 이때, 수학식 10에서 num()은 k번째 클러스터에 속한 이미지의 개수를 나타낸다.
상기 수학식 10에 의하면, 이미지 클러스터에 포함된 이미지가 많을수록 이미지 클러스터의 커버리지 값은 커진다. 그러나, 앞서 말한 바와 같이, 본원에서는 클러스터에 있는 이미지가 공통 감성을 공유해야 한다고 가정할 수 있다. 특히, 쿼리와 관련없는 일부 노이즈를 갖는 이미지는 클러스터 크기에 영향을 줄 수 있다.
이러한 문제를 해소하기 위해, 이미지 클러스터들의 랭킹 산출시, 이미지 클러스터 내에 그들의 분포에 기초한 감성 일관성(affective coherence)이 고려될 수 있다. 여기서, 클러스터 랭킹 산출부(130)는 클러스터 분산(
Figure 112016126508014-pat00049
)을 사용할 수 있으며, 이는 커버리지 값이 높더라도, 너무 큰 분산을 갖는 이미지 클러스터에 페널티를 부과하는데 이용될 수 있다. 그러나, 더 큰 클러스터는(즉, 커버리지가 상대적으로 큰 이미지 클러스터) 더 작은 클러스터(즉, 커버리지가 상대적으로 작은 이미지 클러스터) 보다 감성 공간에서 더 드문드문 분포되어 있을 가능성이 높기 때문에, 커버리지와 감성 일관성 간에는 상호 절충(trade-off)적이다. 즉, 커버리지가 상대적으로 큰 이미지 클러스터는 커버리지가 상대적으로 작은 이미지 클러스터 보다 감성 일관성 속성 값이 낮을 수 있다. 그러므로, 이미지 클러스터에 대한 감성 일관성 값은 하기 수학식 11과 같이 표현될 수 있다.
[수학식 11]
Figure 112016126508014-pat00050
이때, 감성 일관성은 이미지 클러스터의 크기에 따라 비선형적으로 조절될 수 있으며, 수학식 11에서,
Figure 112016126508014-pat00051
는 본원의 일 실시예에 따른 실험에 따라, 일예로 0.5로 결정될 수 있다.
다음으로, 상위 이미지 클러스터들은 반복을 피하고 중복된 정보를 제공하지 않아야 한다. 이러한 목적을 달성하기 위해, 상위 랭킹의 복수의 이미지 클러스터들은 서로 구별되어야 할 필요가 있다. 이에 따라, 클러스터 랭킹 산출부(130)는 이미지 클러스터의 랭킹 산출시, 이미지 클러스터의 구별도 값을 이용할 수 있으며, 구별도 값은 하기 수학식 12와 같이 표현될 수 있다.
[수학식 12]
Figure 112016126508014-pat00052
하나의 이미지 클러스터에 대한 구별도 값은, 복수의 이미지 클러스터 간의 거리를 고려하여 모델링될 수 있다. 즉, 구별도 값은 클러스터 쌍들의 상호 거리의 집합으로서 모델링될 수 있으며, 여기서, 이미지 클러스터의 구별도 값 산출시, 이미지 클러스터의 최소 쌍 거리 값이 이용될 수 있다.
이때, 클러스터 랭킹 산출부(130)는 이미지 클러스터 중심 간의 거리를 사용하여 두 이미지 클러스터 사이의 거리를 측정할 수 있으며, 이 값은 클수록 두 이미지 클러스터가 서로 분산되어 있다고 가정할 수 있다. 그러나, 이 가정은 이미지 클러스터가 조밀한 분포를 갖는 경우에만 유효할 수 있다. 만약, 이미지 클러스터가 드물게 분포되어 있는 경우에는, 이미지 클러스터 중심 간의 거리가 클지라도, 이미지 클러스터들이 서로 중첩되어 있을 수 있다. 이러한 문제를 고려하여, 클러스터 랭킹 산출부(130)는 이미지 클러스터 중심의 거리 뿐만 아니라 이미지 클러스터 간의 분산을 고려하여 이미지 클러스터의 랭킹을 산출할 수 있다. 따라서, 이미지 클러스터와 이미지 클러스터 간의 거리, 즉, 이미지 클러스터 쌍의 거리는, 이미지 클러스터의 확산, 즉 ck와 cj의 표준 편차를 사용하여 스케일링함에 따라 클러스터 중심 거리로서 주어질 수 있다.
클러스터 랭킹 산출부(130)는 수학식 10 내지 수학식 12를 통해 복수의 이미지 클러스터 각각에 대하여 특성값을 산출한 후, 이후 상기 계산된 특성값과 각 특성값의 가중치에 기초하여 이미지 클러스터의 랭킹을 산출할 수 있다. 클러스터 랭킹 산출부(130)는 이미지 클러스터의 랭킹을 산출함으로써, 복수의 이미지 클러스터를 기설정된 클러스터 랭킹에 속하는 이미지 클러스터(즉, 상위 이미지 클러스터)와 기설정된 클러스터 랭킹에 속하지 않는 이미지 클러스터(즉, 하위 이미지 클러스터)를 구분할 수 있다.
보다 구체적으로 살펴보면, 이상적으로, 표준 이미지는 쿼리를 대표해야 하며, 다양한 측면을 보여주어야 할 필요가 있다. 따라서, 클러스터 랭킹 산출부(130)는 이미지 클러스터의 랭킹 산출시, 제안된 특성값(커버리지 값, 감성 일관성 값, 구별도 값)을 최적화하는 클러스터를 고려할 수 있다.
먼저, 작은 클러스터 보다 큰 클러스터가 더 대표적임은 명백하므로, 클러스터 랭킹 산출부(130)는 커버리지 값을 이용해 이미지 클러스터들의 랭킹을 산출할 수 있다. 그러나, 감성 공간의 희박함으로 인해, 같은 이미지 클러스터에 속한 이미지들 사이에는 약간의 합의가 있을 수 있다. 따라서, 클러스터 랭킹 산출부(130)는 이미지 클러스터의 랭킹 산출시, 커버리지 값과 감성 일관성 값을 하기 수학식 13과 같이 고려할 수 있다.
[수학식 13]
Figure 112016126508014-pat00053
여기서,
Figure 112016126508014-pat00054
및
Figure 112016126508014-pat00055
는 이미지 클러스터 ck의 대표성에 대한 커버리지 값과 감성 일관성 값의 기여도를 조절할 수 있는 가중치로 정의될 수 있다.
다음으로, 이미지 클러스터의 랭킹 산출시, 대표 이미지들(즉, 시각화할 이미지, 쿼리에 대응하여 제공할 이미지)의 다양한 집합을 획득하기 위해, 선택된 이미지 클러스터가 다른 이미지 클러스터와 중복되지 않아야 한다. 따라서, 클러스터 랭킹 산출부(130)는 복수의 이미지 클러스터들의 랭킹 산출을 위한 랭킹 모델을 수학식 12 및 수학식 13을 결합함으로써 하기 수학식 14와 같이 정의할 수 있다.
[수학식 14]
Figure 112016126508014-pat00056
여기서,
Figure 112016126508014-pat00057
는 이미지 클러스터 ck의 대표성에 대한 구별도 값의 기여도를 조절할 수 있는 가중치로 정의될 수 있다.
한편, 이미지 클러스터 내의 특성값들과 이미지 클러스터 사이의 특성값들을 비교할 때에는 스케일링이 필요하다. 이에 따라, 수학식 14에 의하면, 구별도 값이 작은 범위로 확장됨에 따라, 구별도 값에는 103이 곱해질 수 있다. 클러스터 랭킹 산출부(130)는 수학식 14에 기초하여 복수의 이미지 클러스터의 랭킹을 산출할 수 있다.
이와 관련하여, 도 4는 본원의 일 실시예에 따른 감성 기반의 이미지 선택 장치(100)에서 수학식 14에 기초하여 산출된 이미지 클러스터의 이미지를 나타낸 도면이다.
구체적으로, 도 4는 일예로 해안(coast), 휴식(rest) 및 산(mountain)에 대한 쿼리 관련 이미지를 나타내며, 특히 도 4(a) 내지 도 4(c)는 수학식 14에 기초하여 산출된 이미지 클러스터의 랭킹 중 상위 랭킹에 속한 상위 이미지 클러스터에 포함된 이미지를 나타내고, 도 4(d) 내지 도 4(f)는 하위 랭킹에 속한 하위 이미지 클러스터에 포함된 이미지를 나타낸다.
도 4를 참조하면, 상위 이미지 클러스터에 포함된 이미지는 예술적으로 더 강하고, 하위 이미지 클러스터에 포함된 이미지는 쿼리와 관련성이 있음에도 불구하고 예술적으로 강하지 못함을 확인할 수 있다. 더욱이, 도 4(f)에는 노이즈라 할 수 있는 이미지가 포함되어 있음을 확인할 수 있다.
이처럼, 도 4에 의하면, 수학식 14에 기초하여 산출된 이미지 클러스터의 랭킹 중 상위 랭킹에 속한 이미지 클러스터가 하위 랭킹에 속한 이미지 클러스터 보다 쿼리와 관련된 만족도 높은 이미지의 제공 확률이 높음을 확인할 수 있으며, 이에 따라, 후술할 이미지 추출부(140)는 상위 랭킹에 속한 상위 이미지 클러스터에 기초하여 대표 이미지를 추출할 수 있다.
한편, 클러스터 랭킹 산출부(130)는 여분의 파라미터가 더 있는지 여부를 조사하기 위해, 파라미터 사이에 쌍방향 상관 관계 분석을 수행할 수 있다. 상관 관계 분석 결과, 큰 이미지 클러스터의 경우에는 자신의 이미지 클러스터 내에서는 응집력이 적고, 다른 이미지 클러스터와는 덜 구별되는 것으로 나타났다. 그러나, 감성 응집력이 큰 클러스터는 그들 사이에서 크게 구별됨을 확인할 수 있다. 결과적으로, 이미지의 장면의 유형 간에는 유의적 차(significant differences)가 없으며, 이는 본원에서 제안된 랭킹 모델인 수학식 14가, 이미지의 장면의 유형에 관계없이, 복수의 이미지 클러스터들을 순위화할 수 있는 일반적인 모델로 사용될 수 있음을 증명하는 것이라 할 수 있다.
이미지 추출부(140)는 기설정된 클러스터 랭킹에 속하는 이미지 클러스터에 포함된 이미지들 중 대표 이미지를 추출할 수 있다. 여기서, 기설정된 클러스터 랭킹에 속하는 이미지 클러스터는 앞서 말한 상위 이미지 클러스터를 의미할 수 있다.
이미지 추출부(140)는 기설정된 클러스터 랭킹에 속하는 이미지 클러스터에 포함된 각 이미지와 이미지 클러스터의 중심 간의 유클리드 거리 값 및 각 이미지로부터 미리 정의된 거리 내의 이미지의 수에 기초하여, 이미지 클러스터에 포함된 이미지들에 대한 이미지 랭킹을 산출할 수 있으며, 이후 기설정된 이미지 랭킹에 속하는 이미지를 대표 이미지로서 추출할 수 있다.
구체적으로, 이미지 추출부(140)는 대표 이미지를 추출함에 있어서, 이미지 (i)가 해당 이미지 클러스터 (ck)를 얼마나 잘 나타내는지를 정의한 대표값 (i, ck)를 측정할 수 있다. 이때, 이미지 추출부(140)는 두 개의 거리 측정값을 고려할 수 있으며, 두 개의 거리 측정값 각각은, 각각의 이미지에서 클러스터 중심까지의 거리 및 미리 정의된 거리(지름, 직경) 내에서 선택한 이미지에 근접한 이미지의 수를 나타낼 수 있다.
이미지 추출부(140)는 각 이미지 클러스터 내에 포함된 이미지들에 대하여 랭킹을 산출할 수 있으며, 이때, 각 클러스터의 중심으로부터 해당 이미지까지의 유클리드 거리(Euclidian distance) 값을 이용해 랭킹을 산출할 수 있다.
이후, 이미지 추출부(140)는 미리 정의된 거리 내에 인접한 이미지의 수를 계산할 수 있으며, 이를 위해, k-거리(i)를 이용할 수 있다. 임의의 양의 정수 k가 주어졌을 때, k-거리(i)는 i(
Figure 112016126508014-pat00058
)와 동일한 이미지 클러스터에 속하는 i와 o 사이의 거리 d(i, 0)으로 정의될 수 있다. 또한, 이미지 i의 k-거리 이웃인 Nk-distance(i)는 이미지 i로부터의 거리가 K-거리보다 크지 않은 모든 이미지를 포함하는 수를 나타내며, 이 값이 클수록 이미지 i가 더 대표적임을 나타낼 수 있다. 이때, Nk-distance(i)는 주어진 이미지에서 인접한 이미지로부터의 거리에 따라 비선형적으로 패널티가 적용될 수 있다. 따라서, 이미지 추출부(140)는 하기 수학식 15에 기초하여 이미지 클러스터 내에 포함된 이미지들의 랭킹(순위)을 산출할 수 있다.
[수학식 15]
Figure 112016126508014-pat00059
여기서,
Figure 112016126508014-pat00060
는 각 클러스터의 중심으로부터 해당 이미지까지의 유클리드 거리를 나타낸다. 이와 같은 수학식 15에 의하면, 유클리드 거리가 작고 Nk-distance(i)의 값이 클수록 이미지 클러스터 내에 포함된 이미지들의 랭킹 순위는 높게 산출될 수 있다.
수학식 15를 통해 기설정된 이미지 클러스터 내에 포함된 이미지들의 랭킹이 산출되면, 이미지 추출부(140)는 상위 이미지 클러스터로부터 높은 랭킹에 속하는 대표 이미지들의 리스트 R(즉, 시각화할 이미지들의 리스트)을 산출할 수 있다. 이때, 리스트 R에 속하는 이미지의 수, 즉 상위 이미지 클러스터 각각에서 선택된 이미지의 수는 이미지 클러스터의 랭킹 순위에 비례할 수 있다. 달리 말해, 낮은 순위에 속하는 이미지 클러스터(즉, 하위 이미지 클러스터)는 폐기되고, 높은 순위에 위치한 이미지 클러스터(즉, 상위 이미지 클러스터)에서는 그들의 랭킹 순위에 따라 이미지 클러스터의 랭킹 순위가 높을수록 더 많은 이미지가 선택될 수 있다.
한편, 이미지 추출부(140)는 대표 이미지 추출시 L2-norm을 이용하여 기설정된 이미지 랭킹에 속하는 이미지 간에 거리값을 계산한 후 기설정된 거리값 이하를 갖는 이미지를 중복 이미지로 판단하여 제거할 수 있다.
구체적으로, 크기가 제한된 이미지 클러스터들은 반복을 피하면서 중복 정보를 포함하면 안된다. 따라서, 다른 이미지들과 비교하여 한 이미지의 다양성을 측정하기 위해, 이미지 추출부(140)는 대표 이미지 추출시, 하기 수학식 16과 같이, 이미지와 이미지 간의 거리의 최소값(달리 말해 이미지 쌍 간의 거리의 최소값)을 고려할 수 있다.
[수학식 16]
Figure 112016126508014-pat00061
이때, 이미지 추출부(140)는 두 이미지 간의 거리를 측정하기 위해 L2-norm을 이용할 수 있다. 이때, 두 이미지 간의 거리는 두 이미지 벡터의 내적에 의하여 주어질 수 있다.
출력부(150)는 이미지 추출부(140)에 의하여 추출된 대표 이미지를 출력(또는 시각화)할 수 있다. 여기서, 시각화라 함은 선택 또는 추출된 대표 이미지를 사용자가 볼 수 있도록 화면 상에 디스플레이하는 것을 의미할 수 있다.
한편, 쿼리에 대응하는 검색 이미지들 각각에 대하여 추출된 감성 특징에 기초하여, 대표 이미지가 추출되는 과정은 도 5를 통해 보다 쉽게 이해될 수 있다.
도 5는 본원의 일 실시예에 따른 감성 기반의 이미지 선택 장치(100)에 의하여 추출된 대표 이미지가 출력되는 과정을 개략적으로 나타낸 도면이다.
도 5를 참조하면, 감성 특징 추출부(110)는 앞서 말한 바와 같이, 이미지 분할 과정(S21), 시드 영역 추출 과정(S22), 컬러 조합 추출 과정(S23) 및 PLSA 기반의 감성 맵핑을 통한 감성 벡터 계산 과정(S24)을 통해, 쿼리에 대응하는 이미지들 각각의 감성 특징으로서 감성 벡터 E(I)를 계산할 수 있다.
이후, 이미지 클러스터 형성부(120)는 감성 특징(감성 벡터)에 기초하여 k-평균 클러스터링을 수행함으로써 복수의 이미지 클러스터를 형성할 수 있으며,
이후, 클러스터 랭킹 산출부(130)는, 복수의 이미지 클러스터 각각에 대한 특성값(즉, 커버리지 값, 감성 일관성 값, 구별도 값)을 산출하고, 산출된 특성값에 기초하여 복수의 이미지 클러스터(c1, c2, c3, c4, …, cn)의 랭킹을 산출할 수 있다. 이때, 클러스터 랭킹 산출부(130)는, 산출된 랭킹에 기초하여 복수의 이미지 클러스터 중 c1 내지 c3은 상위 이미지 클러스터로 정의하고, c4 내지 cn은 하위 이미지 클러스터로 정의할 수 있다.
이후, 이미지 추출부(140)는 산출된 이미지 클러스터들의 랭킹에 기초하여, 기설정된 클러스터 랭킹에 속하는 이미지 클러스터(즉, 상위 이미지 클러스터로서, c1 내지 c3)에 포함된 이미지들 중 대표 이미지를 선택 또는 추출할 수 있다. 여기서, 일예로 c1 이미지 클러스터에는 I11 내지 I14 이미지가 포함되어 있고, c2 이미지 클러스터에는 I21 내지 I24 이미지가 포함되어 있고, c3 이미지 클러스터에는 I31 내지 I34 이미지가 포함될 수 있다.
이미지 추출부(140)는 상위 이미지 클러스터 각각에서 대표 이미지를 추출할 수 있으며, 이때, 이미지 클러스터 각각에서 추출되는 이미지의 수는 각 이미지 클러스터의 랭킹 순위에 비례하여 결정될 수 있다. 일예로, 이미지 추출부(140)는 대표 이미지로서, c1 이미지 클러스터에서는 3개의 이미지(즉, I11, I12, I13)를 추출하고, c2 이미지 클러스터에서는 2개의 이미지(I21, I22)를 추출하고, c3 이미지 클러스터에서는 1개의 이미지(I31)를 추출할 수 있다.
또한, 이미지 추출부(140)는 각 이미지 클러스터에서 추출된 이미지들에 대하여 중복 이미지를 제거할 수 있다.
이후, 출력부(150)는 이미지 추출부(140)에서 추출된 대표 이미지들(즉, 중복 이미지가 제거된 이미지들)을 디스플레이 화면 등에 출력할 수 있으며, 또는, 사용자 단말(미도시)의 화면에 표시되도록 추출된 대표 이미지들을 사용자 단말로 제공할 수 있다.
이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.
도 6은 본원의 일 실시예에 따른 감성 기반의 이미지 선택 방법에 대한 동작 흐름도이다.
도 6에 도시된 감성 기반의 이미지 선택 방법은 앞서 설명된 감성 기반의 이미지 선택 장치(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 감성 기반의 이미지 선택 장치(100)에 대하여 설명된 내용은 도 6에도 동일하게 적용될 수 있다.
도 6을 참조하면, 단계S61에서는, 쿼리에 대응하는 검색 이미지들 각각의 감성 특징을 추출할 수 있다.
또한, 단계S61에서는, 검색 이미지들 각각에 대하여, 평균 이동 클러스터링에 기초하여 이미지를 복수의 영역으로 분할할 수 있다. 또한, 분할된 복수의 영역 각각에 대하여 산출된 중요도 값에 기초하여 분할된 복수의 영역 중 M 개의 시드 영역을 추출할 수 있다. 또한, M개의 시드 영역의 컬러 정보와 M개의 시드 영역의 각각에 인접한 복수의 영역의 컬러 정보를 이용하여 복수의 컬러 조합을 추출할 수 있다. 또한, 확률 기반의 잠재적 의미 분석(PLSA)을 기반으로 하여, 복수의 컬러 조합을 이용하여 검색 이미지들 각각의 감성 벡터를 계산할 수 있다.
다음으로, 단계S62에서는, 단계S61에서 추출된 감성 특징에 기초하여 복수의 이미지 클러스터를 형성할 수 있다.
또한, 단계S62에서는, 검색 이미지들 각각에 대하여 산출된 감성 벡터에 기초하여 k-평균 클러스터링을 수행함으로써 복수의 이미지 클러스터를 형성할 수 있다.
다음으로, 단계S63에서는, 단계S62에서 형성된 복수의 이미지 클러스터의 랭킹을 산출할 수 있다.
또한, 단계S63에서는, 복수의 이미지 클러스터 각각에 대하여 복수의 특성값을 계산하고, 계산된 특성값 및 각 특성값의 가중치에 기초하여 이미지 클러스터의 랭킹을 산출할 수 있다. 여기서, 복수의 특성값은, 이미지 클러스터에 포함된 이미지의 수를 고려한 커버리지 값, 커버리지 값 및 클러스터 분산을 이용한 감성 일관성 값 및 복수의 이미지 클러스터 간의 거리를 고려한 구별도 값을 포함할 수 있다.
다음으로, 단계S64에서는, 기설정된 클러스터 랭킹에 속하는 이미지 클러스터에 포함된 이미지들 중 대표 이미지를 추출할 수 있다.
또한, 단계S64에서는, 기설정된 클러스터 랭킹에 속하는 이미지 클러스터에 포함된 각 이미지와 이미지 클러스터의 중심 간의 유클리드 거리 값 및 각 이미지로부터 미리 정의된 거리 내의 이미지의 수에 기초하여, 이미지 클러스터에 포함된 이미지들에 대한 이미지 랭킹을 산출하고, 기설정된 이미지 랭킹에 속하는 이미지를 대표 이미지로서 추출할 수 있다.
또한, 단계S64에서는, 대표 이미지 추출시 L2-norm을 이용하여 기설정된 이미지 랭킹에 속하는 이미지 간에 거리값을 계산한 후 기설정된 거리값 이하를 갖는 이미지를 중복 이미지로 판단하여 제거할 수 있다.
다음으로, 단계S65에서는, 단계S64에서 추출된 대표 이미지를 출력(또는 시각화)할 수 있으며, 이때, 출력되는 이미지는 중복 이미지가 제거된 이미지일 수 있다.
상술한 설명에서, 단계 S61 내지 S65는 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
본원의 일 실시 예에 따른 감성 기반의 이미지 선택 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 전술한 감성 기반의 이미지 선택 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
100: 감성 기반의 이미지 선택 장치
110: 감성 특징 추출부
120: 이미지 클러스터 형성부
130: 클러스터 랭킹 산출부
140: 이미지 추출부
150: 출력부

Claims (15)

  1. (a) 감성 기반의 이미지 선택 장치에서, 쿼리에 대응하는 검색 이미지들 각각의 감성 특징을 추출하는 단계;
    (b) 감성 기반의 이미지 선택 장치에서, 상기 감성 특징에 기초하여 복수의 이미지 클러스터를 형성하는 단계;
    (c) 감성 기반의 이미지 선택 장치에서, 상기 복수의 이미지 클러스터의 랭킹을 산출하는 단계;
    (d) 감성 기반의 이미지 선택 장치에서, 기설정된 클러스터 랭킹에 속하는 이미지 클러스터에 포함된 이미지들 중 대표 이미지를 추출하는 단계; 및
    (e) 감성 기반의 이미지 선택 장치에서, 상기 추출된 대표 이미지를 출력하는 단계,
    를 포함하고,
    상기 (c) 단계는, 상기 복수의 이미지 클러스터 각각에 대하여 복수의 특성값을 계산하고, 상기 계산된 특성값에 기초하여 이미지 클러스터의 랭킹을 산출하며,
    상기 (d) 단계는, 상기 기설정된 클러스터 랭킹에 속하는 이미지 클러스터에 포함된 각 이미지와 상기 이미지 클러스터의 중심 간의 유클리드 거리 값 및 각 이미지로부터 미리 정의된 거리 내의 이미지의 수에 기초하여 상기 대표 이미지를 추출하되, 상기 기설정된 클러스터 랭킹에 속하는 이미지 클러스터 각각에서 추출되는 대표 이미지의 수를 상기 이미지 클러스터 각각의 랭킹 순위에 비례하게 결정하는 것인, 감성 기반의 이미지 선택 방법.
  2. 제1항에 있어서,
    상기 (a) 단계는,
    (a1) 상기 검색 이미지들 각각에 대하여, 평균 이동(Mean-shift) 클러스터링에 기초하여 이미지를 복수의 영역으로 분할하는 단계;
    (a2) 상기 분할된 복수의 영역 각각에 대하여 산출된 중요도 값(importance value)에 기초하여 상기 분할된 복수의 영역 중 M 개의 시드 영역을 추출하는 단계;
    (a3)상기 M개의 시드 영역의 컬러 정보와 상기 M개의 시드 영역의 각각에 인접한 복수의 영역의 컬러 정보를 이용하여 복수의 컬러 조합(color compositions)을 추출하는 단계; 및
    (a4) 확률 기반의 잠재적 의미 분석(Probabilistic Latent Semantic Analysis, PLSA)을 기반으로 하여, 상기 복수의 컬러 조합을 이용하여 상기 검색 이미지들 각각의 감성 벡터를 계산하는 단계,
    를 포함하는 것인, 감성 기반의 이미지 선택 방법.
  3. 제2항에 있어서,
    상기 (b) 단계는,
    상기 검색 이미지들 각각에 대하여 산출된 감성 벡터에 기초하여 k-평균 클러스터링(k-means Clustering)을 수행함으로써 상기 복수의 이미지 클러스터를 형성하는 것인, 감성 기반의 이미지 선택 방법.
  4. 제3항에 있어서,
    상기 (c) 단계는,
    각 특성값의 가중치에 더 기초하여 이미지 클러스터의 랭킹을 산출하는 것인, 감성 기반의 이미지 선택 방법.
  5. 제4항에 있어서,
    상기 복수의 특성값은,
    상기 이미지 클러스터에 포함된 이미지의 수를 고려한 커버리지(Coverage) 값, 상기 커버리지 값 및 클러스터 분산을 이용한 감성 일관성(affective coherence) 값 및 복수의 이미지 클러스터 간의 거리를 고려한 구별도(distinctiveness) 값을 포함하는 것인, 감성 기반의 이미지 선택 방법.
  6. 제1항에 있어서,
    상기 (d) 단계는,
    상기 이미지 클러스터에 포함된 이미지들에 대한 이미지 랭킹을 산출하고, 기설정된 이미지 랭킹에 속하는 이미지를 상기 대표 이미지로서 추출하는 것인, 감성 기반의 이미지 선택 방법.
  7. 제6항에 있어서,
    상기 (d) 단계는,
    상기 대표 이미지 추출시 L2-norm을 이용하여 상기 기설정된 이미지 랭킹에 속하는 이미지 간에 거리값을 계산한 후 기설정된 거리값 이하를 갖는 이미지를 중복 이미지로 판단하여 제거하는 것인, 감성 기반의 이미지 선택 방법.
  8. 쿼리에 대응하는 검색 이미지들 각각의 감성 특징을 추출하는 감성 특징 추출부;
    상기 감성 특징에 기초하여 복수의 이미지 클러스터를 형성하는 이미지 클러스터 형성부;
    상기 복수의 이미지 클러스터의 랭킹을 산출하는 클러스터 랭킹 산출부;
    기설정된 클러스터 랭킹에 속하는 이미지 클러스터에 포함된 이미지들 중 대표 이미지를 추출하는 이미지 추출부; 및
    상기 추출된 대표 이미지를 출력하는 출력부,
    를 포함하고,
    상기 클러스터 랭킹 산출부는, 상기 복수의 이미지 클러스터 각각에 대하여 복수의 특성값을 계산하고, 상기 계산된 특성값에 기초하여 이미지 클러스터의 랭킹을 산출하며,
    상기 이미지 추출부는, 상기 기설정된 클러스터 랭킹에 속하는 이미지 클러스터에 포함된 각 이미지와 상기 이미지 클러스터의 중심 간의 유클리드 거리 값 및 각 이미지로부터 미리 정의된 거리 내의 이미지의 수에 기초하여 상기 대표 이미지를 추출하되, 상기 기설정된 클러스터 랭킹에 속하는 이미지 클러스터 각각에서 추출되는 대표 이미지의 수를 상기 이미지 클러스터 각각의 랭킹 순위에 비례하게 결정하는 것인, 감성 기반의 이미지 선택 장치.
  9. 제8항에 있어서,
    상기 감성 특징 추출부는,
    상기 검색 이미지들 각각에 대하여, 평균 이동(Mean-shift) 클러스터링에 기초하여 이미지를 복수의 영역으로 분할하고,
    상기 분할된 복수의 영역 각각에 대하여 산출된 중요도 값(importance value)에 기초하여 상기 분할된 복수의 영역 중 M 개의 시드 영역을 추출하고,
    상기 M개의 시드 영역의 컬러 정보와 상기 M개의 시드 영역의 각각에 인접한 복수의 영역의 컬러 정보를 이용하여 복수의 컬러 조합(color compositions)을 추출하고,
    확률 기반의 잠재적 의미 분석(Probabilistic Latent Semantic Analysis, PLSA)을 기반으로 하여, 상기 복수의 컬러 조합을 이용하여 상기 검색 이미지들 각각의 감성 벡터를 계산하는 것인, 감성 기반의 이미지 선택 장치.
  10. 제9항에 있어서,
    상기 이미지 클러스터 형성부는,
    상기 검색 이미지들 각각에 대하여 산출된 감성 벡터에 기초하여 k-평균 클러스터링(k-means Clustering)을 수행함으로써 상기 복수의 이미지 클러스터를 형성하는 것인, 감성 기반의 이미지 선택 장치.
  11. 제10항에 있어서,
    상기 클러스터 랭킹 산출부는,
    각 특성값의 가중치에 더 기초하여 이미지 클러스터의 랭킹을 산출하는 것인, 감성 기반의 이미지 선택 장치.
  12. 제11항에 있어서,
    상기 복수의 특성값은,
    상기 이미지 클러스터에 포함된 이미지의 수를 고려한 커버리지(Coverage) 값, 상기 커버리지 값 및 클러스터 분산을 이용한 감성 일관성(affective coherence) 값 및 복수의 이미지 클러스터 간의 거리를 고려한 구별도(distinctiveness) 값을 포함하는 것인, 감성 기반의 이미지 선택 장치.
  13. 제8항에 있어서,
    상기 이미지 추출부는,
    상기 이미지 클러스터에 포함된 이미지들에 대한 이미지 랭킹을 산출하고, 기설정된 이미지 랭킹에 속하는 이미지를 상기 대표 이미지로서 추출하는 것인, 감성 기반의 이미지 선택 장치.
  14. 제13항에 있어서,
    상기 이미지 추출부는,
    상기 대표 이미지 추출시 L2-norm을 이용하여 상기 기설정된 이미지 랭킹에 속하는 이미지 간에 거리값을 계산한 후 기설정된 거리값 이하를 갖는 이미지를 중복 이미지로 판단하여 제거하는 것인, 감성 기반의 이미지 선택 장치.
  15. 제1항 내지 제7항 중 어느 한 항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터에서 판독 가능한 기록매체.
KR1020160177324A 2016-12-23 2016-12-23 감성 기반의 이미지 선택 장치 및 방법 KR101924200B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160177324A KR101924200B1 (ko) 2016-12-23 2016-12-23 감성 기반의 이미지 선택 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160177324A KR101924200B1 (ko) 2016-12-23 2016-12-23 감성 기반의 이미지 선택 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20180073851A KR20180073851A (ko) 2018-07-03
KR101924200B1 true KR101924200B1 (ko) 2018-12-03

Family

ID=62918586

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160177324A KR101924200B1 (ko) 2016-12-23 2016-12-23 감성 기반의 이미지 선택 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101924200B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102214186B1 (ko) 2019-02-07 2021-02-09 주식회사 티맥스티베로 멀티 프로세스 시스템 상에서 계층적 구조의 메모리 관리 기법을 사용하는 서버
KR20220052726A (ko) * 2020-10-21 2022-04-28 주식회사 파라스타 소셜 네트워크 서비스 계정의 스타일 정보를 산출하는 방법 및 장치
KR20210008885A (ko) 2021-01-11 2021-01-25 주식회사 티맥스티베로 멀티 프로세스 시스템 상에서 계층적 구조의 메모리 관리 기법을 사용하는 서버
KR102560276B1 (ko) * 2021-02-17 2023-07-26 연세대학교 산학협력단 이미지 검색 기반 감성 색채 배색 추천 장치 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
김영래 외 3명. 감성 개념을 이용한 웹 이미지 검색 결과 분류. 한국HCI학회 학술대회, 562-566. 2009.2.
신윤희 외 1명. 감성 기반 영상 검색을 위한 확률적 감성 모델 구현. 정보과학회논문지 : 소프트웨어 및 응용, 38(11), 579-590. 2011.11.

Also Published As

Publication number Publication date
KR20180073851A (ko) 2018-07-03

Similar Documents

Publication Publication Date Title
JP7104244B2 (ja) ユーザタグ生成方法並びにその、装置、コンピュータプログラム及びコンピュータ機器
US10402917B2 (en) Color-related social networking recommendations using affiliated colors
KR101924200B1 (ko) 감성 기반의 이미지 선택 장치 및 방법
JP6261547B2 (ja) 判定装置、判定方法及び判定プログラム
KR20160075739A (ko) 소셜 데이터 네트워크에 있어서의 인플루언서들을 결정하기 위한 시스템 및 방법
JP5946956B2 (ja) ソーシャルネットワークのノードをグループ化する方法、装置、およびコンピュータ記憶媒体
KR101356948B1 (ko) Ｓｎｓ에서 사회적 이웃의 관심사와 사회적 활동의 토픽을 통해 사용자 관심사를 추론하는 방법 및 그 시스템
CN106952130B (zh) 基于协同过滤的通用物品推荐方法
Li et al. Overlap community detection using spectral algorithm based on node convergence degree
JP2018073429A (ja) 検索装置、検索方法および検索プログラム
CN108389113B (zh) 一种协同过滤推荐方法和系统
CN112989169A (zh) 目标对象识别方法、信息推荐方法、装置、设备及介质
Wang et al. Relation embedding for personalised translation-based poi recommendation
CN112948625A (zh) 一种基于属性异质信息网络嵌入的电影推荐方法
Feng et al. Interpretable partitioned embedding for intelligent multi-item fashion outfit composition
JP2017201535A (ja) 判定装置、学習装置、判定方法及び判定プログラム
Valois B Jr et al. Recommender systems in social networks
CN104899238A (zh) 组形成方法、数据采集方法和数据采集设备
Stankova et al. Classification over bipartite graphs through projection
WO2020255307A1 (ja) 情報処理装置、情報処理方法、および記録媒体
JP2013218555A (ja) 情報提供装置、情報提供方法および情報提供プログラム
Zhang et al. Image retrieval of wool fabric. Part III: based on aggregated convolutional descriptors and approximate nearest neighbors search
JP6310529B1 (ja) 検索装置、検索方法および検索プログラム
Liu et al. Analyzing user preference for social image recommendation
Guntuku et al. Evaluating visual and textual features for predicting user ‘likes’

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant