KR20220117545A - 이미지 검색 기반 감성 색채 배색 추천 장치 및 방법 - Google Patents

이미지 검색 기반 감성 색채 배색 추천 장치 및 방법 Download PDF

Info

Publication number
KR20220117545A
KR20220117545A KR1020210021018A KR20210021018A KR20220117545A KR 20220117545 A KR20220117545 A KR 20220117545A KR 1020210021018 A KR1020210021018 A KR 1020210021018A KR 20210021018 A KR20210021018 A KR 20210021018A KR 20220117545 A KR20220117545 A KR 20220117545A
Authority
KR
South Korea
Prior art keywords
color
colors
importance
image
word
Prior art date
Application number
KR1020210021018A
Other languages
English (en)
Other versions
KR102560276B1 (ko
Inventor
이상원
쑤롱
박수진
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020210021018A priority Critical patent/KR102560276B1/ko
Publication of KR20220117545A publication Critical patent/KR20220117545A/ko
Application granted granted Critical
Publication of KR102560276B1 publication Critical patent/KR102560276B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/535—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 기저장된 다수의 단어를 각각 기지정된 이미지 검색 엔진에 검색어로 입력하여, 각 단어에 대해 검색된 다수의 이미지를 구분하여 크롤링하는 이미지 크롤링부, 각 단어에 따라 구분되어 크롤링된 다수의 이미지에 포함된 다수의 색채를 추출하는 색채 추출부, 각 색채가 크롤링된 이미지에서 출현하는 빈도와 이미지의 크롤링 순서와 각 이미지에 포함된 각 색채의 비율에 따라 기지정된 방식으로 다수의 색채 각각에 대한 색채 중요도를 계산하고, 크롤링된 다수의 이미지에서 다수의 색채가 함께 나타나는 패턴에 따라 다수의 색채를 벡터로 변환하며, 색채 중요도와 벡터를 기반으로 각 단어별 가상의 색공간에 추출된 다수의 색채를 투영하는 색공간 생성부 및 색공간에 투영된 다수의 색채의 중요도에 따라 기지정된 개수로 선택된 대표 색채에 대한 나머지 색채의 중요도와 각 대표 색채와의 거리를 계산하여 각 단어에 대응하여 추천하는 배색을 추출하는 배색 집합 추출부를 포함하여, 검색어 입력만으로 해당 검색어에 대한 문화, 분야, 시대, 집단의 특성에 따른 감성이 고려된 다양한 배색 리스트를 획득하는 색채 배색 추천 장치 및 방법을 제공할 수 있다.

Description

이미지 검색 기반 감성 색채 배색 추천 장치 및 방법{Apparatus and Method for Recommending Emotional Color Scheme based on Image Search}
본 발명은 색채 배색 추천 장치 및 방법에 관한 것으로, 이미지 검색 기반 감성 색채 배색 추천 장치 및 방법에 관한 것이다.
색채와 감성은 긴밀한 관계가 있으며, 이로 인해 디자인과 마케팅에서는 제품에서 요구되는 감성에 적합한 색채 배색을 찾는 것은 매우 중요한 문제이다.
기존 색채 감성 연구는 의미분별법과 요인분석으로 사람들이 공통적으로 느끼는 기본 감성을 도출하는 것을 목표로 하고 있었다. 그러나 기존 연구들에서는 문화적, 시간적, 집단적, 맥락적 등 색채에 영향을 주는 요인들에 대한 고려가 부족하고, 그리고 실험실 환경 내에서 색채에 대응하는 감성을 찾으려고 했으므로 최종 제안하는 감성의 개수가 제한적이어서 디자인 프로세스에 적용하기 힘들다는 한계가 있다.
한국 등록 특허 제10-2021088호 (2019.09.05 등록)
본 발명의 목적은 사용자가 요구하는 감성에 적합한 색채 배색을 추천할 수 있는 색채 배색 추천 장치 및 방법을 제공하는데 있다.
본 발명의 다른 목적은 문화, 분야, 시대, 집단의 특성에 맞는 다양한 배색 리스트를 추천할 수 있는 색채 배색 추천 장치 및 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 색채 배색 추천 장치는 기저장된 다수의 단어를 각각 기지정된 이미지 검색 엔진에 검색어로 입력하여, 각 단어에 대해 검색된 다수의 이미지를 구분하여 크롤링하는 이미지 크롤링부; 각 단어에 따라 구분되어 크롤링된 다수의 이미지에 포함된 다수의 색채를 추출하는 색채 추출부; 각 색채가 크롤링된 이미지에서 출현하는 빈도와 이미지의 크롤링 순서와 각 이미지에 포함된 각 색채의 비율에 따라 기지정된 방식으로 다수의 색채 각각에 대한 색채 중요도를 계산하고, 크롤링된 다수의 이미지에서 다수의 색채가 함께 나타나는 패턴에 따라 다수의 색채를 벡터로 변환하며, 색채 중요도와 벡터를 기반으로 각 단어별 가상의 색공간에 추출된 다수의 색채를 투영하는 색공간 생성부; 및 상기 색공간에 투영된 다수의 색채의 중요도에 따라 기지정된 개수로 선택된 대표 색채에 대한 나머지 색채의 중요도와 각 대표 색채와의 거리를 계산하여 각 단어에 대응하여 추천하는 배색을 추출하는 배색 집합 추출부를 포함한다.
상기 색공간 생성부는 각 단어에 대해 크롤링된 다수의 이미지에서 각 색채가 검출되는 빈도에 각 색채가 포함된 이미지의 크롤링 순서와 각 이미지에서 각 색채가 포함된 비율에 따른 패널티를 가중하여 다수의 색채 각각에 대한 색채 중요도를 계산하는 색채 중요도 측정부; 미리 학습된 인공 신경망을 이용하여, 다수의 이미지에 출현하는 패턴에 따라 다수의 색채 각각을 벡터로 변환하는 색채-벡터 변환부; 및 변환된 벡터에 따라 각 색채를 상기 색공간 상의 특정 위치에 투영하고, 계산된 색채 중요도에 따라 특정 위치에 투영된 색채의 크기를 결정하는 색공간 투영부를 포함할 수 있다.
상기 색채 중요도 측정부는 기저장된 다수의 단어 전체에 대해 크롤링된 이미지에서 동일한 색채가 추출된 단어의 수를 나타내는 전체 빈도를 획득하는 전체 빈도 획득부; 다수의 이미지에서 각 색채가 검출되는 빈도에 이미지의 크롤링 순서에 따른 크롤링 순서 패널티와 각 색채가 이미지에 포함된 비율에 따른 색채 비율 패널티를 가중하여 색채 빈도를 획득하는 색채 빈도 획득부; 및 상기 색채 빈도와 상기 전체 빈도 사이의 관계로부터 기지된 방식으로 다수의 색채 각각에 대한 색채 중요도를 계산하는 색채 중요도 계산부를 포함할 수 있다.
상기 배색 집합 추출부는 각 단어별 색공간에 투영된 다수의 색채 중 상기 색채 중요도가 높은 순서에 따라 기지정된 개수로 선택된 대표 색채 각각에 대한 나머지 색채들의 우선 순위를 나타내는 배색 순서를 기지정된 방식으로 계산하고, 각 대표 색채에 대해 계산된 배색 순서에 따라 정렬된 색채에서 기지정된 개수의 색채를 선택하여 각 대표 색채와 함께 배색으로 획득할 수 있다.
상기 배색 집합 추출부는 각 대표 색채에 대응하여 배색 순서에 따라 정렬된 색채에서 배색 순서가 높은 색채로부터 순차적으로 대표 색채와의 색조화를 기지정된 방식으로 검토하여, 색조화된 색채를 기지정된 개수로 선택하여 상기 배색으로 획득할 수 있다.
상기 색채 배색 추천 장치는 각 단어에 대응하여 기지정된 개수로 획득된 배색 각각에 대응하여, 해당 단어를 기반으로 크롤링된 다수의 이미지애서 획득된 배색 각각이 포함된 이미지를 탐색하여 대표 이미지로 획득하는 대표 이미지 선택부를 더 포함할 수 있다.
상기 이미지 크롤링부는 각 단어의 언어와 검색 위치에 대응하는 이미지 검색 엔진을 선택하고, 선택된 이미지 검색 엔진에 단어를 입력하여 다수의 이미지를 크롤링할 수 있다.
상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 색채 배색 추천 방법은 기저장된 다수의 단어를 각각 기지정된 이미지 검색 엔진에 검색어로 입력하여, 각 단어에 대해 검색된 다수의 이미지를 구분하여 크롤링하는 단계; 각 단어에 따라 구분되어 크롤링된 다수의 이미지에 포함된 다수의 색채를 추출하는 단계; 각 색채가 크롤링된 이미지에서 출현하는 빈도와 이미지의 크롤링 순서와 각 이미지에 포함된 각 색채의 비율에 따라 기지정된 방식으로 다수의 색채 각각에 대한 색채 중요도를 계산하고, 크롤링된 다수의 이미지에서 다수의 색채가 함께 나타나는 패턴에 따라 다수의 색채를 벡터로 변환하며, 색채 중요도와 벡터를 기반으로 각 단어별 가상의 색공간에 추출된 다수의 색채를 투영하는 단계; 및 상기 색공간에 투영된 다수의 색채의 중요도에 따라 기지정된 개수로 선택된 대표 색채에 대한 나머지 색채의 중요도와 각 대표 색채와의 거리를 계산하여 각 단어에 대응하여 추천하는 배색을 추출하는 단계를 포함한다.
따라서, 본 발명의 실시예에 따른 색채 배색 추천 장치 및 방법은 간단한 검색어 입력만으로 해당 검색어에 대한 문화, 분야, 시대, 집단의 특성에 따른 감성이 고려된 다양한 배색 리스트를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 색채 배색 추천 장치의 개략적 구조를 나타낸다.
도 2는 도 1의 색채 중요도 측정부의 상세 구성을 나타낸다.
도 3은 도 2의 패널티 설정부의 패널티 함수의 특성의 일 예를 나타낸다.
도 4는 도 2의 색채 중요도 측정부에서 계산된 색채 중요도에 따라 정렬된 색채의 일 예를 나타낸다.
도 5는 도 1의 색공간 투영부에 의해 색공간에 투영된 색채의 일 예를 나타낸다.
도 6은 색채 조화 템플릿의 일 예를 나타낸다.
도 7은 추천된 색채 배색에 따라 검출된 이미지의 일 예를 나타낸다.
도 8은 본 발명의 일 실시예에 따른 색채 배색 추천 방법을 나타낸다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 일 실시예에 따른 색채 배색 추천 장치의 개략적 구조를 나타내고, 도 2는 도 1의 색채 중요도 측정부의 상세 구성을 나타낸다.
도 1을 참조하면, 본 실시예에 따른 색채 배색 추천 장치는 단어 저장부(110), 이미지 크롤링부(120), 색채 추출부(130), 색공간 생성부(140), 배색 집합 추출부(150)를 포함할 수 있다.
단어 저장부(110)는 다수의 단어가 미리 저장된 데이터베이스로 구현될 수 있으며, 각 단어는 이후 대응하는 다수의 색채 배색이 획득되어야 하는 검색어로서 이용될 수 있다. 즉 사용자가 색채 배색을 추천받고자 하는 검색어 집합으로 이용된다.
이미지 크롤링부(120)는 단어 저장부(110)에 저장된 다수의 단어 각각을 기지정된 적어도 하나의 이미지 검색 엔진의 검색어로 입력하고, 다수의 단어에 각각에 대응하여 검색된 다수의 이미지를 획득한다. 이미지 크롤링부(120)는 일 예로 공개된 포털 검색 사이트에 검색어를 입력하여 각 검색어에 대응하는 다수의 이미지를 획득할 수 있다.
일반적으로 검색 엔진은 검색어의 언어나 검색 위치에 따라 서로 다른 이미지 검색 결과를 출력한다. 예를 들어, 전통 결혼식을 한글로 입력하는 경우와 중국어로 입력하는 경우는 서로 다른 이미지를 출력하게 된다. 또한 동일한 언어로 입력하더라도 입력된 위치에 따라 서로 다른 결과를 출력한다. 뿐만 아니라 검색 엔진은 시간의 흐름에 따라 정보가 항시 업데이트되므로, 검색되는 시간에 따라서도 서로 다른 결과를 도출하게 된다. 또한 특수 목적을 위해 이용되는 검색 엔진은 해당 그룹 내의 그룹원에게 적합한 이미지를 도출한다. 따라서 이미지 크롤링부(120)는 색채 배색 추천 장치의 용도에 따라 지정된 언어로 지정된 검색 엔진을 이용하여 이미지를 획득할 수 있다.
색채 추출부(130)는 이미지 크롤링부(120)에서 획득된 다수의 이미지 각각에 포함된 다수의 색채를 추출한다. 이 때 색채 추출부(130)는 다수의 이미지 각각에 포함된 색채를 구분하여 추출할 수 있다. 즉 K개의 이미지가 획득된 경우 K개의 이미지 각각에 포함된 색채를 추출하여 K개의 색채 집합을 획득할 수 있다. 이미지에서 색채를 추출하는 다양한 기법이 이미 공지되어 있으며, K-평균 클러스터링(K-Means Clustering) 기법이 대표적으로 이용되고 있으나, K-평균 클러스터링 기법에서는 중심점의 개수가 제대로 지정되지 않은 경우, 추출되는 색채가 왜곡될 수 있으므로, 본 실시예에서는 평균 시프트 클러스터링(Mean Shift Clustering) 기법을 이용하여 색채를 추출하는 것으로 가정한다.
다만 색채 추출부(130)는 각 이미지에 포함된 색채를 그대로 추출하는 경우, 사람이 차이를 인지하지 못하는 수준으로 불필요하게 매우 많은 수의 색채가 추출된다. 따라서 효율성을 위해서 본 실시예에서는 미리 설정된 표색계를 이용하여 추출된 색채 중 유사한 색채들을 기지정된 지정 색채로 병합하여 추출할 수 있다. 일 예로 색채 추출부(130)는 NCD Hue & Tone 130 표색계를 기반으로 이미지에 포함된 모든 색채를 130개로 제한된 지정 색채 중 대응하는 색채로 병합하여 추출할 수 있다.
한편 색공간 생성부(140)는 다수의 이미지 각각에서 추출된 색채를 기반으로 각 단어별 색채 중요도를 계산하고, 계산된 색채 중요도에 따라 각 단어별 대표 색채를 선택하는 한편, 다수의 색채를 기지정된 방식으로 벡터로 변환하여, 색채 추출부(130)에서 추출된 각 색상을 색공간상에 변환된 벡터에 대응하는 위치에 중요도에 따른 크기로 투영한다. 여기서 색공간 생성부(140)는 각 단어별로 서로 다른 색공간을 생성할 수 있다.
색공간 생성부(140)는 색채 중요도 측정부(141), 색채-벡터 변환부(142) 및 색공간 투영부(143)를 포함할 수 있다.
색채 중요도 측정부(141)는 다수의 이미지가 크롤링된 순서에 따른 패널티와 다수의 이미지 각각에서 각 색채가 차지하는 영역 비율에 따른 패널티를 부가하여 각 이미지에서 추출된 다수의 색채 각각의 중요도를 계산하고, 계산된 색채 중요도에 기반하여 각 단어에 대한 대표 색채를 선택한다.
도 2를 참조하면, 색채 중요도 측정부(141)는 전체 빈도 획득부(210), 색채 빈도 획득부(220) 및 색채 중요도 계산부(230)를 포함할 수 있다.
전체 빈도 획득부(210)는 단어 저장부(110)에 저장된 전체 단어에 대해 검색되어 크롤링된 이미지에서 각 색채(i)가 추출된 단어의 빈도수를 나타내는 전체 빈도(Total Frequency)(Tfi)를 집계하여 획득한다. 일 예로 전체 단어 개수가 300개이고, 이중 100개의 단어를 이용하여 크롤링된 이미지에서 색채(i)가 추출된 경우 전체 빈도(Tfi)는 100으로 획득될 수 있다.
그리고 색채 빈도 획득부(220)는 특정 단어(j)에 대해 크롤링된 다수의 이미지에서 각 색채(i)가 출현된 빈도인 색채 빈도(cfi,j)를 집계하여 획득한다. 일 예로 색채 빈도 획득부(220)는 특정 단어(j)에 대해 100개의 이미지가 획득되고, 획득된 100개의 이미지 중 50개의 이미지에 색채(i)가 포함된 것으로 추출되면, 색채 빈도(cfi,j)를 50으로 획득할 수 있다.
다만, 색채 빈도(cfi,j)를 단순히 색채(i)가 포함된 이미지의 개수를 카운트하여 획득하는 경우, 각 이미지(j)의 중요도나 이미지 내에 해당 색채(i)의 중요도가 반영되지 않는다는 한계가 있다.
이미지 크롤링부(120)가 이미지 검색 엔진을 이용하여 이미지를 크롤링하는 경우, 각 검색 엔진은 미리 지정된 규칙에 따라 검색된 이미지를 정렬하여 출력한다. 일반적으로 검색 엔진은 입력된 검색어에 대한 정확도를 기반하여, 정확도가 높은 순서로부터 검색된 이미지를 정렬하여 출력한다. 따라서 검색 엔진으로부터 우선 크롤링된 이미지가 검색어에 대해 더 높은 정확도를 가지는 것으로 볼 수 있으므로, 우선 크롤링된 이미지에 포함된 색채가 검색어에 더 정확하게 대응할 가능성이 더욱 높다고 생각할 수 있다.
또한 크롤링된 이미지에는 다양한 색채가 포함되며, 이 중에서는 검색어에 무관한 무의미한 색채 또한 다수로 포함되어 있다. 특히 많은 경우, 이미지에서 가장 큰 영역을 차지하는 색채는 검색어에 무관한 배경 영역의 색채이다. 그리고 이미지에서 매우 작은 영역을 차지하는 색채 또한 대부분 검색어에 무관한 색채일 가능성이 매우 높다.
이에 본 실시예의 색채 빈도 획득부(220)는 다수의 이미지 각각의 정확도와 이미지 내에서 각 색채(i)가 갖는 의미를 반영하여 색채 빈도(cfi,j)를 획득할 수 있도록 구성된다.
도 2를 참조하면, 색채 빈도 획득부(220)는 색채 비율 계산부(221), 패널티 설정부(222) 및 색채 빈도 계산부(223)를 포함할 수 있다.
색채 비율 계산부(221)는 획득된 이미지(k) 각각에서 각 색채(i)가 차지하는 면적의 비율을 계산하여 색채 비율(Color Proportion)(cpi,k)을 획득한다.
그리고 패널티 설정부(222)는 색채 비율(cpi,k)을 기반으로 색채 비율 패널티(P(cpi,k))를 설정하고, 검색 엔진에서 이미지(k)가 정렬된 순서를 기반으로 크롤링 순서 패널티(O(k))를 설정한다.
여기서 색채 비율 패널티(P(cpi,k))는 수학식 1에 따라 설정될 수 있다.
Figure pat00001
한편, 크롤링 순서 패널티(O(k))는 수학식 2와 같이 설정될 수 있다.
Figure pat00002
도 3은 도 2의 패널티 설정부의 패널티 함수의 특성의 일 예를 나타낸다.
도 3에서 (a)는 색채 비율(cpi,k)에 따른 색채 비율 패널티(P(cpi,k))를 나타내는 그래프이고, (b)는 크롤링 순서에 따른 크롤링 순서 패널티(O(k))를 나타내는 그래프이다.
(a)에 도시된 바와 같이, 색채 비율 패널티(P(cpi,k))는 가우시안 함수와 유사한 형태로 나타나며, 따라서 색채 비율 패널티(P(cpi,k)) 이미지(k)에서 너무 크거나 너무 작은 색채 비율(cpi,k)의 색채에 대한 중요도를 낮추는 반면, 중간 비율의 색채가 강조될 수 있도록 한다. 이는 상기한 바와 같이, 색채 비율(cpi,k)이 큰 색채는 배경일 가능성이 높고 작은 색채는 검색에 이용된 단어와 무관하게 포함된 색채일 가능성이 높기 때문이다. 즉 이미지(k)에서 검색어에 무의미한 영역에서 추출된 색채가 부각되지 않도록 함으로써, 검색어에 더욱 적합한 색채가 강조될 수 있도록 한다.
한편 (b)에 도시된 바와 같이, 크롤링 순서 패널티(O(k))는 로그 그래프 패턴으로 나타나며, 이는 먼저 크롤링된 이미지(k)에서 추출된 색상(i)이 강조되고 늦게 크롤링된 이미지(k)에서 추출된 색상(i)일수록 중요도가 낮아지도록 하는 역할을 수행한다.
이에 색채 빈도 계산부(223)는 수학식 3에 따라 다수의 이미지에서 색채(i)가 출현된 빈도에 설정된 크롤링 순서 패널티(O(k))와 색채 비율 패널티(P(cpi,k))를 가중하여 색채 빈도(cfi,j)를 획득한다.
Figure pat00003
(여기서 n은 단어(j)에 대해 크롤링된 이미지의 개수를 나타낸다.)
색채 중요도 계산부(230)는 전체 빈도 획득부(210)에서 획득된 전체 빈도(Tfi)를 인가받고, 색채 빈도 획득부(220)에서 획득된 색채 빈도(cfi,j)를 인가받아, 색채 중요도(Ci,j)를 수학식 4에 따라 계산한다.
Figure pat00004
(여기서 max(Tf)는 다수의 색채에 대한 전체 빈도(Tfi) 중 가장 큰 값을 의미한다.)
여기서 색채 중요도 측정부(141)가 각 단어(j)에 대해 계산된 색채 빈도(cfi,j)를 그대로 이용하지 않고, 수학식 4와 같이 색채 중요도(Ci,j)를 계산하는 것은 다수의 단어 중 해당 단어(j)에 대해 특징적으로 나타나는 대표적인 색채를 추출하기 위함이다. 비록 색채의 출현 빈도에 크롤링 순서 패널티(O(k))와 색채 비율 패널티(P(cpi,k))를 가중하여 색채 빈도(cfi,j)를 획득할지라도, 획득된 색채 빈도(cfi,j)에 따라 색상의 중요도를 설정하는 경우, 서로 다른 단어들에서 동일한 색상들이 중요한 색상으로 검출될 수 있다. 즉 특정 단어에 대한 특징적인 색상이 아니라 단순히 여러 단어들에서 출현 비율이 높은 색상이 중요한 색상으로 검출될 가능성이 있다. 이에 본 실시예의 색채 중요도 측정부(141)는 색채 빈도(cfi,j)를 획득하는 색채 빈도 획득부(220) 이외에 전체 빈도 획득부(210)와 색채 중요도 계산부(230)를 더 구비하여 색채 중요도(Ci,j)를 계산함으로써, 특정 단어에서 두드러지게 나타나는 색상이 더 강조될 수 있도록 한다.
도 4는 도 2의 색채 중요도 측정부에서 계산된 색채 중요도에 따라 정렬된 색채의 일 예를 나타낸다.
도 4에서는 가운데 기재된 동일한 단어에 대해 좌측에는 크롤링된 다수의 이미지에서 중요도를 반영하지 않고 각 색채(i)가 나타난 빈도에 기반하여 색채를 정렬한 결과를 도시한 반면, 우측에는 각 색채(i)가 나타난 빈도에 크롤링 순서 패널티(O(k))와 색채 비율 패널티(P(cpi,k))를 가중하고, 색채 중요도(Ci,j)를 계산하여 색채를 정렬한 결과를 도시하였다.
도 4를 살펴보면, 좌측과 같이 중요도가 반영되지 않는 경우, 단어에 무관하게 대부분 무채색이 높은 빈도로 나타나게 되며, 따라서 단어에 대응하는 적절한 색상이 검출될 수 없음을 알 수 있다. 그러나 우측에 도시된 바와 같이, 색채 중요도(Ci,j)를 계산하여 색채를 정렬하는 경우, 각 단어에 따라 서로 다른 매우 다양한 색채가 나타나게 되며, 이는 각 단어에 적합한 색채로 검출되는 것으로 볼 수 있다. 특히 "Metallic"과 같이 단어 자체의 의미가 무채색에 적합한 경우에는 중요도에 따라 정렬함에도 불구하고 무채색이 높은 색채 중요도(Ci,j)로 정렬됨을 알 수 있다.
그리고 색채 중요도 계산부(230)는 각 단어(j)에서 색채(i)별로 계산된 색채 중요도(Ci,j) 중 높은 색채 중요도(Ci,j)를 갖는 기지정된 개수(예를 들면 5개)의 색채를 해당 단어에 대한 대표 색채로 선택할 수 있다. 즉 특정 단어에 적합한 것으로 추정되는 기지정된 개수의 단일 색채를 대표 색채들로 선택할 수 있다.
한편, 색채-벡터 변환부(142)는 미리 학습된 인공 신경망을 이용하여, 색채 추출부(130)에서 추출된 다수의 색채(i)를 벡터로 변환한다.
색채 중요도 측정부(141)에서 선택되는 기지정된 개수의 대표 색채는 해당 단어의 특징을 가장 잘 표현하는 색채들로 볼 수 있으나, 선택된 대표 색채들은 서로 연관이 없을 수도 있다. 즉 계산된 색채 중요도(Ci,j)에 따라 선택된 대표 색채들은 단색으로서 개별적으로서는 해당 단어를 대표하는 색채이지만, 대표 색채들이 서로 밀접한 관계를 갖는 것으로 볼 수 없다.
다만 동일한 이미지에 빈번하게 함께 나타나는 색채들은 서로 연관된 색채인 것으로 고려할 수 있다. 즉 특정 색채들이 여러 이미지에서 반복적으로 함께 포함된 경우, 해당 색채들은 서로 연관된 것으로 고려할 수 있다. 그리고 이는 동일한 문장에서 빈번하게 동시에 등장하는 단어들 사이의 연관성에 따라 각 단어를 벡터로 변환하는 기존의 Word2Vec으로 알려진 인공 신경망과 유사한 동작이다.
Word2Vec는 다수의 단어가 포함된 문장에서 각 단어 사이의 상관 관계에 따라 위치를 추정하고, 추정된 중심 위치를 기준으로 단어들 사이의 관계에 따라 각 단어들의 거리가 결정되도록 벡터로 변환함으로써, 문장의 각 단어들 사이의 상관 관계를 수치적으로 표현할 수 있도록 한다. 즉 각 단어를 단어들 사이의 상관 관계에 따른 위치 좌표 형식으로 변환할 수 있다.
따라서 본 실시예에서 색채-벡터 변환부(142)는 단어를 입력으로 인가받는 Word2Vec와 동일한 구조의 인공 신경망으로 구성되되, 단어 대신 크롤링된 이미지에서 추출된 색채의 색상값이 입력되도록 구성하여 각 색채를 벡터로 변환하는 Color2Vec로 구현될 수 있다. 따라서 색채-벡터 변환부(142)는 크롤링된 다수의 이미지에서 추출된 다수의 색상들 중 중심 색상 위치를 추정하고, 추정된 중심 색상 위치를 기준으로 각 색상이 동일한 이미지에서 출현되는 빈도에 따라 색상간 거리가 결정되도록 벡터로 변환한다.
색공간 투영부(143)는 색채-벡터 변환부(142)에서 획득된 색채별 벡터에 따라 각 색채를 가상의 색공간에 투영하고, 색채 중요도 측정부(141)에서 획득된 색채 중요도(Ci,j)에 따라 색공간에 투영된 각 색채의 크기를 조절한다. 이 때 색공간 투영부(143)는 각 단어(j)에 대해 별도의 색공간을 생성하여 색채를 투영한다.
도 5는 도 1의 색공간 투영부에 의해 색공간에 투영된 색채의 일 예를 나타낸다.
도 5에서 (a)는 한글로 "전통 결혼식"을 검색하여 획득된 이미지에서 추출된 색채를 색공간에 투영한 예를 나타내고, (b)는 중국어로 "傳統婚??"을 검색하여 획득된 이미지에서 추출된 색채를 색공간에 투영한 예를 나타낸다.
(a)에 도시된 바와 같이, "전통 결혼식"의 검색 이미지에서 추출된 색채가 투영된 색공간에서는 붉은색 계열과 푸른색 계열의 색채가 균등한 큰 크기로 나타나는 반면, 전통 결혼식의 중국어 검색 이미지에서 추출된 색채가 투영된 색공간에서는 대부분 붉은색 계열의 압도적으로 큰 크기로 나타나게 됨을 알 수 있다. 이는 한국과 중국의 전통 혼례 의상 차이 등과 같은 문화적 차이에 기인한 것이다.
배색 집합 추출부(150)는 색공간 상에 투영된 색채 중 대표 색채를 기준으로 대표 색채에 대한 인접도와 중요도를 기반으로 대표 색채 각각에 대응하는 기지정된 개수의 색채를 탐색하여 배색 집합을 추출한다. 배색 집합 추출부(150)는 색공간에 투영된 색채 중 크기가 큰 기지정된 개수의 대표 색채 각각을 기준으로 다른 색채와의 거리 및 각 색채의 크기에 따라 각 대표 색채와 어울릴 수 있는 기지정된 개수의 색채들을 탐색하여 배색 집합을 추출한다. 즉 검색된 특정 단어를 대표하는 기지정된 개수의 대표 색채 각각에 대응하는 기지정된 개수의 색채를 검출하여 배색 집합을 획득한다.
일 예로, 도 4에 도시된 바와 같이 5개의 대표 색채가 선택되고, 3개씩의 색채가 배색으로 획득되도록 설정된 경우, 5개의 대표 색채 각각에 대응하는 2개의 색채를 검출하여, 각각 3개의 색채가 포함된 5개의 배색이 배색 집합으로 추출될 수 있다. 이 때, 5개의 배색에는 동일한 색채가 중복되어 포함될 수도 있다. 즉 5개의 배색 중 하나의 배색에 포함된 특정 색상이 다른 배색에도 포함될 수 있으며, 대표 색채 또한 다른 대표 색채의 배색에 포함될 수도 있다.
배색 집합 추출부(150)는 단어(j)에 대한 색채가 투영된 색공간으로부터 수학식 5에 따라 각 대표 색채(
Figure pat00005
)에 대한 배색 순서(
Figure pat00006
)를 계산할 수 있다.
Figure pat00007
(여기서 n은 색공간에 투영된 색채 개수, norm은 최소-최대 정규화 함수(Min-Max Normalization),
Figure pat00008
는 선택된 대표 색채, Vi,j 는 탐색 대상이 되는 색채(i)가 변환된 벡터, sim은 코사인 유사도 함수, a는 중요도 가중치, b는 연관도 가중치)
수학식 5에서 중요도 가중치(a)와 연관도 가중치(b)는 색상(i)의 중요도와 대표 색채(
Figure pat00009
)와의 연관도 중 어느 쪽을 더 중요시하여 배색을 결정할지에 대해 사용자가 설정하는 파라미터이다.
그리고 배색 집합 추출부(150)는 수학식 5에 따라 각 대표 색채(
Figure pat00010
)에 대한 배색 순서(
Figure pat00011
)가 계산되면, 계산된 배색 순서(
Figure pat00012
)에 따라 기지정된 개수(예를 들면 2개)의 색채를 선택하여 대표 색채(
Figure pat00013
)와 함께 배색으로 획득한다.
대표 색채(
Figure pat00014
)의 개수에 대응하여 개수로 획득된 배색은 배색 집합으로, 본 실시예의 색채 배색 추천 장치의 출력으로 사용자에게 제공될 수 있다. 즉 색채 중요도 측정부(141)가 1개 또는 2개의 대표 색채를 선택하도록 설정된 경우, 배색 집합 추출부(150)는 선택된 1개 또는 2개의 대표 색채에 대한 배색을 검출할 수 있으며, 이렇게 검출된 배색이 그대로 사용자에게 추천될 수 있다.
다만, 배색 집합 추출부(150)에서 추출된 배색은 각 대표 색채(
Figure pat00015
)와 동시에 자주 나타나는 색채들의 조합으로, 추출된 배색이 실제 사람들이 인지하기에 조화로운 배색인지 여부는 별개의 문제이다. 즉 배색 집합에 포함된 배색 중에는 일반적으로 조화롭게 인지되지 않은 배색이 포함될 수도 있다.
이에 색채 배색 추천 장치는 배색 집합의 각 배색의 색채 조화를 확인하기 위한 색채 조화 분석부(160)를 더 포함할 수 있다. 색채 조화 분석부(160)는 배색 집합 추출부(150)에서 추출된 배색 집합을 인가받고, 인가된 배색 집합의 배색 각각의 조화(harmony)를 기지정된 방식으로 분석하여, 추천 배색을 선택한다.
색채 조화 분석부(160)는 일 예로 색조화 이론에 기초하여 생성된 색채 조화 템플릿을 이용하여 배색 적합성을 판별함으로써 비조화 배색을 배색 집합에서 제거할 수 있다.
도 6은 색채 조화 템플릿의 일 예를 나타낸다.
도 6은 색채 조화 템플릿은 색상환에서 서로 조화가 되는 색채를 구분하여 표시한 템플릿으로, 도 6에 도시된 바와 같이, 다양한 타입의 템플릿으로 제공될 수 있다. 도 6의 색채 조화 템플릿에서 각 색상환 내부의 회색 영역이 색조합이 색조화가 되는 색조화 영역을 나타낸다. 도 6의 8개의 색채 조화 템플릿에서 N 타입 색채 조화 템플릿은 무채색에 대한 템플릿을 나타내므로 제외하고, 나머지 7개의 I, V, L, I, T, Y, X 타입의 색채 조화 템플릿을 이용하여 배색 집합의 각 배색이 조화가 되는지 판별하여, 비조화 배색을 배색 집합에서 제외함으로써 추천 배색을 선택할 수 있다.
그러나 색채 조화 분석부(160)는 배색 집합 추출부(150)에 포함되어 구성될 수 있다. 이 경우, 색채 조화 분석부(160)는 각 대표 색채(
Figure pat00016
)에 대해 계산된 배색 순서(
Figure pat00017
)에 따른 색채들 중 대표 색채(
Figure pat00018
) 사이의 색조화를 우선 판별하여 비조화 색채를 우선 제거한 후, 나머지 색채 중 배색 순서(
Figure pat00019
)에 따른 우선 순위 색채를 기지정된 개수(예를 들면 2개)의 색채를 선택하여 대표 색채(
Figure pat00020
)와 함께 배색으로 획득함으로써, 획득되는 배색 자체가 색조화된 추천 배색으로 배색 집합이 획득되도록 할 수 있다.
한편, 각 단어(j)에 대해 획득된 배색 집합은 각 단어에 어울리는 것으로 판별된 추천 배색이므로 그대로 사용자에게 추천될 수도 있으나, 사용자에 따라서는 추천 배색의 실제 활용을 확인하고자 하는 경우도 있다. 특히 추천 배색을 제품 생산에 적용하고자 하는 경우, 제품의 용도에 따라 색조화된 추천 배색일지라도 해당 제품에 적합하지 않는 배색일 경우도 발생할 수 있기 때문이다.
이에 본 실시예의 색채 배색 추천 장치는 대표 이미지 선택부(170)를 더 포함할 수 있다. 대표 이미지 선택부(170)는 단어(j)에 대해 크롤링된 다수의 이미지 중 추천 배색이 포함된 기지정된 개수의 대표 이미지를 추출하고, 추출된 대표 이미지를 대응하는 추천 배색과 함께 출력할 수 있다.
도 7은 추천된 색채 배색에 따라 검출된 이미지의 일 예를 나타낸다.
도 7은 clean이라는 단어에 대해 획득된 하나의 추천 배색과 이에 대응하여 추출된 다수의 대표 이미지를 도시하였다. 도 7에서는 대표 색채를 포함하여 5개의 색채가 색조화된 추천 배색으로 획득된 경우를 나타내고, 추천 배색에 대응하는 9개의 대표 이미지를 함께 도시하였다. 이와 같이 추천 배색과 대표 이미지를 함께 제공하는 경우, 사용자는 추천 배색이 실제 이용된 상태를 직접 확인할 수 있어, 추천 배색이 자신이 필요로 하는 배색인지를 용이하게 판별할 수 있다.
이때 대표 이미지 선택부(170)는 추천 배색이 포함된 다수의 이미지 중 크롤링 순서에 따라 높은 우선 순위로부터 기지정된 개수의 이미지를 추출하여 대표 이미지로서 추천 배색과 함께 출력할 수 있다.
상기한 본 실시예에 따른 색채 배색 추천 장치는 미리 저장된 각 단어에 대한 추천 배색과 대표 이미지가 미리 획득되어, 이후 사용자로부터 저장된 단어 중 하나의 단어가 검색어로서 입력되면, 입력된 검색어에 대응하는 추천 배색과 대표 이미지가 즉시 제공되도록 구성될 수 있다.
도 8은 본 발명의 일 실시예에 따른 색채 배색 추천 방법을 나타낸다.
도 1 내지 도 7을 참조하여, 도 8의 색채 배색 추천 방법을 설명하면, 우선 기저장된 다수의 단어 각각에 대한 추천 배색을 획득하는 단계(S10)를 수행한다.
추천 배색을 획득하는 단계(S10)에서는 우선 기저장된 다수의 단어 중 색채 배색을 확인하고자 하는 단어를 선택한다(S11). 그리고 선택된 단어를 기지정된 검색 엔진에 검색어로 입력하여, 검색된 다수의 이미지를 크롤링한다(S12). 이때 검색 엔진에서 검색되어 정렬된 순서에 따라 다수의 이미지를 크롤링하며, 크롤링 순서를 각 이미지에 할당할 수 있다.
이후 크롤링된 다수의 이미지 각각에 포함된 색채를 추출한다(S13). 여기서 색채는 처리 효율성을 위해, 미리 지정된 표색계를 이용하여 획득된 이미지의 모든 색채를 기지정된 개수로 미리 지정 색채 중 대응하는 색채로 병합하여 추출할 수 있다.
다수의 이미지로부터 색채(i)가 추출되면, 각 단어에 대해 추출된 다수의 이미지에서 추출된 색채(i) 각각에 대한 색채 중요도(Ci,j)를 측정한다(S14). 여기서 색채 중요도(Ci,j)는 특정 단어(j)에 대해 크롤링된 다수의 이미지에서 각 색채(i)가 출현된 빈도에, 각 이미지(j)가 크롤링된 순서에 따른 크롤링 순서 패널티(O(k))와 각 이미지(j)에서 특정 색채(i)가 차지하는 영역 비율에 따른 색채 비율 패널티(P(cpi,k))를 가중한 색채 빈도(cfi,j)로 획득될 수도 있다. 다만 다수의 단어 각각에 따른 특징적인 색상이 더 높은 중요도를 갖도록 하기 위해, 여기서는 기저장된 단어 전체로부터 획득된 이미지에서 추출된 색채 중 특정 색채(i)가 추출된 단어의 빈도를 나타내는 전체 빈도(Tfi)를 획득하고, 획득된 전체 빈도(Tfi)와 색채 빈도(cfi,j)를 이용하여, 각 색채에 대한 색채 중요도(Ci,j)를 획득한다. 그리고 다수의 색채(i) 중 색채 중요도(Ci,j)가 높은 순서로 기지정된 개수의 색채를 대표 색채(
Figure pat00021
)로 선택할 수 있다.
한편, 다수의 이미지로부터 추출된 색채(i) 각각을 미리 학습된 인공 신경망을 이용하여 각 색채(i)를 벡터로 변환한다(S15). 여기서 벡터는 다수의 이미지에서 추출된 다수의 색채(i) 중 다수의 이미지 중 동일한 이미지에서 함께 나타나는 색채들은 높은 연관성을 갖는 반면 동일한 이미지에 함께 나타나지 않는 색채들은 낮은 연관성을 가지므로, 색채들 사이의 연관성에 따른 거리가 상이하도록 지정된 위치 좌표의 형태로 획득될 수 있다.
색채 중요도(Ci,j)와 변환된 벡터가 획득되면, 획득된 벡터에 기반하여 각 색채를 가상의 색공간 상의 대응하는 위치에 투영하고, 색공간에 투영된 색채의 크기를 색채 중요도(Ci,j)에 따라 설정한다(S16).
그리고 색공간에 투영된 색채(i) 중 기정된 대표 색채 각각을 기준으로 나머지 색채들의 거리와 색채 중요도(Ci,j)에 따라 각 색채의 배색 순서(
Figure pat00022
)를 설정한다(S17).
그리고 대표 색채(
Figure pat00023
) 각각에 대해 설정된 배색 순서(
Figure pat00024
)에 따라 우선순위 정렬된 색채에서 높은 우선 순위 색채로부터 대표 색채(
Figure pat00025
)와의 색채 조화를 기지정된 방식으로 검초하여, 비조화 색채를 제외한 우선 순위에 따른 색채를 대표 색채(
Figure pat00026
)과 함께 추천 배색으로 선택한다(S18).
기지정된 개수의 대표 색채(
Figure pat00027
) 각각에 대한 추천 배색이 선택되면, 크롤링된 다수의 이미지 중 선택된 추천 배색이 포함된 이미지를 기지정된 개수로 탐색하여 대표 이미지로 선택한다(S19).
그리고 기저장된 모든 단어(j) 각각에 대한 추천 배색이 획득되었는지 판별한다(S20). 만일 추천 배색이 획득되지 않은 단어가 존재하는 것으로 판별되면, 해당 단어를 선택하여 다시 추천 배색을 획득한다. 그러나 저장된 모든 단어(j)에 대한 추천 배색이 획득된 것으로 판별되면, 저장된 단어 중 하나가 검색어가 입력되는지 판별한다(S30). 만일 검색어가 입력되면, 획득된 추천 배색을 출력한다(S40). 이때, 추천 배색에 대응하는 대표 이미지가 획득되어 있으면, 획득된 대표 이미지를 함께 출력할 수 있다.
본 발명에 따른 방법은 컴퓨터에서 실행시키기 위한 매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다. 여기서 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스 될 수 있는 임의의 가용 매체일 수 있고, 또한 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함하며, ROM(판독 전용 메모리), RAM(랜덤 액세스 메모리), CD(컴팩트 디스크)-ROM, DVD(디지털 비디오 디스크)-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등을 포함할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.
110: 단어 저장부 120: 이미지 크롤링부
130: 색채 추출부 140: 색공간 생성부
141: 색채 중요도 측정부 142: 색채-벡터 변환부
143: 색공간 투영부 150: 배색 집합 추출부
160: 색채 조화 분석부 170: 대표 이미지 선택부
210: 전체 빈도 획득부 220: 색채 빈도 획득부
221: 색채 비율 계산부 222: 패널티 설정부
223: 색채 빈도 계산부 230: 색채 중요도 계산부

Claims (20)

  1. 기저장된 다수의 단어를 각각 기지정된 이미지 검색 엔진에 검색어로 입력하여, 각 단어에 대해 검색된 다수의 이미지를 구분하여 크롤링하는 이미지 크롤링부;
    각 단어에 따라 구분되어 크롤링된 다수의 이미지에 포함된 다수의 색채를 추출하는 색채 추출부;
    각 색채가 크롤링된 이미지에서 출현하는 빈도와 이미지의 크롤링 순서와 각 이미지에 포함된 각 색채의 비율에 따라 기지정된 방식으로 다수의 색채 각각에 대한 색채 중요도를 계산하고, 크롤링된 다수의 이미지에서 다수의 색채가 함께 나타나는 패턴에 따라 다수의 색채를 벡터로 변환하며, 색채 중요도와 벡터를 기반으로 각 단어별 가상의 색공간에 추출된 다수의 색채를 투영하는 색공간 생성부; 및
    상기 색공간에 투영된 다수의 색채의 중요도에 따라 기지정된 개수로 선택된 대표 색채에 대한 나머지 색채의 중요도와 각 대표 색채와의 거리를 계산하여 각 단어에 대응하여 추천하는 배색을 추출하는 배색 집합 추출부를 포함하는 색채 배색 추천 장치.
  2. 제1항에 있어서, 상기 색공간 생성부는
    각 단어에 대해 크롤링된 다수의 이미지에서 각 색채가 검출되는 빈도에 각 색채가 포함된 이미지의 크롤링 순서와 각 이미지에서 각 색채가 포함된 비율에 따른 패널티를 가중하여 다수의 색채 각각에 대한 색채 중요도를 계산하는 색채 중요도 측정부;
    미리 학습된 인공 신경망을 이용하여, 다수의 이미지에 출현하는 패턴에 따라 다수의 색채 각각을 벡터로 변환하는 색채-벡터 변환부; 및
    변환된 벡터에 따라 각 색채를 상기 색공간 상의 특정 위치에 투영하고, 계산된 색채 중요도에 따라 특정 위치에 투영된 색채의 크기를 결정하는 색공간 투영부를 포함하는 색채 배색 추천 장치.
  3. 제2항에 있어서, 상기 색채 중요도 측정부는
    기저장된 다수의 단어 전체에 대해 크롤링된 이미지에서 동일한 색채가 추출된 단어의 수를 나타내는 전체 빈도를 획득하는 전체 빈도 획득부;
    다수의 이미지에서 각 색채가 검출되는 빈도에 이미지의 크롤링 순서에 따른 크롤링 순서 패널티와 각 색채가 이미지에 포함된 비율에 따른 색채 비율 패널티를 가중하여 색채 빈도를 획득하는 색채 빈도 획득부; 및
    상기 색채 빈도와 상기 전체 빈도 사이의 관계로부터 기지된 방식으로 다수의 색채 각각에 대한 색채 중요도를 계산하는 색채 중요도 계산부를 포함하는 색채 배색 추천 장치.
  4. 제3항에 있어서, 상기 색채 빈도 획득부는
    각 색채(i)가 크롤링된 이미지(k) 각각에서 차지하는 비율을 나타내는 색채 비율(cpi,k)을 계산하고, 계산된 색채 비율(cpi,k)로부터 상기 색채 비율 패널티(P(cpi,k))를 수학식
    Figure pat00028

    에 따라 계산하고,
    상기 크롤링 순서 패널티(O(k))를 수학식
    Figure pat00029

    에 따라 계산하여,
    상기 색채 빈도(cfi,j)를 수학식
    Figure pat00030

    (여기서 n은 단어(j)에 대해 크롤링된 이미지의 개수를 나타낸다.)
    에 따라 계산하는 색채 배색 추천 장치.
  5. 제4항에 있어서, 상기 색채 중요도 계산부는
    상기 색채 중요도(Ci,j)를 수학식
    Figure pat00031

    (여기서 max(Tf)는 다수의 색채에 대한 전체 빈도(Tfi) 중 가장 큰 값을 의미한다.)
    에 따라 계산하는 색채 배색 추천 장치.
  6. 제5항에 있어서, 상기 배색 집합 추출부는
    각 단어별 색공간에 투영된 다수의 색채 중 상기 색채 중요도가 높은 순서에 따라 기지정된 개수로 선택된 대표 색채 각각에 대한 나머지 색채들의 우선 순위를 나타내는 배색 순서를 기지정된 방식으로 계산하고, 각 대표 색채에 대해 계산된 배색 순서에 따라 정렬된 색채에서 기지정된 개수의 색채를 선택하여 각 대표 색채와 함께 배색으로 획득하는 색채 배색 추천 장치.
  7. 제6항에 있어서, 상기 배색 집합 추출부는
    기지정된 개수의 대표 색채(
    Figure pat00032
    )각각에 대한 배색 순서(
    Figure pat00033
    )를 수학식
    Figure pat00034

    (여기서 n은 색공간에 투영된 색채 개수, norm은 최소-최대 정규화 함수(Min-Max Normalization),
    Figure pat00035
    는 선택된 대표 색채, Vi,j 는 탐색 대상이 되는 색채(i)가 변환된 벡터, sim은 코사인 유사도 함수, a는 중요도 가중치, b는 연관도 가중치)
    에 따라 획득하는 색채 배색 추천 장치.
  8. 제6항에 있어서, 상기 배색 집합 추출부는
    각 대표 색채에 대응하여 배색 순서에 따라 정렬된 색채에서 배색 순서가 높은 색채로부터 순차적으로 대표 색채와의 색조화를 기지정된 방식으로 검토하여, 색조화된 색채를 기지정된 개수로 선택하여 상기 배색으로 획득하는 색채 배색 추천 장치.
  9. 제6항에 있어서, 상기 색채 배색 추천 장치는
    각 단어에 대응하여 기지정된 개수로 획득된 배색 각각에 대응하여, 해당 단어를 기반으로 크롤링된 다수의 이미지애서 획득된 배색 각각이 포함된 이미지를 탐색하여 대표 이미지로 획득하는 대표 이미지 선택부를 더 포함하는 색채 배색 추천 장치.
  10. 제1항에 있어서, 상기 이미지 크롤링부는
    각 단어의 언어와 검색 위치에 대응하는 이미지 검색 엔진을 선택하고, 선택된 이미지 검색 엔진에 단어를 입력하여 다수의 이미지를 크롤링하는 색채 배색 추천 장치.
  11. 기저장된 다수의 단어를 각각 기지정된 이미지 검색 엔진에 검색어로 입력하여, 각 단어에 대해 검색된 다수의 이미지를 구분하여 크롤링하는 단계;
    각 단어에 따라 구분되어 크롤링된 다수의 이미지에 포함된 다수의 색채를 추출하는 단계;
    각 색채가 크롤링된 이미지에서 출현하는 빈도와 이미지의 크롤링 순서와 각 이미지에 포함된 각 색채의 비율에 따라 기지정된 방식으로 다수의 색채 각각에 대한 색채 중요도를 계산하고, 크롤링된 다수의 이미지에서 다수의 색채가 함께 나타나는 패턴에 따라 다수의 색채를 벡터로 변환하며, 색채 중요도와 벡터를 기반으로 각 단어별 가상의 색공간에 추출된 다수의 색채를 투영하는 단계; 및
    상기 색공간에 투영된 다수의 색채의 중요도에 따라 기지정된 개수로 선택된 대표 색채에 대한 나머지 색채의 중요도와 각 대표 색채와의 거리를 계산하여 각 단어에 대응하여 추천하는 배색을 추출하는 단계를 포함하는 색채 배색 추천 방법.
  12. 제11항에 있어서, 상기 색채를 투영하는 단계는
    각 단어에 대해 크롤링된 다수의 이미지에서 각 색채가 검출되는 빈도에 각 색채가 포함된 이미지의 크롤링 순서와 각 이미지에서 각 색채가 포함된 비율에 따른 패널티를 가중하여 다수의 색채 각각에 대한 색채 중요도를 획득하는 단계;
    미리 학습된 인공 신경망을 이용하여, 다수의 이미지에 출현하는 패턴에 따라 다수의 색채 각각을 벡터로 변환하는 단계; 및
    변환된 벡터에 따라 각 색채를 상기 색공간 상의 특정 위치에 투영하고, 계산된 색채 중요도에 따라 특정 위치에 투영된 색채의 크기를 결정하는 단계를 포함하는 색채 배색 추천 방법.
  13. 제12항에 있어서, 상기 색채 중요도를 획득하는 단계는
    기저장된 다수의 단어 전체에 대해 크롤링된 이미지에서 동일한 색채가 추출된 단어의 수를 나타내는 전체 빈도를 획득하는 단계;
    다수의 이미지에서 각 색채가 검출되는 빈도에 이미지의 크롤링 순서에 따른 크롤링 순서 패널티와 각 색채가 이미지에 포함된 비율에 따른 색채 비율 패널티를 가중하여 색채 빈도를 획득하는 단계; 및
    상기 색채 빈도와 상기 전체 빈도 사이의 관계로부터 기지된 방식으로 다수의 색채 각각에 대한 색채 중요도를 계산하는 단계를 포함하는 색채 배색 추천 방법.
  14. 제13항에 있어서, 상기 색채 빈도를 획득하는 단계는
    각 색채(i)가 크롤링된 이미지(k) 각각에서 차지하는 비율을 나타내는 색채 비율(cpi,k)을 계산하고, 계산된 색채 비율(cpi,k)로부터 상기 색채 비율 패널티(P(cpi,k))를 수학식
    Figure pat00036

    에 따라 계산하는 단계;
    상기 크롤링 순서 패널티(O(k))를 수학식
    Figure pat00037

    에 따라 계산하는 단계; 및
    상기 색채 빈도(cfi,j)를 수학식
    Figure pat00038

    (여기서 n은 단어(j)에 대해 크롤링된 이미지의 개수를 나타낸다.)
    에 따라 계산하는 단계를 포함하는 색채 배색 추천 방법.
  15. 제14항에 있어서, 상기 색채 중요도를 계산하는 단계는
    상기 색채 중요도(Ci,j)를 수학식
    Figure pat00039

    (여기서 max(Tf)는 다수의 색채에 대한 전체 빈도(Tfi) 중 가장 큰 값을 의미한다.)
    에 따라 계산하는 색채 배색 추천 방법.
  16. 제15항에 있어서, 상기 배색을 추출하는 단계는
    각 단어별 색공간에 투영된 다수의 색채 중 상기 색채 중요도가 높은 순서에 따라 기지정된 개수로 선택된 대표 색채 각각에 대한 나머지 색채들의 우선 순위를 나타내는 배색 순서를 계산하는 단계; 및
    각 대표 색채에 대해 계산된 배색 순서에 따라 정렬된 색채에서 기지정된 개수의 색채를 선택하여 각 대표 색채와 함께 배색으로 획득하는 단계를 포함하는 색채 배색 추천 방법.
  17. 제16항에 있어서, 상기 배색 순서를 계산하는 단계는
    기지정된 개수의 대표 색채(
    Figure pat00040
    )각각에 대한 배색 순서(
    Figure pat00041
    )를 수학식
    Figure pat00042

    (여기서 n은 색공간에 투영된 색채 개수, norm은 최소-최대 정규화 함수(Min-Max Normalization),
    Figure pat00043
    는 선택된 대표 색채, Vi,j 는 탐색 대상이 되는 색채(i)가 변환된 벡터, sim은 코사인 유사도 함수, a는 중요도 가중치, b는 연관도 가중치)
    에 따라 획득하는 색채 배색 추천 방법.
  18. 제16항에 있어서, 상기 배색으로 획득하는 단계는
    각 대표 색채에 대응하여 배색 순서에 따라 정렬된 색채에서 배색 순서가 높은 색채로부터 순차적으로 대표 색채와의 색조화를 기지정된 방식으로 검토하는 단계; 및
    색조화된 색채를 기지정된 개수로 선택하여 상기 배색을 획득하는 단계를 포함하는 색채 배색 추천 방법.
  19. 제16항에 있어서, 상기 색채 배색 추천 방법은
    각 단어에 대응하여 기지정된 개수로 획득된 배색 각각에 대응하여, 해당 단어를 기반으로 크롤링된 다수의 이미지애서 획득된 배색 각각이 포함된 이미지를 탐색하여 대표 이미지로 획득하는 단계를 더 포함하는 색채 배색 추천 방법.
  20. 제19항에 있어서, 상기 색채 배색 추천 방법은
    기저장된 다수의 단어 중 하나의 단어가 배색 추천 검색어로 인가되면, 인가된 배색 추천 검색어에 대응하여 기지정된 개수로 획득된 배색 각각과 각각의 배색에 대응하여 획득된 대표 이미지를 출력하는 색채 배색 추천 방법.
KR1020210021018A 2021-02-17 2021-02-17 이미지 검색 기반 감성 색채 배색 추천 장치 및 방법 KR102560276B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210021018A KR102560276B1 (ko) 2021-02-17 2021-02-17 이미지 검색 기반 감성 색채 배색 추천 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210021018A KR102560276B1 (ko) 2021-02-17 2021-02-17 이미지 검색 기반 감성 색채 배색 추천 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20220117545A true KR20220117545A (ko) 2022-08-24
KR102560276B1 KR102560276B1 (ko) 2023-07-26

Family

ID=83111925

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210021018A KR102560276B1 (ko) 2021-02-17 2021-02-17 이미지 검색 기반 감성 색채 배색 추천 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102560276B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102627950B1 (ko) * 2022-09-08 2024-01-23 유한회사 컬러랩제주 지역 추천 시스템 및 이를 이용한 지역 추천 방법
KR102657627B1 (ko) * 2024-01-19 2024-04-17 주식회사 더매트릭스 생성형 ai 모델을 이용한 색채 추천 및 이미지 생성 서비스를 제공하는 서버, 시스템, 방법 및 프로그램

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011170842A (ja) * 2010-01-20 2011-09-01 Univ Of Electro-Communications 情報処理装置、情報処理方法、およびプログラム
KR20160069027A (ko) * 2014-12-05 2016-06-16 건국대학교 산학협력단 감성 기반의 영상 색인 시스템 및 방법
KR20180073851A (ko) * 2016-12-23 2018-07-03 건국대학교 산학협력단 감성 기반의 이미지 선택 장치 및 방법
KR101984410B1 (ko) * 2017-12-19 2019-05-30 건국대학교 산학협력단 감정 상태에 기반한 조명 테라피 방법 및 장치
KR102021088B1 (ko) 2019-03-18 2019-09-11 김정민 아동 성향 기반 색채 배색 추천 시스템
JP2021503682A (ja) * 2017-11-18 2021-02-12 コギ インコーポレーティッド 関連性の検出及びレビューのためのコンテンツの対話型表現

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011170842A (ja) * 2010-01-20 2011-09-01 Univ Of Electro-Communications 情報処理装置、情報処理方法、およびプログラム
KR20160069027A (ko) * 2014-12-05 2016-06-16 건국대학교 산학협력단 감성 기반의 영상 색인 시스템 및 방법
KR20180073851A (ko) * 2016-12-23 2018-07-03 건국대학교 산학협력단 감성 기반의 이미지 선택 장치 및 방법
JP2021503682A (ja) * 2017-11-18 2021-02-12 コギ インコーポレーティッド 関連性の検出及びレビューのためのコンテンツの対話型表現
KR101984410B1 (ko) * 2017-12-19 2019-05-30 건국대학교 산학협력단 감정 상태에 기반한 조명 테라피 방법 및 장치
KR102021088B1 (ko) 2019-03-18 2019-09-11 김정민 아동 성향 기반 색채 배색 추천 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
허룡 등, "이미지 검색 엔진 기반 색채 리서치 도구 - 고바야시 컬러 이미지 스케일과 비교", JDCS, Vol. 20, No. 8, pp. 1625-1634 (2019.08.26.) 1부.* *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102627950B1 (ko) * 2022-09-08 2024-01-23 유한회사 컬러랩제주 지역 추천 시스템 및 이를 이용한 지역 추천 방법
KR102657627B1 (ko) * 2024-01-19 2024-04-17 주식회사 더매트릭스 생성형 ai 모델을 이용한 색채 추천 및 이미지 생성 서비스를 제공하는 서버, 시스템, 방법 및 프로그램

Also Published As

Publication number Publication date
KR102560276B1 (ko) 2023-07-26

Similar Documents

Publication Publication Date Title
CN109857889B (zh) 一种图像检索方法、装置、设备及可读存储介质
Prosser et al. Person re-identification by support vector ranking.
US7043094B2 (en) Process for the automatic creation of a database of images accessible by semantic features
KR20130095727A (ko) 비디오 내 객체들의 시맨틱 파싱
CN105518668A (zh) 基于内容的图像检索
US20080162469A1 (en) Content register device, content register method and content register program
Sajjad et al. Integrating salient colors with rotational invariant texture features for image representation in retrieval systems
KR20220117545A (ko) 이미지 검색 기반 감성 색채 배색 추천 장치 및 방법
Fayyad et al. From digitized images to online catalogs data mining a sky survey
Kiyoki et al. A Globally-Integrated Environmental Analysis and Visualization System with Multi-Spectral & Semantic Computing in “Multi-Dimensional World Map”
CN113434418A (zh) 知识驱动的软件缺陷检测与分析方法及系统
Bahmanyar et al. The semantic gap: an exploration of user and computer perspectives in earth observation images
KR20000009221A (ko) 관절점 기반 동작정보를 사용한 동영상 검색 방법
RU2510935C2 (ru) Способ индексации и поиска цифровых изображений
CN110287369A (zh) 一种基于语义的视频检索方法及系统
CN117420998A (zh) 一种客户端ui交互组件生成方法、装置、终端及介质
Dhanuja et al. Areca nut disease detection using image processing technology
Hezel et al. Video search with sub-image keyword transfer using existing image archives
KR102457455B1 (ko) 인공지능 기반의 미술품 가격 예측 장치 및 방법
CN116257877A (zh) 一种面向隐私计算的数据分类分级方法
US20050021338A1 (en) Recognition device and system
US20190354589A1 (en) Data analyzer and data analysis method
CN114417860A (zh) 一种信息检测方法、装置及设备
JP5876397B2 (ja) 文字付与プログラム、文字付与方法および情報処理装置
Prasomphan et al. Feature extraction for image matching in wat phra chetuphon wimonmangklararam balcony painting with sift algorithms

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant