KR102621988B1

KR102621988B1 - 이미지 기반 퍼스널 향수 추천 서비스 제공 시스템

Info

Publication number: KR102621988B1
Application number: KR1020210091746A
Authority: KR
Inventors: 권소현
Original assignee: 권소현
Priority date: 2021-07-13
Filing date: 2021-07-13
Publication date: 2024-01-10
Also published as: KR20230011115A

Abstract

이미지 기반 퍼스널 향수 추천 서비스 제공 시스템이 제공되며, 나이 및 성별을 포함하는 사용자 정보를 입력하고, 적어도 하나의 이미지 중 사용자가 원하는 향을 연상시키는 이미지를 선택하며, 사용자 정보 및 이미지에 기반하여 향수를 추천받는 사용자 단말 및 적어도 하나의 향과 적어도 하나의 이미지를 매핑하여 저장하는 데이터베이스화부, 적어도 하나의 향과 적어도 하나의 향수를 매핑하여 저장하는 향수저장부, 사용자 단말에서 입력한 사용자 정보 및 사용자 단말에서 선택한 적어도 하나의 이미지에 기 매핑되어 저장된 향 및 향수를 추출하여 사용자 단말로 추천하는 추천부를 포함하는 추천 서비스 제공 서버를 포함한다.

Description

이미지 기반 퍼스널 향수 추천 서비스 제공 시스템{SYSTEM FOR PROVIDING IMAGE BASED PERSONAL PERFUME RECOMMENDATION SERVICE}

본 발명은 이미지 기반 퍼스널 향수 추천 서비스 제공 시스템에 관한 것으로, 이미지와 향의 교차 연상관계를 기반으로 원하는 향에 부합하는 이미지를 선택하는 것만으로도 원하는 향을 찾아 추천해줄 수 있는 플랫폼을 제공한다.

현대의 소비자들은 개성을 추구하고 이미지를 연출하기 위한 수단으로 향수를 사용할 뿐만 아니라 옷과 마찬가지로 때와 장소, 상황, 기분, 행사의 특성 등에 따라 향수를 구별하여 사용한다. 조향사들이 향을 만드는 창조적 작업을 하는 과정에서 향료 및 특정 상황이나 분위기로부터 영감을 얻듯이 향수 소비자들은 역으로 향수의 향을 통해 원료의 색채나 특유의 상황과 분위기를 연상하는 것이다. 또한 색채가 인간의 감정뿐만 아니라 후각, 청각, 촉각, 평형감각에까지 영향을 미치는 것과 같이 어떤 향기는 특정 색채를 떠올리게 한다. 향기는 단순히 기분을 즐겁게 하는 차원을 넘어 진정 작용과 흥분 작용을 통해 치료의 목적에까지 그 적용 영역이 확대되고 있으므로 향기를 통해 느껴지는 이미지도 향수의 소비에 있어서 중요하다.

이때, 상황정보를 수집한 후 성향에 연관된 타겟 향기를 추출하여 향수를 추천하거나 맞춤형으로 향수를 조향하는 방법이 연구 및 개발되었는데, 이와 관련하여, 선행기술인 한국등록특허 제10-1992411호(2019년09월30일 공고) 및 한국등록특허 제10-1913729호(2018년11월01일 공고)에는, 사용자의 소셜미디어로부터 수집되는 상황정보를 참조하여 향기 인덱스 중 성향과 연관된 타겟 향기 인덱스를 결정하고, 사용자의 소셜미디어로부터 타겟 향기 인덱스와 연관된 오브젝트를 추출 및 속성을 참조하여 향기-연관 선호정보를 도출하며, 연관관계를 정의하는 데이터베이스를 참조하여 향기-연관 선호 정보에 대응하는 향기를 추천하는 구성과, 향수원료의 향을 챔버의 공간에 분사하고, 분사된 향에 반응하는 주문자의 생체신호를 검출하며, 분사 및 검출을 제어하여 주문자에 대한 최적의 향을 도출하는 구성이 각각 개시되어 있다.

다만, 전자의 경우 사용자의 소셜미디어로부터 상황정보를 추출한다고 하지만 사용자의 상황정보 모두가 소셜미디어에 업로드되어 있지는 않고 그 상황정보에 대응하는 향기가 사용자가 좋아하는 향이 아닐 가능성이 존재하기 때문에 정확한 맞춤형 추천이 될 수 없다. 후자의 경우에도 향기를 계속하여 분사하다보면 베버의 법칙에 의해 자극의 정도가 커져야 향이 다름을 인지할 수 있고 최적의 향을 도출하기 이전에 후각이 마비되어 아무런 향기도 맡지 못하게 된다. 이에, 연상작용을 통하여 떠오르는 향기를 이미지 기반으로 선택할 수 있도록 함으로써 개인의 기억 및 영감이 반영된 향을 추천해줄 수 있는 플랫폼의 연구 및 개발이 요구된다.

본 발명의 일 실시예는, 후각과 시각 자극에 의해 형성되는 교차-양상 연상관계에 기반하여, 눈으로 인식한 시각정보를 통해 사물의 향기를 식별하는 인간의 특성을 이용하고, 인지된 시각정보가 특정 사물의 이미지를 불러일으킴으로써 연상된 이미지에 대한 경험을 토대로 향기를 추측하도록, 이미지에 의한 향(Fragrance)을 연관시켜 매핑 및 저장함으로써 데이터베이스를 구축하고, 사용자로부터 원하는 이미지를 선택받는 경우 이미지에 대응하는 향을 추출한 후 적합한 향수를 추천해줄 수 있도록 함으로써, 일반인과 전문가가 서로 다른 용어를 사용함에 따라 단어 기반으로 추천이 부정확했던 문제점을 제거하고, 전문 조향사가 감각분석 데이터를 해석하여 이미지로부터 향을 추출하는 데이터셋 작업으로 빅데이터 및 인공지능이 입력할 데이터셋까지 구축할 수 있어 자동추천이 가능해질 수 있는, 이미지 기반 퍼스널 향수 추천 서비스 제공 방법을 제공할 수 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는, 나이 및 성별을 포함하는 사용자 정보를 입력하고, 적어도 하나의 이미지 중 사용자가 원하는 향을 연상시키는 이미지를 선택하며, 사용자 정보 및 이미지에 기반하여 향수를 추천받는 사용자 단말 및 적어도 하나의 향과 적어도 하나의 이미지를 매핑하여 저장하는 데이터베이스화부, 적어도 하나의 향과 적어도 하나의 향수를 매핑하여 저장하는 향수저장부, 사용자 단말에서 입력한 사용자 정보 및 사용자 단말에서 선택한 적어도 하나의 이미지에 기 매핑되어 저장된 향 및 향수를 추출하여 사용자 단말로 추천하는 추천부를 포함하는 추천 서비스 제공 서버를 포함한다.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 후각과 시각 자극에 의해 형성되는 교차-양상 연상관계에 기반하여, 눈으로 인식한 시각정보를 통해 사물의 향기를 식별하는 인간의 특성을 이용하고, 인지된 시각정보가 특정 사물의 이미지를 불러일으킴으로써 연상된 이미지에 대한 경험을 토대로 향기를 추측하도록, 이미지에 의한 향(Fragrance)을 연관시켜 매핑 및 저장함으로써 데이터베이스를 구축하고, 사용자로부터 원하는 이미지를 선택받는 경우 이미지에 대응하는 향을 추출한 후 적합한 향수를 추천해줄 수 있도록 함으로써, 일반인과 전문가가 서로 다른 용어를 사용함에 따라 단어 기반으로 추천이 부정확했던 문제점을 제거하고, 전문 조향사가 감각분석 데이터를 해석하여 이미지로부터 향을 추출하는 데이터셋 작업으로 빅데이터 및 인공지능이 입력할 데이터셋까지 구축할 수 있어 자동추천이 가능해질 수 있으며, 니치(Niche)향수를 포함한 향수 브랜드와 제품의 수가 증가 및 제품군에 대한 온라인 시장이 확대되고 있는 추세를 고려하여 소비자의 합리적인 의사결정 및 구매를 도울 수 있는 플랫폼을 제공할 수 있다.

도 1은 본 발명의 일 실시예에 따른 이미지 기반 퍼스널 향수 추천 서비스 제공 시스템을 설명하기 위한 도면이다.
도 2는 도 1의 시스템에 포함된 추천 서비스 제공 서버를 설명하기 위한 블록 구성도이다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 이미지 기반 퍼스널 향수 추천 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 이미지 기반 퍼스널 향수 추천 서비스 제공 방법을 설명하기 위한 동작 흐름도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체 지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.

본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 이미지 기반 퍼스널 향수 추천 서비스 제공 시스템을 설명하기 위한 도면이다. 도 1을 참조하면, 이미지 기반 퍼스널 향수 추천 서비스 제공 시스템(1)은, 적어도 하나의 사용자 단말(100), 추천 서비스 제공 서버(300), 적어도 하나의 조향사 단말(400) 및 적어도 하나의 기업 서버(500)를 포함할 수 있다. 다만, 이러한 도 1의 이미지 기반 퍼스널 향수 추천 서비스 제공 시스템(1)은, 본 발명의 일 실시예에 불과하므로, 도 1을 통하여 본 발명이 한정 해석되는 것은 아니다.

이때, 도 1의 각 구성요소들은 일반적으로 네트워크(Network, 200)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 적어도 하나의 사용자 단말(100)은 네트워크(200)를 통하여 추천 서비스 제공 서버(300)와 연결될 수 있다. 그리고, 추천 서비스 제공 서버(300)는, 네트워크(200)를 통하여 적어도 하나의 사용자단말(100), 적어도 하나의 조향사 단말(400) 및 적어도 하나의 기업 서버(500)와 연결될 수 있다. 또한, 적어도 하나의 조향사 단말(400)은, 네트워크(200)를 통하여 추천 서비스 제공 서버(300)와 연결될 수 있다. 그리고, 적어도 하나의 기업 서버(500)는, 네트워크(200)를 통하여 적어도 하나의 사용자 단말(100), 추천 서비스 제공 서버(300) 및 적어도 하나의 조향사 단말(400)과 연결될 수 있다.

여기서, 네트워크는, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷(WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), 5GPP(5th Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), RF(Radio Frequency), 블루투스(Bluetooth) 네트워크, NFC(Near-Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.

하기에서, 적어도 하나의 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. 또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시예에 따라 변경가능하다 할 것이다.

적어도 하나의 사용자 단말(100)은, 이미지 기반 퍼스널 향수 추천 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 향수 추천을 요청하는 사용자의 단말일 수 있다. 이를 위하여, 사용자 단말(100)은, 향이 연상되는 복수의 이미지 중 어느 하나의 이미지를 선택하고, 향을 설명하는 이미지 형용사 등을 입력하여 향수를 추천받는 사용자의 단말일 수 있다.

여기서, 적어도 하나의 사용자 단말(100)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 사용자 단말(100)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 사용자 단말(100)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.

추천 서비스 제공 서버(300)는, 이미지 기반 퍼스널 향수 추천 서비스 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 제공하는 서버일 수 있다. 그리고, 추천 서비스 제공 서버(300)는, 적어도 하나의 이미지, 향 및 향수를 매핑하여 저장하여 데이터베이스를 구축하는 서버일 수 있다. 데이터베이스를 구축할 때 추천 서비스 제공 서버(300)는 적어도 하나의 조향사 단말(400)로부터 각 이미지, 향 및 향수를 매핑하여 저장하도록 하고, 각 이미지나 향을 표현하는 형용사를 태깅하도록 함으로써 말뭉치(Corpus)나 워드클라우드를 생성하는 단말일 수 있다. 조향사의 데이터셋 구축이 완료되면, 추천 서비스 제공 서버(300)는 사용자 단말(100)에서 원하는 향에 대응하는 이미지를 선택하거나 단어를 입력하는 경우 이에 대응하는 향 및 향수를 추출하여 사용자 단말(100)로 추천하는 서버일 수 있다. 그리고, 추천 서비스 제공 서버(300)는 사용자 단말(100)에서 추천된 향수를 구매 및 결제하는 경우 기 설정된 기간이 지난 후 시향 후기나 지속력 또는 선호도나 이미지와의 연관성을 재수집함으로써 사용자의 데이터에 오류가 있는 경우 이를 피드백으로 보정하는 서버일 수 있다. 이렇게 각 사용자에 대한 이미지 선택, 단어 입력, 추천, 피드백의 일련의 과정은 히스토리 로그로 저장되고, 추천 서비스 제공 서버(300)는 충분한 데이터셋이 누적된 경우 빅데이터를 구축하고 적어도 하나의 인공지능 알고리즘을 학습 및 테스트함으로써 모델링을 수행하는 서버일 수 있다.

여기서, 추천 서비스 제공 서버(300)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다.

적어도 하나의 조향사 단말(400)은, 이미지 기반 퍼스널 향수 추천 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하는 전문 조향사의 단말일 수 있다. 이때, 조향사 단말(400)로 등록되기 위해서는 추천 서비스 제공 서버(300)로 관련 자격증이나 이력, 경력, 학력 등을 전송할 수 있고, 추천 서비스 제공 서버(300)는 관련 이력을 검증한 후 조향사 단말(400)을 조향사 인력풀로 데이터베이스화할 수 있다. 조향사 단말(400)은 사용자 단말(100)에서 선택한 이미지, 입력한 단어 등을 고려하여 사용자에게 어울리는 향 및 향수를 추천해주는 단말일 수 있다. 그리고, 조향사 단말(400)은 추천 서비스 제공 서버(300)에서 데이터베이스를 구축할 때, 각각의 이미지와 향, 또 향수를 매핑하여 데이터셋을 구축하는 작업을 수행하는 단말일 수 있다.

여기서, 적어도 하나의 조향사 단말(400)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 조향사 단말(400)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 조향사 단말(400)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.

적어도 하나의 기업 서버(500)는, 이미지 기반 퍼스널 향수 추천 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 향수를 수입, 제조, 판매 등을 하는 기업의 단말일 수 있다. 이때, 기업 서버(500)는 추천 서비스 제공 서버(300)로 향수 데이터를 전송하고, 추천 서비스 제공 서버(300)를 경유하여 구매자(사용자)의 구매 통계 데이터나 피드백 데이터를 마케팅 리포트로 수신하는 서버일 수 있다.

여기서, 적어도 하나의 기업 서버(500)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 기업 서버(500)는, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 기업 서버(500)는, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.

도 2는 도 1의 시스템에 포함된 추천 서비스 제공 서버를 설명하기 위한 블록 구성도이고, 도 3은 본 발명의 일 실시예에 따른 이미지 기반 퍼스널 향수 추천 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.

도 2를 참조하면, 추천 서비스 제공 서버(300)는, 데이터베이스화부(310), 향수저장부(320), 추천부(330), 빅데이터화부(340), 인공지능부(350), 연관부(360), 자동인식부(370), 피드백부(380)를 포함할 수 있다.

본 발명의 일 실시예에 따른 추천 서비스 제공 서버(300)나 연동되어 동작하는 다른 서버(미도시)가 적어도 하나의 사용자 단말(100), 적어도 하나의 조향사 단말(400) 및 적어도 하나의 기업 서버(500)로 이미지 기반 퍼스널 향수 추천 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 전송하는 경우, 적어도 하나의 사용자 단말(100), 적어도 하나의 조향사 단말(400) 및 적어도 하나의 기업 서버(500)는, 이미지 기반 퍼스널 향수 추천 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 설치하거나 열 수 있다. 또한, 웹 브라우저에서 실행되는 스크립트를 이용하여 서비스 프로그램이 적어도 하나의 사용자 단말(100), 적어도 하나의 조향사 단말(400) 및 적어도 하나의 기업 서버(500)에서 구동될 수도 있다. 여기서, 웹 브라우저는 웹(WWW: World Wide Web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(Hyper Text Mark-up Language)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(Chrome) 등을 포함한다. 또한, 애플리케이션은 단말 상의 응용 프로그램(Application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(App)을 포함한다.

도 2를 참조하면, 데이터베이스화부(310)는, 적어도 하나의 향과 적어도 하나의 이미지를 매핑하여 저장할 수 있다. 조향사 단말(400)은, 적어도 하나의 이미지, 적어도 하나의 향 및 적어도 하나의 향수를 매핑하여 적어도 하나의 인공지능 알고리즘의 구축을 위한 데이터셋(DataSet)을 제공할 수 있다. 이때, 초기에는 조향사 단말(400)로부터 이미지, 향 및 향수를 입력받지만, 예를 들어, 조향사는 웜(Warm)과 같은 표현들로 향을 지칭할 수 있는 반면, 일반인의 이미지 지각에서 따뜻한 쪽의 지각은 거의 나타나지 않는 경우, 전문가-일반인 간의 차이로 인하여 텍스트나 이미지가 차이가 발생하는 경우가 있다. 이러한 경우 기초적인 자료 축적을 위해서는 향에 대한 일정 훈련을 받은 다수의 표본이 동일한 향수에 대해 여러 이미지로 평가하여 객관적인 자료 축적을 해나가는 것이 바람직하다.

이때, 연상(Association)이란 두 가지의 대상을 관련시키는 것이다. 예컨대 색채의 인상에 의해 그것과 관계있는 사물이나 사건 또는 경험을 떠올리는 것을 색채의 연상이라 할 수 있는데, 그밖에도 향기나 향수를 대상으로 감성 연상, 향기의 색채 연상, 색채의 향기 연상을 포함한다. 예를 들어, 모과 향, 자스민 향, 라벤더 향, 플로럴 향에 대한 연상색채를 120가지 색채 중 세 가지씩 선정하도록 한 경우, 플로럴 향은 R 계열의 B, V, P 톤, 자스민 향은 YR 계열의 B, Vp 톤, 라벤더 향은 G 계열의 L, V, S 톤, 모과향은 RP 계열의 P, V, Vp 톤과 같이 연상하는 것과 유사하다. 또, 색채로부터 향기의 강도를 연상할 수도 있는데, 예를 들어, 색채 자극에 대한 프레시, 플로럴, 오리엔탈, 우디 향의 연상 정도를 평가하게 하는 경우, 오리엔탈 계열을 제외한 나머지 세 가지 향에서 톤과 향기 간의 교차-양상 연상 관계가 체계적으로 변화하여, 예컨대 밝은 난색일수록 강한 플로럴 향이 연상되는 반면 우디 향의 연상 정도는 낮고 선명하거나 밝은 한색일수록 프레시 향이 강하게 연상될 수 있다. 이에 따라, 각 이미지의 색감이나 피사체의 역동성에 따라 향의 강도 및 향의 종류를 매핑할 수 있다.

이때, 적어도 하나의 이미지는 적어도 하나의 형용사 이미지 스케일을 포함할 수 있다. 여기서, 각 개인별로 사용하는 용어나 단어가 다르기 때문에 동일 향에 사용자가 사용한 단어를 워드 클라우드나 워드 코퍼스로 말뭉치 구축을 수행할 수도 있다. 최근 정부의 세종말뭉치 사업이 10년만에 재개되었는데, 한국 국립국어원에서는 AI를 가르칠 한국어 빅데이터 18억 어절을 공개했다. 신문 말뭉치, 문어 말뭉치, 구어 말뭉치, 메신저 말뭉치 등 다양한 세대와 매체에서 사용하는 용어가 재정립되어 있다. 이때, 실제로 사용자가 입력한 텍스트도 함께 모아 말뭉치를 새로 구축하고 사전을 재정립할 수 있다. 이러한 경우 최대한 사용자의 이미지 형용사를 모을 수 있고, 이미지와 함께 형용사를 모으는 경우 형용사-이미지 간의 불일치율도 줄일 수 있다.

또, 이미지를 선택하는 것 뿐만 아니라 사용자가 자신이 원하는 향을 형용사를 포함하는 단어로 표현할 수도 있다. 이에 [향-향수-색-이미지-형용사]를 구축하기 위하여, [색-이미지-형용사] 부분을 만들기 위해, 이하와 같은 이미지 스케일을 이용하기로 한다. 이때, [향-향수-이미지]나 [향-향수-색]의 부분은 전문 조향사가 데이터셋을 구축할 때 이어줄 부분이기 때문에 이하에서는 [색-이미지-형용사] 부분을 구축할 수 있다. 물론, 이하의 개념으로 [향-향수-색-이미지-형용사]를 모두 구축하는 것을 배제하지는 않는다.

인간은 감정상의 느낌을 전달할 때 객관적으로 설명하기가 어려울 때가 있다. 감정상의 언어들은 구체적인 형태나 모양이 아니라, 우리의 마음속에 느껴진 추상적인 개념을 일컫는 말이기 때문이다. 기호나 이미지를 뚜렷한 의미 공간으로 분석해주어 객관성을 확보할 수 있도록 해줄 수 있는데, 특히 색채로 된 이미지 공간에 활용된 단색 이미지 공간, 배색 이미지 공간, 형용사 이미지 공간은 부드러운, 딱딱한, 동적인, 정적인 4가지 기본 축으로 나뉘어 여러 이미지 자료로 활용되고 있다. IRI 색채연구소와 지식경제부의 연구로, 단색이미지 공간이 이미 연구 및 개발되었는데, 한국인을 대상으로 색의 기호를 조사하여 개발된 단색이미지 공간은 단색을 SD(Semantic Differential)법의 요인분석(Factor Analysis)을 통하여 공간에 위치시킨 것을 말한다.

색채 이미지는 언어로 표현가능하며 반대로 감성을 표현한 언어는 다시 색채 이미지로 연출할 수 있다. 즉 색채 이미지 하나로 감성어가 전달된다는 것이다. 감성은 다양한 기분과 감정을 느끼도록 하는 개인의 정서적 상태이기 때문에 감성은 디자인에 있어 중요한 역할을 한다. 이러한 감성이미지는 언어나 색채로 표현이 가능하다. 컬러는 사람의 마음이 반영되는 감성 이미지이다. IRI 색채연구소의 제C-2001-001388호는, 배색이미지 공간으로 색이 조합되었을 때 만들어지는 색의 느낌을 형용사 언어를 이용하여 정리한 후, 형용사 이미지 공간으로 단색이미지 공간에서 수집된 연상어를 정리해두었다. 향수에 표현된 형용사 이미지 스케일은 감성 이미지 유형과 감성군으로 이루어져 있다. 사람들이 보고 느끼는 이미지는 공통적인 부분이 많지만 과학적으로 설명하기가 어렵다. I.R.I 색채연구소에서 발표한 감성 이미지에 따른 감성군을 정리하면 표 1과 같다. 컬러와 이미지 사이의 관련성을 연결시켜주는 다리의 역할을 하는 형용사의 의미 차이를 묶어 카테고리를 만들어 놓은 것이다.

맑은	가벼운, 상쾌한, 얕은, 깔끔한, 부드러운, 투명한, 섬세한
온화한	순수한, 유연한, 매끄러운, 소박한, 잔잔한, 안정된, 약한
은은한	가지런한, 단정한, 정돈된, 그윽한, 심플한, 정적인
내추럴한	정다운, 자연적인, 친근한, 감미로운, 감성적인, 포근한, 전원적인, 간편한
우아한	감각적인, 편리한, 멋진, 동양적인, 클래식한
고상한	조용한, 차분한, 나이든, 우울한, 오래된, 탁한
점잖은	세련된, 격식있는, 지적인, 견실한, 전통적인, 보수적인
화려한	여유있는, 장식적인, 한국적인, 시원한, 차가운, 넉넉한
모던한	실용적인 진보적인, 도시적인, 남성적인, 견고한, 기능적인, 무거운, 어두운
귀여운	아기자기한, 싱싱한, 신선한, 즐거운, 재미있는, 사랑스러운, 달콤한
경쾌한	새로운, 자유로운, 동적인, 율동적인, 선명한, 다양한, 돋보이는, 젊은
다이나믹한	뛰어난, 개성적인, 혁신적인, 강한, 거친, 와일드한

이때, 초기에는 인간의 개입으로 각각의 이미지마다 색감 및 피사체의 동작으로, 부드러운, 딱딱한, 동적인, 정적인으로 이루어진 4 분면에 표 1의 텍스트와 향기가 매핑되겠지만, 이후에는 각 이미지를 추출하는 것만으로 색감 및 피사체의 동작을 이미지 인식으로 분석하고 향 및 향기를 매핑하는 것이 가능해질 수 있다. 피사체가 역동적인지 또는 아닌지에 대한 분석이 이미 가능하고, 색감 또한 HUE와 픽셀의 RGB로 이미 추출가능하기 때문에 이를 이용하는 경우 사람이 일일이 이미지를 분석하고 향 및 향기를 매핑하지 않아도 웹크롤링을 이용하여 이미지를 수집, 이미지 분석 알고리즘으로 이미지를 분석 및 향을 매핑하는 과정까지 자동화될 수 있다. 이렇게 되는 경우 사람이 하나하나 이미지를 찾고 매핑하지 않아도 되므로 데이터베이스를 구축하는 비용 및 시간은 줄어들면서도 이미지 데이터베이스의 양과 질을 높일 수 있다.

덧붙여서, 본 발명의 일 실시예에서 제품을 추천할 때 향을 우선순위로 고려하지만, 제품의 컨셉이나 패키지디자인 등 마케팅 및 디자인적 요소도 함께 고려할 수 있다. 즉, 향 뿐만 아니라 제품을 구성하는 모든 요소를 함께 소개할 수 있고, 패키지디자인, 타겟 고객층, 향수 디자인 등도 함께 고려함으로써 사용자 맞춤형 제품을 추천할 수 있다. 예를 들어, 사용자가 이미지 및 텍스트를 입력했을 때, 제품 컨셉, 스토리 및 디자인을 고려하여 추천향을 선정할 수 있도록 데이터베이스에 마케팅적 요소, 제품 컨셉, 타겟 요소, 제품 디자인 등도 함께 데이터베이스화할 수 있다.

향수저장부(320)는, 적어도 하나의 향과 적어도 하나의 향수를 매핑하여 저장할 수 있다. 이때, 적어도 하나의 향과 적어도 하나의 이미지가 매핑되어 있으므로 적어도 하나의 향수를 향에 매핑하는 경우 이미지와도 곧바로 연결이 될 수 있지만, 향수는 단일향을 그대로 혼합만 해놓은 혼합물이라기보다는 각 향이 서로 조화롭게 섞이면서 특유의 향을 내는 화합물에 가깝기 때문에 단일향에 대한 이미지를 매핑하는 경우 실제로 향수를 추천했을 때 이와는 괴리가 발생할 수 있고, 이에 향수와 이미지를 곧바로 매칭시킬 수도 있다. 이는, 이미지와 향수의 교차양상 연상관계(Cross-Modal Associations)를 이용할 수 있으며, 이는 연관부(360)에서 후술한다.

추천부(330)는, 사용자 단말(100)에서 입력한 사용자 정보 및 사용자 단말(100)에서 선택한 적어도 하나의 이미지에 기 매핑되어 저장된 향 및 향수를 추출하여 사용자 단말(100)로 추천할 수 있다. 사용자 단말(100)은, 나이 및 성별을 포함하는 사용자 정보를 입력하고, 적어도 하나의 이미지 중 사용자가 원하는 향을 연상시키는 이미지를 선택하며, 사용자 정보 및 이미지에 기반하여 향수를 추천받을 수 있다. 기업 서버(500)는, 적어도 하나의 향수의 향수 데이터를 추천 서비스 제공 서버(300)로 제공하고, 추천 서비스 제공 서버(300)로부터 마케팅 리포트를 수신할 수 있다.

빅데이터화부(340)는, 적어도 하나의 이미지, 적어도 하나의 향 및 적어도 하나의 향수를 포함한 로우 데이터(Raw Data)를 병렬 및 분산하여 저장하고, 저장된 로우 데이터 내에 포함된 비정형(Unstructed) 데이터, 정형(Structured) 데이터 및 반정형 데이터(Semi-structured)를 정제하고, 메타 데이터로 분류를 포함한 전처리를 실시하며, 전처리된 데이터를 데이터 마이닝(Data Mining)을 포함하는 분석을 실시할 수 있다.

인공지능부(350)는, 적어도 하나의 이미지, 적어도 하나의 향 및 적어도 하나의 향수 간을 매핑한 데이터셋을 입력으로 적어도 하나의 인공지능 알고리즘을 학습 및 테스트할 수 있다.

연관부(360)는, 적어도 하나의 이미지에 적어도 하나의 향을 매핑할 때, 적어도 하나의 이미지의 색감 및 객체와 적어도 하나의 향 간의 교차-양상 연상관계(Cross-Modal Association)를 이용하여 적어도 하나의 이미지를 분석한 후 적어도 하나의 향을 자동매핑되도록 설정할 수 있다. 수 많은 연구결과에 따라 색과 향의 일관성 있는 교차-양상 연상관계가 밝혀졌는데, 예를 들어, 가벼운 허브향에서 열정적인 빨강이나 강한 검정색을 떠올리지는 않는다. 이때, 연상관계의 Association을 위해, 예를 들어, Apriori 알고리즘이 이용될 수 있다. 이는, 연관규칙(연상관계) 탐색 알고리즘의 대표적인 기법으로 발생빈도를 기반으로 한 데이터 간의 빈발한 연관 규칙을 탐색하게 해준다. Apriori 알고리즘은 최소 지지도 이상을 가지는 항목집합을 빈발 항목 집합이라고 정의할 때 모든 항목 집합에 대한 지지도를 계산하는 대신 최소 지지도 이상의 빈발 항목 집합만을 찾아내어 연관 규칙을 계산하게 한다. Apriori 알고리즘은 두 개의 단계로 진행되는데, 첫 번째 단계에서 최소 지지도 이상의 지지도를 갖는 모든 빈발 항목 들의 조합을 산출하고 두 번째 단계에서 최대 크기의 빈발 항목을 구하해당 항목의 부분 집합들 간 신뢰도를 계산한다.

자동인식부(370)는, 적어도 하나의 이미지 내에 포함된 객체 및 색감을 이미지 인식(Image Recognition) 딥러닝으로 자동으로 추출 및 분류할 수 있다. 이때 객체의 역동성도 함께 판단해야 하는데, 예를 들어 색감은 온화한 배색이지만 객체가 달리기를 하는 역동성을 가지고 있다면 이 이미지에 매핑되는 향수는 단순히 플로럴 계열이기만 해서는 안된다. 피사체를 추출하기 위해 배경을 제거하고 전경을 분리하며, 전경 내 피사체의 역동성이나 움직임 등도 함께 파악을 해야 한다. 만약 피사체가 어느 하나로 특정되지 않는다면 배경 자체로 움직임을 파악한다. 피사체가 어느 하나로 특정되는 경우에는 어떠한 자세를 취하고 있는지, 어떠한 장소에 위치하고 있는지 등을 추출할 수 있다.

이때, 내용 기반 이미지 검색(CBIR)을 이용할 수 있는데, 속성으로서 색상, 형태, 질감 또는 움직임 정보를 많이 사용할 수 있다. 색상 정보는 이미지의 정보 중 가장 큰 부분을 차지하며 널리 사용되는 특징이다. 질감 정보는 색상이나 명암도의 존재만으로 산출되지 않는 유사 성질을 가지는 시각적 패턴이다. 형태 정보는 표현하는 방법의 어려움으로 인해 색상이나 질감보다는 이용이 제한되나 인간의 첫 시각이 질의 이미지의 윤곽에 의존한다는 것에 기반한다. 예를 들어, 색상 히스토그램의 통계적인 특성을 이용하여 검색을 시행하는 경우 색상 특성의 RGB 세가지 히스토그램을 여러개의 빈(Bin)으로 분류하고 편차와 왜도, 첨도의 통계적인 값을 기반으로 특징을 분류하는 알고리즘을 구현할 수 있다. 또는, 컬러 히스토그램 방법이 공간정보가 부족한 것을 해결하기 위해 CCV(Color Coherence Vector)를 이용할 수도 있다. 또는, 형태 템플릿 매칭 기반으로 형태의 전역적인 특성을 추출하고 이 데이터를 수평적인 분석으로 윤곽선의 형태를 매칭하는 방법을 이용할 수도 있다. HSV 색상과 균일국부이진패턴을 이용할 수도 있는데, 이는 이미지를 HSV 색상모델로 변환하여 Hue를 추출하고 이미지를 회색 음영 으로 변환하여 ULBP(Uniform Local Binary Patterns)를 구하고, 추출된 Hue의 값에 따른 ULBP를 분류하여 만들어지는 히스토그램을 특징을 사용할 수도 있다.

또는, 적응적 가중치 CBIR 알고리즘을 이용할 수도 있는데, 이는 크게 세 단계로 구분된다. 첫 번째로 이미지의 객체를 판별하기 위한 전처리 및 크기 필터링 과정이다. 두 번째로 레이블링, 면적, 코너점, 색상 그리고 조밀도 등의 특징을 추출하는 과정이며, 세 번째로 추출한 질의 이미지의 특성에 따라 적응적으로 가중치를 부여하고 우선순위에 따라 이미지를 검색하는 과정이다.

<객체 판별 및 특징 추출>

이미지들을 특징에 따라 분류하기 위해서는 불필요한 정보들을 제거하는 과정이 필요하다. 각각의 이미지마다 최적의 레이블링을 가지기 위한 전처리 과정으로 Otsu 방법을 사용할 수 있다. 또한 화소 연결성을 이용하여 레이블링의 번호를 부여하고 면적의 크기순으로 재배열하는 과정을 추가할 수 있다. 이미지의 작은 정보만을 가지고 있는 레이블링이 있거나 이미지 정보에 원치 않는 잡음이 끼어있는 경우도 있을 수 있다. 이런 경우 특정한 크기 이하의 성분들을 무시할 수 있도록 크기 필터링을 하여 객체를 판별할 수 있도록 구현할 수 있다. 이미지에서 객체 판별은 배경이 주된 이미지인지 객체를 판별할 수 있는 이미지인지를 구분하는 것으로 판단할 수 있다. 수학식 1의 조건에 맞는 이미지들이 분류가 되며 정규화 면적의 차이가 Th의 임계값보다 큰 이미지들을 찾는다. Th는 큰 그룹들의 경계가 되는 지점의 값을 가진다.

정규화 면적 특징을 이용하여 이미지들을 배경이 주된 이미지들과 객체들이 있는 이미지으로 구분하고, 객체가 판별된 이미지들은 객체들의 특징을 추출하는 과정을 거치게 된다. 조밀도는 이미지 내에서 객체의 영역이 얼마나 조밀하게 모여있는지를 판별한다. 이미지의 특징 벡터의 빠른 추출을 위해 객체마다 틀린 모양을 정확하게 판별하기 보다는 객체의 뭉쳐짐 정도를 판별할 수 있다. 조밀도는 단위 둘레당 면적량으로 나타낼 수가 있다. 코너점은 이미지의 윤곽선들과 함께 중요한 형태 정보 중의 하나로서 Harris 코너 연산자를 이용할 수 있다. 처리 시간을 줄이기 위해 데이터의 양이 많은 위치 정보는 이용하지 않으며 코너점의 개수만 이용하여 데이터의 양을 축소할 수 있다. 색상 화소값은 기본적인 색상을 판단해 내기 위하여 RGB 컬러모델을 사용하여 인덱스 이미지(Indexed Image)을 만들고 각 레이블링의 평균 색상을 계산하여 특징 벡터로 이용할 수 있다.

<적응적 가중치 부여>

레이블링된 이미지들에서 특성을 계산한 특징벡터를 사용하여 질의 이미지 객체들의 특징들을 분석하고 그 값들에 따라서 적응적으로 가중치를 부여해 주는 작업이 필요하다. 객체 판별 과정에서 하나의 레이블링이 이미지 정보의 절반 이상을 차지할 경우 배경 이미지으로 분류하였기 때문에 정규화 면적은 0에서 0.5의 사이 값들을 가지게 되며 예외적으로 단일 객체 이미지는 1의 값을 가진다. 코너점은 형태적인 정보의 복잡함을 판단하는 데에 중요한 정보이다. 코너점의 개수로 객체 형태의 복잡함 정도를 판단할 수 있도록 코너점의 개수를 이용할 수 있다. 즉, 코너점의 개수가 많을수록 그 객체의 형태가 복잡하다는 것을 의미하며, 반대로 코너점의 개수가 적을수록 그 객체의 형태가 각이 적은 원의 형태에 가깝다는 것을 의미한다. 코너점의 개수는 절대적인 총량이 정해져 있지 않기 때문에 이미지들의 특징벡터들을 각각 추출하여 코너점 개수의 값을 분석할 수 있다.

조밀도의 특징도 코너점의 개수와 동일하게 형태적인 정보의 복잡함을 판단하는 데 있어서 중요한 정보이다. 이미지를 비교함에 있어서 특징 벡터의 빠른 비교를 위해 객체마다 객체의 조밀 정도를 구별해 내는 것이 더 좋은 방법이다. 색상은 면적이나 형태적인 정보들을 판단하는 데에 특징벡터를 이용한 것과는 다르게 색상 정보를 추출할 때 사용된 인덱스 이미지의 인덱싱 번호 분포를 이용한다. 색상의 분포도의 판단은 이하 수학식 2를 이용할 수 있다.

IDmain은 인덱스 데이터 행렬에서 객체의 주요 번호를 뜻하며, Atotal은 객체 면적의 총량을 의미한다. 이와 같이 질의이미지의 특성에 따라 가중치를 부여하고 이를 적응적으로 적용하는 과정을 정리하면 이하 수학식 3과 같다.

여기서 Awtotal는 질의 이미지에 따른 적응적 가중치를 의미하며 각각 정규화 면적, 조밀도, 코너점의 개수, 색상의 특성을 의미한다. n은 최대 4의 값을 가지고, w는 각 특징벡터의 가중치를 뜻하며 이는 객체 분석을 통해 결정된 값이다. 속성요소로서 색상, 코너점, 면적 그리고 조밀도를 사용하였으나 추가적인 속성의 확장도 가능하다. 이때, CBIR은, 쿼리로 주어진 이미지 내 피사체에서 추출한 특징(Feature)과 향수의 특징 간의 거리를 비교하여 최단거리에 위치한 특징을 가지는 향수를 반환하는 방식으로 구동될 수 있다. 거리는 유클리드 거리나 코사인 유사도에 따른 거리를 이용할 수 있다.

피드백부(380)는, 사용자 단말(100)에서 향수를 선택, 구매 및 결제를 한 후, 사용자 단말(100)에서 선택했던 이미지와 향수의 향 간의 매칭율을 피드백으로 수신하고, 사용자 단말(100)의 사용자의 이미지 및 향수 간 연상관계가 기 저장된 이미지 및 향수 간 연상관계와 다른 경우, 보정을 통하여 사용자 단말(100)의 연상관계를 재구축할 수 있다. 향수에서 나타나는 시각적 이미지에 비하여 후각적 이미지는 개인의 환경, 기억 등에 따라 많은 선호도 차이가 있고 감성 형용사 언어로 정의내릴 수 있는 분포가 크지 않다. 이에, 조향사가 [향수-이미지] 관계를 [A-B]를 정립했다고 할지라도 사용자가 [A-C]로 느끼는 경우에는 고객인 사용자의 입장에서는 [A-C]가 맞는 것이므로, 조향사의 [A-B]를 강요할 수는 없다. 이에 따라, 사용자가 [A-C]로 피드백을 준 경우, 이를 보정, 즉 [A-B(C)]와 같이 사용자의 취향은 그대로 두면서도 데이터베이스를 변경하지 않기 위하여 [B-C] 관계를 재정립해줄 수 있도록 포인터(Pointer)로 DB 내 레이블 관계를 재정의하는 것을 보정이라 한다.

덧붙여서, 본 발명의 일 실시예는, 향수를 처음 접하거나 조향사와 같은 전문가가 아닌 경우, 아무리 이미지와 형용사로 설명을 해준다고 할지라도 어떠한 향일지 잘 감이 안오는 경우가 많다. 이때, 한 번 테스트를 해보면 어떠한 향인지 후각으로 즉시 인지할 수 있으므로 적어도 하나의 가맹점 단말(미도시)의 위치, 주소, 보유한 향수, 테스터 향수의 종류, 개수 및 잔여용량을 실시간으로 업데이트한 후, 추천한 향수는 어느 지점의 매장에 가면 테스트할 수 있다는 것을 알려줄 수 있다. 굳이 향수만을 테스트하기 위해 밖으로 나가는 것은 귀찮은 일일 수 있으므로, 사용자 단말(100)이 장바구니에 넣어두었거나 추천받은 향수가 존재한다면, 사용자 단말(100)의 위치를 수집하고, 출근시간이나 등교시간 등과 같이 바쁜 시간이 아닌 퇴근시간 또는 하교시간인지를 확인하며, 사용자 단말(100)의 위치가 가맹점 단말(400)의 위치와 유사하거나 이동패턴의 경로 상에 존재하고, 해당 가맹점 단말(400)에서 장바구니에 넣어둔 향수의 테스터 향수가 존재한다면, 이를 사용자 단말(100)로 알림으로 전달함으로써 지나가는 길에 테스트를 할 수 있도록 메시지를 전달할 수 있다.

또는, 모르는 사람이 지나갔는데 어떠한 향수인지 물어보고는 싶으나 부끄럽거나 말을 걸기 어려워 물어보지 못하는 경우가 존재하는데, 이에 착안하여 각 사용자 단말(100)에서 구매 및 결제를 한 향수를 모두 저장하고, 각 사용자 단말(100)에서 향수를 뿌린 경우 이벤트를 수집하며, 사용자 단말(100)의 현 위치를 GPS로 수집한 후, 사용자 단말(100)의 사용자가 뿌린 향수가 궁금한 다른 사용자 단말(미도시)로 안내 메시지를 제공하는 구성도 가능하다. 이때, 사용자 단말(100)의 정확한 위치가 표시되지 않는 실내가 존재할 수 있거나 GPS 상으로 오차가 발생할 수 있으므로, 사용자 단말(100)의 메시지 전파 기능을 이용할 수 있다. 이때, 릴레이 단말이 인접한 P2P 단말들과 P2P 그룹을 형성하여 자발적으로 향수 광고를 확산하는 시나리오로 프로세스를 구성할 수 있다. 릴레이 단말들은 즉각적으로 향수 광고를 전송하기 위해 P2P 그룹을 형성해야 하며，광고를 확산시키기 위한 새로운 릴레이 단말을 선정하는 절차를 수행해야 한다.

그래서 릴레이 단말은 GO가 되어야 하고, 그룹형성 방법(Standard, Autonomous, Persistent) 중 독립적으로 P2P 그룹 형성 및 GO가 되는 Autonomous 그룹 형성 방법을 이용할 수 있다. 릴레이 단말이 P2P 그룹을 형성하면 P2P 클라이언트들에게 광고 상품의 정보 및 릴레이 선정에 필요한 데이터 프레임들을 교환할 수 있다. 데이터 교환을 통해 선정된 릴레이 단말은 P2P 클라이언트로서 광고를 수신한 기존의 P2P 그룹의 연결을 해제하고 광고 전송을 위해 P2P GO로써 새로운 P2P 그룹을 형성하는 반복적인 과정을 통해 연속적으로 그룹을 형성한다.

광고 확산을 위한 방법은, 광고를 시작하는 단말의 통신 범위를 각도에 따라 임의의 섹터 수로 나눈다. 각 섹터 당 하나의 릴레이 단말을 선정하기 때문에 나누어진 % 에 따라 동시에 광고가 확산 되는 수가 결정된다. 그리고, 나누어진 섹터의 각도 범위에 포함된 목표지역들을 분류하고 직전에 선정된 목표지역과 거리가 가장 가까운 목표지역 순서로 광고 확산 루트를 정한다. 또한, 섹터 별로 결정된 광고 확산 루트의 목표지역에 가장 가까운 단말을 릴레이 단말로 선정하고, 릴레이 단말의 전송 반경 내에 목표지역이 위치하면 그 다음 목표지역에 가장 가까운 단말을 릴레이 단말로 선정한다. 이와 같은 과정을 반복하여 최종 목표지역까지 광고가 확산될 수 있다. 상술한 방법은 물리적인 거리에 인접한 단말 간의 광고확산방법이지만, 이는 인적 네트워크 간의 이동 및 확산에서도 동일하게 적용될 수 있다.

이하, 상술한 도 2의 추천 서비스 제공 서버의 구성에 따른 동작 과정을 도 3을 예로 들어 상세히 설명하기로 한다. 다만, 실시예는 본 발명의 다양한 실시예 중 어느 하나일 뿐, 이에 한정되지 않음은 자명하다 할 것이다.

도 3을 참조하면, (a) 추천 서비스 제공 서버(300)는 적어도 하나의 이미지를 수집하고, (b) 향, 향수, 이미지가 매핑되도록 적어도 하나의 조향사 단말(400)로부터 연관관계 및 연상관계에 기반하여 데이터셋을 모은다. 이때, (c) 사용자 단말(100)에서 이름, 성별, 나이 등을 입력하고, 원하는 향에 대응하는 이미지를 고르는 경우, 이에 기 매핑되어 저장된 향 및 향수를 추출하고 사용자 단말(100)로 추천을 해주며 추천에 대한 피드백을 받는다. 그리고, (d) 추천을 했던 이력 및 피드백에 기반하여 데이터셋을 재구축하고 적어도 하나의 인공지능 알고리즘을 재학습시킬 수 있다. 이때, 각 개인마다 선호도나 자라온 배경 등 다양한 환경적 요소로 인하여 서로 다른 개념을 정립했을 수 있는데, 규칙이 서로 다른 데이터셋을 이용하여 인공지능 알고리즘으로 훈련을 시킬 수는 없다. 이에 따라, 조향사의 데이터셋을 이용하여 인공지능 알고리즘을 훈련시키되, 각 개인의 차이나 취향 또는 성장배경이나 직업 등으로 달라지거나 상이해지는 부분은 상술한 포인터로 보정만을 해주는 방식을 이용할 수 있다.

도 4a는 본 발명의 일 실시예에 따른 서비스의 가칭(당신의 마들렌)이 도시되는데, 마르셀프루스트 '잃어버린 시간을 찾아서'에서 화자는 마들렌이 녹아든 홍차를 마시고 다채로운 감각으로 가득했던 콩브레에서의 어린시절을 떠올리는 것에서 착안한 명칭이다. 본 발명의 일 실시예에 따른 서비스는, 조향사나 마케터와 같은 전문가가 배우는 향수의 언어가 실제 한국의 소비자가 원하고 느끼는 향과 거리가 있을 수 있고, 실제 고객은 해외 조향사가 받은 영감과 광고에 담긴 이미지에 구매영향을 크게 받으며, 개성있는 소비자는 자신만의 향을 찾기 위해 한정된 원료로 향수를 직접 만들거나 레이어링을 하지만, 실제 향수시장은 2016년에만 2 천개가 넘는 향수제품이 출시될 정도로 고품질의 상품이 많다는 것에서 출발한다.

또, 인공지능 기술이 지역, 성별, 연령대별로 판매가 잘 될 향을 제안하는 사례가 증가하는 시장 상황 속에서 개성있는 고객의 영감과 취향이 반영된 잘 만들어진 향수제품을 찾는 것을 도와줄 수 있는 본 발명의 프로젝트가 도출되었다. 제품을 추천하면서 다양한 시제품과 향수에 대한 소비자 개개인에 대한 감각 데이터를 확보하고, 나아가 머신러닝 및 인공지능 기술의 도입을 통하여 이미지 기반의 향수 추천 서비스를 제공할 수 있다. 향수가 어렵거나 잘 아는 사람 모두에게 간직하고 싶은 순간과 감정이 담긴 향수를 찾아줄 수 있고, 마르셀 푸루스트의 화자와 같이 각 개인의 마들렌이 될 향을 사진과 글로 표현해주면, 전문 조향사의 분석으로 시중에서 구매할 수 있는 좋은 제품을 추천받을 수 있다.

도 4b 내지 도 4d와 같이 이미지나 텍스트를 입력하면 조향사가 이를 보고 적절한 향수를 추천해주는 것인데, 이는 상술한 바와 같이 초기에 데이터셋을 확보하는 경우 이후 인공지능으로 자동 수행되고 조향사는 이 결과물을 컨펌만 하면 되도록 설계될 수 있다. 도 4e에는 유사 서비스 현황이 기재되어 있는데 첫 번째 서비스는 단어를 기반으로 하므로 향-이미지(색채) 간과 같이 연구 및 연상관계가 확실히 정립되지 않아 정확도가 떨어지며, 두 번째의 경우 정합성이 부족하고, 세 번째의 경우 전문성의 부족으로 저품질의 제품이 나올 수 밖에 없다. 이에, 도 4e와 같이 본 발명의 일 실시예는 시중에서 판매하는 제품 중 자신에게 가장 잘 맞는 향수를 추천할 수 있도록 구성된다. 도 4f 내지 도 4k은 본 발명의 일 실시예에 따르 구현된 실시예 화면이다. [사진+텍스트]가 질의(Query)이고 이를 분석하여 향수로 매핑한 결과(Output)이 하단의 향수 리스트이다. 물론 본 발명의 일 실시예에 따른 화면 디자인은 이와 동일하지 않을 수 있으며 실시예에 따라 변경, 변형 및 편집될 수 있다.

이와 같은 도 2 내지 도 4의 이미지 기반 퍼스널 향수 추천 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1을 통해 이미지 기반 퍼스널 향수 추천 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.

도 5는 본 발명의 일 실시예에 따른 도 1의 이미지 기반 퍼스널 향수 추천 서비스 제공 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신되는 과정을 나타낸 도면이다. 이하, 도 5를 통해 각 구성들 상호간에 데이터가 송수신되는 과정의 일 예를 설명할 것이나, 이와 같은 실시예로 본원이 한정 해석되는 것은 아니며, 앞서 설명한 다양한 실시예들에 따라 도 5에 도시된 데이터가 송수신되는 과정이 변경될 수 있음은 기술분야에 속하는 당업자에게 자명하다.

도 5를 참조하면, 추천 서비스 제공 서버는, 적어도 하나의 향과 적어도 하나의 이미지를 매핑하여 저장하고(S5100), 적어도 하나의 향과 적어도 하나의 향수를 매핑하여 저장하고(S5200), 사용자 단말에서 입력한 사용자 정보 및 사용자 단말에서 선택한 적어도 하나의 이미지에 기 매핑되어 저장된 향 및 향수를 추출하여 사용자 단말로 추천한다(S5300).

상술한 단계들(S5100~S5300)간의 순서는 예시일 뿐, 이에 한정되지 않는다. 즉, 상술한 단계들(S5100~S5300)간의 순서는 상호 변동될 수 있으며, 이중 일부 단계들은 동시에 실행되거나 삭제될 수도 있다.

이와 같은 도 5의 이미지 기반 퍼스널 향수 추천 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 4를 통해 이미지 기반 퍼스널 향수 추천 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.

도 5를 통해 설명된 일 실시예에 따른 이미지 기반 퍼스널 향수 추천 서비스 제공 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

전술한 본 발명의 일 실시예에 따른 이미지 기반 퍼스널 향수 추천 서비스 제공 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 본 발명의 일 실시예에 따른 이미지 기반 퍼스널 향수 추천 서비스 제공 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims

나이 및 성별을 포함하는 사용자 정보를 입력하고, 적어도 하나의 이미지 중 사용자가 원하는 향을 연상시키는 이미지를 선택하며, 상기 사용자 정보 및 이미지에 기반하여 향수를 추천받는 사용자 단말; 및
적어도 하나의 향과 적어도 하나의 이미지를 매핑하여 저장하는 데이터베이스화부, 상기 적어도 하나의 향과 적어도 하나의 향수를 매핑하여 저장하는 향수저장부, 상기 사용자 단말에서 입력한 사용자 정보 및 상기 사용자 단말에서 선택한 적어도 하나의 이미지에 기 매핑되어 저장된 향 및 향수를 추출하여 상기 사용자 단말로 추천하는 추천부, 상기 사용자 단말에서 향수를 선택, 구매 및 결제를 한 후, 상기 사용자 단말에서 선택했던 이미지와 향수의 향 간의 매칭율을 피드백으로 수신하고, 상기 사용자 단말의 사용자의 이미지 및 향수 간 연상관계가 기 저장된 이미지 및 향수 간 연상관계와 다른 경우, 보정을 통하여 상기 사용자 단말의 연상관계를 재구축하는 피드백부를 포함하는 추천 서비스 제공 서버;를 포함하며,
상기 데이터베이스화부는,
색채로부터 향기의 강도를 연상하기 위해서, 색채 자극에 대한 프레시, 플로럴, 오리엔탈, 우디 향의 연상 정도를 평가하는 경우, 오리엔탈 계열을 제외한 나머지 세 가지 향에서 톤과 향기 간의 교차-양상 연상 관계가 변화하여, 밝은 난색일수록 강한 플로럴 향이 연상되는 반면 우디 향의 연상 정도는 자고 선명하거나 밝은 한색일수록 프레시 향이 강하게 연상되는 점을 근거로 각 이미지의 색감이나 피사체의 역동성에 따라 향의 강도 및 향의 종류를 매핑하며,
제품을 추천할 때, 제품 컨셉, 스토리 및 디자인을 고려하여 추천향을 선정할 수 있도록 마케팅적 요소, 제품 컨셉, 타겟 요소, 제품 디자인 및 우선순위를 함께 데이터베이스화하며,
상기 피드백부는,
조향사가 [향수-이미지] 관계를 [A-B]로 정립한 상태에서 사용자의 피드백이 [A-C]로 상기 사용자 단말의 사용자의 이미지 및 향수 간 연상관계가 기 저장된 이미지 및 향수 간 연상관계와 다른 경우, [A-B(C)]로 사용자의 취향은 그대로 두면서도 데이터베이스를 변경하지 않기 위해서 [B-C] 관계를 재정립하는 보정을 수행하는 것을 특징으로 하는 이미지 기반 퍼스널 향수 추천 서비스 제공 시스템.
제 1 항에 있어서,
상기 이미지 기반 퍼스널 향수 추천 서비스 제공 시스템은,
상기 적어도 하나의 이미지, 적어도 하나의 향 및 적어도 하나의 향수를 매핑하여 적어도 하나의 인공지능 알고리즘의 구축을 위한 데이터셋(DataSet)을 제공하는 조향사 단말;
을 더 포함하는 것을 특징으로 하는 이미지 기반 퍼스널 향수 추천 서비스 제공 시스템.
제 1 항에 있어서,
상기 추천 서비스 제공 서버는,
적어도 하나의 이미지, 적어도 하나의 향 및 적어도 하나의 향수를 포함한 로우 데이터(Raw Data)를 병렬 및 분산하여 저장하고, 상기 저장된 로우 데이터 내에 포함된 비정형(Unstructed) 데이터, 정형(Structured) 데이터 및 반정형 데이터(Semi-structured)를 정제하고, 메타 데이터로 분류를 포함한 전처리를 실시하며, 상기 전처리된 데이터를 데이터 마이닝(Data Mining)을 포함하는 분석을 실시하는 빅데이터화부;
를 더 포함하는 것을 특징으로 하는 이미지 기반 퍼스널 향수 추천 서비스 제공 시스템.
제 1 항에 있어서,
상기 추천 서비스 제공 서버는,
적어도 하나의 이미지, 적어도 하나의 향 및 적어도 하나의 향수 간을 매핑한 데이터셋을 입력으로 적어도 하나의 인공지능 알고리즘을 학습 및 테스트하는 인공지능부;
를 더 포함하는 것을 특징으로 하는 이미지 기반 퍼스널 향수 추천 서비스 제공 시스템.
제 1 항에 있어서,
상기 추천 서비스 제공 서버는,
상기 적어도 하나의 이미지에 적어도 하나의 향을 매핑할 때, 상기 적어도 하나의 이미지의 색감 및 객체와 상기 적어도 하나의 향 간의 교차-양상 연상관계(Cross-Modal Association)를 이용하여 상기 적어도 하나의 이미지를 분석한 후 상기 적어도 하나의 향을 자동매핑되도록 설정하는 연관부;
를 더 포함하는 것을 특징으로 하는 이미지 기반 퍼스널 향수 추천 서비스 제공 시스템.
제 5 항에 있어서,
상기 추천 서비스 제공 서버는,
상기 적어도 하나의 이미지 내에 포함된 객체 및 색감을 이미지 인식(Image Recognition) 딥러닝으로 자동으로 추출 및 분류하는 자동인식부;
를 더 포함하는 것을 특징으로 하는 이미지 기반 퍼스널 향수 추천 서비스 제공 시스템.
제 1 항에 있어서,
상기 적어도 하나의 향은 단일향 또는 복합향(Complex Fragrances)을 포함하는 향의 원료인 것을 특징으로 하는 이미지 기반 퍼스널 향수 추천 서비스 제공 시스템.
제 1 항에 있어서,
상기 이미지 기반 퍼스널 향수 추천 서비스 제공 시스템은,
상기 적어도 하나의 향수의 향수 데이터를 상기 추천 서비스 제공 서버로 제공하고, 상기 추천 서비스 제공 서버로부터 마케팅 리포트를 수신하는 기업 서버;
을 더 포함하는 것을 특징으로 하는 이미지 기반 퍼스널 향수 추천 서비스 제공 시스템.
제 1 항에 있어서,
상기 적어도 하나의 이미지는 적어도 하나의 형용사 이미지 스케일을 포함하는 것을 특징으로 하는 이미지 기반 퍼스널 향수 추천 서비스 제공 시스템.
제 1 항에 있어서,
상기 적어도 하나의 이미지는 적어도 하나의 형용사 이미지 스케일로 대체되는 것을 특징으로 하는 이미지 기반 퍼스널 향수 추천 서비스 제공 시스템.
삭제