KR102634828B1 - 이미지에 기반한 향수 레시피 생성 방법 및 시스템 - Google Patents

Abstract

본 발명은 이미지에 기반한 향수 레시피 생성 방법 및 시스템에 관한 것이다. 보다 상세하게는 사용자가 이미지를 입력하면 인공 뉴럴 네트워크를 이용하여 해당 이미지의 느낌에 부합하는 향을 가지는 향수를 제조하기 위한 레시피를 생성하는 방법 및 이를 수행하는 시스템이 개시된다. 본 발명의 일 측면에 따르면, 소정의 판단 대상 이미지를 구성하는 복수의 엘리먼트를 판단하는 엘리먼트 판단모듈, 상기 복수의 엘리먼트 각각에 상응하는 향료를 판단하는 향료 판단모듈 및 상기 복수의 엘리먼트 각각에 상응하는 향료의 조합으로 표현되는 향수 레시피를 생성하는 레시피 생성모듈을 포함하는 이미지 기반의 향수 레시피 생성 시스템이 제공된다.

Description

이미지에 기반한 향수 레시피 생성 방법 및 시스템{Method and system for generating perfume recipe based on image}

본 발명은 이미지에 기반한 향수 레시피 생성 방법 및 시스템에 관한 것이다. 보다 상세하게는 사용자가 이미지를 입력하면 인공 뉴럴 네트워크를 이용하여 해당 이미지의 느낌에 부합하는 향을 가지는 향수를 제조하기 위한 레시피를 생성하는 방법 및 이를 수행하는 시스템에 관한 것이다.

최근에는 기계학습의 발달로 인해 이미지를 인식하거나 분류하는 등의 업무를 컴퓨터 시스템에 의해 자동화하고자 하는 시도가 활발히 이루어지고 있다. 특히 기계학습의 일종인 인공 뉴럴 네트워크를 이용하여 효과적으로 이미지 인식을 하기 위한 시도가 이루어지고 있다. 또한 최근에는 GPU 기반 고속 연산과 많은 데이터, 딥러닝(Deep Learning)을 활용하여 이미지 분석 기술에 많은 성능 향상이 있었다.

한편, 향수는 향을 맡는 사람으로 하여금 특별한 기분을 느끼게 하거나 감정의 변화를 일으키게 하는 효과가 있다. 마찬가지로 사진과 같은 이미지 역시 이를 보는 사람에게 역시 특별한 기분을 느끼도록 하거나나 감정의 변화를 일으키는 효과가 있다. 향수와 이미지는 서로 다른 감각기관을 통해 인지하게 되는 것들이지만 앞서 언급한 바와 같이 이미지와 향수는 감정의 변화를 일으키거나 특별한 기분을 느끼게 하는 공통점이 있다. 종전에는 특정한 이미지에 부합하는 향수를 제조하기 위해서는 조향사가 수백 혹은 수천 가지 이상의 많은 종류의 향료를 일일이 맡아가며 적당한 향료를 선택해야 했으므로 많은 시간과 노력이 필요하였다.

본 발명이 이루고자 하는 기술적인 과제는 사용자가 이미지를 입력하면 해당 이미지의 느낌에 부합하는 향을 가지는 향수를 제조하기 기술적 사상을 제공하는 것이다. 특히 최근 급속도로 발전하고 있는 딥러닝 기술을 통하여 손쉽게 이미지에 부합하는 향을 가지는 향수를 제조할 수 있는 기술적 사상을 제공하는 것이다.

소정의 판단 대상 이미지를 구성하는 복수의 엘리먼트를 판단하는 엘리먼트 판단모듈, 상기 복수의 엘리먼트 각각에 상응하는 향료를 판단하는 향료 판단모듈 및 상기 복수의 엘리먼트 각각에 상응하는 향료의 조합으로 표현되는 향수 레시피를 생성하는 레시피 생성모듈을 포함하는 이미지 기반의 향수 레시피 생성 시스템이 제공된다.

일 실시예에서, 상기 엘리먼트 판단모듈은, 상기 복수의 엘리먼트 각각을, 시각적·심미적 엘리먼트, 의미·의도적 엘리먼트 및 환경·장소적 엘리먼트 중 어느 하나로 분류하며, 상기 향수 레시피는, 시각적·심미적 엘리먼트에 상응하는 향료의 비율이 가장 큰 제1레시피, 의미·의도적 엘리먼트에 상응하는 향료의 비율이 가장 큰 제2레시피 및 환경·장소적 엘리먼트에 상응하는 향료의 비율이 가장 큰 제3레시피를 포함할 수 있다.

일 실시예에서, 소정의 이미지를 입력 레이어를 통해 입력받아, 상기 이미지에 포함된 복수의 엘리먼트를 판단하기 위한 출력값을 출력 레이어를 통해 출력하는 인공 뉴럴 네트워크를 저장하는 저장모듈을 더 포함하되, 상기 엘리먼트 판단모듈은, 상기 판단 대상 이미지를 상기 인공 뉴럴 네트워크에 입력하고, 상기 인공 뉴럴 네트워크가 출력한 출력값에 기초하여 상기 판단 대상 이미지를 구성하는 복수의 엘리먼트를 판단할 수 있다.

일 실시예에서, 상기 인공 뉴럴 네트워크는, 입력된 이미지를 구성하는 각 픽셀 별로 해당 픽셀이 어느 엘리먼트에 해당하는지 여부를 판단할 수 있는 출력값을 출력하는 픽셀 레벨 클레시피케이션 뉴럴 네트워크며, 상기 엘리먼트 판단모듈은, 상기 인공 뉴럴 네트워크가 출력한 출력값에 기초하여 상기 복수의 엘리먼트가 차지하는 영역을 더 판단할 수 있다.

일 실시예에서, 상기 엘리먼트 판단모듈은, 상기 복수의 엘리먼트가 차지하는 각 영역의 형태, 색상 및 질감을 판단하고, 상기 복수의 엘리먼트가 차지하는 각 영역과 촬영장치와의 거리를 판단하고, 상기 복수의 엘리먼트가 차지하는 각 영역의 중심점을 판단하고, 상기 향수 레시피는 상기 복수의 엘리먼트 각각에 상응하는 향료가 차지하는 비율을 포함하며, 상기 레시피 생성모듈은, 상기 복수의 엘리먼트 각각에 상응하는 향료가 차지하는 비율을 해당 엘리먼트가 차지하는 영역의 형태, 색상 및 질감, 촬영장치와의 거리 및 중심점의 위치에 기초하여 결정할 수 있다.

일 실시예에서, 상기 엘리먼트 판단모듈은, 상기 복수의 엘리먼트가 차지하는 각 영역의 크기를 더 판단하고, 상기 향수 레시피는 상기 복수의 엘리먼트 각각에 상응하는 향료가 차지하는 비율을 포함하며, 상기 레시피 생성모듈은, 상기 복수의 엘리먼트 각각에 상응하는 향료가 차지하는 비율을 해당 엘리먼트가 차지하는 영역의 크기에 기초하여 결정할 수 있다.

일 실시예에서, 상기 엘리먼트 판단모듈은, 상기 복수의 엘리먼트가 차지하는 각 영역 내의 각 픽셀별 출력 값들의 대표값을 산출하고, 상기 복수의 엘리먼트가 차지하는 각 영역의 중심점을 더 판단하고, 상기 향수 레시피는 상기 복수의 엘리먼트 각각에 상응하는 향료가 차지하는 비율을 포함하며, 상기 레시피 생성모듈은, 상기 복수의 엘리먼트 각각에 상응하는 향료가 차지하는 비율을 해당 엘리먼트가 차지하는 각 영역 내의 각 픽셀별 출력 값들의 대표값에 기초하여 결정할 수 있다.

일 실시예에서, 상기 이미지 기반의 향수 레시피 생성 시스템은, 복수의 학습용 이미지를 상기 인공 뉴럴 네트워크에 입력하여 상기 인공 뉴럴 네트워크를 학습하는 학습모듈을 더 포함하고, 상기 복수의 학습용 이미지 각각에는, 그에 상응하는 엘리먼트의 식별자가 라벨링되어 있을 수 있다.

일 실시예에서, 상기 학습모듈은, 상기 향수 레시피에 기초하여 제조된 향수를 수령한 소비자가 입력한 상품평에 기초하여 상기 판단 대상 이미지에 라벨링될 엘리먼트의 식별자를 판단하고, 라벨링된 상기 판단 대상 이미지를 상기 인공 뉴럴 네트워크에 입력하여 상기 인공 뉴럴 네트워크를 추가 학습할 수 있다.

본 발명의 다른 일 측면에 따르면, 이미지 기반의 향수 레시피 생성 시스템이, 소정의 판단 대상 이미지를 구성하는 복수의 엘리먼트를 판단하는 단계, 상기 이미지 기반의 향수 레시피 생성 시스템이, 상기 복수의 엘리먼트 각각에 상응하는 향료를 판단하는 단계 및 상기 이미지 기반의 향수 레시피 생성 시스템이, 상기 복수의 엘리먼트 각각에 상응하는 향료의 조합으로 표현되는 향수 레시피를 생성하는 단계를 포함하는 이미지 기반의 향수 레시피 생성 방법이 제공된다.

일 실시예에서, 상기 복수의 엘리먼트를 판단하는 단계는, 상기 복수의 엘리먼트 각각을, 시각적·심미적 엘리먼트, 의미·의도적 엘리먼트 및 환경·장소적 엘리먼트 중 어느 하나로 분류하는 단계를 포함하며, 상기 향수 레시피는, 시각적·심미적 엘리먼트에 상응하는 향료의 비율이 가장 큰 제1레시피, 의미·의도적 엘리먼트에 상응하는 향료의 비율이 가장 큰 제2레시피 및 환경·장소적 엘리먼트에 상응하는 향료의 비율이 가장 큰 제3레시피를 포함할 수 있다.

일 실시예에서, 상기 이미지 기반의 향수 레시피 생성 시스템은, 소정의 이미지를 입력 레이어를 통해 입력받아, 상기 이미지에 포함된 복수의 엘리먼트를 판단하기 위한 출력값을 출력 레이어를 통해 출력하는 인공 뉴럴 네트워크를 저장하며, 상기 복수의 엘리먼트를 판단하는 단계는, 상기 판단 대상 이미지를 상기 인공 뉴럴 네트워크에 입력하고, 상기 인공 뉴럴 네트워크가 출력한 출력값에 기초하여 상기 판단 대상 이미지를 구성하는 복수의 엘리먼트를 판단하는 단계를 포함할 수 있다.

일 실시예에서, 상기 인공 뉴럴 네트워크는, 입력된 이미지를 구성하는 각 픽셀 별로 해당 픽셀이 어느 엘리먼트에 해당하는지 여부를 판단할 수 있는 출력값을 출력하는 픽셀 레벨 클레시피케이션 뉴럴 네트워크며, 상기 복수의 엘리먼트를 판단하는 단계는, 상기 인공 뉴럴 네트워크가 출력한 출력값에 기초하여 상기 복수의 엘리먼트가 차지하는 영역을 판단하는 단계를 더 포함할 수 있다.

일 실시예에서, 상기 복수의 엘리먼트를 판단하는 단계는, 상기 복수의 엘리먼트가 차지하는 각 영역의 형태, 색상 및 질감을 판단하는 단계, 상기 복수의 엘리먼트가 차지하는 각 영역과 촬영장치와의 거리를 판단하는 단계 및 상기 복수의 엘리먼트가 차지하는 각 영역의 중심점을 판단하는 단계를 더 포함하고, 상기 향수 레시피는 상기 복수의 엘리먼트 각각에 상응하는 향료가 차지하는 비율을 포함하며, 상기 향수 레시피를 생성하는 단계는, 상기 복수의 엘리먼트 각각에 상응하는 향료가 차지하는 비율을 해당 엘리먼트가 차지하는 영역의 형태, 색상 및 질감, 촬영장치와의 거리 및 중심점의 위치에 기초하여 결정할 수 있다.

일 실시예에서, 상기 복수의 엘리먼트를 판단하는 단계는, 상기 복수의 엘리먼트가 차지하는 각 영역의 크기를 판단하는 단계를 더 포함하고, 상기 향수 레시피는 상기 복수의 엘리먼트 각각에 상응하는 향료가 차지하는 비율을 포함하며, 상기 향수 레시피를 생성하는 단계는, 상기 복수의 엘리먼트 각각에 상응하는 향료가 차지하는 비율을 해당 엘리먼트가 차지하는 영역의 크기에 기초하여 결정하는 단계를 포함할 수 있다.

일 실시예에서, 상기 복수의 엘리먼트를 판단하는 단계는, 상기 복수의 엘리먼트가 차지하는 각 영역 내의 각 픽셀별 출력 값들의 대표값을 산출하는 단계를 더 포함하고, 상기 향수 레시피는 상기 복수의 엘리먼트 각각에 상응하는 향료가 차지하는 비율을 포함하며, 상기 향수 레시피를 생성하는 단계는, 상기 복수의 엘리먼트 각각에 상응하는 향료가 차지하는 비율을 해당 엘리먼트가 차지하는 각 영역 내의 각 픽셀별 출력 값들의 대표값에 기초하여 결정하는 단계를 포함할 수 있다.

일 실시예에서, 상기 이미지 기반의 향수 레시피 생성 방법은, 복수의 학습용 이미지를 상기 인공 뉴럴 네트워크에 입력하여 상기 인공 뉴럴 네트워크를 학습하는 단계를 더 포함하고, 상기 복수의 학습용 이미지 각각에는, 그에 상응하는 엘리먼트의 식별자가 라벨링되어 있을 수 있다.

일 실시예에서, 상기 이미지 기반의 향수 레시피 생성 방법은, 상기 향수 레시피에 기초하여 제조된 향수를 수령한 소비자가 입력한 상품평에 기초하여 상기 판단 대상 이미지에 라벨링될 엘리먼트의 식별자를 판단하는 단계 및 라벨링된 상기 판단 대상 이미지를 상기 인공 뉴럴 네트워크에 입력하여 상기 인공 뉴럴 네트워크를 추가 학습하는 단계를 더 포함할 수 있다.

본 발명의 다른 일 측면에 따르면, 데이터 처리장치에 설치되며 상술한 방법을 수행하기 위한 매체에 기록된 컴퓨터 프로그램이 제공된다.

본 발명의 다른 일 측면에 따르면, 상술한 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터 판독 가능한 기록매체가 제공된다.

본 발명의 다른 일 측면에 따르면, 이미지 기반의 향수 레시피 생성 시스템으로서, 프로세서 및 컴퓨터 프로그램을 저장하는 메모리를 포함하고, 상기 컴퓨터 프로그램은, 상기 프로세서에 의해 실행되는 경우, 상기 이미지 기반의 향수 레시피 생성 시스템으로 하여금 상술한 방법을 수행하도록 하는 이미지 기반의 향수 레시피 생성 시스템이 제공된다.

본 발명의 기술적 사상에 의하면, 사용자가 이미지를 입력하면 해당 이미지의 느낌에 부합하는 향을 가지는 향수를 제조하기 위한 레시피를 자동으로 생성할 수 있는 방법 및 시스템을 제공할 수 있으며, 이를 활용함으로써, 종전에 조향사가 일일이 향료의 향을 맡아가며 적당한 향료를 선택해야 하는 불편함을 현저히 감소시킬 수 있는 효과가 있다.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 기술적 사상에 따른 이미지 기반의 향수 레시피 생성 방법이 수행되는 환경을 개략적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 향수 레시피 생성 과정 및 이를 통해 생성된 향수 레시피가 이용되는 과정을 개략적으로 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 향수 레시피 생성 방법(즉, 도 2의 S200 단계)를 보다 구체적으로 도시한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 향수 레시피 생성 시스템이 인공 뉴럴 네트워크를 이용하여 판단 대상 이미지를 구성하는 복수의 엘리먼트를 판단하는 과정을 도시한 흐름도이다.
도 5는 사용자가 입력한 이미지의 일 예를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 향수 레시피 생성 시스템의 구성을 도시한 블록도이다.
도 7은 본 발명의 일 실시예에 따른 향수 레시피 생성 시스템이 향료의 비율을 결정하는 방법의 일 예를 도시한 도면이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 제1, 제2 등의 용어는 특별한 순서를 나타내는 것이 아니며, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 명세서에 있어서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터를 '전송'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터를 전송할 수도 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터를 상기 다른 구성요소로 전송할 수도 있는 것을 의미한다. 반대로 어느 하나의 구성요소가 다른 구성요소로 데이터를 '직접 전송'하는 경우에는 상기 구성요소에서 다른 구성요소를 통하지 않고 상기 다른 구성요소로 상기 데이터가 전송되는 것을 의미한다.

이하, 첨부된 도면들을 참조하여 본 발명의 실시예들을 중심으로 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.

도 1은 본 발명의 기술적 사상에 따른 이미지 기반의 향수 레시피 생성 방법(이하, '향수 레시피 생성 방법'이라고 함)이 수행되는 환경을 개략적으로 도시한 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 향수 레시피 생성 방법 및 인공 뉴럴 네트워크 학습 방법은 이미지 기반의 향수 레시피 생성 시스템(100; 이하, '향수 레시피 생성 시스템'이라고 함)에 의해 수행될 수 있다.

상기 향수 레시피 생성 시스템(100)은 이미지를 입력받아 상기 이미지에 부합하는 향을 포함하는 향수의 레시피를 생성할 수 있다. 상기 향수 레시피 생성 시스템(100)이 생성하는 향수 레시피는 향수를 구성하는 향료의 종류에 관한 정보를 포함할 수 있으며, 향수에 포함되는 향료의 조합 비율에 관한 정보를 더 포함할 수도 있다.

상기 향수 레시피 생성 시스템(100)으로 입력되는 이미지는 사람이 촬영한 이미지와 그렇지 않은 이미지로 나뉠 수 있다. 사람이 촬영하지 않은 이미지는 사용자 단말(300)에서 캡쳐한 이미지, 웹 사이트로부터 촬영한 이미지 등을 예로 들 수 있다. 또한 사람이 촬영하지 않은 이미지는 사용자가 사용자 단말(300)을 통해 드로잉한 이미지일 수도 있다. 한편 드로잉한 이미지의 경우 해당 이미지에는 드로잉하는데 걸리는 시간, 드로잉을 구성하는 각각의 요소(드로잉한 선이나 색칠 등)의 소요 시간(즉, 해당 요소를 드로잉하는데 걸린 시간) 및 밀집도(드로잉 요소의 개수와 그들이 차지하는 면적의 비율) 등에 관한 정보를 포함할 수 있다.

레시피에 포함 가능한 향료는 장미, 재스민, 라벤더 등의 꽃향 향료, 단향목이나 가죽 등의 비꽃향 향료, 바나나, 사과, 딸기, 레몬 등의 과일향 향료, 럼, 브랜디, 위스키 등의 알코올향 향료를 포함할 수 있으며, 이 외에도 코코아향, 박하향, 하바나 시가향, 박하향, 바닐라향, 크림향, 초콜릿향, 카라멜향 등을 포함할 수 있으나 본 발명의 기술적 사상이 이에 한정되는 것은 아니며, 향수의 재료로 이용 가능한 어떠한 항료도 포함할 수 있음은 물론이다.

상기 향수 레시피 생성 시스템(100)은 인공 뉴럴 네트워크(10)를 이용하여 향수 레시피를 생성할 수 있다. 보다 상세하게는 상기 향수 레시피 생성 시스템(100)은 미리 학습된 인공 뉴럴 네트워크(10)에 이미지를 입력하고, 상기 인공 뉴럴 네트워크(10)가 출력하는 값에 기초하여 입력된 이미지에 포함된 각종 엘리먼트(element; 요소)를 판단할 수 있으며, 판단한 엘리먼트에 상응하는 향료를 선별함으로써 해당 이미지에 부합하는 향수 레시피를 생성할 수 있다.

상기 인공 뉴럴 네트워크(100)는 이미지를 입력 레이어를 통해 입력받아, 상기 이미지에 포함된 복수의 엘리먼트를 판단하기 위한 출력값을 출력 레이어를 통해 출력할 수 있다. 예를 들어 상기 인공 뉴럴 네트워크는 미리 정의된 각종 엘리먼트 별로 해당 엘리먼트가 입력된 이미지에 포함되어 있을 확률을 출력할 수 있다.

본 명세서에서 인공 뉴럴 네트워크는 인간의 뉴런의 동작 원리에 기초하여 인공적으로 구축한 신경망으로서, 다층 퍼셉트론 모델을 포함하며, 인공 뉴럴 네트워크를 정의하는 일련의 설계사항들을 표현하는 정보의 집합을 의미할 수 있다. 일 실시예에서, 상기 인공 뉴럴 네트워크(10)는 합성곱 신경망(convolutional neural network)이거나 혹은 합성곱 신경망을 포함할 수 있다. 상기 합성곱 신경망은 잘 알려진 바와 같이, 입력 레이어, 복수의 히든 레이어들, 및 출력 레이어를 포함할 수 있다. 복수의 히든 레이어들 각각은 컨볼루션 레이어 및 풀링 레이어(또는 서브 샘플링 레이어)를 포함할 수 있다. 합성곱 신경망은 이러한 각각의 레이어들을 정의하기 위한 함수, 필터, 스트라이드(stride), 웨이트 팩터 등에 의해 정의될 수 있다. 또한, 출력 레이어는 풀리 커넥티드(fully connected)된 전방향 레이어(FeedForward layer)로 정의될 수 있다. 합성곱 신경망을 구성하는 각각의 레이어별 설계 사항은 널리 알려져 있다. 예컨대, 복수의 레이어들에 포함될 레이어의 개수, 상기 복수의 레이어들을 정의하기 위한 컨볼루션 함수, 풀링 함수, 활성화 함수 각각에 대해서는 공지된 함수들이 이용될 수도 있고, 본 발명의 기술적 사상을 구현하기 위해 별도로 정의된 함수들이 이용될 수도 있다.

일 실시예에서 상기 인공 뉴럴 네트워크(10)는 오브젝트 디텍션(object detection)용 뉴럴 네트워크 혹은 이미지 세그멘테이션(image segmentation)용 뉴럴 네트워크일 수 있다. 경우에 따라서 상기 인공 뉴럴 네트워크(10)는 시멘틱 세그멘테이션 뉴럴 네트워크일 수도 있다.

특히, 상기 인공 뉴럴 네트워크(10)는 입력된 이미지를 구성하는 각 픽셀 별로 해당 픽셀이 어느 엘리먼트에 해당하는지 여부를 판단할 수 있는 출력값을 출력하는 뉴럴 네트워크인 픽셀 레벨 클레시피케이션 뉴럴 네트워크일 수 있다. 예를 들어 상기 인공 뉴럴 네트워크(10)는 완전 합성곱 네트워크(fully convolutional network)일 수 있으며, 경우에 따라서는 AlexNet이나 VGGNet 등 클래시피케이션 뉴럴 네트워크의 변형 버전일 수 있다.

일 실시예에서, 상기 인공 뉴럴 네트워크(10)는 입력된 이미지를 구성하는 각 픽셜 별로 해당 픽셀이 특정 엘리먼트에 해당할 확률을 출력할 수 있다,

상기 인공 뉴럴 네트워크(10)는 미리 학습되어 있을 수 있다. 상기 인공 뉴럴 네트워크(10)는 라벨링된 이미지를 입력하여 상기 인공 뉴럴 네트워크(10)가 입력된 이미지로부터 추론하는 결과와 라벨링된 값의 차이가 감소되도록 학습하는 지도 학습 기법을 이용하여 학습될 수 있다.

도 1에 도시된 바와 같이, 상기 인공 뉴럴 네트워크(10)는 상기 향수 레시피 생성 시스템(100)에 의하여 미리 학습되어 있을 수 있으나 도 1과 달리 상기 인공 뉴럴 네트워크(10)를 학습하는 별도의 시스템이 있을 수 있음은 물론이다.

한편 실시예에 따라서는 상기 인공 뉴럴 네트워크(10)는 상기 향수 레시피 생성 시스템(100)이 향수 레시피를 생성하는 과정 또는 생성한 후에도 추가적으로 더 학습될 수도 있다.

상기 향수 레시피 생성 시스템(100)은 본 발명의 기술적 사상을 구현하기 위한 연산능력을 가진 데이터 처리장치인 컴퓨팅 시스템일 수 있으며, 일반적으로 네트워크를 통해 클라이언트가 접속 가능한 데이터 처리 장치인 서버뿐만 아니라 개인용 컴퓨터나 휴대 단말 등과 같은 컴퓨팅 장치를 포함할 수 있다.

상기 향수 레시피 생성 시스템(100)은 어느 하나의 물리적 장치로 구현될 수도 있으나, 필요에 따라 복수의 물리적 장치가 유기적으로 결합되어 본 발명의 기술적 사상에 따른 향수 레시피 생성 시스템(100)을 구현할 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.

상기 향수 레시피 생성 시스템(100)은 도 1에 도시된 바와 같이 독립된 시스템으로 구현될 수도 있으나, 실시예에 따라서는 소정의 모(母) 시스템의 서브 시스템의 형태로 구현될 수도 있다. 예를 들어 상기 향수 레시피 생성 시스템(100)은 실제 향수를 제조/판매하는 기업이 보유한 컴퓨팅 시스템(예를 들어, 200)에 포함되는 형태로 구현될 수도 있다. 상기 모 시스템은 서버일 수 있다. 여기서 서버는 본 발명의 기술적 사상을 구현하기 위한 연산능력을 가진 데이터 처리장치를 의미하며, 일반적으로 네트워크를 통해 클라이언트가 접속 가능한 데이터 처리장치뿐만 아니라 개인용 컴퓨터, 휴대 단말 등과 같이 특정 서비스를 수행할 수 있는 어떠한 장치도 서버로 정의될 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.

도 1에 도시된 바와 같이, 상기 향수 레시피 생성 시스템(100)은 소정의 사용자 단말(300)과 유/무선 네트워크(예를 들어, 인터넷 등)을 통해 연결되어 본 발명의 기술적 사상을 구현하는데 필요한 각종 정보, 데이터, 신호 등을 송수신할 수 있다. 예를 들어 상기 향수 레시피 생성 시스템(100)은 상기 사용자 단말(300)로부터 향수 레시피의 제작에 이용될 이미지를 수신할 수 있다.

상기 사용자 단말(300)은 상기 향수 레시피 생성 시스템(100)을 이용하여 이미지 기반의 향수 레시피를 생성하기를 원하거나 생성된 향수 레시피에 의해 제조된 향수를 구매하기를 원하는 사용자의 단말일 수 있다. 상기 사용자 단말(300)은 렙탑, 데스크탑, 모바일 단말, 스마트폰, 태블릿 PC 등을 포함할 수 있으나 이에 한정되는 것은 아니며, 어떠한 형태의 정보처리장치도 포함할 수 있다.

상기 향수 레시피 생성 시스템(100)은 상기 향수 레시피 생성 방법을 통해 생성한 향수 레시피 정보를 향수 생성 시스템(200)을 전달할 수 있다.

상기 향수 생성 시스템(200)은 향수를 조제/판매하는 기업체가 운영하는 시스템일 수 있다. 상기 향수 생성 시스템(200)은 상기 향수 레시피 생성 시스템(100)과 통합된 시스템일 수도 있으며 물리적으로 분리된 시스템일 수도 있다. 후자의 경우 상기 향수 레시피 생성 시스템(100)과 상기 향수 생성 시스템(200)은 유/무선 네트워크(예를 들어, 인터넷 등)를 통해 연결되어 각종 정보, 데이터 및/또는 신호를 송수신할 수 있다. 상기 향수 생성 시스템(200)은 서버일 수 있다.

도 2는 본 발명의 일 실시예에 따른 향수 레시피 생성 과정 및 이를 통해 생성된 향수 레시피가 이용되는 과정을 개략적으로 도시한 도면이다.

도 2를 참조하면, 상기 향수 레시피 생성 시스템(100)은 사용자 단말(300)로부터 소정의 판단 대상 이미지를 수신할 수 있다(S100).

상기 사용자 단말(300)은 향수 레시피의 기초가 되는 이미지(즉, 상기 판단 대상 이미지)를 획득하여 상기 향수 레시피 생성 시스템(100)으로 전송할 수 있다. 예를 들어 상기 사용자 단말(300)은 그에 포함된 카메라 모듈을 통해 풍경이나 사물을 촬영하고 촬영한 이미지를 상기 향수 레시피 생성 시스템(100)으로 전송할 수 있다. 또는 상기 사용자 단말(300)은 직접 캡쳐하거나 소정의 웹 사이트로부터 다운로드한 이미지를 상기 향수 레시피 생성 시스템(100)으로 전송할 수 있다.

상기 향수 레시피 생성 시스템(100)은 본 발명의 기술적 사상에 따른 향수 레시피 생성 방법을 통하여 상기 판단 대상 이미지에 부합하는 향수 레시피를 생성할 수 있으며(S200), 생성한 향수 레시피를 상기 향수 생성 시스템(200)으로 전달할 수 있다(S300).

일 실시예에서 상기 향수 레시피 생성 시스템(100)은 상기 판단 대상 이미지에 상응하는 향수 레시피를 생성하기 전에 소정의 금액을 결제하는 과정을 추가적으로 수행할 수 있다.

한편 상기 향수 생성 시스템(200)은 상기 사용자 단말(300)과 함께 소정의 향수 구매 절차를 수행할 수 있다(S400). 예를 들어 상기 향수 생성 시스템(200)은 사용자 단말(300)로 향수에 포함될 향료의 종류, 조합 비율, 해당 향수를 표현하는 설명 문구 등을 제공할 수 있으며, 사용자 단말(300)로부터 구매할 향수의 용량을 입력받을 수 있으며, 향수 구매에 필요한 결제 절차를 수행할 수 있다. 만약 제조 가능한 향수의 종류가 여러 개인 경우 구매할 향수의 종류를 선택하기 위한 과정을 수행할 수도 있다. 이 외에도 상기 향수 생성 시스템(200)은 향수 구매에 필요한 추가적인 절차를 더 수행할 수도 있다.

또한 상기 향수 생성 시스템(200)은 사용자가 구매하고자 하는 향수가 실제로 제조되도록 하기 위한 절차를 수행할 수도 있다. 예를 들어 상기 향수 생성 시스템(200)은 제조자가 확인할 수 있는 형태로 레시피를 출력하거나 소정의 향수 생성 장치(미도시)가 향수 레시피에 상응하는 향수를 제조하도록 제어할 수 있다. 이후 제조된 향수는 사용자에게 전달될 수 있다(S500).

실시예에 따라서 사용자는 구매한 향수에 대한 상품평을 피드백할 수 있다(S600). 그러면 상기 향수 레시피 생성 시스템(100)은 피드백된 상품평에 기초하여 추가적인 학습 데이터를 생성하고 이를 통해 상기 인공 뉴럴 네트워크(10)를 추가 학습함으로써(S700), 사용자의 이후 생성되는 향수 레시피에 피드백이 반영되도록 할 수 있다.

도 3은 본 발명의 일 실시예에 따른 향수 레시피 생성 방법(즉, 도 2의 S200 단계)를 보다 구체적으로 도시한 흐름도이다.

도 3을 참조하면, 상기 향수 레시피 생성 시스템(100)은 상기 판단 대상 이미지를 구성하는 복수의 엘리먼트를 판단할 수 있다(S210).

상기 향수 레시피 생성 시스템(100)으로 입력되는 이미지로부터 판단 가능한 모든 엘리먼트는 미리 정의되어 있을 수 있다.

상기 복수의 엘리먼트 각각은 시각적으로 구분 가능하며, 특정한 키워드에 의해 지칭이 가능한 다양한 요소를 포함할 수 있다. 예를 들어, 상기 엘리먼트는 각종 사물, 자연물, 인공물이나 배경적 요소 등을 포함할 수 있다. 경우에 따라서는 이 뿐만 아니라 시각에 의해 구분 가능한 각종 개념(예를 들어, 색상, 질감, 사랑, 우정 등)을 더 포함할 수도 있다. 또한 여러 개의 엘리먼트가 결합되어 다른 하나의 엘리먼트를 구성할 수도 있다. 예를 들어, 서로 다른 두 사람이 깍지를 끼고 있는 경우, 두 사람의 손이라는 인접한 두 개의 엘리먼트를 결합하여 '깍지 낀 손'이라는 별개의 엘리먼트가 형성될 수 있다.

일 실시예에서, 상기 향수 레시피 생성 시스템(100)은 다양한 오브젝트 디텍션 알고리즘을 이용하여 상기 판단 대상 이미지를 구성하는 복수의 엘리먼트를 판단할 수 있다. 예를 들어 상기 향수 레시피 생성 시스템(100)은 영상 이진화(image binarization) 및 특징점 검출(feature point detection)을 수행함으로써 상기 복수의 엘리먼트 각각에 상응하는 오브젝트를 검출할 수 있다. 이 외에도 상기 향수 레시피 생성 시스템(100)은 다양한 공지된 알고리즘을 이용하여 상기 복수의 엘리먼트 각각에 상응하는 오브젝트를 검출할 수 있다.

다른 일 실시예에서, 상기 향수 레시피 생성 시스템(100)은 상기 인공 뉴럴 네트워크(10)를 이용하여 상기 판단 대상 이미지를 구성하는 복수의 엘리먼트를 판단할 수 있는데, 그 과정이 도 4에 도시되어 있다.

도 4를 참조하면, 상기 향수 레시피 생성 시스템(100)은 상기 판단 대상 이미지를 상기 인공 뉴럴 네트워크의 입력 레이어에 입력할 수 있다(S211).

그러면 상기 인공 뉴럴 네트워크(10)는 상기 판단 대상 이미지에 포함된 복수의 엘리먼트를 판단하기 위한 출력 값을 출력 레이어를 통해 출력할 수 있으며, 상기 향수 레시피 생성 시스템(100)은 상기 인공 뉴럴 네트워크가 출력한 출력값에 기초하여 상기 판단 대상 이미지를 구성하는 복수의 엘리먼트를 판단할 수 있다(S212).

예를 들어 상기 인공 뉴럴 네트워크(10)는 상기 판단 대상 이미지에 특정 엘리먼트가 포함되어 있을 확률을 출력할 수 있으며, 상기 향수 레시피 생성 시스템(100)은 상기 인공 뉴럴 네트워크(10)가 출력한 확률을 소정의 임계 값과 비교하여 상기 판단 대상 이미지에 특정 엘리먼트가 포함되어 있음을 판단할 수 있다.

또는 상기 인공 뉴럴 네트워크(10)가 픽셀 레벨 클레시피케이션 뉴럴 네트워크인 경우, 상기 인공 뉴럴 네트워크(10)는 상기 판단 대상 이미지를 구성하는 각 픽셀 별로 해당 픽셀이 어느 엘리먼트에 해당하는지 여부를 판단할 수 있는 출력값을 출력할 수 있으며, 상기 향수 레시피 생성 시스템(100)은 상기 인공 뉴럴 네트워크(10)가 출력한 출력값에 기초하여 상기 복수의 엘리먼트를 판단할 수 있다. 이 경우 상기 향수 레시피 생성 시스템(100)은 상기 복수의 엘리먼트가 차지하는 각각의 영역을 더 판단할 수 있다(S213). 예를 들어 상기 인공 뉴럴 네트워크(10)는 각 픽셀 별로 해당 픽셀이 특정 엘리먼트에 해당될 확률을 출력할 수 있으며, 각 픽셀 별로 가장 확률이 높은 엘리먼트를 판단함으로써 상기 복수의 엘리먼트가 차지하는 각각의 영역을 판단할 수 있다.

다시 도 3을 참조하면, 상기 향수 레시피 생성 시스템(100)은 상기 판단 대상 이미지에 포함된 각 엘리먼트에 상응하는 향료를 판단할 수 있다(S220).

상기 향수 레시피 생성 시스템(100)이 판단 가능한 각 엘리먼트에 대응되는 향료는 미리 지정되어 있을 수 있으며, 각 엘리먼트가 어떤 향료와 대응되는지를 나타내는 정보는 상기 향수 레시피 생성 시스템(100)에 미리 저장되어 있을 수 있다. 상기 향수 레시피 생성 시스템(100)은 미리 저장된 대응 정보를 이용하여 상기 판단 대상 이미지에 포함된 각 엘리먼트에 상응하는 향료를 판단할 수 있다.

한편 상기 향수 레시피 생성 시스템(100)은 상기 복수의 엘리먼트 각각에 상응하는 향료가 차지하는 비율을 결정할 수 있으며(S230), 상기 복수의 엘리먼트 각각에 상응하는 향료의 조합으로 표현되는 향수 레시피를 생성할 수 있다(S240).

상기 복수의 엘리먼트 각각에 상응하는 향료가 차지하는 비율을 결정하는 방법은 다양할 수 있다.

일 실시예에서, 상기 향수 레시피 생성 시스템(100)은 상기 복수의 엘리먼트 각각에 상응하는 향료가 차지하는 비율을 해당 엘리먼트가 차지하는 영역의 크기, 형태, 색상 및/또는 질감에 기초하여 결정할 수 있다. 이는 상기 복수의 엘리먼트 각각에 상응하는 향료가 차지하는 비율을 결정하기 위한 수식의 독립 변수가 해당 엘리먼트가 차지하는 영역의 크기, 형태, 색상 및/또는 질감에 기초하여 산출되는 스코어임을 의미할 수 있다.

일 실시예에서, 상기 향수 레시피 생성 시스템(100)은 상기 복수의 엘리먼트 각각에 상응하는 향료가 차지하는 비율을 해당 엘리먼트가 차지하는 영역의 크기에 기초하여 결정할 수 있으며, 영역의 크기에 따른 스코어(이하, '크기 스코어'라고 함)를 책정할 수 있다.

일 실시예에서, 상기 향수 레시피 생성 시스템(100)은 상기 복수의 엘리먼트 각각이 차지하는 영역 별로 해당 영역의 형태에 상응하는 스코어(이하, '형태 스코어'라고 함)를 책정할 수 있다. 예를 들어 상기 향수 레시피 생성 시스템(100)은 미리 정의된 해당 엘리먼트에 상응하는 표준 형태와 해당 엘리먼트의 실제 형태(즉, 상기 인공 뉴럴 네트워크(10)에 의해 판단된 영역의 형태)를 비교하여 스코어를 산출할 수 있다. 이를 위하여 상기 향수 레시피 생성 시스템(100)에는 두 형태 간의 일치도(혹은 유사도)를 판단하기 위한 다양한 공지된 방법이 구현되어 있을 수 있다. 예를 들어 상기 향수 레시피 생성 시스템(100)은 특정 엘리먼트의 표준 형태와 실제 형태의 윤곽선 특정점에 기반한 다양한 형태 유사도 판단 알고리즘을 적용함으로써 두 형태 간의 일치도를 판단할 수 있다.

일 실시예에서, 상기 향수 레시피 생성 시스템(100)은 상기 복수의 엘리먼트 각각이 차지하는 영역 별로 해당 영역의 색상에 상응하는 스코어(이하, '색상 스코어'라고 함)를 책정할 수 있다. 예를 들어 상기 향수 레시피 생성 시스템(100)은 상기 복수의 엘리먼트 각각에 상응하는 영역 별로 해당 영역을 구성하는 픽셀들의 대표 색상값을 결정하고, 결정된 대표 색상값과 해당 엘리먼트의 미리 정의된 표준 색상값과 차이를 산출하여 해당 영역의 색상에 상응하는 스코어를 책정할 수 있다. 이때 대표값은 평균값, 중앙값, 최빈값, 사분위수, 백분위수 등일 수 있다.

일 실시예에서, 상기 향수 레시피 생성 시스템(100)은 상기 복수의 엘리먼트 각각이 차지하는 영역 별로 해당 영역의 질감에 상응하는 스코어(이하, '질감 스코어'라고 함)를 책정할 수 있다. 예를 들어 상기 향수 레시피 생성 시스템(100)은 상기 복수의 엘리먼트 각각에 상응하는 영역 별로 해당 영역을 구성하는 픽셀들의 대표 질감값을 결정하고, 결정된 대표 질감 값과 해당 엘리먼트의 미리 정의된 표준 질감값과 차이를 산출하여 해당 영역의 질감 스코어를 책정할 수 있다.

일 실시예에서, 상기 향수 레시피 생성 시스템(100)은 각 엘리먼트가 차지하는 영역의 크기 스코어, 형태 스코어, 색상 스코어 및 질감 스코어 중 적어도 일부를 위의 방식으로 산출한 후 그들의 가중합계(또는 가중평균)을 해당 영역의 스코어로 책정할 수 있다. 이때 크기 스코어에 대한 가중치, 형태 스코어에 대한 가중치, 색상 스코어에 대한 가중치 및/또는 질감 스코어에 대한 가중치를 얼마로 할 것인지는 본 발명을 실제로 구현하는 자에 의하여 가변적으로 결정될 수 있다.

삭제

한편 실시예에 따라서 상기 향수 레시피 생성 시스템(100)은 크기, 형태, 색상, 질감 등 시각적인 특징 외에, 비시각적 특징인 시기(날짜, 계절 등), 역사성(사건 등), 위치정보(좌표, 실내인지 실외인지 등) 및 지리정보에 기반하여 상기 복수의 엘리먼트 각각에 상응하는 향료가 차지하는 비율을 결정할 수도 있다. 상기 향수 레시피 생성 시스템(100)은 상기 판단 대상 이미지의 비시각적 특징을 파악하기 위하여 검색 사이트에서 제공하는 이미지 검색 기능을 이용할 수 있으며 검색 결과로부터 비시각적 특징에 관한 정보를 획득할 수 있다. 물론 시각적 특징과 비시각적 특징을 모두 고려하여 상기 복수의 엘리먼트 각각에 상응하는 향료가 차지하는 비율을 결정할 수도 있음은 물론이다.

또한 판단 대상 이미지가 드로잉한 이미지인 경우, 상기 향수 레시피 생성 시스템(100)은 해당 이미지에는 드로잉하는데 걸리는 시간, 드로잉을 구성하는 각각의 요소(드로잉한 선이나 색칠 등)의 소요 시간(즉, 해당 요소를 드로잉하는데 걸린 시간) 및/또는 밀집도(드로잉 요소의 개수와 그들이 차지하는 면적의 비율)에 기초하여 복수의 엘리먼트 각각에 상응하는 향료가 차지하는 비율을 조절할 수도 있다. 예를 들어, 판단 대상 이미지에 보라색 라벤더 꽃이라는 엘리먼트가 포함되어 있는 경우, 상기 향수 레시피 생성 시스템(100)은 판단 대상 이미지의 드로잉 요소 중 보라색 라벤더 꽃 엘리먼트를 구성하는 드로잉 요소의 소요 시간 혹은 밀집도에 따라 보라색 라벤더 꽃에 상응하는 엘리먼트의 스코어를 높일 수 있다. 또는 상기 판단 대상 이미지에 이끼에 해당하는 엘리먼트가 포함되어 있는 경우 이끼 엘리먼트를 표현하기 위한 드로잉 요소의 드로잉 소요 시간이 길면 이끼 엘리먼트에 상응하는 향료(예를 들어, Moss 향료)의 비율이 늘어나도록 이끼 엘리먼트의 스코어를 높일 수 있다.

상기 복수의 엘리먼트 각각이 차지하는 영역의 스코어가 결정되면 상기 향수 레시피 생성 시스템(100)은 그 비율대로 상기 복수의 엘리먼트 각각에 상응하는 향료가 차지하는 비율을 결정할 수 있다.

일 실시예에서, 상기 향수 레시피 생성 시스템(100)은 상기 복수의 엘리먼트 각각에 상응하는 향료가 차지하는 비율을 해당 엘리먼트가 차지하는 영역과 촬영장치(예를 들어 상기 사용자 단말(300))간의 거리에 기초하여 결정하고 거리에 따른 각 영역의 스코어(이하, '거리 스코어'라고 함)를 책정할 수 있다. 일 실시예에서, 상기 향수 레시피 생성 시스템(100)은 딥러닝을 통해 상기 복수의 엘리먼트 각각이 차지하는 영역 별로 해당 영역과 촬영장치간의 거리를 산출할 수 있다.

상기 복수의 엘리먼트 각각이 차지하는 영역의 거리 스코어가 산출되면 상기 향수 레시피 생성 시스템(100)은 그 비율대로 상기 복수의 엘리먼트 각각에 상응하는 향료가 차지하는 비율을 결정할 수 있다.

일 실시예에서, 상기 향수 레시피 생성 시스템(100)은 상기 복수의 엘리먼트 각각에 상응하는 향료가 차지하는 비율을 해당 엘리먼트가 차지하는 영역의 크기에 기초하여 결정할 수 있으며, 영역의 크기에 따른 스코어(즉 크기 스코어)를 책정할 수 있으며, 그 비율대로 상기 복수의 엘리먼트 각각에 상응하는 향료가 차지하는 비율을 결정할 수 있다.

한편, 일 실시예에서, 상기 향수 레시피 생성 시스템(100)은 상기 복수의 엘리먼트 각각에 상응하는 향료가 차지하는 비율을 해당 엘리먼트가 차지하는 영역의 중심점의 위치에 기초하여 결정할 수 있다.

예를 들어 상기 향수 레시피 생성 시스템(100)은 상기 복수의 엘리먼트 각각이 차지하는 영역의 중심점과 상기 판단 대상 이미지의 중심점간의 거리를 산출하고, 산출된 거리에 기초하여 중심점 스코어를 책정할 수 있다. 또는 상기 향수 레시피 생성 시스템(100)은 상기 복수의 엘리먼트 각각이 차지하는 영역의 중심점이 상기 판단 대상 이미지의 사분면 중 어디에 위치하는 지에 따라 해당 영역의 중심점 스코어를 책정할 수 있다.

각 영역의 중심점 스코어가 책정되면 상기 향수 레시피 생성 시스템(100)은 그 비율대로 상기 복수의 엘리먼트 각각에 상응하는 향료가 차지하는 비율을 결정할 수 있다.

한편 상기 향수 레시피 생성 시스템(100)은 앞서 설명한 형태 스코어, 색상 스코어, 질감 스코어, 거리 스코어, 크기 스코어, 중심점 스코어 중 적어도 일부를 독립변수로 하는 수식을 이용하여 해당 영역의 종합 스코어를 산출한 후, 그 비율대로 상기 복수의 엘리먼트 각각에 상응하는 향료가 차지하는 비율을 결정할 수도 있다.

도 5는 사용자가 입력한 이미지의 일 예를 도시한 도면이다. 사용자가 도 5와 같은 이미지를 상기 향수 레시피 생성 시스템(100)으로 입력한 경우, 상기 향수 레시피 생성 시스템(100)은 예를 들어, 도 5의 이미지에 '피부'(1), '라벤더'(2), '수평선'(3) 등의 엘리먼트가 포함되어 있다고 판단할 수 있으며, 미리 저장된 엘리먼트-향료간 대응 정보로부터 '피부'(1)가 white musk 향료에 대응되고, '라벤더'(2)가 alpine lavender 향료에 대응되며, '수평선'(3)이 sea scent 향료에 대응됨을 판단할 수 있다. 또한 상기 향수 레시피 생성 시스템(100)은 각 엘리먼트의 스코어를 판단하고 각 엘리먼트에 대응되는 향료의 비율을 결정할 수 있다.

상술한 바와 같은 방법을 통해 향료의 종류 및 배합 비율을 결정함으로써, 상기 향수 레시피 생성 시스템(100)은 사용자가 상기 판단 대상 이미지를 보았을 때에 느낄 수 있는 감정에 부합하거나 사용자가 상기 판단 대상 이미지로부터 기대하는 향을 발산하는 향수의 레시피를 생성할 수 있게 되는 효과가 있다.

한편, 일 실시예에서, 상기 복수의 엘리먼트 각각은 시각적·심미적 엘리먼트, 의미·의도적 엘리먼트 및 환경·장소적 엘리먼트 중 어느 하나로 분류될 수 있다. 상기 향수 레시피 생성 시스템(100)이 판단 가능한 모든 엘리먼트가 어느 분류에 해당되는지는 미리 정의되어 있을 수 있다. 예를 들어, 미리 정의된 바에 의해, 형태를 가지는 자연물, 인공물 혹은 생명체나 재료, 색상, 질감 등의 엘리먼트는 시각적·심미적 엘리먼트로 분류될 수 있으며, 사랑, 고요함, 맑음 등의 엘리먼트는 의미·의도적 엘리먼트로 분류될 수 있으며, 야외, 바다, 수평선, 지평선 등의 엘리먼트는 환경·장소적 엘리먼트로 분류될 수 있다.

이때, 상기 향수 레시피는, 시각적·심미적 엘리먼트에 상응하는 향료의 비율이 가장 큰 제1레시피, 의미·의도적 엘리먼트에 상응하는 향료의 비율이 가장 큰 제2레시피 및 환경·장소적 엘리먼트에 상응하는 향료의 비율이 가장 큰 제3레시피를 포함할 수 있다. 이렇게 하나의 이미지로부터 다수의 레시피를 생성하여 사용자에게 제공함으로써 사용자는 보다 자신의 취향 혹은 의도에 맞는 레시피를 선택할 수 있게 되는 효과가 있다.

도 6은 본 발명의 일 실시예에 따른 향수 레시피 생성 시스템(100)의 구성을 도시한 블록도이다.

상기 향수 레시피 생성 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 필요한 하드웨어 리소스(resource) 및/또는 소프트웨어를 구비한 논리적인 구성을 의미할 수 있으며, 반드시 하나의 물리적인 구성요소를 의미하거나 하나의 장치를 의미하는 것은 아니다. 즉, 상기 향수 레시피 생성 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 구비되는 하드웨어 및/또는 소프트웨어의 논리적인 결합을 의미할 수 있으며, 필요한 경우에는 서로 이격된 장치에 설치되어 각각의 기능을 수행함으로써 본 발명의 기술적 사상을 구현하기 위한 논리적인 구성들의 집합으로 구현될 수도 있다. 또한, 상기 향수 레시피 생성 시스템(100)은 본 발명의 기술적 사상을 구현하기 위한 각각의 기능 또는 역할별로 별도로 구현되는 구성들의 집합을 의미할 수도 있다. 상기 향수 레시피 생성 시스템(100)의 각 구성은 서로 다른 물리적 장치에 위치할 수도 있고, 동일한 물리적 장치에 위치할 수도 있다. 또한, 구현 예에 따라서는 상기 향수 레시피 생성 시스템(100)의 구성 요소 각각을 구성하는 소프트웨어 및/또는 하드웨어의 결합 역시 서로 다른 물리적 장치에 위치하고, 서로 다른 물리적 장치에 위치한 구성들이 서로 유기적으로 결합되어 각각의 상기 모듈들을 구현할 수도 있다.

또한, 본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스(resource)의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.

도 6을 참조하면, 상기 향수 레시피 생성 시스템(100)은 저장모듈(110), 엘리먼트 판단모듈(120), 향료 판단모듈(130), 레시피 생성모듈(140) 및 학습모듈(150)을 포함할 수 있다. 본 발명의 실시예에 따라서는, 상술한 구성요소들 중 일부 구성요소는 반드시 본 발명의 구현에 필수적으로 필요한 구성요소에 해당하지 않을 수도 있으며, 또한 실시예에 따라 상기 향수 레시피 생성 시스템(100)은 이보다 더 많은 구성요소를 포함할 수도 있음은 물론이다. 예를 들어 상기 향수 레시피 생성 시스템(100)은 외부 장치와 통신하기 위한 통신모듈(미도시), 상기 향수 레시피 생성 시스템(100)의 구성요소 및 리소스를 제어하기 위한 제어모듈(미도시)을 더 포함할 수 있다.

상기 저장모듈(110)은 상기 인공 뉴럴 네트워크(10)를 저장할 수 있다. 또한 상기 저장모듈(110)은 상기 인공 뉴럴 네트워크(10)의 학습에 이용될 데이터(예를 들어, 해당 이미지에 포함된 엘리먼트의 식별자 및/또는 해당 엘리먼트의 영역이 태깅된 복수의 학습용 이미지)를 더 저장할 수 있다.

또한 상기 저장모듈(110)은 본 발명의 기술적 사상을 구현하는데 필요한 각종 정보 및 데이터를 더 저장할 수 있다. 예를 들어 상기 저장모듈(110)은 엘리먼트와 향료 간의 매칭 정보 등을 더 저장할 수 있다.

상기 저장모듈(110)은 RAM 등의 휘발성 장치 또는 SDD나 HDD 등의 비휘발성 메모리 장치에 각종 정보 및 데이터를 저장할 수 있다.

상기 학습모듈(150)은 복수의 학습용 이미지를 상기 인공 뉴럴 네트워크의 입력 레이어에 입력하여 상기 인공 뉴럴 네트워크를 학습할 수 있다. 이때, 상기 복수의 학습용 이미지 각각에는, 그에 상응하는 엘리먼트의 식별자가 라벨링되어 있을 수 있다. 또한 실시예에 따라서 상기 복수의 학습용 이미지 각각에는 그에 포함된 엘리먼트가 차지하는 영역이 어노테이션되어 있을 수도 있다.

상기 엘리먼트 판단모듈(120)은 소정의 판단 대상 이미지를 구성하는 복수의 엘리먼트를 판단할 수 있다.

일 실시예에서, 상기 엘리먼트 판단모듈(120)은 상기 판단 대상 이미지를 상기 인공 뉴럴 네트워크에 입력하고, 상기 인공 뉴럴 네트워크가 출력한 출력값에 기초하여 상기 판단 대상 이미지를 구성하는 복수의 엘리먼트를 판단할 수 있다.

상기 향료 판단모듈(130)은 상기 복수의 엘리먼트 각각에 상응하는 향료를 판단할 수 있다. 일 실시예에서 상기 향료 판단모듈(130)은 미리 저장된 엘리먼트-향료 간 대응 정보에 기초하여 상기 복수의 엘리먼트 각각에 상응하는 향료를 판단할 수 있다.

상기 레시피 생성모듈(140)은 상기 복수의 엘리먼트 각각에 상응하는 향료의 조합으로 표현되는 향수 레시피를 생성할 수 있다.

일 실시예에서, 상기 향수 레시피는 상기 복수의 엘리먼트 각각에 상응하는 향료가 차지하는 비율을 포함할 수 있으며, 상기 레시피 생성모듈(140)은 상기 복수의 엘리먼트 각각에 상응하는 향료가 차지하는 비율을 결정할 수 있다.

일 실시예에서, 상기 레시피 생성모듈(140)은 상기 복수의 엘리먼트가 차지하는 각 영역의 형태, 색상, 질감, 크기, 촬영장치로부터의 거리 및 중심점의 위치 중 적어도 일부에 기초하여 상기 복수의 엘리먼트 각각에 상응하는 향료가 차지하는 비율을 결정할 수 있다.

도 7은 상기 레시피 생성모듈(140)이 향료의 비율을 결정하는 방법의 일 예를 도시한 도면이다.

도 7을 참조하면, 상기 레시피 생성모듈(140)은 상기 복수의 엘리먼트가 차지하는 각 영역의 형태, 색상, 질감을 판단할 수 있으며(S231), 그에 따른 각 엘리먼트의 형태 스코어, 색상 스코어, 질감 스코어를 책정할 수 있다.

또한 상기 레시피 생성모듈(140)은 상기 복수의 엘리먼트가 차지하는 각 영역의 중심점을 판단할 수 있으며(S232), 그에 따른 각 엘리먼트의 중심점 스코어를 책정할 수 있다.

또한 상기 레시피 생성모듈(140)은 상기 복수의 엘리먼트가 차지하는 각 영역과 촬영장치(예를 들어, 사용자 단말(300))간의 거리를 판단할 수 있으며(S233), 그에 따른 각 엘리먼트의 거리 스코어를 책정할 수 있다.

이후 상기 레시피 생성모듈(140)은 상기 복수의 엘리먼트가 차지하는 각 영역의 형태, 색상, 질감, 중심점의 위치 및/또는 촬영장치로부터의 거리에 기초하여 상기 복수의 엘리먼트 각각에 상응하는 향료가 차지하는 비율을 결정할 수 있다. 예를 들어 상기 레시피 생성모듈(140)은 각 엘리먼트의 형태 스코어, 색상 스코어, 질감 스코어, 거리 스코어, 중심점 스코어 각각에 그에 상응하는 소정의 가중치를 곱한 뒤 이들을 합산하여 각 엘리먼트 별 종합 스코어를 산출하고, 엘리먼트 별 종합 스코어의 비율대로 향료의 비율을 결정할 수 있다.

다시 도 6을 참조하면, 일 실시예에서, 상기 엘리먼트 판단모듈(120)은 상기 복수의 엘리먼트 각각을, 시각적·심미적 엘리먼트, 의미·의도적 엘리먼트 및 환경·장소적 엘리먼트 중 어느 하나로 분류할 수 있으며, 이때 상기 향수 레시피는, 시각적·심미적 엘리먼트에 상응하는 향료의 비율이 가장 큰 제1레시피, 의미·의도적 엘리먼트에 상응하는 향료의 비율이 가장 큰 제2레시피 및 환경·장소적 엘리먼트에 상응하는 향료의 비율이 가장 큰 제3레시피를 포함할 수 있다.

한편, 상기 학습모듈(150)은은 상기 향수 레시피에 기초하여 제조된 향수를 수령한 소비자가 입력한 상품평에 기초하여 상기 판단 대상 이미지에 라벨링될 엘리먼트의 식별자를 판단하고, 라벨링된 상기 판단 대상 이미지를 상기 인공 뉴럴 네트워크에 입력하여 상기 인공 뉴럴 네트워크를 추가 학습할 수도 있다.

한편, 구현 예에 따라서, 상기 향수 레시피 생성 시스템(100)은 프로세서 및 상기 프로세서에 의해 실행되는 프로그램을 저장하는 메모리를 포함할 수 있다. 상기 프로세서는 싱글 코어 CPU혹은 멀티 코어 CPU를 포함할 수 있다. 메모리는 고속 랜덤 액세스 메모리를 포함할 수 있고 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치, 또는 기타 비휘발성 고체상태 메모리 장치와 같은 비휘발성 메모리를 포함할 수도 있다. 프로세서 및 기타 구성 요소에 의한 메모리로의 액세스는 메모리 컨트롤러에 의해 제어될 수 있다.

한편, 본 발명의 실시예에 따른 방법은 컴퓨터가 읽을 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명의 실시예에 따른 제어 프로그램 및 대상 프로그램도 컴퓨터로 판독 가능한 기록 매체에 저장될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.

기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다.

컴퓨터로 읽을 수 있는 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (21)

1. 소정의 판단 대상 이미지를 구성하는 복수의 엘리먼트를 판단하는 엘리먼트 판단모듈;
   상기 복수의 엘리먼트 각각에 상응하는 향료를 판단하는 향료 판단모듈;
   상기 복수의 엘리먼트 각각에 상응하는 향료의 조합으로 표현되는 향수 레시피를 생성하는 레시피 생성모듈; 및
   소정의 이미지를 입력 레이어를 통해 입력받아, 상기 이미지에 포함된 복수의 엘리먼트를 판단하기 위한 출력값을 출력 레이어를 통해 출력하는 인공 뉴럴 네트워크를 저장하는 저장모듈-여기서, 상기 인공 뉴럴 네트워크는, 입력된 이미지를 구성하는 각 픽셀 별로 해당 픽셀이 어느 엘리먼트에 해당하는지 여부를 판단할 수 있는 출력값을 출력하는 픽셀 레벨 클레시피케이션 뉴럴 네트워크임-을 포함하되,
   상기 엘리먼트 판단모듈은,
   상기 판단 대상 이미지를 상기 인공 뉴럴 네트워크에 입력하고, 상기 인공 뉴럴 네트워크가 출력한 출력값에 기초하여 상기 판단 대상 이미지를 구성하는 복수의 엘리먼트 및 상기 복수의 엘리먼트가 각각 차지하는 영역을 판단하고,
   상기 엘리먼트 판단모듈은,
   상기 복수의 엘리먼트가 차지하는 각 영역의 형태, 크기, 색상 및 질감을 판단하고,
   상기 복수의 엘리먼트가 차지하는 각 영역의 중심점을 판단하고,
   상기 판단 대상 이미지가 촬영된 이미지인 경우, 상기 복수의 엘리먼트가 차지하는 각 영역과 촬영장치와의 거리를 판단하고,
   상기 향수 레시피는 상기 복수의 엘리먼트 각각에 상응하는 향료가 차지하는 비율을 포함하며,
   상기 레시피 생성모듈은,
   상기 복수의 엘리먼트 각각에 상응하는 향료가 차지하는 비율을 해당 엘리먼트가 차지하는 영역의 형태, 크기, 색상 및 질감, 촬영장치와의 거리 및 중심점의 위치에 기초하여 결정하는 이미지 기반의 향수 레시피 생성 시스템.
   
2. 제1항에 있어서,
   상기 엘리먼트 판단모듈은,
   상기 복수의 엘리먼트 각각을, 시각적·심미적 엘리먼트, 의미·의도적 엘리먼트 및 환경·장소적 엘리먼트 중 어느 하나로 분류하며,
   상기 향수 레시피는,
   시각적·심미적 엘리먼트에 상응하는 향료의 비율이 가장 큰 제1레시피, 의미·의도적 엘리먼트에 상응하는 향료의 비율이 가장 큰 제2레시피 및 환경·장소적 엘리먼트에 상응하는 향료의 비율이 가장 큰 제3레시피를 포함하는 이미지 기반의 향수 레시피 생성 시스템.
   
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 제1항에 있어서,
   상기 엘리먼트 판단모듈은,
   상기 복수의 엘리먼트가 차지하는 각 영역 내의 각 픽셀별 출력 값들의 대표값을 더 산출하고,
   상기 레시피 생성모듈은,
   상기 복수의 엘리먼트 각각에 상응하는 향료가 차지하는 비율을 해당 엘리먼트가 차지하는 각 영역 내의 각 픽셀별 출력 값들의 대표값에 더 기초하여 결정하는 이미지 기반의 향수 레시피 생성 시스템.
   
8. 제1항에 있어서,
   상기 이미지 기반의 향수 레시피 생성 시스템은,
   복수의 학습용 이미지를 상기 인공 뉴럴 네트워크에 입력하여 상기 인공 뉴럴 네트워크를 학습하는 학습모듈을 더 포함하고,
   상기 복수의 학습용 이미지 각각에는, 그에 상응하는 엘리먼트의 식별자가 라벨링되어 있는 이미지 기반의 향수 레시피 생성 시스템.
   
9. 제8항에 있어서,
   상기 학습모듈은,
   상기 향수 레시피에 기초하여 제조된 향수를 수령한 소비자가 입력한 상품평에 기초하여 상기 판단 대상 이미지에 라벨링될 엘리먼트의 식별자를 판단하고, 라벨링된 상기 판단 대상 이미지를 상기 인공 뉴럴 네트워크에 입력하여 상기 인공 뉴럴 네트워크를 추가 학습하는 이미지 기반의 향수 레시피 생성 시스템.
   
10. 이미지 기반의 향수 레시피 생성 시스템이, 소정의 판단 대상 이미지를 구성하는 복수의 엘리먼트를 판단하는 단계;
    상기 이미지 기반의 향수 레시피 생성 시스템이, 상기 복수의 엘리먼트 각각에 상응하는 향료를 판단하는 단계; 및
    상기 이미지 기반의 향수 레시피 생성 시스템이, 상기 복수의 엘리먼트 각각에 상응하는 향료의 조합으로 표현되는 향수 레시피를 생성하는 단계를 포함하되,
    상기 이미지 기반의 향수 레시피 생성 시스템은,
    소정의 이미지를 입력 레이어를 통해 입력받아, 상기 이미지에 포함된 복수의 엘리먼트를 판단하기 위한 출력값을 출력 레이어를 통해 출력하는 인공 뉴럴 네트워크를 저장하며-여기서, 상기 인공 뉴럴 네트워크는, 입력된 이미지를 구성하는 각 픽셀 별로 해당 픽셀이 어느 엘리먼트에 해당하는지 여부를 판단할 수 있는 출력값을 출력하는 픽셀 레벨 클레시피케이션 뉴럴 네트워크임-,
    상기 복수의 엘리먼트를 판단하는 단계는,
    상기 판단 대상 이미지를 상기 인공 뉴럴 네트워크에 입력하고, 상기 인공 뉴럴 네트워크가 출력한 출력값에 기초하여 상기 판단 대상 이미지를 구성하는 복수의 엘리먼트 및 상기 복수의 엘리먼트가 각각 차지하는 영역을 판단하는 단계를 포함하고,
    상기 복수의 엘리먼트를 판단하는 단계는,
    상기 복수의 엘리먼트가 차지하는 각 영역의 형태, 크기, 색상 및 질감을 판단하는 단계;
    상기 복수의 엘리먼트가 차지하는 각 영역의 중심점을 판단하는 단계;
    상기 판단 대상 이미지가 촬영된 이미지인 경우, 상기 복수의 엘리먼트가 차지하는 각 영역과 촬영장치와의 거리를 판단하는 단계를 포함하고,
    상기 향수 레시피는 상기 복수의 엘리먼트 각각에 상응하는 향료가 차지하는 비율을 포함하며,
    상기 향수 레시피를 생성하는 단계는,
    상기 복수의 엘리먼트 각각에 상응하는 향료가 차지하는 비율을 해당 엘리먼트가 차지하는 영역의 형태, 크기, 색상 및 질감, 촬영장치와의 거리 및 중심점의 위치에 기초하여 결정하는 단계를 포함하는 이미지 기반의 향수 레시피 생성 방법.
    
11. 제10항에 있어서,
    상기 복수의 엘리먼트를 판단하는 단계는,
    상기 복수의 엘리먼트 각각을, 시각적·심미적 엘리먼트, 의미·의도적 엘리먼트 및 환경·장소적 엘리먼트 중 어느 하나로 분류하는 단계를 포함하며,
    상기 향수 레시피는,
    시각적·심미적 엘리먼트에 상응하는 향료의 비율이 가장 큰 제1레시피, 의미·의도적 엘리먼트에 상응하는 향료의 비율이 가장 큰 제2레시피 및 환경·장소적 엘리먼트에 상응하는 향료의 비율이 가장 큰 제3레시피를 포함하는 이미지 기반의 향수 레시피 생성 방법.
    
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 제10항에 있어서,
    상기 복수의 엘리먼트를 판단하는 단계는,
    상기 복수의 엘리먼트가 차지하는 각 영역 내의 각 픽셀별 출력 값들의 대표값을 산출하는 단계를 더 포함하고,
    상기 향수 레시피를 생성하는 단계는,
    상기 복수의 엘리먼트 각각에 상응하는 향료가 차지하는 비율을 해당 엘리먼트가 차지하는 각 영역 내의 각 픽셀별 출력 값들의 대표값에 기초하여 결정하는 단계를 더 포함하는 이미지 기반의 향수 레시피 생성 방법.
    
17. 제10항에 있어서,
    상기 이미지 기반의 향수 레시피 생성 방법은,
    복수의 학습용 이미지를 상기 인공 뉴럴 네트워크에 입력하여 상기 인공 뉴럴 네트워크를 학습하는 단계를 더 포함하고,
    상기 복수의 학습용 이미지 각각에는, 그에 상응하는 엘리먼트의 식별자가 라벨링되어 있는 이미지 기반의 향수 레시피 생성 방법.
    
18. 제17항에 있어서,
    상기 이미지 기반의 향수 레시피 생성 방법은,
    상기 향수 레시피에 기초하여 제조된 향수를 수령한 소비자가 입력한 상품평에 기초하여 상기 판단 대상 이미지에 라벨링될 엘리먼트의 식별자를 판단하는 단계; 및
    라벨링된 상기 판단 대상 이미지를 상기 인공 뉴럴 네트워크에 입력하여 상기 인공 뉴럴 네트워크를 추가 학습하는 단계를 더 포함하는 이미지 기반의 향수 레시피 생성 방법.
    
19. 데이터 처리장치에 설치되며 제10항, 제11항 및 제16항 내지 제18항 중 어느 한 항에 기재된 방법을 수행하기 위한 컴퓨터 판독 가능한 기록매체에 기록된 컴퓨터 프로그램.
    
20. 제10항, 제11항 및 제16항 내지 제18항 중 어느 한 항에 기재된 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
    
21. 이미지 기반의 향수 레시피 생성 시스템으로서,
    프로세서; 및 컴퓨터 프로그램을 저장하는 메모리를 포함하고,
    상기 컴퓨터 프로그램은, 상기 프로세서에 의해 실행되는 경우, 상기 이미지 기반의 향수 레시피 생성 시스템으로 하여금 제10항, 제11항 및 제16항 내지 제18항 중 어느 한 항에 기재된 방법을 수행하도록 하는 이미지 기반의 향수 레시피 생성 시스템.