KR102183170B1 - 복합 신경망 알고리즘을 적용한 주류 발효 시스템 - Google Patents

Abstract

본 발명은 당화과정과 알콜발효가 동시에 이루어지는 병행 복발효 방식의 전통주의 발효 과정을 정밀하게 제어하여 이상발효 없이 원하는 목적에 따른 주류를 생산할 수 있도록 하는 복합 신경망 알고리즘을 적용한 주류 발효 시스템에 관한 것으로, 누룩이 작용하면서 액화와 당화 및 알코올 발효가 동시에 이루어지는 전통주 양조를 위하여 발효조의 각종 상태 정보들 복합 신경망 알고리즘을 통해 분석하는 것으로 현재의 발효 상태를 전체 발효 과정과 목표에 대응하여 분석하여 온도 제어 타이밍과 온도 제어에 대한 정보를 제공할 수 있어 숙련도가 낮은 사용자라 하더라도 목표로 하는 전통주 발효 성공 가능성을 높일 수 있는 효과가 있다.

Description

복합 신경망 알고리즘을 적용한 주류 발효 시스템{Alcohol fermentation system with complex neural network algorithm}

본 발명은 복합 신경망 알고리즘을 적용한 주류 발효 시스템에 관한 것으로, 특히 당화과정과 알콜발효가 동시에 이루어지는 병행 복발효 방식의 전통주의 발효 과정을 정밀하게 제어하여 이상발효 없이 원하는 목적에 따른 주류를 생산할 수 있도록 하는 복합 신경망 알고리즘을 적용한 주류 발효 시스템에 관한 것이다.

맥주와 와인 그리고 위스키는 전 세계적인 술이다. 반면 막걸리와 소주(전통 증류식 소주)는 아주 훌륭한 장점에도 불구하고 국내에서조차 활성화 내지는 주류의 흐름을 차지하지 못하고 있다. 이는 두가지 이유가 있는데 첫 번째로는 그 술에 대한 스토리와 컨텐츠의 부재이고 두 번째는 양조 방법의 체계화의 부재이다.

그 중에서 술에 대한 스토리와 컨텐츠는 다양하게 개발되고 있으며 한류 붐을 타고 막걸리나 전통주에 대한 관심이 높아지고 있는 실정이다. 하지만, 양조 방법의 경우 체계화되고 있지 못하여 전통주의 경우 동일한 재료를 이용하더라도 맛의 차이가 발생하고 있는 실정이다.

현재 관심이 높은 막걸리의 경우 단일 효모균인 saccharomyces 균을 고두밥에 배양한 입국을 이용해서 빚는 방식으로 그 제조 방법을 단순화하였다. 당화를 위한 역가를 맞추고 거기에 단일 효모를 투입해서 발효시키는 제조법은 실패의 확률을 최소화 하였으나 맛이 단순하고 밍밍한 맛을 제성과 조미의 과정을 거쳐서 맞춰가는 방식으로 제조하고 있어 대량 생산되는 막걸리의 경우 그 맛이 대부분 비슷한 상황이다.

반면, 맥주와 와인의 경우 오랬동안 축적된 데이터 분석을 통해 맛과 품질을 결정하는 체계화가 이루어져 있다. 예를 들어 맥주의 경우 재료 배합에 따른 빛깔과 쓰기 등을 어떤 몰트와 호프를 배합하면 어떤 탁도의 어떤 맛의 결과가 나온다는 것을 데이터화했다. 또한 당화와 발효 조건에 대하여 체계화하여 자동화를 이룬 상태이다.

실질적으로 와인의 경우 재료에 종속적이고 숙성 방식이 다양할 뿐 그 발효과정은 비교적 간단하므로 발효 자체는 용이하게 자동화할 수 있다.

맥주의 경우 역시 와인보다는 발효과정이 복잡하지만 당화 과정과 알코올 발효 과정이 분리되어 비교적 데이터화가 용이하며 자동화도 가능한 상황이다.

하지만, 전통주의 경우 당화 과정과 알코올 발효 과정이 동시에 이루어지므로 약간의 온도 조절 실패만으로도 이상 발효에 의해 폭발적인 미생물 증식이 이루어져 실패 가능성이 높으며 복합적 조건을 동시에 관리해야 하므로 경험적인 방식으로 소량 생산되고 있으며 매번 그 맛도 편차가 있는 상황이다.

따라서, 전통주 양조를 위해서 데이터를 수집한다고 하더라도 당화와 발효에 미치는 수 많은 영향들을 파악하기 어렵고 당화와 발효의 조건이 다르기 때문에 이를 적절히 관리하기가 어렵다. 특히, 여러 조건들과 현재의 당화 및 발효 상태가 상호 연관적으로 복잡하게 일어나기 때문에 여러 측정 데이터들과 당화 및 발효 상태를 통계적으로 단순 분석하여 제어 방식을 구성하기 어렵다.

나아가 이러한 복합 조건을 고려하여 당화를 최대치로 시키고 알코올 발효를 정밀 제어할 수도 있으나 이 경우 알코올 수율과 도수는 높지만 술의 다양한 풍미가 사라지게 되므로 알코올 발효 수율을 높이는 것이아닌 향기와 맛의 밸런스를 유지하면서 발효를 제어해야 한다는 점에서 전통주 양조는 그 데이터를 수집하여 단순 통계화하는 것으로는 체계화 하기 어렵다.

따라서, 생산하고자 하는 전통주의 종류에 따른 당화 및 발효 과정에 대한 정보를 수집하여 분석하되, 단순 통계 방식이 아닌 신경망을 통해 수집 데이터를 학습함으로써 상황별로 다양한 분석이 필요한 전통주 발효를 복합적으로 분석하고자 하는 시도도 있을 것으로 예상된다. 그러나, 단순히 수치적인 정보나 데이터 만으로 실시간 변화되며 미생물이 증식하는 발효조 상태를 파악하기 어렵기 때문에 실제 양조에 성공한 데이터들을 마련하여 이를 학습시킨다 하더라도 현재의 상태가 어떠한 상태라는 것을 예측하는 정도에 그치므로 적용에 한계가 있으며, 술맛을 변경한다거나 환경 조건이 변화된다거나, 재료의 품질에 변화가 있다거나 하는 경우에 대응하기가 쉽지 않다.

좀 더 현실적으로 양조에 성공한 충분한 라벨링된 학습 데이터를 수집하는 것 부터가 쉽지 않고, 일부 데이터를 마련하다 하더라도 단순한 신경망을 이용하겠다는것 만으로는 어떠한 정보를 어떻게 학습하여 이를 실제 발효 제어에 어떻게 이용하겠다는 모델을 구축하기도 어려운 실정이다.

한국 등록특허 제10-1903528호, [딥러닝 기법을 활용한 매립가스 및 바이오가스 발전소 최적 제어 시스템] 한국 등록특허 제10-1765652호, [ICT 기반 디지털 전통발효식품 제조용기]

본 발명 실시예들의 목적은 누룩이 작용하면서 액화와 당화 및 알코올 발효가 동시에 이루어지는 전통주 양조를 위하여 발효조의 각종 상태 정보들을 센서들을 통해 검출하고 실제 발효되는 상태를 현미경과 카메라를 통해서 확인하되, 영상 정보는 제 1 신경망을 통해 분석하여 현재 발효 상태를 판별하도록 하고, 이렇게 판별된 영상 정보와 다른 센서 정보들을 입력으로 하는 제 2 신경망을 통해서 현재의 발효 상태를 전체 발효 과정과 목표에 대응하여 분석하여 제어를 위한 기본 정보를 생성할 수 있도록 하는 복합 신경망 알고리즘을 적용한 주류 발효 시스템을 제공하는 것이다.

본 발명 실시예의 다른 목적은 복합 신경망 알고리즘을 통해서 얻어진 현재 발효 상태 정보를 전체 발효 과정에서의 목표 상태와 대비한 리워드 값으로 하고, 온도 제어를 실행으로 하여 발효조의 각종 센싱 정보와 영상 정보를 상태 정보로 하는 강화학습을 통해서 최적 리워드 생성을 위한 자동 온도 제어가 가능하도록 함으로써 복합적인 상태를 기반으로 목표로 하는 술맛을 제공할 수 있도록 하는 복합 신경망 알고리즘을 적용한 주류 발효 시스템을 제공하는 것이다.

본 발명 실시예의 또 다른 목적은 강화학습을 위한 리워드 제공부를 원하는 맛과 알코올 도수의 술을 얻기 위한 당화 및 발효 과정을 사용자가 제공하는 양조 정보 기반으로 생성하는 GAN(Generative Adversarial Network) 기반 지능망을 통해 가상으로 생성하고, 이를 목표로 리워드가 자동 판별되도록 함으로써 실질적인 제어는 강화학습 수행부에서 자동으로 학습하면서 수행할 수 있도록 하여 재료의 변화나 맛의 변화를 지시하여 그에 따른 자동 발효 제어를 기대할 수 있도록 한 복합 신경망 알고리즘을 적용한 주류 발효 시스템을 제공하는 것이다.

본 발명 실시예의 또 다른 목적은 강화학습의 편향된 학습 문제를 실제 물리적으로 분산된 여러 발효조를 통해 비동기 방식으로 지능망을 동기화하도록 하여 해결할 수 있도록 한 복합 신경망 알고리즘을 적용한 주류 발효 시스템을 제공하는 것이다.

상기와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 복합 신경망 알고리즘을 적용한 주류 발효 시스템은 복수의 센서와 카메라 및 온도 조절부가 구성된 발효조와 상기 발효조의 발효 상태를 분석하는 지능망 발효 관리부를 포함하는 주류 발효 시스템으로서, 지능망 발효 관리부는, 발효조에 구성된 복수의 정보 수집 센서들을 통해 수치 데이터를 수집하는 센서 데이터 수집부와; 발효조의 발효 대상에 대한 발효 상태 영상을 수집하는 영상 수집부와; 발효조의 온도를 제어하는 구동 제어부와; 현재 발효 상태를 사용자에게 제공하고 사용자로부터 발효 대상과 발효 목표를 포함하는 양조 정보를 수집하는 사용자 인터페이스부와; 영상 수집부의 수집 영상을 기반으로 발효 상태를 판별하는 제 1 신경망과, 제 1 신경망의 출력과 센서 데이터 수집부의 수집 데이터 및 사용자 인터페이스부를 통해 수집된 양조 정보를 입력으로 하여 현재 발효 상태를 출력하는 다중 지능망 학습부를 포함한다.

일례로서, 다중 지능망 학습부가 출력하는 현재 발효 상태 정보를 목표 양조 단계와 단계별 목표와 대비하여 리워드를 산출하는 리워드 판정부와; 리워드 판정부의 출력을 리워드 값으로 하고, 센서 데이터 수집부를 통해 수집되는 정보와 영상 수집부를 통해 제 1 신경망을 통해 얻어진 정보를 상태 정보로 하여 발효조의 온도를 최적으로 제어하는 실행 정보를 생성하고 이를 통해 구동 제어부를 제어하는 강화 학습부를 포함할 수 있다.

일례로서, 리워드 판정부는 양조 정보를 기준으로 양조할 주종을 판단하는 양조 종류 판정부와; 현재 진행된 누적 과정을 통해 기 설정된 양조 단계 중 위치를 판단하는 양조 단계 판정부와; 현재 양조 단계에서 목표로 하는 발효 상태 정보를 산출하는 단계별 목표 도출부와; 단계별 목표 도출부의 목표 발효 상태와 발효 상태 분석부를 통해 제공되는 현재 발효 상태를 비교하여 리워드를 산정하는 목표 대비 판정부를 포함할 수 있다.

다른 예로서, 리워드 판정부는 사용자가 제공하는 양조 정보 기반으로 원하는 맛과 알코올 도수의 술을 얻기 위한 당화 및 발효 과정과 각 과정별 발효 목표를 학습을 통해 생성하는 GAN(Generative Adversarial Network) 기반 지능망 모델을 포함하며, GAN 기반 지능망 모델을 통해 생성한 각 과정과 과정별 목표에 대한 발효 상태 분석부의 현재 발효 상태 정보를 비교하여 그 달성도를 기반으로 리워드를 산정할 수 있다.

일례로서, 강화 학습부는 수집된 상태 정보를 학습하여 구동 제어부의 제어 신호를 제공하기 위한 온도 제어별 적합도를 확률값으로 출력하는 최적제어 정책신경망 모델이 적용된 실행부(actor)와, 실행부와 동일한 상태 정보를 입력으로 하여 상태 정보에 따른 발효 환경에 대해 기 설정된 온도로 구동 제어부가 제어할 경우 예상되는 보상 정보를 출력하도록 하는 가치 산정 신경망 모델이 적용된 비평부(critic)를 포함할 수 있다. 나아가, 강화 학습부의 학습 결과를 통신망을 통해 수집하여 반영하는 메인 강화 학습부를 포함하며, 메인 강화 학습부는 복수의 발효조에 각각 대응되는 강화 학습부들과 통신망을 구성하며 복수의 강화 학습부로부터 각각 학습 결과를 비동기 방식으로 수집하며 해당 학습 결과를 제공한 강화 학습부와 동기화를 수행할 수 있다.

본 발명의 실시예에 따른 복합 신경망 알고리즘을 적용한 주류 발효 시스템은 누룩이 작용하면서 액화와 당화 및 알코올 발효가 동시에 이루어지는 전통주 양조를 위하여 발효조의 각종 상태 정보들 복합 신경망 알고리즘을 통해 분석하는 것으로 현재의 발효 상태를 전체 발효 과정과 목표에 대응하여 분석하여 온도 제어 타이밍과 온도 제어에 대한 정보를 제공할 수 있어 숙련도가 낮은 사용자라 하더라도 목표로 하는 전통주 발효 성공 가능성을 높일 수 있는 효과가 있다.

또한, 본 발명의 실시예는 복합 신경망 알고리즘을 통해서 얻어진 현재 발효 상태 정보와 수집되는 센싱 및 영상 정보를 토대로 최상의 양조를 달성할 수 있는 방향으로 온도 제어를 학습하는 강화 학습부를 적용함으로써 학습의 반복을 통해서 누구나 목표로 하는 술맛을 제공하는 양조에 성공할 수 있도록 하는 효과가 있다.

나아가, 본 발명 실시예는 사용자가 제공하는 양조 정보 기반으로 발효 과정과 각 과정별 목표를 자동으로 생성하는 생성적 적대 신경망(GAN:Generative Adversarial Network)을 적용하여 목표 양조를 위한 과정과 과정별 목표만 실제에 근접하게 자동 생성하도록 학습시키고, 이를 목표로 하는 실제 제어는 강화학습부를 통해 학습시킴으로써 재료의 변화나 맛의 변화를 지시하여 그에 따른 자동 발효 제어가 가능하도록 하는 효과가 있다.

도 1은 주류 발효 방식을 설명하기 위한 발효 과정 개념도이다.
도 2는 전통주의 예시적 제조 과정을 보인 순서도이다.
도 3은 전통주 발효 과정에서 나타나는 정상적 효모 발효 상태와 이상 발효 상태를 보인 현미경 사진이다.
도 4는 본 발명의 실시예에 따른 복합 신경망을 알고리즘을 적용한 주류 발효 시스템을 보인 구성도이다.
도 5는 본 발명의 실시예에 따른 지능망 발효 관리부의 구성을 보인 구성도이다.
도 6은 본 발명의 실시예에 따른 지능망 발효 관리부의 실질적인 동작 방식을 설명하기 위한 구체적인 일부 구성도이다.
도 7은 본 발명의 실시예에 따른 다중 지능망 학습부의 일부 구성인 현미경 형상 분석부의 예시를 보인 것이다.
도 8은 본 발명의 실시예에 따른 발효 상태 분석부를 설명하는 예시도이다.
도 9는 본 발명의 실시예에 따른 강화 학습부의 확장 구성을 설명하기위한 개념도이다.

상기한 바와 같은 본 발명을 첨부된 도면들과 실시예들을 통해 상세히 설명하도록 한다.

본 발명에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.

또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서, "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.

이하, 본 발명의 실시예들을 도 1 내지 도 9를 참조하여 설명한다.

도 1은 주류 발효 방식을 설명하기 위한 발효 과정 개념도이다.

양조는 크게 당화 단계와 알코올 발효 단계 및 숙성 단계로 구분할 수 있다. 먼저 당화 단계는 다당을 단당으로 분해하는 것으로, 단당이 복수 개의 여러 개의 체인으로 엮여 있는 다당의 체인을 끊어서 알코올 발효가 일어나도록 준비하는데, 당화효소가 이러한 작업을 수행한다.

이렇게 당화 과정이 완료되면 효모를 통해서 단당을 알코올로 발효하는 과정을 통해 원하는 술을 얻을 수 있게 되는데, 이러한 당화 및 알코올 발효 과정이 각각 수행되거나 복합적으로 수행되게 된다.

도 1a에 도시된 단발효 과정은 와인과 같은 과실주에 적용되는 것으로, 이미 단당이나 이당류인 과실을 직접 이용하기 때문에 애초에 당화 과정이 필요하지 않고 효모만 주입하면 알코올 발효가 일어나 과실주가 완성된다. 물론, 이러한 과실주는 이러한 발효 과정 보다는 과실 자체의 특성이나 후반 숙성 과정에서 풍미가 달라지지만 알코올 발효 과정 자체는 큰 실패 없이 수행할 수 있으며, 이러한 이유로 자연적으로 과실이 떨어져 술이 되기도 한다.

도 1b는 예를 들어 맥주와 같이 먼저 당분을 만들고 효모를 첨가하여 알코올을 생성해야 하는 단행 복발효 과정을 보인 것이다. 도시된 바와 같이 보리를 발아시켜 맥아 상태로 만들고 이를 분쇄한 후 호프와 물을 추가하여 맥아를 올리고당이나 포도당으로 당화시킨다. 그 다음 당화된 맥즙에 효모를 주입하여 알코올 발효하여 맥주를 생산한다.

도시된 바와 같이 맥아를 당화시키는 과정과 이를 알코올 발효시키는 과정이 구분되어 있기 때문에 발효 과정에 대한 데이터를 수집하여 분석하는 것으로 자동화 공정을 통해 맥주를 생산할 수 있게 된다.

예를 들어 당화조에서 적정한 온도(55~75도)에 당화를 마친 후 온도를 빠른 시간내에 20도 이하로 낮추고, 이를 준비된 발효조로 옮긴 다음 효모를 투입하여 발효온도(에일:15~25도/라거:5~15도)를 유지해 주면 알코올이 자연스럽게 생성된다.

하지만, 전통주(예를 들어 탁주나 약주))의 경우 도 1c에 나타낸 바와 같이 당화 공정과 알코올 발효 공정이 동시에 수행된다.

도시된 바와 같이 먼저 전분 원료에 누룩균을 뿌려 누룩 효소를 발생시킨다. 이후 해당 누룩에 효모를 추가하여 효모를 어느정도 양이 될때가지 배양하여 주모를 만든다. 이를 밑술이나 술밑이라 하며 효모를 순수하게 배양해 놓은 일종의 스타터에 해당한다. 이를 전분 원료에 적용하여 술덧을 만들어 술을 빚게 되는데, 이 과정에서 액화와 당화 및 알코올 발효가 동시에 일어나 약주나 탁주가 만들어지게 된다. 이러한 과정을 병행 복발효과정이라 하며, 알코올 발효 이전에 적절하게 전분을 당화시켜주지 않으면 알코올 발효가 되지 않고 알코올 발효 과정에서 온도를 적절히 맞추어 주지 않으면 이상 발효가 일어나 세균에 의해 폭발적으로 미생물이 증식하여 술이 쉬어지게 된다.

당화의 경우 상대적으로 고온에서 이루어지게 되는데 맥주 당화는 65도에서 68도 사이의 온도에서 가열하면 아밀라아제 등의 효소 작용으로 당화가 이루어게 된다. 하지만, 알코올 발효를 담당하는 효모균은 이러한 당화에 최적화된 고온에서 사멸하기 때문에 당화와 알코올 발효가 동시에 일어나는 경우 온도 제어가 극히 중요하게 된다.

특히, 효소가 곡물의 전분질을 당분으로 변화시키는 경우 효소마다 최적 온도와 산도가 있으며 일정한 온도 범위를 넘으면 효소가 불활성화되며, 곡물의 단백질 성분 중 크기가 큰 단백질은 술의 바디를 탁하게 하고 끈적합을 유발하고 중간 크기의 단백질은 거품의 형성과 유지에 기여하며, 작은 크기의 단백질은 효모의 영양분이 된다. 따라서, 큰 크기의 단백질을 중간 이하의 크기로 잘라주어야 하는데 이를 단백질 조정이라 하며 이를 위해서 50~55도 온도에서 20~30분 전도 곡물을 유지시키는 과정이 필요하다. 즉, 바디감 조절을 위한 온도 제어와 유지 역시 중요하다.

결국 발효에서 누룩의 경우 당화 효소에 의한 처리와 알코올 발효를 위한 적정 온도가 다르기 때문에 단일 온도에서 이러한 두 가지가 원활하게 일어나도록 하는 것, 또한 당화가 되고난 후 알코올 발효를 진행할 경우 발효되는 알코올로 이상 발효가 억제되는 유기적 연관 관계가 존재하므로 초기 발효 과정에서의 온도 제어가 극히 중요하다.

이와 같은 병행 복발효의 경우 당화와 알코올 발효의 밸런스를 잘 조절해야 하는 이유로, 맛과 풍미를 높이고자 하는 목적도 있다. 이런 당화 과정과 알코올 발효 과정을 알코올 수율 관점에서 접근하면 정제 효소를 통해서 초기에 급격하게 최대로 당화시킨 후 알코올 발효를 진행하면 알코올 수율과 알코올 도수는 높지만 술에서 풍미가 사라지게 된다.

즉, 전통주 양조는 단순히 알코올 발효 수치를 최대화하는 것이 아니라 알코올 발효에서 얻어지는 양조 품질을 더 우선시하기 대문에 효율의 관점이 아닌 향기와 맛의 밸런스를 유지하면서 발효 제어를 수행해야만 한다. 예를 들어 모든 전분을 단당으로 당화시키는 것이 아니라 일부 발효되지 않고 발효조 안에 남게 되는 비발효당(일부 다당류)을 일부러 만들어 단맛을 높이고 바디감을 높일 수 있다. 이를 위해서 당화 온도를 높이거나 아밀로펙틴 성분이 많은 찹쌀을 멥쌀 대신 사용한다거나 물의 양을 줄이는 등의 조절이 가능할 수 있는데, 이 경우 당화 온도 증가는 효모의 비활성화에 따른 알코올 생성 저하를 가져오고 이는 잡균의 증가를 유발할 수 있어 정밀한 온도 제어가 필요하게 된다.

도 2는 전통주의 예시적 제조 과정을 보인 순서도이다.

도시된 바와 같이 먼저 전분을 포함한 곡물을 당화 효소가 잘 분해할 수 있도록 물에 불리고 통상적으로는 호화가 쉽도록 가열하여 관리한다. 주된 방법으로는 적당한 물을 가하여 죽을 쑤거나 백설기를 만들거나 고두밥으로 찌고 이러한 처리 과정을 거친 전분을 누룩과 적절한 비율로 섞는데, 통상적으로는 당화력 300SP의 경우 9%에서 13%~15%까지 섞게 되며, 많이 사용할 때는 20%~25% 이상을 사용하기도 한다.

이런 과정을 거친후 소독된 용기나 발효조에 쌀과 누룩의 무게 중량에 비례하여 적정한 물을 더하여 당화 및 발효 공정을 시작을 하게 된다.

당화 및 발효 공정의 경우 초기에는 당화를 위하여 반드시 일정한 온도를 유지해 주어야 하며 당화가 일어나기 시작하면 그 이후부터는 당화 과정에서 발생하는 열에 의해 효모균이 활성화되고, 해당 효모균이 알코올 발효를 수행하며 다른 잡균에 대한 제어는 생성된 알콜이 함으로 해서 초기 발효가 일어난 이후부터는 안정적으로 발효가 유지되어 약주나 탁주가 완성된다.

즉, 당화제인 동시에　발효제인 누룩을 사용하고 당화와 발효가 동시에 일어나는 병행 복발효를　하나의 발효조를 통해 진행하므로 단일 발효조 내에서 누룩균의 당화 최적 온도(55~75도)와 알코올 발효온도(25도내외)의 차가 보통　25~35도정도 된다. 만일 당화와 발효온도의　중간 온도인 약 35도 정도에서 발효를 시작해도효모의 운동에너지가 열에너지로 변환이 되어 금방　38도 이상이 되며,　이 온도에서는　효모가 지쳐 더 이상 생장이 억제되고,　발효온도가 40도 이상이 넘어가면 효모가 사멸하기 시작한다. 따라서, 전통주의 발효 온도는 당화온도 보다 더 낮은 온도인 효모가 좋아하는 온도에 맞추어 발효시키게 된다.

이와 같이 낮은 온도에서 발효가 되기 때문에 곡물이 효과적으로 당화되도록 분쇄를 하거나 뜨거운 물에 호화를 충분히 시킨 후 식혀서 발효조 안에 넣어야 하며, 밑술에서는 교반 과정을 통해 효모의 활성화 온도 25도(발효조 내부의 온도)정도에서 발효하게 된다.

도 3은 당화 및 알코올 발효 과정에서 정상적으로 활성화되는 효모균과 비정상 발효시 나타나는 유산균이나 초산균의 사진을 보인 것이다. 도 3a에 도시된 바와 같이 정상적으로 온도 제어가 이루어지는 경우 효모균이 활성화되어 알코올을 생성하고 생성된 알코올이 잡균을 제어하게 되는데, 온도 제어에 실패하는 경우 도 3b와 같이 세균이 폭발적으로 발생하게 되된다. 비정상 발효시 막대나 소시지 타입의 비정상균(유산균)이나 검은 점과 같이 술을 시어지게 하는 초산균이 나타나게 된다.

결국, 당화와 알코올 발효에 필요한 최적의 온도제어의 타이밍과 제어 온도를 산출해야 하는데, 당화를 위한 재료의 종류와 상태, 사용 효모균의 특성과 각종 온도 조건, 이러한 여러 조건에 따라 다르게 변하는 발효조의 상태(온도, 산도, 이산화 탄소, 비중, 효모 활성화 정도, 발효조 내부 기포의 크기나 빈도 등)를 특정하기가 어렵기 때문에, 현재까지는 숙련자가 이러한 여러 상황을 고려한 후 발효 상태를 눈으로 보고 냄새와 맛을 통해 확인하면서 경험적으로 판단하여 발효 온도를 조절했다.

본 발명은 이러한 다양한 조건들을 통합적으로 반영하여 현재의 발효 상태를 정확하게 파악함으로써 실제 임계치를 넘어 변화된 상태를 파악한 후 제어하는 방식이 아닌 임계치에 도달하는 것을 분석하여 그 직전에 온도를 제어하여 이상 발효를 방지하고 원하는 풍미를 얻을 수 있도록 실제 경험자의 판단 방식을 고려한 신경망 알고리즘을 적용한다.

도 4는 본 발명의 실시예에 따른 복합 신경망을 알고리즘을 적용한 주류 발효 시스템을 보인 구성도이다.

도시된 바와 같이 복합 신경망을 알고리즘을 적용한 주류 발효 시스템은 복수의 센서와 카메라 및 온도 조절부가 구성된 발효조(10)와 상기 발효조(10)의 발효 상태를 분석하는 지능망 발효 관리부(100)를 포함한다.

상기 발효조(10)에는 기본적으로 발효 대상(20)을 교반하기 위한 교반부(12)와 교반부(12)를 회전 동작시키는 모터부(11)를 포함하고, 발효조 내부의 온도를 높이거나 낮추기 위한 히터 혹은 칠러로 구성되는 온도 조절부(13)와, 발효조 내부의 발효 대상을 밸브를 통해 선택적으로 추출하면서 그 내부 상태를 석영관(15)을 통해 확인할 수 있도록 구성된 추출 배관(14)과, 발효조 내부의 상중하부 온도 및 외부 온도를 측정하기 위한 온도 센서부(16)와, 추출 배관(14)에 구성된 비중계(17)와, 산도를 측정하기 위한 산도 측정부(18)와, 이산화탄소를 측정하기 위한 이산화탄소 측정부(19)를 구비한다. 또한, 발효조 내부의 발효 대상에 대한 영상을 촬영하는 내부 카메라부(30)와, 추출 배관(14)을 통해 추출된 발효 대상의 현미경 영상을 촬영하는 현미경 카메라부(40)를 포함한다. 물론, 도시된 각종 센서 외에도 당도 측정을 위한 당도 센서, 발효 음향을 측정하기 위한 음향 센서, 석영관(15)을 관찰하는 카메라부를 포함하는 추가적인 센서가 구성될 수 있으며, 카메라부(30, 40)를 위해 광원이나 샘플 교체를 위한 구성이 더 포함될 수 있다.

한편, 지능망 발효 관리부(100)는 사용자로부터 현재 발효할 대상에 대한 기본적인 정보인 재료의 종류와 배합 비율(멥쌀인지, 찹쌀인지, 이들의 혼합인지, 죽 상태인지, 백설기 상태인지, 고두밥 상태인지, 물의 비율이 얼마나 되는지 등), 효모와 누룩과 같은 균주에 대한 정보 및 어떠한 상태의 술로 발효하고자 하는 지(종류, 당도, 바디감, 풍미, 알코올 도수 등)와 같은 발효 목표를 포함하는 양조 정보를 수신하고, 현재 상태를 안내할 수 있다. 이러한 안내 정보를 토대로 사용자가 발효조를 제어할 수 있다. 이러한 사용자의 조작이 성공하는 경우 이러한 사용자 조작은 높은 가중치로 학습될 수 있으며, 데이터베이스에 라벨링된 학습 정보로 저장될 수 있다.

도 5는 본 발명의 실시예에 따른 지능망 발효 관리부(100)의 구성을 보인 구성도이다.

도시된 바와 같이 발효조(10)에 구성된 복수의 정보 수집 센서들(16 내지 19)을 통해 수치 데이터를 수집하는 센서 데이터 수집부(110)와, 발효조(10)의 발효 대상에 대한 발효 상태 영상(30, 40)을 수집하는 영상 수집부(120)와, 발효조(10)의 온도를 제어하는 구동 제어부(130)와, 현재 발효 상태를 사용자에게 제공하고 사용자로부터 발효 대상과 발효 목표를 포함하는 양조 정보를 수집하는 사용자 인터페이스부(180)와, 영상 수집부(120)의 수집 영상을 기반으로 발효 상태를 판별하는 제 1 신경망과 이러한 제 1 신경망의 출력과 센서 데이터 수집부(110)의 수집 데이터 및 사용자 인터페이스부(180)를 통해 수집된 양조 정보를 입력으로 하여 현재 발효 상태(추정)를 출력하는 다중 지능망 학습부(140)를 포함한다. 이는 도 6을 참조하여 이후 상세히 설명한다.

이러한 다중 지능망 학습부(140)는 현재 발효 상태가 발효 공정 중 어떠한 단계이며 그 당화 및 발효 상태에 대한 상태를 확률값으로 출력할 수 있다. 예를 들어 복수의 단계로 정의된 발효 공정 중 A-3번 단계일 확률이 87%이고 현재 당화는 35%일 확률이 92%이고, 발효는 12% 진행되었을 확률이 88%라는 식으로 출력될 수 있다. 이러한 출력은 필요에 따라 출력단을 조절하여 필요한 형식으로 변경할 수 있다(예를 들어, 간단하게 당화 35%, 발효 12%와 같은 출력이나, 목표 도달 수준 대비 당화 67%, 발효 45% 라는 출력으로도 제공할 수도 있다).

이러한 구성만 존재하더라도 사용자는 해당 다중 지능망 학습부(140)의 출력을 토대로 현재 발효 상태를 예측하여 그에 적합한 온도 제어를 수동으로 할 수 있어 관리자의 양조 성공 확률을 높일 수 있다.

한편, 본 발명의 실시예는 큰 줄기의 양조할 주종이나(탁주, 약주 등)이나 기본 재료 등에 따라 구체적인 제어 방식이 달라질 수 있으므로, 필요에 따라 이러한 넓은 범주의 주류 종류에 따라 카테고리화한 후 각 카테고리 별로 별도 학습을 수행하여 신경망 분석을 수행할 수 있고, 사용자가 입력하는 양조 정보를 토대로 카테고리를 구분하여 학습 및 다중 지능망 학습부(140)의 출력을 제공할 수 있다.

이와 같은 방식은 현재의 발효 상태를 다양한 정보를 토대로 추정하여 온도 제어가 필요한 타이밍에 대한 정보를 제공하여 양조 성공률을 높일 수 있으나, 사용자가 추정된 현재 상태를 참조하여 수동으로 온도를 제어해야 하거나 특정한 제어 알고리즘에 따라 단순히 온도를 조절하게 되므로 원하는 품질의 주류를 완성하는 것을 신뢰성 있게 담보하기 어렵게 된다.

따라서, 본 발명에서는 적절한 타이밍에 적절한 온도로 발효를 관리하는 강화학습 방식을 더 적용한다.

도시된 예시에서는 A3C(Asynchronous Advantage Actor-Critic) 기반 심층 강화학습 방식을 적용한다. A3C 심층 강화학습 방식은 딥마인드사에서 비디오 게임 플레이를 인공지능으로 수행하기 위해 사용하는 것으로, 실제로는 현재의 비디오 게임 환경에 대한 상태 정보와 행위를 통해 얻을 수 있는 스코어를 보상으로 하여 이러한 스코어를 높게 얻기 위한 방향으로 게임 플레이를 위한 제어를 수행하는 과정을 학습함으로써 점차 인간 플레이어처럼 게임을 플레이할 수 있도록 하며, 나아가 사람을 추월하는 게임 플레이가 가능하도록 한 것이다. 현재 간단한 벽돌깨기 등의 게임은 사람의 플레이를 추월한 지 오래된 상황이므로 온도 만을 제어하는 본원 발명의 제어에 비교적 효과적으로 적용될수 있다.

실질적으로 이러한 A3C 기반 심층 강화 학습법은 학습 환경을 간단히 복사하여 다양한 설정을 통해 동일한 게임을 여러가지 다른 상황에서 경험하도록 하는 구성이 필요(그렇지 않을 경우 제한된 경험에 의해 학습이 편향되어 성능이 낮아짐)하고, 정확한 보상(게임의 스코어)이 있어야 하는데, 이를 현실의 발효조를 대상으로 하여 보상도 모호한 상황에 적용하는 것은 쉽지 않다.

통상 A3C 심층 강화 학습에서는 현재의 상황을 파악하기 위한 제어 대상에 대한 상태 정보(state), 제어의 결과에 따라 얻어지는 리워드 정보(reward) 및 상태 정보를 변경하여 리워드를 높이는 제어 정보(actor)를 이용한다.

본 발명에서는 다중 지능망 학습부(140)가 출력하는 현재 발효 상태 정보를 목표 양조 단계와 단계별 목표와 대비하여 리워드를 산출하는 리워드 판정부(150)와, 리워드 판정부(150)의 출력을 리워드 값으로 하고, 센서 데이터 수집부(110)를 통해 수집되는 정보와 영상 수집부(120)를 통해 얻은 영상을 제 1 신경망을 통해 분류한 정보를 상태 정보로 하여 발효조(10)의 온도를 최적으로 제어하는 실행 정보를 생성하고 이를 통해 구동 제어부(130)를 제어하는 강화 학습부(160)를 포함한다.

한편, 다중 지능망 학습부(140)를 구성하는 복수의 신경망과 리워드 판정부(150) 및 강화 학습부(160)가 학습을 위해 참조할 수 있는 발효 과정과 발효 상태에 대한 누적 정보들을 저장하는 데이터베이스(170)를 포함할 수 있다.

그러면, 이러한 구성들을 통해서 현재 발효 상태를 추정하는 방식과 이를 기반으로 자동적으로 발효 제어를 수행하는 방식을 도 6 내지 도 8을 토대로 좀더 상세히 설명한다.

도 6은 본 발명의 실시예에 따른 지능망 발효 관리부(100)의 실질적인 동작 방식을 설명하기 위한 구체적인 일부 구성도로서, 다중 지능망 학습부(140)의 좀 더 구체적인 구성과 리워드 판정부(150)의 예시적 구성 및 강화 학습부(160)와의 연동에 대해 설명하기 위한 것이다.

도시된 다중 지능망 학습부(140)는 다양한 현재의 발효조 상태 정보와 사용자가 입력을 통해 제공하는 양조 정보를 이용하여 다중 신경망 모델을 통해 발효 상태를 분석하도록 한다.

특히, 다양한 센서를 통해 얻어지는 수치 데이터 외에 수치로 구분하기 어려운 발효조 내부 영상이나 발효 대상의 현미경 영상을 주요한 입력으로 처리하기 위하여 영상 정보를 토대로 발효 상태를 구분할 수 있도록 하는 제 1 신경망 모델을 적용한다.

도시된 다중 지능망 학습부(140)는 현미경 영상으로부터 현재의 발효 상태가 어느 정도의 효모 활성화 상태인지 아니면 다른 미생물이 발생한 상태인지, 다른 미생물에 의해 이상 발효 상태인지 등을 영상을 통해 판별할 수 있도록 하는 영상 분류 신경망 모델이 적용된 현미경 영상 분석부(141)와, 발효조 내부 영상으로부터 현재의 발효 상태를 확인하기 위한(거품의 상태) 영상 분류 신경망 모델이 적용된 카메라 영상 분석부(142)를 포함한다. 이와 같이 수치로 정량화할 수 없는 영상 정보를 학습하여 그 상태를 정량화할 수 있는 출력으로 제공하는 현미경 영상 분석부(141)와 카메라 영상 분석부(142)의 출력을 다른 센서 데이터 및 양조 정보와 함께 입력으로 하여 현재의 당화 및 발효 상태를 분석하여 출력하는 발효 상태 분석부(143)를 포함한다.

본 발명의 실시예에서 현미경 영상 분석부(141)는 도 7에 도시한 바와 같이 입력 영상을 CNN(Convolutional neural network) 기반 신경망 모델을 통해 학습시켜 입력되는 현미경 영상으로부터 현재 효모나 다른 균류의 상태를 출력하도록 구성될 수 있다. 이러한 현미경 영상 분석부(141)는 예를 들어 효모 존재 여부나 활성도를 확률값이나 정규화된 수치값으로 제공할 수 있으며, 타 균의 존재 여부나 활성도 역시 확률값이나 정규화된 수치값으로 제공할 수 있다.

카메라 영상 분석부(142) 역시 현미경 영상 분석부(141)와 동일하거나 유사한 구성을 가질 수 있다.

이와 같이 기존에는 데이터 분석에 사용하지 못했던 실시간 발효조 내부 영상 및 발효 대상의 현미경 영상을 정량적으로 활용함으로써 현재 당화 및 발효 과정을 추정하는 발효 상태 분석부(143)의 신뢰성을 크게 높일 수 있게 된다.

도 8은 발효 상태 분석부(143)의 구성예를 보인 것으로, 도시된 바와 같이 현미경 영상 분석부(141)나 카메라 영상 분석부(142)에 구성된 제 1 신경망 모델을 통한 영상 분석 결과를 다른 수치적 센서 데이터와 같이 입력으로 수집하는 입력 관리부와, 이러한 다양한 입력들을 토대로 기존 당화 및 발효 상태의 시계열적 정보들을 기반으로 현재의 당화 및 발효 상태를 추정하는 RNN(Recurrent Neural Network)(혹은 이를 개선한 LSTM(Long Short-Term Memory), 혹은 GRU(Gated Recurrent Unit)) 기반 순환신경망 모델을 이용하여 현재의 당화 및 발효 상태를 추정하는 RNN 분석부와, 분석 결과를 예를 들어 현재의 당화 및 발효 과정 단계 추정값과 해당 단계에서의 당화 및 발효 상태 추정값으로 구성하여 제공하는 출력 관리부를 포함할 수 있다.

이와 같이 기존 경험적 발효 관리에서 중요한 기준이 되는 시각적 판단 부분과 맛과 향기 등의 다른 감각적 판단 부분을 위한 여러 센서 측정 부분을 시계열 적으로 순환 학습하기 위해서, 본 발명의 실시예에서는 영상을 분석하여 해당 영상이 속하는 당화나 발효 상태(효모의 활성화 정도나 다른 균의 존재 여부 등)를 분류하는 1차 신경망 모델과 이러한 1차 신경망 모델의 출력과 다른 센서들로부터 수집된 센서 데이터 및 양조 정보를 토대로 현재 당화 및 발효 상태를 추정하는 2차 신경망 모델을 다중 구성한 다중 지능망 학습부(140)를 이용함으로써 경험자가 현재 상황을 통해 당화 및 발효 상태를 정확하게 구분할 수 있도록 한다.

이러한 현재 당화 및 발효 상태를 정확하게 구분하면 이상 발효를 억제하면서 원하는 풍미와 알코올 도수 등을 위해서 온도 조절 시점과 온도 조절 정도를 경험적으로 판단하게 되는데, 본 발명의 실시예에서는 이러한 경험에 의존하던 온도 조절 시점과 온도 조절 정도를 강화 학습을 통해서 자동적으로 수행할 수 있도록 한다.

도시된 바와 같이 강화 학습부(160)는 예컨대 A3C 심층 강화 학습부로서, 보상을 증가시키는 방향으로 현재 상태를 고려하여 제어를 수행하는 방법을 학습하게 되는데, 이를 위해서 가장 중요한 부분이 정확한 보상을 제공하는 것이다.

본 발명의 실시예에 따른 양조는 단순히 알코올 발효 효율을 높이기 위한 것이 아니라 원하는 맛과 향 및 바디감을 제공하는 적절한 알코올 도수의 술을 빚기 위한 것이므로, 현재 상태에 대한 보상을 적절하게 제공해줄 필요가 있어 리워드 판정부(150)를 통해서 다중 지능망 학습부(140)의 출력인 현재 (당화) 발효 상태에 대한 리워드를 제공하도록 한다.

이러한 리워드 판정부(150)는 구체적인 양조 제어 방법을 기준으로 그에 대한 도달 여부를 판단하는 것이 아니라 원하는 풍미의 술을 얻기 위한 양조 단계와 해당 단계에서 도달해야 하는 목표만 설정하고 이를 기준으로 실제 발효 상태와의 편차를 기준으로 리워드를 산정한다.

도시된 바와 같이 리워드 판정부(150)는 사용자로부터 수신한 양조 정보를 기준으로 양조할 주종을 판단하는 양조 종류 판정부(151)와, 현재 진행된 누적 과정을 통해 기 설정된 양조 단계 중 위치를 판단하는 양조 단계 판정부(152)와, 현재 양조 단계에서 목표로 하는 발효 상태 정보를 산출하는 단계별 목표 도출부(153)와, 단계별 목표 도출부(153)의 목표 발효 상태와 발효 상태 분석부(143)를 통해 제공되는 현재 발효 상태를 비교하여 리워드를 산정하는 목표 대비 판정부(154)를 포함할 수 있다.

여기서, 양조 종류 판정부(151)는 사용자로부터 수신된 양조 정보(재료와 비율, 재료의 상태, 효모의 종류, 원하는 맛, 바디감, 알코올 도수 등)를 토대로 어떠한 종류의 술을 얻고자 하는 것인지 판단하는 것으로 한 번에 모든 종류의 주류를 통합 관리하는 것 보다는 술의 종류별로 카테고리화하여 분류하기위한 것으로, 이렇게 술의 종류에 따라 분류하여 각각 학습하는 것으로 데이터 수집이 어려운 전통주 양조 과정 학습 효율을 높일 수 있다.

양조 단계 판정부(152)는 선택된 카테고리의 주류를 발효시키기 위한 일반적인 양조 단계에 대한 공정 과정 기준을 구비하고 지속적으로 수집되었던 과거 발효 상태 분석부(143)의 분석 내용을 토대로 현재 양조 단계를 판단한다. 예컨대 최초 당화 시작 단계인지, 당화 및 알코롤 발효가 동시에 시작되는 단계인지, 알코올 발효를 통해 알코올이 어느 정도 생성되는 단계인지, 알코올 발효를 통해 도수를 조절하는 단계인지 등을 판단하며, 당도나 풍미 조절을 위한 단계들도 포함될 수 있다.

단계별 목표 도출부(153)는 현재 진행되고 있는 발효 단계에서 조심해야 하는 상황, 도달해야 하는 목표가 되는 당화 및 발효 상태에 대한 정보를 도출한다.

이러한 양조 단계 판정부(152)와 단계별 목표 도출부(153)의 기준이 되는 양조 단계와 단계별 목표에 대한 정보는 기 성공한 유사 양조 공정과 단계별 목표값을 기준으로 미리 데이터베이스(170)에 저장된 정보이거나 숙련된 사용자가 생성하여 데이터베이스(170)에 저장한 정보일 수 있다. 즉, 이러한 술을 빚으려면 당화 및 발효 공정 상 이러한 과정들이 필요하고, 각 과정에서 어느정도의 당화 및 발효 상태에 도달하면 된다는 대략적 과정의 단계와 목표치만 설정된 것으로, 기존의 학습 데이터나 숙련자의 설정에 의해 이러한 데이터들이 다수 수집되어 사용자가 입력한 양조 정보에 가장 근접한 정보를 선별한 후 이용할 수 있다.

다만, 이러한 경우 재료의 구체적인 종류와 조합 비율, 제공되는 상태, 물과의 혼합비, 사용되는 효모의 종류, 원하는 향과 풍미, 바디감, 알코올 도수 등과 같은 다양한 변수들에 대응하기 어렵게 되고, 이러한 불명료한 기준은 결국 잘못된 목표로 발효가 제어될 가능성이 있다는 것을 의미한다.

따라서, 본 발명에서는 정확한 리워드 판정을 위해서 해당 양조 단계 판정부(152)와 단계별 목표 도출부(153)를 GAN(Generative Adversarial Network) 기반 지능망 모델(155)을 적용하여 다양한 양조 정보에 대응하는 당화 및 발효 과정에 대한 정보와 각 과정에서 도달해야 하는 당화 및 발효 목표를 실제에 근접하게 생성하도록 할 수 있다. 즉, 이러한 GAN 기반 지능망 모델은 재료의 구체적인 종류와 조합 비율, 제공되는 상태, 물과의 혼합비, 사용되는 효모의 종류, 원하는 향과 풍미, 바디감, 알코올 도수 등과 같은 다양한 변수들에 대한 실제 양조 데이터나 숙련자에 의해 제시되는 당화 및 발효 과정과 각 과정별 발효 목표에 대한 정보를 기준으로 학습하여 변수들이 달라진 상황에서 가장 실제 데이터나 전문가 데이터에 근접한 새로운 데이터를 생성할 수 있다.

통상 GAN 기반 지능망 모델은 실제와 같은 가짜를 생성하기 위해 생성 모델과 분류 모델쌍을 이용하는 것이다. 분류 모델은 기존의 양조 정보 별 양조 성공 데이터나 전문가 제공 데이터를 학습하여 기준을 마련하고, 생성 모델은 유사한 가짜 데이터를 생성하여 분류 모델에 제공하여 진짜 데이터로 분류될 수 있도록 학습하는데, 이러한 서로 적대적인 경쟁자가 서로 발전하여 분류모델에서 가짜로 단정할 수 없는 진짜와 같은 결과를 제공하게 된다. 특히, 이러한 GAN 기반 생성 데이터는 단순히 무작위 조합에 의한 결과가 아닌 그 개념을 이해하는 방향으로 동작하게 된다(현재 구현된 GAN 영상 생성 시스템의 경우 좌측 얼굴의 영상을 제공하고 우측 얼굴의 영상을 생성하도록 하면 그 단계별 과정에서 얼굴을 회전하면서 점차 우측 얼굴이 되어가는 과정을 확인할 수 있다). 즉, 기본적인 발효 과정 및 과정별 발효 상태를 학습한 상황에서 그 변수가 변경되는 경우라면 노이즈가 포함된 유사 값들을 임의로 생성하여 가장 근접한 것을 만드는 방식이 아니라 설정된 변수값들이 반영되어 나오는 값들이 실제 발효 과정과 목표 발효 상태의 특성을 가지지만 그 과정과 상태 정보가 조금 과도한 상태에서 점차 실제 값에 근접하게 조정되어 나가는 형식으로 동작하게 된다. 즉, 새로운 양조 정보가 제공되고 그에 대한 실제 양조 단계나 단계별 발효 목표가 없더라도 GAN 기반 지능망 모델을 통해 제공되는 양조 단계나 단계별 발효 목표를 적용할 경우 전문가 수준의 양조 단계 설정 및 단계별 발효 목표 설정이 가능하게 된다.

한편, 목표 대비 판정부(154)는 목표 발효 상태와 발효 상태 분석부(143)를 통해 제공되는 현재의 추정 발효 상태를 비교하여 그 편차에 대한 보상을 책정하는데, 단순히 편차의 크기 만을 이용하는 것이 아니라 정상적 방향에서의 편차 감소 방향인 경우 편차 감소에 따라 더 많은 리워드를 제공하고 비정상 적인 편차라면 리워드를 마이너스로 하는 패널티를 부과하고, 편차 발생 종류에 따라서도 리워드를 더 줄것인지 덜 줄것인지 마이너스로 패널티를 줄 것인지 등을 결정할 수 있다. 나아가 장기 리워드(목표에 도달하기 위해 진행되는 정도에 따른 리워드)와 단기 리워드(현재 단계에서의 단기 목표 도달에 따른 리워드)로 구분하여 제공할 수도 있다. 예컨대 단기 리워드가 크더라도 장기 리워드가 낮아질 수 있다면 장기 리워드를 크게하는 환경에서 단기 리워드가 가장 크도록 강화 학습부가 동작하도록 하는 기준을 제공할 수 있다.

강화 학습부(160)는 수집된 상태 정보(각종 센서 데이터와 영상 데이터 및 양조 정보를 모두 포함할 수도 있고, 특정 카테고리에 대해서만 동작하도록 구분할 경우 센서 데이터와 영상 데이터 만을 이용하도록 할 수도 있음)를 학습하여 상기 구동 제어부(130)에 제어 신호를 제공하기 위한 온도 제어별 적합도를 확률값으로 출력하는 최적제어 정책신경망 모델이 적용된 실행부(actor)(161)와, 실행부(161)와 동일한 상태 정보를 입력으로 하여 상기 상태 정보에 따른 발효 환경에 대해 기 설정된 온도로 구동 제어부(130)가 제어할 경우 예상되는 보상 정보(리워드)를 출력하도록 하는 가치 산정 신경망 모델이 적용된 비평부(critic)(162)를 포함할 수 있다.

이와 같은 구성을 통해서 사용자가 원하는 양조 정보를 제공하고, 해당 정보에 대응하는 발효 대상을 발효조에 투입한 후 발효를 시작하면 자동적으로 원하는 풍미와 알코올 도수의 술을 빚을 수 있게 되며, 이는 성공을 반복하여 학습량을 높임에 따라 점차 완전 자동화가 가능하게 될 수 있다.

하지만, 이러한 강화 학습부의 경우 단일 제어 대상에 대해서만 동작하게 될 경우 학습이 편향되어 약간 다른 상황이 될 경우 그 제어가 비정상적이 되는 품질 문제가 발생할 수 있게된다.

따라서, 다양한 경험을 통해 학습할 수 있도록 해야 하는데, 원래의 A3C 심층 강화 학습 방식에서는 컴퓨터 게임을 대상으로 하므로 이러한 컴퓨터 게임을 복사하여 설정이 약간 다른 다양한 서브 환경들을 구축한 후 서로 다른 경험을 수집하여 통합하는 방식을 이용할 수 있다. 하지만, 실제 발효조를 대상으로 하는 본원 발명의 실시예에서는 이러한 방식을 사용할 수 없으므로, 다양한 환경에 구성된 발효조들에 대응되어 구성되는 강화 학습부들을 네트워크로 연동하여 각각 경험하는 다양한 제어 환경에 대한 학습 데이터를 공유하는 구성을 적용한다. 다만, 이러한 각각의 환경에 대한 학습 데이터를 단순 동기 방식으로 메인 강화 학습부가 수용하여 지능망을 갱신하여 모든 강화 학습부에 제공할 경우 동일한 지능망에 따른 제어 동작이 수행되므로 상이한 경험을 얻기가 어렵게 되므로, 비동기 방식의 지능망 갱신과 동기화 지능망 갱신을 혼합하여 동작하도록 한다.

도 9는 강화 학습부를 확장하여 학습 편향을 줄이면서 인공지능 제어의 품질을 신속하게 높일 수 있는 통신망 구성을 보인 것이다.

도시된 바와 같이 강화 학습부의 학습 결과를 통신망을 통해 수집하여 반영하는 메인 강화 학습부(160_A)를 구성하고, 이러한 메인 강화 학습부(160_A)는 다양한 환경에 분산된 복수의 발효조에 대응 구성되는 강화 학습부들(160_1 내지 160_n)과 통신망을 구성한다.

각각의 강화 학습부들(160_1 내지 160_n)은 로컬 강화 학습부가 되어 연동되는 발효조에 대한 발효 제어를 강화 학습 방식으로 수행하면서 학습하여 자신의 신경망을 갱신하고, 이러한 학습 데이터를 메인 강화 학습부(160_A)에 비동기적으로 제공한다. 이렇게 비동기 방식으로 특정 로컬 강화 학습부(예: 160_1)의 학습 데이터를 수신한 메인 강화 학습부(160_A)는 해당 학습 데이터를 반영하여 자신의 신경망을 갱신한 후 그 결과를 해당 특정 로컬 강화 학습부(예: 160_1)에 제공하고 이들 둘 간의 동기화를 수행한다. 이 경우 해당 로컬 강화 학습부(예: 160_1)는 현 시점에서의 최신 통합 신경망을 통해서 이후 학습을 수행하게 되는데, 다른 로컬 강화 학습부(160_2 내지 160_n)는 각각 다른 시점에서 동기화된 신경망을 이용하여 발효조를 제어하게 되므로 다른 경험을 가지게 된다.

이후 또 다른 로컬 강화 학습부(예: 160_4)가 메인 강화 학습부(160_A)에 자신의 학습 데이터를 제공하면 메인 강화 학습부(160_A)는 이를 수신한 후 자신의 신경망을 갱신하고 이를 상기 또 다른 로컬 강화 학습부(예: 160_4)와 동기화하게 되며, 또 다른 로컬 강화 학습부(예: 160_4)는 최신 갱신된 신경망을 통해 발효조를 제어하게 된다.

이와 같이 메인 강화 학습부(160_A)는 항상 최신의 학습 정보를 반영한 신경망을 유지하지만 수집되는 각각의 학습 정보는 서로 상이한 신경망을 기준으로 얻어진 경험이기 때문에 학습 편향에 대한 문제를 줄이고 제어 품질을 높일 수 있게 된다.

결국, 이와 같이 발효조와 대응되는 지능망 발효 관리부가 포함된 복합 신경망을 알고리즘을 적용한 주류 발효 시스템이 많이 사용될 수록 그 제어 성능은 급격히 높아지게 되며 다양한 종류의 성공 데이터들이 라벨링되어 수집되게 되므로 현재 발효 상태에 대한 추정 품질도 높아지게 되어 원하는 풍미의 술을 빚으면서도 이상 발효가 발생하기 전에 적절한 제어를 수행하여 양조 성공률을 높일 수 있게 된다. 따라서, 궁극적으로는 투입되는 발효 대상의 종류가 다양하고 효모가 다양하며 환경이 다양하더라도 원하는 주류를 성공적으로 자동화 생산할 수 있게 되며, 동일한 양조 조건의 경우 비록 재료 편차나 환경 편차가 있다 하더라도 유사한 맛을 균일하게 제공할 수 있고 개인화된 주류 생산도 가능하게 된다.

한편, 본 발명에서 언급되는 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 실시예들에서 설명되는 시스템, 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 또한, 이러한 서버나 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 서버나 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 서버나 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다. 더불어, 상기 장치는 인터페이스를 통해서 다양한 센서들을 직접 혹은 별도의 드라이버나 센서 제어를 위해 별도로 마련된 하드웨어/소프트웨어 보드나 모듈을 통해서 제어할 수 있으며, 이를 위한 다양한 논리적, 전기적, 광학적 변형들을 모두 포괄할 수 있다.

나아가, 본 발명의 실시예들에서 데이터를 수집하기 위한 장치들 및 그 구성요소들은 물리적이고 전기적인 센서들의 정보를 수집하기 위한 하드웨어나 소프트웨어를 포함하는 장치일 수 있으며, 전기적 신호를 수신 및 처리하기 위한 인터페이스, 구동 드라이버, 통신장치, 전원, 제어를 위한 마이크로 콘트롤러, 저장부, 운영체제나 펌웨어를 포함할 수 있고, 필요에 따라 센서들도 포함할 수 있다.

이상에서는 본 발명에 따른 바람직한 실시예들에 대하여 도시하고 또한 설명하였다. 그러나 본 발명은 상술한 실시예에 한정되지 아니하며, 특허 청구의 범위에서 첨부하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능할 것이다.

10: 발효조 11: 모터부
12: 교반부 13: 온도 조절부
14: 추출 배관 15: 석영관
16: 온도 센서부 17: 비중계
18: 산도 측정부 19: 이산화탄소 측정부
30: 내부 카메라부 40: 현미경 카메라부
100: 지능망 발효 관리부 110: 센서 데디터 수집부
120: 영상 수집부 130: 구동 제어부
140: 다중 지능망 학습부 150: 리워드 판정부
160: 강화 학습부 170: 데이터베이스
180: 사용자 인터페이스부

Claims (6)

1. 복수의 센서와 카메라 및 온도 조절부가 구성된 발효조와 상기 발효조의 발효 상태를 분석하는 지능망 발효 관리부를 포함하는 주류 발효 시스템으로서,
   상기 지능망 발효 관리부는,
   상기 발효조에 구성된 복수의 정보 수집 센서들을 통해 수치 데이터를 수집하는 센서 데이터 수집부와;
   상기 발효조의 발효 대상에 대한 발효 상태 영상을 수집하는 영상 수집부와;
   상기 발효조의 온도를 제어하는 구동 제어부와;
   현재 발효 상태를 사용자에게 제공하고 사용자로부터 발효 대상과 발효 목표를 포함하는 양조 정보를 수집하는 사용자 인터페이스부와;
   상기 영상 수집부의 수집 영상을 기반으로 발효 상태를 판별하는 제 1 신경망과 상기 제 1 신경망의 출력과 상기 센서 데이터 수집부의 수집 데이터 및 사용자 인터페이스부를 통해 수집된 양조 정보를 입력으로 하여 현재 발효 상태를 출력하는 다중 지능망 학습부와;
   상기 다중 지능망 학습부가 출력하는 현재 발효 상태 정보를 목표 양조 단계 및 단계별 목표와 대비하여 리워드를 산출하는 리워드 판정부와;
   상기 리워드 판정부의 출력을 리워드 값으로 하고, 상기 센서 데이터 수집부를 통해 수집되는 정보와 영상 수집부를 통해 상기 제 1 신경망을 통해 얻어진 정보를 상태 정보로 하여 발효조의 온도를 제어하는 실행 정보를 생성하고 이를 통해 상기 구동 제어부를 제어하는 강화 학습부를 포함하며,
   상기 리워드 판정부는 사용자가 제공하는 양조 정보 기반으로 원하는 맛과 알코올 도수의 술을 얻기 위한 당화 및 발효 과정과 각 과정별 발효 목표를 학습을 통해 생성하는 GAN(Generative Adversarial Network) 기반 지능망 모델을 포함하며, 상기 GAN 기반 지능망 모델을 통해 생성한 각 과정과 과정별 목표에 대한 상기 발효 상태 분석부의 현재 발효 상태 정보를 비교하여 그 달성도를 기반으로 리워드를 산정하고,
   상기 강화 학습부의 학습 결과를 통신망을 통해 수집하여 반영하는 메인 강화 학습부를 포함하며, 상기 메인 강화 학습부는 복수의 발효조에 각각 대응되는 강화 학습부들과 통신망을 구성하며 복수의 강화 학습부로부터 각각 학습 결과를 비동기 방식으로 수집하며 해당 학습 결과를 제공한 강화 학습부와 동기화를 수행하는 것을 특징으로 하는 복합 신경망을 알고리즘을 적용한 주류 발효 시스템.
   
2. 삭제
3. 청구항 1에 있어서, 상기 리워드 판정부는
   상기 양조 정보를 기준으로 양조할 주종을 판단하는 양조 종류 판정부와;
   현재 진행된 누적 과정을 통해 기 설정된 양조 단계 중 위치를 판단하는 양조 단계 판정부와;
   현재 양조 단계에서 목표로 하는 발효 상태 정보를 산출하는 단계별 목표 도출부와;
   상기 단계별 목표 도출부의 목표 발효 상태와 상기 발효 상태 분석부를 통해 제공되는 현재 발효 상태를 비교하여 리워드를 산정하는 목표 대비 판정부를 포함하는 것을 특징으로 하는 복합 신경망을 알고리즘을 적용한 주류 발효 시스템.
   
4. 삭제
5. 청구항 1에 있어서, 상기 강화 학습부는 수집된 상태 정보를 학습하여 상기 구동 제어부의 제어 신호를 제공하기 위한 온도 제어별 적합도를 확률값으로 출력하는 최적제어 정책신경망 모델이 적용된 실행부(actor)와, 실행부와 동일한 상태 정보를 입력으로 하여 상기 상태 정보에 따른 발효 환경에 대해 기 설정된 온도로 구동 제어부가 제어할 경우 예상되는 보상 정보를 출력하도록 하는 가치 산정 신경망 모델이 적용된 비평부(critic)를 포함하는 것을 특징으로 하는 복합 신경망을 알고리즘을 적용한 주류 발효 시스템.
6. 삭제

Images