KR102464276B1

KR102464276B1 - 다자 회의 모델링 기반의 협의 컨텐츠를 제공하는 방법 및 장치

Info

Publication number: KR102464276B1
Application number: KR1020190145790A
Authority: KR
Inventors: 정용우
Original assignee: 주식회사 스칼라웍스
Priority date: 2018-11-26
Filing date: 2019-11-14
Publication date: 2022-11-08
Also published as: KR20200062033A

Abstract

다자 회의 모델링 기반의 협의 컨텐츠를 제공하는 방법 및 장치에 관한 것으로, 다자 회의의 대상에 해당하는 시드 컨텐츠(seed contents)를 입력하고, 다자 중 제 1 인의 사고 체계를 모델링한 인공신경망을 이용하여 시드 컨텐츠에 대한 적어도 하나의 제 1 출력컨텐츠를 생성하고, 다자 중 제 2 인의 사고 체계를 모델링한 인공신경망을 이용하여 시드 컨텐츠에 대한 적어도 하나의 제 2 출력컨텐츠를 생성하고, 적어도 하나의 제 1 출력컨텐츠와 적어도 하나의 제 2 출력컨텐츠를 포함하는 복수의 출력컨텐츠 중 적어도 하나로부터 다자의 협의 컨텐츠를 생성한다.

Description

다자 회의 모델링 기반의 협의 컨텐츠를 제공하는 방법 및 장치 {Method and apparatus for providing agreed contents based on multi council modeling}

머신 러닝을 이용하여 컨텐츠를 생성하는 방법 및 장치에 관한 것이다.

인공 지능을 소프트웨어적으로 구현하는 머신 러닝(machine learning)은 컴퓨터가 데이터를 학습하고 스스로 패턴을 찾아내 적절한 작업을 수행하도록 학습하는 알고리즘이다. 머신 러닝은 크게 지도 학습(supervised learning), 비지도 학습(unsupervised learning), 강화학습(reinforcement learning) 등으로 분류된다.

지도 학습은 정답이 주어진 상태에서 학습하는 알고리즘을 의미한다. 지도 학습의 목적은 분류(classification)와 회귀생성(regression)이다. 분류는 어떤 데이터를 유한 개의 클래스로 분류하는 것을 의미하고, 구체적으로는 두 개의 클래스로 분류하는 이진 분류(binary classification)와 셋 이상의 여러 개의 클래스로 분류하는 다중 분류(multiclass classification)로 나뉜다. 회귀생성은 데이터의 특징을 기반으로 연속적인 값을 예측하는 것을 말하며 연속적인 숫자를 예측하는 데에 사용된다. 회귀생성은 딥러닝을 활용하여 전혀 새로운 이미지를 만들거나 목소리를 합성(Text-to-Speech)하는데 사용된다.

비지도 학습은 정답이 주어지지 않은 상태에서 학습하는 알고리즘이며, 대표적인 비지도 학습에는 군집화(clustering)가 있다. 이러한 지도 학습과 비지도 학습으로 데이터를 기반으로 상황을 예측하고자 하는 시도가 지속되고 있지만, 지도 학습은 정답이 주어진 데이터만을 사용할 수 있기 때문에 사용할 수 있는 데이터의 양에 한계가 있으므로, 인공지능에서 비지도 학습이 점점 더 중요해지고 있으며, 이러한 비지도 학습의 대표적인 것으로 GAN(Generative Adversarial Networks)이 있다.

이러한 여러 종류의 인공신경망은 그것의 수많은 가중치와 바이오스를 조정하는 방식으로 학습이 이루어진다. 이로 인해, 인공신경망은 입력에 대하여 그 학습 과정에 편향된 결과를 출력하는 경향이 있다.

인공신경망이 그 학습 과정에 편향된 결과를 출력하는 경향에서 벗어나 현실 세계에서의 다자 회의를 모델링함으로써 객관성과 보편성이 우수한 협의 컨텐츠를 제공하는 방법 및 장치를 제공하는 데에 있다. 또한, 그 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데에 있다. 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 설명으로부터 또 다른 기술적 과제가 도출될 수도 있다.

본 발명의 일 측면에 따른 다자 회의 모델링 기반의 협의 컨텐츠를 제공하는 방법은 다자 회의의 대상에 해당하는 시드 컨텐츠(seed contents)를 입력하는 단계; 상기 다자 중 제 1 인의 사고 체계를 모델링한 인공신경망을 이용하여 상기 입력된 시드 컨텐츠에 대한 적어도 하나의 제 1 출력컨텐츠를 생성하는 단계; 상기 다자 중 제 2 인의 사고 체계를 모델링한 인공신경망을 이용하여 상기 입력된 시드 컨텐츠에 대한 적어도 하나의 제 2 출력컨텐츠를 생성하는 단계; 및 상기 적어도 하나의 제 1 출력컨텐츠와 상기 적어도 하나의 제 2 출력컨텐츠를 포함하는 복수의 출력컨텐츠 중 적어도 하나로부터 상기 다자의 협의 컨텐츠를 생성하는 단계를 포함한다.

상기 적어도 하나의 제 1 출력컨텐츠는 외부에 드러내는 속성을 갖는 제 1 노출형 출력컨텐츠와 외부로부터 숨겨지는 속성을 갖는 제 1 은닉형 출력컨텐츠를 포함하고, 상기 적어도 하나의 제 2 출력컨텐츠는 외부에 드러내는 속성을 갖는 제 2 노출형 출력컨텐츠와 외부로부터 숨겨지는 속성을 갖는 제 2 은닉형 출력컨텐츠를 포함할 수 있다.

상기 협의 컨텐츠를 생성하는 단계는 상기 다자의 협의를 도출하는 체계를 모델링한 인공신경망을 이용하여 상기 복수의 출력컨텐츠 중 적어도 하나의 출력컨텐츠로부터 상기 협의 컨텐츠를 생성할 수 있다.

상기 협의 컨텐츠를 생성하는 단계는 상기 복수의 출력컨텐츠 각각의 정확도를 결정하고, 상기 복수의 출력컨텐츠 중에서 미리 설정된 임계값 이상의 정확도를 갖는 적어도 하나의 출력컨텐츠로부터 상기 협의 컨텐츠를 생성할 수 있다.

상기 협의 컨텐츠를 생성하는 단계는 상기 복수의 출력컨텐츠 각각의 정확도를 결정하고, 상기 복수의 출력컨텐츠 중에서 미리 설정된 임계값 이상의 정확도를 갖는 복수의 출력컨텐츠를 통합함으로써 상기 협의 컨텐츠를 생성할 수 있다.

상기 협의 컨텐츠를 생성하는 단계는 상기 생성된 각 출력컨텐츠를 상기 다자의 협의를 도출하는 체계를 모델링한 인공신경망에 입력함으로써 상기 다자의 협의를 도출하는 체계를 모델링한 인공신경망의 출력으로부터 상기 각 출력컨텐츠의 역변환 컨텐츠를 획득하고, 상기 각 출력컨텐츠의 역변환 컨텐츠와 상기 시드 컨텐츠의 유사도를 상기 각 출력컨텐츠의 정확도로 결정할 수 있다.

상기 다자 회의 모델링 기반의 협의 컨텐츠를 제공하는 방법은 상기 다자의 협의 타당성을 평가하는 체계를 모델링한 인공신경망을 이용하여 상기 협의 컨텐츠의 협의 타당성 점수에 따라 상기 협의 컨텐츠를 출력하는 단계를 더 포함할 수 있다.

상기 다자 회의 모델링 기반의 협의 컨텐츠를 제공하는 방법은 상기 다자 중 제 3 인의 사고 체계를 모델링한 인공신경망을 이용하여 상기 입력된 시드 컨텐츠에 대한 제 3 출력컨텐츠를 생성하는 단계를 더 포함하고, 상기 협의 컨텐츠를 생성하는 단계는 상기 적어도 하나의 제 1 출력컨텐츠, 상기 적어도 하나의 제 2 출력컨텐츠, 및 상기 적어도 하나의 제 3 출력컨텐츠를 포함하는 복수의 출력컨텐츠 중 적어도 하나로부터 상기 협의 컨텐츠를 생성할 수 있다.

상기 다자 회의 모델링 기반의 협의 컨텐츠를 제공하는 방법은 상기 다자 중 제 4 인의 사고 체계를 모델링한 인공신경망을 이용하여 상기 입력된 시드 컨텐츠에 대한 제 4 출력컨텐츠를 생성하는 단계를 더 포함하고, 상기 협의 컨텐츠를 생성하는 단계는 상기 적어도 하나의 제 1 출력컨텐츠, 상기 적어도 하나의 제 2 출력컨텐츠, 상기 적어도 하나의 제 3 출력컨텐츠, 및 상기 적어도 하나의 제 4 출력컨텐츠를 포함하는 복수의 출력컨텐츠 중 적어도 하나로부터 상기 협의 컨텐츠를 생성할 수 있다.

본 발명의 다른 측면에 따라 상기 다자 회의 모델링 기반의 협의 컨텐츠를 제공하는 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공된다.

본 발명의 또 다른 측면에 따른 다자 회의 모델링 기반의 협의 컨텐츠를 제공하는 장치는 다자 회의의 대상에 해당하는 시드 컨텐츠(seed contents)를 입력하는 입력모듈; 상기 다자 중 제 1 인의 사고 체계를 모델링한 인공신경망을 이용하여 상기 입력된 시드 컨텐츠에 대한 적어도 하나의 제 1 출력컨텐츠를 생성하는 제 1 플레이어모듈; 상기 다자 중 제 2 인의 사고 체계를 모델링한 인공신경망을 이용하여 상기 입력된 시드 컨텐츠에 대한 적어도 하나의 제 2 출력컨텐츠를 생성하는 제 2 플레이어모듈; 및 상기 적어도 하나의 제 1 출력컨텐츠와 상기 적어도 하나의 제 2 출력컨텐츠를 포함하는 복수의 출력컨텐츠 중 적어도 하나로부터 상기 다자의 협의 컨텐츠를 생성하는 코디네이터모듈을 포함한다.

본 발명은 다자 회의의 대상에 해당하는 시드 컨텐츠에 대하여 여러 사람의 사고 체계를 모델링한 복수의 인공신경망을 이용하여 다양한 복수의 출력컨텐츠를 생성한 후에 복수의 출력컨텐츠로부터 다자의 협의 컨텐츠를 생성함으로써 하나의 인공신경망을 이용하여 시드 컨텐츠에 대한 출력컨텐츠를 제공하는 경우보다 시드 컨텐츠에 더 적합한 양질의 출력컨텐츠인 협의 컨텐츠를 제공할 수 있다. 이것은 현실 세계에서 어떤 회의 대상에 대해 한 사람이 단독으로 의견을 내 놓는 경우보다 여러 사람이 내 놓은 의견을 취합하여 최종 결론을 내리는 경우가 보다 양질의 결과를 얻을 수 있는 것과 유사하다.

인공신경망은 그것의 수많은 가중치와 바이오스를 조정하는 방식으로 학습이 이루어진다. 이로 인해, 인공신경망은 입력에 대하여 그 학습 과정에 편향된 결과를 출력하는 경향이 있다. 본 발명은 여러 사람의 사고 체계를 모델링한 복수의 인공신경망을 이용함으로써 각 인공신경망이 그 각각의 학습 과정에 편향된 결과를 출력하는 것을 방지할 수 있고 하나의 인공신경망을 이용할 때 보다 객관적인 결과를 제공할 수 있다. 특히, 여러 사람의 사고 체계를 모델링한 복수의 인공신경망으로부터 다양한 사고 체계에서의 다양한 결과를 유도해 낼 수 있음에 따라 하나의 인공신경망을 이용할 때 보다 보편적인 결과를 제공할 수 있다.

특히, 각 인공신경망의 출력컨텐츠는 외부에 드러내는 속성을 갖는 노출형 출력컨텐츠와 외부로부터 숨겨지는 속성을 갖는 은닉형 출력컨텐츠를 포함함으로써 시드 컨텐츠에 대한 최종 출력컨텐츠인 협의 컨텐츠에 대한 사용자 만족도를 향상시킬 수 있다. 현실 세계에서의 다자 회의에서 각 참석자가 어떤 의견을 발표했음에도 그 의견 못지 않게 중요하게 생각하는 차선의 의견을 발표하지 않고 심중에 담아만 두는 경우가 많다. 본 발명은 이러한 차선 의견에 대응하는 은닉형 출력컨텐츠까지 고려하여 협의 컨텐츠를 생성함으로써 협의 컨텐츠에 대한 사용자 만족도를 향상시킬 수 있다.

도 1은 본 발명의 일 실시예에 따른 협의 컨텐츠 제공 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 협의 컨텐츠 제공 방법의 흐름도이다.
도 3은 도 1에 도시된 4 개의 플레이어모듈(41~44)에 의한 다자 회의의 일례를 나타내는 도면이다.
도 4는 도 1에 도시된 4 개의 플레이어모듈(41~44)에 의한 다자 회의의 다른 예를 나타내는 도면이다.
도 5는 도 1에 도시된 4 개의 플레이어모듈(41~44)에 의한 다자 회의의 또 다른 예를 나타내는 도면이다.
도 6은 도 1에 도시된 4 개의 플레이어모듈(41~44)에 의한 다자 회의의 또 다른 예를 나타내는 도면이다.
도 7은 도 1에 도시된 협의 컨텐츠 제공 장치에서의 컨텐츠 입출력 경로를 나타내는 도면이다.
도 8은 도 2에 도시된 협의 컨텐츠 제공 방법의 응용 예로서 이미지 해석 제공 방법을 나타내는 도면이다.
도 9는 도 2에 도시된 협의 컨텐츠 제공 방법의 응용 예로서 컨텐츠 자막 제공 방법을 나타내는 도면이다.
도 10~12는 도 2에 도시된 협의 컨텐츠 제공 방법의 응용 예로서 영화 자작 방법을 나타내는 도면이다

이하에서는 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. 이하에서 설명되는 본 발명의 실시예는 다자 회의 모델링 기반의 협의 컨텐츠를 제공하는 장치와 다자 회의 모델링 기반의 협의 컨텐츠를 제공하는 방법에 관한 것이다. 이하에서는 다자 회의 모델링 기반의 협의 컨텐츠를 제공하는 장치를 간략하게 "협의 컨텐츠 제공 장치"로 호칭하고, 다자 회의 모델링 기반의 협의 컨텐츠를 제공하는 방법을 간략하게 "협의 컨텐츠 제공 방법"으로 호칭하기로 한다. 특히, 이하의 "다자 회의"는 "4자 회의"로 특정하여 본 발명의 실시예를 설명하기로 한다. 이하의 "다자 회의"는 "4자 회의" 외에 "2자 회의", "3자 회의", "5자 회의" 등 다양한 명수의 사람을 참석하는 회의가 될 수 있다.

도 1은 본 발명의 일 실시예에 따른 협의 컨텐츠 제공 장치의 구성도이다. 도 1을 참조하면, 본 실시예에 따른 협의 컨텐츠 제공 장치는 입력모듈(10), 출력모듈(20), 스토리지(30), A-플레이어모듈(41), B-플레이어모듈(42), C-플레이어모듈(43), D-플레이어모듈(44), 코디네이터모듈(50), 및 리프리젠터모듈(60)로 구성된다. 플레이어 A~D는 다자 회의에 참석해서 그 회의의 대상에 대해 서로 다른 의견을 내 놓는 4명의 사람을 의미한다. 각 플레이어모듈(41~44) 앞에 붙은 알파벳은 여러 개의 플레이어모듈을 구분하기 위한 것이다. 이하에서 등장하는 각 인공신경망 앞에 붙은 알파벳도 여러 개의 인공신경망을 구분하기 위한 것이다.

입력모듈(10), A-플레이어모듈(41), B-플레이어모듈(42), C-플레이어모듈(43), D-플레이어모듈(44), 코디네이터모듈(50), 및 리프리젠터모듈(60) 각각은 인경신경망과 제어기로 구성된다. 각 제어기는 다른 제어기와 연동하면서 입력모듈(10), A-플레이어모듈(41), B-플레이어모듈(42), C-플레이어모듈(43), D-플레이어모듈(44), 코디네이터모듈(50), 및 리프리젠터모듈(60) 각각의 인경신경망의 학습과 이용을 위해 각 인공신경망의 입력층에 데이터를 입력하는 과정, 출력층으로부터 데이터를 획득하는 과정 등 전 과정을 제어한다.

입력모듈(10)은 다자 회의의 대상에 해당하는 시드 컨텐츠(seed contents)를 A-플레이어모듈(41), B-플레이어모듈(42), C-플레이어모듈(43), 및 D-플레이어모듈(44) 각각에 입력한다. 출력모듈(20)은 스토리지(30)에 저장된 협의 컨텐츠를 출력한다. 협의 컨텐츠는 디스플레이 패널 등과 같은 출력모듈(20)을 통하여 사용자에게 제공된다.

A-플레이어모듈(41)은 다자 중 플레이어 A의 사고 체계를 모델링한 PA-인공신경망을 이용하여 입력모듈(10)로부터 입력된 시드 컨텐츠에 대하여 적어도 하나의 제 1 출력컨텐츠를 생성한다. PA-인공신경망이 플레이어 A의 사고 체계를 모델링할 수 있도록, PA-인공신경망은 플레이어 A의 성장 환경 데이터, 교육 과정 데이터 등과 같이 플레이어 A의 사고 체계를 형성할 수 있는 학습데이터로 학습된다. 이에 따라, PA-인공신경망은 어떤 회의 대상에 대해 마치 플레이어 A가 의견을 내놓는 것처럼 그 회의 대상에 대한 출력컨텐츠를 생성하게 된다.

B-플레이어모듈(42)은 다자 중 플레이어 B의 사고 체계를 모델링한 PB-인공신경망을 이용하여 입력모듈(10)로부터 입력된 시드 컨텐츠에 대하여 적어도 하나의 제 2 출력컨텐츠를 생성한다. PB-인공신경망이 플레이어 B의 사고 체계를 모델링할 수 있도록, PB-인공신경망은 플레이어 B의 성장 환경 데이터, 교육 과정 데이터 등과 같이 플레이어 B의 사고 체계를 형성할 수 있는 학습데이터로 학습된다. 이에 따라, PB-인공신경망은 어떤 회의 대상에 대해 마치 플레이어 B가 의견을 내놓는 것처럼 그 회의 대상에 대한 출력컨텐츠를 생성하게 된다.

C-플레이어모듈(43)은 다자 중 플레이어 C의 사고 체계를 모델링한 PC-인공신경망을 이용하여 입력모듈(10)로부터 입력된 시드 컨텐츠에 대하여 적어도 하나의 제 3 출력컨텐츠를 생성한다. PC-인공신경망이 플레이어 C의 사고 체계를 모델링할 수 있도록, PC-인공신경망은 플레이어 C의 성장 환경 데이터, 교육 과정 데이터 등과 같이 플레이어 C의 사고 체계를 형성할 수 있는 학습데이터로 학습된다. 이에 따라, PC-인공신경망은 어떤 회의 대상에 대해 마치 플레이어 C가 의견을 내놓는 것처럼 그 회의 대상에 대한 출력컨텐츠를 생성하게 된다.

D-플레이어모듈(44)은 다자 중 플레이어 D의 사고 체계를 모델링한 PD-인공신경망을 이용하여 입력모듈(10)로부터 입력된 시드 컨텐츠에 대하여 적어도 하나의 제 4 출력컨텐츠를 생성한다. PD-인공신경망이 플레이어 D의 사고 체계를 모델링할 수 있도록, PD-인공신경망은 플레이어 D의 성장 환경 데이터, 교육 과정 데이터 등과 같이 플레이어 D의 사고 체계를 형성할 수 있는 학습데이터로 학습된다. 이에 따라, PD-인공신경망은 어떤 회의 대상에 대해 마치 플레이어 D가 의견을 내놓는 것처럼 그 회의 대상에 대한 출력컨텐츠를 생성하게 된다.

플레이어 A~D는 서로 다른 환경에서 성장하고 서로 다른 내용의 교육을 받게 되면서 서로 다른 사고 체계를 갖게 되며, 동일한 회의 주제에 대해 통상적으로 다른 의견을 내게 된다. 서로 다른 사고 체계의 여러 사람이 동일한 회의 주제에 대해 서로 다른 의견을 내놓는 것처럼, 본 실시예의 PA~PD-인경신경망은 서로 다른 성장 환경과 교육 과정의 경험에 따라 형성되는 플레이어 A~D의 서로 다른 사고 체계를 모델링함으로써 시드 컨텐츠에 대해 서로 다른 출력컨텐츠를 생성한다.

각 플레이어모듈(41~44)은 서로 다른 인공신경망에 의해 모델링된 서로 다른 플레이어의 사고 체계에 따라 외부에 드러내는 속성을 갖는 노출형 출력컨텐츠와 외부로부터 숨겨지는 속성을 갖는 은닉형 출력컨텐츠를 생성할 수 있다. 현실 세계에서의 다자 회의에서 각 참석자가 어떤 의견을 발표했음에도 그 의견 못지 않게 중요하게 생각하는 차선의 의견을 발표하지 않고 심중에 담아만 두는 경우가 많다. 이러한 차선 의견이 오히려 발표 의견보다 더 정확할 수 있다. 본 실시예의 노출형 출력컨텐츠는 발표 의견과 유사하고 은닉형 출력컨텐츠는 심중 의견과 유사하다고 할 수 있다. 아래에 여러 예를 통해 자세하게 설명된 바와 같이, 본 실시예는 노출형 출력컨텐츠 외에 은닉형 출력컨텐츠까지 고려하여 협의 결과를 도출하기 때문에 협의 컨텐츠에 대한 사용자 만족도가 매우 높아지게 된다.

코디네이터모듈(50)은 다자의 협의를 도출하는 체계를 모델링한 CO-인공신경망을 이용하여 A-플레이어모듈(41)에 의해 생성된 적어도 하나의 제 1 출력컨텐츠, A-플레이어모듈(41)에 의해 생성된 적어도 하나의 제 2 출력컨텐츠, C-플레이어모듈(43)에 의해 생성된 적어도 하나의 제 3 출력컨텐츠, D-플레이어모듈(44)에 의해 생성된 적어도 하나의 제 4 출력컨텐츠 중 적어도 하나로부터 다자의 협의 컨텐츠를 생성한다.

코디네이터모듈(50)은 CO-인공신경망을 이용하여 4 개의 플레이어모듈(41~44)에 의해 생성된 각 출력컨텐츠의 정확도를 결정하고, 4 개의 플레이어모듈(41~44)에 의해 생성된 복수의 출력컨텐츠, 즉 제 1~4 출력컨텐츠 중에서 미리 설정된 임계값 이상의 정확도를 갖는 적어도 하나의 출력컨텐츠로부터 다자의 협의 컨텐츠를 생성한다. 이 때, 코디네이터모듈(50)은 4 개의 플레이어모듈(41~44)에 의해 생성된 복수의 출력컨텐츠 중에서 임계값 미만의 정확도를 갖는 각 출력컨텐츠를 생성한 각 플레이어모듈(41~44)로 임계값 미만의 정확도를 입력함으로써 코디네이터모듈(50)로부터 각 플레이어모듈(41~44)로 임계값 미만의 정확도를 피드백한다.

임계값 미만의 정확도를 피드백 받은 플레이어모듈은 더 높은 정확도의 출력컨텐츠를 생성하는 방향으로 그것의 인공신경망을 학습시키게 된다. 각 플레이어모듈(41~44)과 코디네이터모듈(50)은 상호 적대적 경쟁 관계를 통하여 출력컨텐츠의 정확도가 점점 더 향상됨과 동시에 정확도 평가 능력도 점점 더 향상되게 된다. 이러한 각 플레이어모듈(41~44)과 코디네이터모듈(50)간 적대적 경쟁 관계에 대해서는 아래에서 자세히 설명하기로 한다.

리프리젠터모듈(60)은 다자의 협의를 평가하는 체계를 모델링한 RE-인공신경망을 이용하여 코디네이터모듈(50)에 의해 생성된 협의 컨텐츠의 협의 타당성 점수에 따라 협의 컨텐츠를 출력한다. 보다 상세하게 설명하면, 리프리젠터모듈(60)은 협의 컨텐츠의 협의 타당성 점수가 미리 설정된 기준점수 이상이면 협의 컨텐츠를 출력한다. 리프리젠터모듈(60)은 협의 컨텐츠의 협의 타당성 점수가 기준점수 미만이면 협의 컨텐츠의 협의 타당성 점수를 코디네이터모듈(50)로 입력함으로써 리프리젠터모듈(60)로부터 코디네이터모듈(50)로 협의 컨텐츠의 협의 타당성 점수를 피드백한다.

기준점수 미만의 협의 타당성 점수를 피드백 받은 코디네이터모듈(50)은 더 높은 협의 타당성을 갖는 협의 컨텐츠를 생성하는 방향으로 그것의 인공신경망을 학습시키게 된다. 코디네이터모듈(50)과 리프리젠터모듈(60)은 상호 적대적 경쟁 관계를 통하여 협의 컨텐츠의 협의 타당성이 점점 더 향상됨과 동시에 협의 타당성 평가 능력도 점점 더 향상되게 된다. 이러한 코디네이터모듈(50)과 리프리젠터모듈(60)간 적대적 경쟁 관계에 대해서는 아래에서 자세히 설명하기로 한다.

본 실시예의 PA~PD-인경신경망 각각은 GAN(Generative Adversarial Networks)의 생성자에 해당하는 생성망의 일종일 수 있고, CO-인공신경망은 PA~PD-인경신경망 각각과 적대적 경쟁 관계에 있는 GAN의 분류자에 해당하는 분류망의 일종일 수 있다. 이 경우, PA~PD-인경신경망 각각은 CO-인공신경망에 대해서 더 높은 정확도를 갖는 출력컨텐츠를 생성하려고 하고, CO-인공신경망은 PA~PD-인경신경망 각각에 대해서 그 출력컨텐츠의 정확도 평가 능력을 향상시키려고 하면서 서로가 서로를 경쟁적으로 발전시키는 구조를 이루게 된다.

본 실시예의 CO-인공신경망은 GAN의 생성자에 해당하는 생성망의 일종일 수 있고, RE-인공신경망은 CO-인경신경망 각각과 적대적 경쟁 관계에 있는 GAN의 분류자에 해당하는 분류망의 일종일 수 있다. 이 경우, CO-인공신경망은 RE-인공신경망에 대해서 더 높은 협의 타당성을 갖는 협의 컨텐츠를 생성하려고 하고, RE-인공신경망은 CO-인경신경망 각각에 대해서 그 협의 컨텐츠의 협의 타당성 평가 능력을 향상시키려 하면서 서로가 서로를 경쟁적으로 발전시키는 구조를 이루게 된다. 이와 같이, 본 실시예의 CO-인공신경망은 PA~PD-인경신경망 각각과 적대적 경쟁 관계에 있는 분류망 부분과 RE-인공신경망과 적대적 경쟁 관계에 있는 생성망 부분으로 이루어진다.

본 실시예의 학습 중점은 CO-인공신경망과 RE-인공신경망의 적대적 경쟁 관계를 통한 학습에 있다. PA~PD-인경신경망은 이것들과 함께 동시에 학습이 진행될 수 있고, 이미 학습된 상태일 수도 있다.

본 발명에 따른 실시예에 대한 이해를 돕기 위해 이하에서는 GAN의 분류망과 생성망의 기본적 구성만을 살펴보기로 하며, 본 실시예 설명이 장황해지는 것을 방지하기 위하여 본 실시예가 속하는 기술분야에서 공지된 기술에 대한 자세한 설명을 생략하기로 한다. GAN의 기본 구성은 논문 "Generative Adversarial Networks" (2014년 발표, Goodfellow, Ian J. ; Pouget-Abadie, jean; Mirza, Mehdi; Xu, Bing; Warde-Faeley, David; Ozair, Sherjil; Courville, Aaron; Bengio, Yoshua 공저)에 개시되어 있다. GAN의 적대적 학습에서는 분류망을 먼저 학습시킨 후, 생성망을 학습시키는 과정을 서로 주고받으면서 반복한다.

분류망의 학습은 크게 두 가지 단계로 이루어진다. 첫 번째 단계는 분류망에 진짜 데이터를 입력해서 분류망이 그 데이터를 진짜로 분류하도록 학습시키는 과정이고, 두 번째 단계는 첫 번째 단계와 반대로 생성망에서 생성한 가짜 데이터를 분류망에 입력해서 분류망이 그 데이터를 가짜로 분류하도록 학습하는 과정이다. 이 과정을 통해 분류망은 진짜 데이터를 진짜로, 가짜 데이터를 가짜로 분류할 수 있게 된다. 분류망을 학습시킨 다음에는 학습된 분류망을 속이는 방향으로 생성망을 학습시킨다. 생성망에서 만들어낸 가짜 데이터를 분류망에 입력하고, 분류망이 가짜 데이터를 진짜라고 분류할 만큼 진짜 데이터와 유사한 데이터를 만들어 내도록 생성망을 학습시킨다.

이와 같은 학습과정을 반복하면 분류망과 생성망이 서로를 적대적인 경쟁자로 인식하여 모두 발전하게 되고, 결과적으로 생성망은 진짜 데이터와 완벽히 유사한 가짜 데이터를 만들 수 있게 되고 이에 따라 분류망은 진짜 데이터와 가짜 데이터를 구분할 수 없게 된다. 즉, GAN에서는 생성망은 분류에 성공할 확률을 낮추려 하고, 분류망은 분류에 성공할 확률을 높이려 하면서 서로가 서로를 경쟁적으로 발전시키는 구조를 이루고 있다.

보다 구체적으로, GAN은 다음과 수학식 1과 같은 목적함수 V(D,G)를 이용하여 최소 최대 문제(minmax problem)를 푸는 방식으로 학습하게 된다.

여기에서, x~p_data(x)는 실제 데이터에 대한 확률분포에서 샘플링한 데이터를 의미하고, z~p_z(z)는 일반적으로 가우시안 분포를 사용하는 임의의 노이즈에서 샘플링한 데이터를 의미한다. z를 통상적으로 잠재 벡터(latent vector)라고 부르는데 차원이 줄어든 채로 데이터를 잘 설명할 수 있는 잠재 공간에서의 벡터를 의미한다. D(x)는 분류망이고 진짜일 확률을 의미하는 0과 1 사이의 값이라서, 데이터가 진짜이면 D(x)는 1, 가짜이면 0의 값을 산출한다. G(z)는 생성망이고, D(G(z))는 생성망이 만들어낸 데이터인 G(z)가 진짜라고 판단되면 1, 가짜라고 판단되면 0의 값을 산출한다.

분류망이 V(D,G)를 최대화하는 관점에서 생각해 보면, 수학식 1의 산출 값을 최대화하기 위해서는 우변의 첫 번 째 항과 두 번째 항 모두 최대가 되어야 하므로 logD(x)와 log(1-D(G(z))) 모두 최대가 되어야 한다. 따라서, D(x)는 1이 되어야 하며 이는 실제 데이터를 진짜라고 분류하도록 분류망을 학습하는 것을 의미한다. 마찬가지로 1-D(G(z)는 1이 되어 D(G(z)는 따라서 0이어야 하며, 이는 생성망이 만들어낸 가짜 데이터를 가짜라고 분류하도록 분류망을 학습하는 것을 의미한다. 즉, V(D,G)가 최대가 되도록 분류망을 학습하는 것은 분류망이 진짜 데이터를 진짜로, 가짜 데이터를 가짜로 분류하도록 학습하는 과정이다.

다음으로 생성망이 V(D,G)를 어떻게 최소화하도록 학습하는지에 대한 관점에서 생각해 보면, 수학식 1의 우변 첫 번째 항에는 G가 포함되어 있지 않으므로 생성망과 관련이 없어 생략이 가능하다. 두 번째 항을 최소화하기 위해서는 log(1-D(G(z)))가 최소가 되어야 한다. 따라서 log(1-D(G(z)))는 0이 되어야 하고 D(G(z)는 1이 되어야 한다. 이는 분류망이 진짜로 분류할 만큼 완벽한 가짜 데이터를 생성하도록 생성망을 학습시키는 것을 의미한다. 이와 같이, V(D,G)를 최대화하는 방향으로 분류망을 학습하고, V(D,G)를 최소화하는 방향으로 생성망을 학습하는 것을 최소 최대 문제(Minmax problem)라고 한다.

도 2는 본 발명의 일 실시예에 따른 협의 컨텐츠 제공 방법의 흐름도이다. 도 2를 참조하면, 본 실시예에 따른 협의 컨텐츠 제공 방법은 도 1에 도시된 협의 컨텐츠 제공 장치에서 시계열적으로 실행되는 다음과 같은 단계들로 구성된다. 이하에서는 각 플레이어모듈(41~44)이 복수의 출력컨텐츠를 생성하는 경우를 예로 들어 설명하기로 한다. 아래의 설명으로부터, 각 플레이어모듈(41~44)이 하나의 출력컨텐츠를 생성하는 경우도 본 실시예에 따른 협의 컨텐츠 제공 방법에 적용될 수 있음을 이해할 수 있다. 도 2에는 4개의 플레이어모듈로부터 확장된 N 개의 플레이어모듈이 도시되어 있다. 이하에서는 N 개의 플레이어모듈을 A-플레이어모듈(41), B-플레이어모듈(42), C-플레이어모듈(43), D-플레이어모듈(44)로 특정하여 본 실시예에 따른 협의 컨텐츠 제공 방법을 설명하기로 한다.

1000 단계에서 입력모듈(10)은 다자 회의의 대상에 해당하는 시드 컨텐츠를 A-플레이어모듈(41), B-플레이어모듈(42), C-플레이어모듈(43), D-플레이어모듈(44) 각각에 입력한다. 입력모듈(10)은 사용자로부터 어떤 사용자 컨텐츠를 입력받은 경우, 이것을 시드 컨텐츠로서 그대로 A-플레이어모듈(41), B-플레이어모듈(42), C-플레이어모듈(43), D-플레이어모듈(44) 각각에 전달할 수도 있고, 사용자 컨텐츠의 특징들을 A-플레이어모듈(41), B-플레이어모듈(42), C-플레이어모듈(43), D-플레이어모듈(44) 각각에 입력할 수도 있다. 전자는 텍스트나 숫자 등 사용자 컨텐츠의 데이터 용량이 작은 경우에 해당하고, 후자는 이미지나 동영상 등 사용자 컨텐츠의 데이터 용량이 큰 경우에 해당한다.

예를 들어, 입력모듈(10)은 사용자로부터 어떤 이미지를 입력받은 경우, IN-인공신경망을 이용하여 이미지로부터 그 이미지의 특징들을 추출한다. IN-인공신경망은 이미지 특징 추출에 적합한 CNN(Convolutional Neural Network)의 일종일 수 있다. 이어서, 입력모듈(10)은 이와 같이 추출된 이미지의 특징들을 시드 컨텐츠로서 A-플레이어모듈(41), B-플레이어모듈(42), C-플레이어모듈(43), D-플레이어모듈(44) 각각에 입력한다. A-플레이어모듈(41), B-플레이어모듈(42), C-플레이어모듈(43), D-플레이어모듈(44)은 시드 컨텐츠를 입력받으면 그 각각의 구동이 시작된다. 이와 같이, 시드 컨텐츠는 A-플레이어모듈(41), B-플레이어모듈(42), C-플레이어모듈(43), D-플레이어모듈(44) 각각의 구동 개시를 위한 외부 자극으로 작용한다.

2000 단계에서 A-플레이어모듈(41)은 다자 중 플레이어 A의 사고 체계를 모델링한 PA-인공신경망을 이용하여 입력모듈(10)로부터 입력된 시드 컨텐츠에 대한 복수의 제 1 출력컨텐츠를 생성한다. A-플레이어모듈(41)은 입력모듈(10)로부터 입력된 시드 컨텐츠를 PA-인공신경망에 입력하고, 그 입력에 대한 PA-인공신경망의 출력으로부터 복수의 제 1 출력컨텐츠를 획득함으로써 복수의 제 1 출력컨텐츠를 생성한다. 복수의 제 1 출력컨텐츠는 A-플레이어모듈(41)의 외부에 드러내는 속성을 갖는 제 1 노출형 출력컨텐츠와 외부로부터 숨겨지는 속성을 갖는 제 1 은닉형 출력컨텐츠로 구성된다. 즉, A-플레이어모듈(41)은 PA-인공신경망을 이용하여 입력모듈(10)로부터 입력된 시드 컨텐츠에 대한 제 1 노출형 출력컨텐츠와 제 1 은닉형 출력컨텐츠를 생성한다.

2000 단계에서 B-플레이어모듈(42)은 다자 중 플레이어 B의 사고 체계를 모델링한 PB-인공신경망을 이용하여 입력모듈(10)로부터 입력된 시드 컨텐츠에 대한 복수의 제 2 출력컨텐츠를 생성한다. B-플레이어모듈(42)은 입력모듈(10)로부터 입력된 시드 컨텐츠를 PB-인공신경망에 입력하고, 그 입력에 대한 PB-인공신경망의 출력으로부터 복수의 제 2 출력컨텐츠를 획득함으로써 복수의 제 2 출력컨텐츠를 생성한다. 복수의 제 2 출력컨텐츠는 B-플레이어모듈(42)의 외부에 드러내는 속성을 갖는 제 2 노출형 출력컨텐츠와 외부로부터 숨겨지는 속성을 갖는 제 2 은닉형 출력컨텐츠로 구성된다. 즉, B-플레이어모듈(42)은 PB-인공신경망을 이용하여 입력모듈(10)로부터 입력된 시드 컨텐츠에 대한 제 2 노출형 출력컨텐츠와 제 2 은닉형 출력컨텐츠를 생성한다.

2000 단계에서 C-플레이어모듈(43)은 다자 중 플레이어 C의 사고 체계를 모델링한 PC-인공신경망을 이용하여 입력모듈(10)로부터 입력된 시드 컨텐츠에 대한 복수의 제 3 출력컨텐츠를 생성한다. C-플레이어모듈(43)은 입력모듈(10)로부터 입력된 시드 컨텐츠를 PC-인공신경망에 입력하고, 그 입력에 대한 PC-인공신경망의 출력으로부터 복수의 제 3 출력컨텐츠를 획득함으로써 복수의 제 3 출력컨텐츠를 생성한다. 복수의 제 3 출력컨텐츠는 C-플레이어모듈(43)의 외부에 드러내는 속성을 갖는 제 3노출형 출력컨텐츠와 외부로부터 숨겨지는 속성을 갖는 제 3 은닉형 출력컨텐츠로 구성된다. 즉, C-플레이어모듈(43)은 PC-인공신경망을 이용하여 입력모듈(10)로부터 입력된 시드 컨텐츠에 대한 제 3 노출형 출력컨텐츠와 제 3 은닉형 출력컨텐츠를 생성한다.

2000 단계에서 D-플레이어모듈(44)은 다자 중 플레이어 D의 사고 체계를 모델링한 PD-인공신경망을 이용하여 입력모듈(10)로부터 입력된 시드 컨텐츠에 대한 복수의 제 4 출력컨텐츠를 생성한다. D-플레이어모듈(44)은 입력모듈(10)로부터 입력된 시드 컨텐츠를 PD-인공신경망에 입력하고, 그 입력에 대한 PD-인공신경망의 출력으로부터 복수의 제 4 출력컨텐츠를 획득함으로써 복수의 제 4 출력컨텐츠를 생성한다. 복수의 제 4 출력컨텐츠는 D-플레이어모듈(44)의 외부에 드러내는 속성을 갖는 제 4 노출형 출력컨텐츠와 외부로부터 숨겨지는 속성을 갖는 제 4 은닉형 출력컨텐츠로 구성된다. 즉, D-플레이어모듈(44)은 PD-인공신경망을 이용하여 입력모듈(10)로부터 입력된 시드 컨텐츠에 대한 제 4 노출형 출력컨텐츠와 제 4 은닉형 출력컨텐츠를 생성한다.

3000~5000 단계에서 코디네이터모듈(50)은 다자의 협의를 도출하는 체계를 모델링한 CO-인공신경망을 이용하여 2000 단계에서 생성된 제 1~4 노출형 출력컨텐츠와 제 1~4 은닉형 출력컨텐츠 중 적어도 하나의 출력컨텐츠로부터 다자의 협의 컨텐츠를 생성한다.

3000 단계에서 코디네이터모듈(50)은 CO-인공신경망의 분류망 부분을 이용하여 제 1~4 노출형 출력컨텐츠와 제 1~4 은닉형 출력컨텐츠 각각의 정확도를 결정하고, 이와 같이 결정된 제 1~4 노출형 출력컨텐츠와 제 1~4 은닉형 출력컨텐츠 각각의 정확도와 미리 설정된 임계값을 비교한다. 그 비교 결과, 3000 단계에서 결정된 각 출력컨텐츠의 정확도가 임계값 미만이면 4000 단계로 진행하고 3000 단계에서 결정된 각 출력컨텐츠의 정확도가 임계값 이상이면 5000 단계로 진행한다.

코디네이터모듈(50)은 사이클 컨시스턴시 로스(Cycle consistency loss) 결정 방식에 따라 각 출력컨텐츠의 정확도를 결정할 수 있다. 사이클 컨시스턴시 로스 결정 방식은 입력데이터 X가 생성망에 의해 얼마나 정확하게 출력데이터 Y로 변환되었는지 판별하기 위해 출력데이터 Y를 역으로 변환함으로써 생성된 역변환 데이터 X'가 얼마나 입력데이터 X와 동일한지를 보는 방식이다. 즉, 코디네이터모듈(50)은 각 출력컨텐츠를 CO-인공신경망에 입력함으로써 CO-인공신경망의 출력으로부터 각 출력컨텐츠의 역변환 컨텐츠를 획득한다. 이어서, 코디네이터모듈(50)은 이와 같이 획득된 각 역변환 컨텐츠와 입력모듈(10)로부터 입력된 시드 컨텐츠의 유사도를 각 출력컨텐츠의 정확도로 결정한다.

4000 단계에서 코디네이터모듈(50)은 각 출력컨텐츠의 정확도를 각 출력컨텐츠를 생성한 각 플레이어모듈(41~44)로 입력함으로써 코디네이터모듈(50)로부터 각 플레이어모듈(41~44)로 각 출력컨텐츠의 정확도를 피드백한다. 여기에서, 임계값은 사용자에 의해 설정될 수 있으며 그 값이 클수록 각 출력컨텐츠의 정확도가 향상될 수 있으나 협의 컨텐츠에 반영될 출력컨텐츠의 개수가 감소할 수 있다. 한편, 임계값이 작을수록 협의 컨텐츠에 반영될 출력컨텐츠의 개수가 증가할 수 있으나 각 출력컨텐츠의 정확도가 감소될 수 있다. 본 실시예에 따르면, 사용자의 임계값 조정에 따라 사용자가 원하는 품질과 개수의 출력컨텐츠가 협의 컨텐츠에 반영될 수 있다.

협의 컨텐츠에 반영되는 출력컨텐츠의 정확도가 높을수록 현실 세계에서의 다자 회의에서 협의를 도출할 때에 협의 결과에 보다 정확한 의견이 반영되는 것과 유사하며 이 경우 부정확한 의견이 협의 결과에서 제외될 확률이 보다 높아진다. 협의 컨텐츠에 반영되는 출력컨텐츠의 개수가 많을수록 현실 세계에서의 다자 회의에서 협의를 도출할 때에 협의에 보다 많은 사람의 의견이 반영되는 것과 유사하며, 이 경우 협의 결과가 보편적일 확률이 높아진다.

5000 단계에서 코디네이터모듈(50)은 2000 단계에서 생성된 제 1~4 노출형 출력컨텐츠와 제 1~4 은닉형 출력컨텐츠 중 임계값 이상의 정확도를 갖는 적어도 하나의 출력컨텐츠로부터 다자의 협의 컨텐츠를 생성한다. 코디네이터모듈(50)은 임계값 이상의 정확도를 갖는 출력컨텐츠가 존재하지 않으면 아래에 설명된 바와 같은 피드백 과정 후에 다시 입력된 출력컨텐츠로부터 협의 컨텐츠를 다시 생성하게 된다. 코디네이터모듈(50)은 임계값 이상의 정확도를 갖는 출력컨텐츠가 하나이면 그 출력컨텐츠를 협의 컨텐츠로 결정함으로써 협의 컨텐츠를 생성하게 된다. 코디네이터모듈(50)은 임계값 이상의 정확도를 갖는 출력컨텐츠가 복수이면 CO-인공신경망의 생성망 부분을 이용하여 임계값 이상의 정확도를 갖는 복수의 출력컨텐츠를 통합함으로써 다자의 협의 컨텐츠를 생성한다.

6000~8000 단계에서 리프리젠터모듈(60)은 다자의 협의를 평가하는 체계를 모델링한 RE-인공신경망을 이용하여 5000 단계에서 생성된 협의 컨텐츠의 협의 타당성 점수에 따라 협의 컨텐츠를 출력한다.

6000 단계에서 리프리젠터모듈(60)은 다자의 협의 타당성을 평가하는 체계를 모델링한 RE-인공신경망을 이용하여 5000 단계에서 생성된 협의 컨텐츠의 협의 타당성 점수를 결정하고, 이와 같이 결정된 협의 컨텐츠의 협의 타당성 점수와 미리 설정된 기준점수를 비교한다. 그 비교 결과, 6000 단계에서 결정된 협의 컨텐츠의 정확도가 기준점수 미만이면 7000 단계로 진행하고 3000 단계에서 결정된 협의 컨텐츠의 정확도가 기준점수 이상이면 8000 단계로 진행한다.

리프리젠터모듈(60)은 사이클 컨시스턴시 로스 결정 방식에 따라 코디네이터모듈(50)로부터 입력된 협의 컨텐츠의 협의 타당성 점수를 결정할 수 있다. 즉, 리프리젠터모듈(60)은 협의 컨텐츠를 RE-인공신경망에 입력함으로써 RE-인공신경망의 출력으로부터 협의 컨텐츠의 역변환 컨텐츠를 획득한다. 이어서, 리프리젠터모듈(60)은 이와 같이 획득된 각 역변환 컨텐츠와 코디네이터모듈(50)로부터 입력된 협의 컨텐츠의 유사도를 각 출력컨텐츠의 정확도로 결정한다.

7000 단계에서 리프리젠터모듈(60)은 협의 컨텐츠의 협의 타당성 점수를 코디네이터모듈(50)로 입력함으로써 리프리젠터모듈(60)로부터 코디네이터모듈(50)로 협의 컨텐츠의 협의 타당성 점수를 피드백한다. 여기에서, 기준점수는 사용자에 의해 설정될 수 있으며 그 값이 클수록 협의 컨텐츠의 협의 타당성은 향상될 수 있으나 협의 컨텐츠의 출력 시점이 지연될 수 있다. 한편, 기준점수가 작을수록 협의 컨텐츠가 신속하게 출력될 수 있으나 협의 컨텐츠의 협의 타당성이 낮아질 수 있다. 본 실시예에 따르면, 사용자는 기준점수를 조정함으로써 협의 컨텐츠의 협의 타당성과 출력 지연을 조정할 수 있다. 협의 컨텐츠의 협의 타당성이 높을수록 현실 세계에서의 다자 회의에서 여러 사람의 의견이 보다 적절하게 취합되어 대다수가 동의할 수 있도록 협의되는 것과 유사하다.

8000 단계에서 리프리젠터모듈(60)은 5000 단계에서 생성된 협의 컨텐츠를 스토리지(30)로 출력함으로써 협의 컨텐츠를 스토리지(30)에 저장한다. 출력모듈(20)은 스토리지(30)에 저장된 협의 컨텐츠를 사용자에게 출력한다. 협의 컨텐츠는 디스플레이 패널 등과 같은 출력모듈(20)을 통하여 사용자에게 제공될 수 있다.

도 3은 도 1에 도시된 4 개의 플레이어모듈(41~44)에 의한 다자 회의의 일례를 나타내는 도면이다. 도 3에는 본 실시예의 이해를 돕기 위해 각 플레이어모듈(41~44)이 사람의 형태로 표시되어 있다. 또한, 각 플레이어모듈(41~44)에 의해 생성 가능한 출력컨텐츠의 여러 가지 유형이 표시되어 있다. 출력컨텐츠의 각 유형은 다음과 같다. 각 유형 뒤에 붙는 숫자 "1"은 각 플레이어모듈(41~44)에 의해 해당 유형의 출력컨텐츠가 생성되었음을 의미하고, 숫자 "0"은 각 플레이어모듈(41~44)에 의해 해당 유형의 출력컨텐츠가 생성되지 않았음을 의미한다. 이러한 출력컨텐츠의 유형에 관한 설명은 도 3 외에 다른 도면에도 공통적으로 적용된다.

"AA"는 A-플레이어모듈(41)이 다른 플레이어모듈의 출력컨텐츠를 고려하지 않고 A-플레이어모듈(41) 고유의 출력컨텐츠를 생성하는 경우이다. "AB"는 A-플레이어모듈(41)이 B-플레이어모듈(42)의 출력컨텐츠의 정확성에 대해 의심을 가지면서 B-플레이어모듈(42)의 출력컨텐츠를 교정하는 방식으로 A-플레이어모듈(41)의 출력컨텐츠를 생성하는 경우이다. "AC"는 A-플레이어모듈(41)이 C-플레이어모듈(43)의 출력컨텐츠의 정확성에 대해 의심을 가지면서 C-플레이어모듈(43)의 출력컨텐츠를 교정하는 방식으로 A-플레이어모듈(41)의 출력컨텐츠를 생성하는 경우이다. "AD"는 A-플레이어모듈(41)이 D-플레이어모듈(44)의 출력컨텐츠의 정확성에 대해 의심을 가지면서 D-플레이어모듈(44)의 출력컨텐츠를 교정하는 방식으로 A-플레이어모듈(41)의 출력컨텐츠를 생성하는 경우이다.

"BA"는 B-플레이어모듈(42)이 B-플레이어모듈(42)의 출력컨텐츠의 정확성에 대해 의심을 가지면서 A-플레이어모듈(41)의 출력컨텐츠를 교정하는 방식으로 B-플레이어모듈(42)의 출력컨텐츠를 생성하는 경우이다. "BB"는 B-플레이어모듈(42)이 다른 플레이어모듈의 출력컨텐츠를 고려하지 않고 B-플레이어모듈(42) 고유의 출력컨텐츠를 생성하는 경우이다. "BC"는 B-플레이어모듈(42)이 C-플레이어모듈(43)의 출력컨텐츠의 정확성에 대해 의심을 가지면서 C-플레이어모듈(43)의 출력컨텐츠를 교정하는 방식으로 B-플레이어모듈(42)의 출력컨텐츠를 생성하는 경우이다. "BD"는 B-플레이어모듈(42)이 D-플레이어모듈(44)의 출력컨텐츠의 정확성에 대해 의심을 가지면서 D-플레이어모듈(44)의 출력컨텐츠를 교정하는 방식으로 B-플레이어모듈(42)의 출력컨텐츠를 생성하는 경우이다.

"CA"는 C-플레이어모듈(43)이 A-플레이어모듈(41)의 출력컨텐츠의 정확성에 대해 의심을 가지면서 A-플레이어모듈(41)의 출력컨텐츠를 교정하는 방식으로 C-플레이어모듈(43)의 출력컨텐츠를 생성하는 경우이다. "CB"는 C-플레이어모듈(43)이 B-플레이어모듈(42)의 출력컨텐츠의 정확성에 대해 의심을 가지면서 C-플레이어모듈(43)의 출력컨텐츠를 교정하는 방식으로 C-플레이어모듈(43)의 출력컨텐츠를 생성하는 경우이다. "CC"는 C-플레이어모듈(43)이 다른 플레이어모듈의 출력컨텐츠를 고려하지 않고 C-플레이어모듈(43) 고유의 출력컨텐츠를 생성하는 경우이다. "CD"는 C-플레이어모듈(43)이 D-플레이어모듈(44)의 출력컨텐츠의 정확성에 대해 의심을 가지면서 D-플레이어모듈(44)의 출력컨텐츠를 교정하는 방식으로 C-플레이어모듈(43)의 출력컨텐츠를 생성하는 경우이다.

"DA"는 D-플레이어모듈(44)이 A-플레이어모듈(41)의 출력컨텐츠의 정확성에 대해 의심을 가지면서 A-플레이어모듈(41)의 출력컨텐츠를 교정하는 방식으로 D-플레이어모듈(44)의 출력컨텐츠를 생성하는 경우이다. "DB"는 D-플레이어모듈(44)이 B-플레이어모듈(42)의 출력컨텐츠의 정확성에 대해 의심을 가지면서 D-플레이어모듈(44)의 출력컨텐츠를 교정하는 방식으로 D-플레이어모듈(44)의 출력컨텐츠를 생성하는 경우이다. "DC"는 D-플레이어모듈(44)이 C-플레이어모듈(43)의 출력컨텐츠의 정확성에 대해 의심을 가지면서 C-플레이어모듈(43)의 출력컨텐츠를 교정하는 방식으로 D-플레이어모듈(44)의 출력컨텐츠를 생성하는 경우이다. "DD"는 D-플레이어모듈(44)이 다른 플레이어모듈의 출력컨텐츠를 고려하지 않고 D-플레이어모듈(44) 고유의 출력컨텐츠를 생성하는 경우이다.

도 3에 도시된 예는 각 플레이어모듈(41~44)이 어떤 시드 컨텐츠에 대해 "나는 언제나 옳다. 나머지는 다 틀리다."라는 외부에 드러내고자 하는 하나의 추론 논리만을 가지고 있는 경우이다. 이것은 현실 세계에서의 다자 회의에서 각자가 외부적으로 자기 주장만 하고 자기 주장이 틀릴 수 없다는 입장에 있으며, 각자의 내심에도 다른 사람의 주장에는 관심이 없는 경우와 유사하다.

이 경우, A-플레이어모듈(41)은 "나는 언제나 옳다. 나머지는 다 틀리다."라는 추론 논리로부터 시드 컨텐츠에 대해 AA 유형에 속하는 노출형 출력컨텐츠를 생성하고 (AA: 1), B-플레이어모듈(42)은 "나는 언제나 옳다. 나머지는 다 틀리다."라는 추론 논리로부터 시드 컨텐츠에 대해 BB 유형에 속하는 노출형 출력컨텐츠를 생성하고 (BB: 1), C-플레이어모듈(43)은 "나는 언제나 옳다. 나머지는 다 틀리다."라는 추론 논리로부터 시드 컨텐츠에 대해 CC 유형에 속하는 노출형 출력컨텐츠를 생성하고 (CC: 1), D-플레이어모듈(44)은 "나는 언제나 옳다. 나머지는 다 틀리다."라는 추론 논리로부터 시드 컨텐츠에 대해 DD 유형에 속하는 노출형 출력컨텐츠를 생성한다 (DD: 1).

코디네이터모듈(50)은 4 개의 플레이어모듈(41~44)에 의해 생성된 4 개의 노출형 출력컨텐츠 중에서 임계값 이상의 정확도를 갖는 적어도 하나의 출력컨텐츠로부터 다자의 협의 컨텐츠를 생성한다. 예를 들어, 4 개의 플레이어모듈(41~44)에 의해 생성된 4 개의 출력컨텐츠 중 CC 유형의 출력컨텐츠가 임계값 이상의 정확도를 갖고 다른 출력컨텐츠는 임계값 미만의 정확도를 갖는 경우, 코디네이터모듈(50)은 4 개의 플레이어모듈(41~44)에 의해 생성된 4 개의 출력컨텐츠 중 CC 유형의 출력컨텐츠를 다자의 협의 컨텐츠로 결정함으로써 다자의 협의 컨텐츠를 생성할 수 있다.

도 4는 도 1에 도시된 4 개의 플레이어모듈(41~44)에 의한 다자 회의의 다른 예를 나타내는 도면이다. 도 4에는 도 3과 마찬가지로, 본 실시예의 이해를 돕기 위해 각 플레이어모듈(41~44)이 사람의 형태로 표시되어 있고, 각 플레이어모듈(41~44)에 의해 생성 가능한 출력컨텐츠의 여러 가지 유형이 표시되어 있다. 각 플레이어모듈(41~44)이 외부에 드러내고자 하는 유형은 실선으로 도시되어 있고, 외부로부터 숨기고자 하는 유형은 점선으로 도시되어 있다.

도 4에 도시된 예는 각 플레이어모듈(41~44)이 어떤 시드 컨텐츠에 대해 "나는 언제나 옳다. 나머지는 다 틀리다."라는 외부에 드러내고자 하는 일차적인 추론 논리와 "하지만 난 이렇게 한다."라는 외부로부터 숨기고자 하는 이차적인 추론 논리를 갖고 있는 경우이다. 이것은 현실 세계에서의 다자 회의에서 각자가 외부적으로 자기 주장만 하고 자기 주장이 틀릴 수 없다는 입장을 고수하고 있으나, 각자의 내심에는 어떤 사람의 주장에 어느 정도 수긍하면서 그것을 수정할 경우에 받아드릴 의사도 있는 경우와 유사하다.

이 경우, A-플레이어모듈(41)은 "나는 언제나 옳다. 나머지는 다 틀리다."라는 추론 논리로부터 시드 컨텐츠에 대해 AA 유형에 속하는 노출형 출력컨텐츠를 생성하고 (AA: 1), "하지만 난 이렇게 한다"라는 추론 논리로부터 시드 컨텐츠에 대한 B-플레이어모듈(42)의 노출형 출력컨텐츠에 대해 AB 유형에 속하는 은닉형 출력컨텐츠를 생성한다 (AB: 1). B-플레이어모듈(42)은 "나는 언제나 옳다. 나머지는 다 틀리다."라는 추론 논리로부터 시드 컨텐츠에 대해 BB 유형에 속하는 노출형 출력컨텐츠를 생성하고 (BB: 1), "하지만 난 이렇게 한다"라는 추론 논리로부터 시드 컨텐츠에 대한 D-플레이어모듈(44)의 노출형 출력컨텐츠에 대해 BD 유형에 속하는 은닉형 출력컨텐츠를 생성한다 (BD: 1).

C-플레이어모듈(43)은 "나는 언제나 옳다. 나머지는 다 틀리다."라는 추론 논리로부터 시드 컨텐츠에 대해 CC 유형에 속하는 노출형 출력컨텐츠를 생성하고 (CC: 1), "하지만 난 이렇게 한다"라는 추론 논리로부터 시드 컨텐츠에 대한 A-플레이어모듈(41)의 노출형 출력컨텐츠에 대해 CA 유형에 속하는 은닉형 출력컨텐츠를 생성한다 (CA: 1). D-플레이어모듈(44)은 "나는 언제나 옳다. 나머지는 다 틀리다."라는 추론 논리로부터 시드 컨텐츠에 대해 DD 유형에 속하는 노출형 출력컨텐츠를 생성하고 (DD: 1), "하지만 난 이렇게 한다"라는 추론 논리로부터 시드 컨텐츠에 대한 B-플레이어모듈(42)의 노출형 출력컨텐츠에 대해 DB 유형에 속하는 은닉형 출력컨텐츠를 생성한다 (DB: 1).

코디네이터모듈(50)은 4 개의 플레이어모듈(41~44)에 의해 생성된 4 개의 노출형 출력컨텐츠와 4 개의 은닉형 출력컨텐츠 중에서 임계값 이상의 정확도를 갖는 적어도 하나의 출력컨텐츠로부터 다자의 협의 컨텐츠를 생성한다. 예를 들어, 코디네이터모듈(50)은 4 개의 노출형 출력컨텐츠의 평균 정확도와 4 개의 은닉형 출력컨텐츠의 평균 정확도를 산출하고, 4 개의 노출형 출력컨텐츠의 평균 정확도와 4 개의 은닉형 출력컨텐츠 중에서 더 높은 평균 정확도를 갖는 4 개의 출력컨텐츠를 통합함으로써 다자의 협의 컨텐츠를 생성할 수 있다.

도 5는 도 1에 도시된 4 개의 플레이어모듈(41~44)에 의한 다자 회의의 또 다른 예를 나타내는 도면이다. 도 5에는 도 3과 마찬가지로, 본 실시예의 이해를 돕기 위해 각 플레이어모듈(41~44)이 사람의 형태로 표시되어 있고, 각 플레이어모듈(41~44)에 의해 생성 가능한 출력컨텐츠의 여러 가지 유형이 표시되어 있다. 각 플레이어모듈(41~44)이 외부에 드러내고자 하는 유형은 실선으로 도시되어 있고, 외부로부터 숨기고자 하는 유형은 점선으로 도시되어 있다.

"AA'", "BB'", "CC'", "DD'" 유형은 도 3, 4에는 도시되어 있지 않다. "AA'"는 A-플레이어모듈(41)이 외부로부터 숨기고자 하는 A-플레이어모듈(41) 고유의 출력컨텐츠를 생성하는 경우이다. "BB'"는 B-플레이어모듈(42)이 외부로부터 숨기고자 하는 B-플레이어모듈(42) 고유의 출력컨텐츠를 생성하는 경우이다. "CC'"는 C-플레이어모듈(43)이 외부로부터 숨기고자 하는 C-플레이어모듈(43) 고유의 출력컨텐츠를 생성하는 경우이다. "DD'"는 D-플레이어모듈(44)이 외부로부터 숨기고자 하는 D-플레이어모듈(44) 고유의 출력컨텐츠를 생성하는 경우이다.

도 5에 도시된 예는 각 플레이어모듈(41~44)이 어떤 시드 컨텐츠에 대해 "나는 언제나 옳다. 나머지는 다 틀리다."라는 외부에 드러내고자 하는 일차적인 추론 논리와 "혹시 그렇지 않다면?"이라는 외부로부터 숨기고자 하는 이차적인 추론 논리를 갖고 있는 경우이다. 이것은 현실 세계에서의 다자 회의에서 각자가 외부적으로는 자기 주장만 하고 자기 주장이 틀릴 수 없다는 입장을 고수하고 있으나, 각자의 내심에는 외부에 꺼낸 자기 주장이 틀릴 수도 있으며 외부로부터 숨겨진 또 다른 주장을 갖고 있는 경우와 유사하다.

이 경우, A-플레이어모듈(41)은 "나는 언제나 옳다. 나머지는 다 틀리다."라는 추론 논리로부터 시드 컨텐츠에 대해 AA 유형에 속하는 노출형 출력컨텐츠를 생성하고 (AA: 1), "혹시 그렇지 않다면?"이라는 추론 논리로부터 시드 컨텐츠에 대해 AA' 유형에 속하는 은닉형 출력컨텐츠를 생성한다 (AA': 1). B-플레이어모듈(42)은 "나는 언제나 옳다. 나머지는 다 틀리다."라는 추론 논리로부터 시드 컨텐츠에 대해 BB 유형에 속하는 노출형 출력컨텐츠를 생성하고 (BB: 1), "혹시 그렇지 않다면?"이라는 추론 논리로부터 시드 컨텐츠에 대해 BB' 유형에 속하는 은닉형 출력컨텐츠를 생성한다 (BB': 1).

C-플레이어모듈(43)은 "나는 언제나 옳다. 나머지는 다 틀리다."라는 추론 논리로부터 시드 컨텐츠에 대해 CC 유형에 속하는 노출형 출력컨텐츠를 생성하고 (CC: 1), "혹시 그렇지 않다면?"이라는 추론 논리로부터 시드 컨텐츠에 대해 CC' 유형에 속하는 은닉형 출력컨텐츠를 생성한다 (CC': 1). D-플레이어모듈(44)은 "나는 언제나 옳다. 나머지는 다 틀리다."라는 추론 논리로부터 시드 컨텐츠에 대해 DD 유형에 속하는 노출형 출력컨텐츠를 생성하고 (DD: 1), "혹시 그렇지 않다면?"이라는 추론 논리로부터 시드 컨텐츠에 대해 DD' 유형에 속하는 은닉형 출력컨텐츠를 생성한다 (DD': 1).

도 6은 도 1에 도시된 4 개의 플레이어모듈(41~44)에 의한 다자 회의의 또 다른 예를 나타내는 도면이다. 도 6에는 도 3과 마찬가지로, 본 실시예의 이해를 돕기 위해 각 플레이어모듈(41~44)이 사람의 형태로 표시되어 있고, 각 플레이어모듈(41~44)에 의해 생성 가능한 출력컨텐츠의 여러 가지 유형이 표시되어 있다. 각 플레이어모듈(41~44)이 외부에 드러내고자 하는 유형은 실선으로 도시되어 있고, 외부로부터 숨기고자 하는 유형은 점선으로 도시되어 있다.

도 6에 도시된 예는 코디네이터모듈(50)의 협의 방식을 제외하고, 도 5에 도시된 예와 동일하다. 도 6에 도시된 예는 4 개의 플레이어모듈(41~44)에 의해 생성된 4 개의 출력컨텐츠 중 BB, AA', CC', DD' 유형의 출력컨텐츠가 임계값 이상의 정확도를 갖고 다른 출력컨텐츠는 임계값 미만의 정확도를 갖는 경우이다. 이 경우, 코디네이터모듈(50)은 4 개의 플레이어모듈(41~44)에 의해 생성된 4 개의 노출형 출력컨텐츠와 4 개의 은닉형 출력컨텐츠 중에서 임계값 이상의 정확도를 갖는 BB, AA', CC', DD' 유형의 출력컨텐츠를 통합함으로써 다자의 협의 컨텐츠를 생성할 수 있다.

도 7은 도 1에 도시된 협의 컨텐츠 제공 장치에서의 컨텐츠 입출력 경로를 나타내는 도면이다. 도 7을 참조하면, A-플레이어모듈(41), B-플레이어모듈(42), C-플레이어모듈(43), D-플레이어모듈(44) 각각은 하나의 노출형 출력컨텐츠와 하나의 은닉형 출력컨텐츠를 생성하여 코디네이터모듈(50)로 출력한다. 코디네이터모듈(50)은 4 개의 노출형 출력컨텐츠의 평균 정확도와 4 개의 은닉형 출력컨텐츠 중에서 적어도 하나의 출력컨텐츠로부터 다자의 협의 컨텐츠를 생성하여 리프리젠터모듈(60)로 출력한다. 리프리젠터모듈(60)은 협의 컨텐츠의 협의 타당성 점수를 코디네이터모듈(50)로 입력함으로써 리프리젠터모듈(60)로부터 코디네이터모듈(50)로 협의 컨텐츠의 협의 타당성 점수를 피드백한다.

도 8은 도 2에 도시된 협의 컨텐츠 제공 방법의 응용 예로서 이미지 해석 제공 방법을 나타내는 도면이다. 도 8의 경우, A-플레이어모듈(41)은 어떤 이미지를 보면 그 이미지 내의 객체들간의 종합적 관계에 집중하는 성향의 플레이어 A의 사고 체계를 모델링한 PA-인공신경망을 이용한다. B-플레이어모듈(42)은 어떤 이미지를 보면 그 이미지 내의 타겟 객체와 주변 객체간의 연관 관계에 집중하는 성향의 플레이어 B의 사고 체계를 모델링한 PB-인공신경망을 이용한다. C-플레이어모듈(43)은 어떤 이미지를 보면 그 이미지 내에서 타겟 객체의 변화에 집중하는 성향의 플레이어 C의 사고 체계를 모델링한 PC-인공신경망을 이용한다. D-플레이어모듈(44)은 어떤 이미지를 보면 그 이미지 내에서 타겟 객체의 다음 행위에 집중하는 성향의 플레이어 C의 사고 체계를 모델링한 PD-인공신경망을 이용한다.

입력모듈(10)은 사용자로부터 어떤 도 8에 도시된 바와 같은 이미지를 입력받으면, 그 이미지의 특징들을 A-플레이어모듈(41), B-플레이어모듈(42), C-플레이어모듈(43), D-플레이어모듈(44) 각각에 입력한다.

이러한 외부 자극에 대응하여, A-플레이어모듈(41)은 "이 사진은 사람이 길거리에 서 있는 것을 보여준다."라는 노출형 출력컨텐츠를 생성하고, B-플레이어모듈(42)은 "저 사람은 저 집에서 방금 나왔을 것이다."라는 노출형 출력컨텐츠를 생성하고, C-플레이어모듈(43)은 "저 사람은 단순히 지나가는 중이다."라는 노출형 출력컨텐츠를 생성하고, D-플레이어모듈(44)은 "다음 도착지는 반대편에 있는 집이다."라는 노출형 출력컨텐츠를 생성한다.

이러한 노출형 출력컨텐츠를 통합해 보면, 다자의 협의 컨텐츠는 "길거리에 있는 저 사람은 저 집에서 방금 나왔을 수도 있고 혹은 지나가는 중이며 도착지는 반대편에 있는 집이다."가 된다.

이러한 외부 자극에 대응하여, A-플레이어모듈(41)은 "이 사진에는 우리가 원하는 사람이 없다."라는 은닉형 출력컨텐츠를 생성하고, B-플레이어모듈(42)은 "저 집은 원래 저 사람과 관계가 없다.'라는 은닉형 출력컨텐츠를 생성하고, C-플레이어모듈(43)은 "원래 오랫동안 이 장소에서 서 있었을 것이다.'라는 은닉형 출력컨텐츠를 생성하고, D-플레이어모듈(44)은 "원래 도착지로 돌아온 것이다."라는 은닉형 출력컨텐츠를 생성한다.

이러한 은닉형 출력컨텐츠를 통합해 보면, 다자의 협의 컨텐츠는 "이 사진에는 우리가 원했던 사람이 아닌 다른 사람이 있으며 저 뒤의 집은 그 사람과 관계가 없고, 이 장소에 오랫동안 있었으며, 전에 있었던 장소로 다시 돌아온 것이다."가 된다.

만일, 4 개의 노출형 출력컨텐츠의 평균 정확도가 0.2이고, 4 개의 은닉형 출력컨텐츠의 평균 정확도가 0.8이라고 하면, 코디네이터모듈(50)은 4 개의 은닉형 출력컨텐츠를 통합함으로써 "이 사진에는 우리가 원했던 사람이 아닌 다른 사람이 있으며 저 뒤의 집은 그 사람과 관계가 없고, 이 장소에 오랫동안 있었으며, 전에 있었던 장소로 다시 돌아온 것이다."라는 이미지 해석 결과를 나타내는 협의 컨텐츠를 생성할 수 있다.

도 9는 도 2에 도시된 협의 컨텐츠 제공 방법의 응용 예로서 컨텐츠 자막 제공 방법을 나타내는 도면이다. 도 9에 도시된 예에서의 사용자 컨텐츠는 이미지에 해당하는 시각 컨텐츠와 음성에 해당하는 청각 컨텐츠로 구성된다. 시각 컨텐츠는 여성이 아이에게 문서를 보여주면서 얘기를 하는 장면(150)이다. 시각 컨텐츠의 해석은 도 1에 도시된 A~D-플레이어모듈(44)이 담당하고, 청각 컨텐츠의 해석은 도 1에 도시되어 있지 않은 E-플레이어모듈(45)이 담당함에 따라 도 9에는 총 5 개의 플레이어모듈이 도시되어 있다.

입력모듈(10)은 현저성 국부화(saliency localization) 방식에 따라 이 장면(150)을 여성의 얼굴에 해당하는 이미지 부분(151), 아이의 얼굴에 해당하는 이미지 부분(153), 아이의 전체적 모습에 해당하는 이미지 부분(155), 여성이 이야기하는 이미지(157)로 분할한다. 현저성 국부화(saliency localization) 방식은 본 실시예가 속하는 기술분야에서 공지된 기술이므로 자세한 설명을 생략하기로 한다. 입력모듈(10)은 IN-인공신경망을 이용하여 각 이미지 부분(151, 153, 155, 157)의 특징들을 추출하고, 각 이미지 부분(151, 153, 155, 157)의 특징들을 A~D-플레이어모듈(44)에 입력한다.

입력모듈(10)은 스테레오 타입의 청각 컨텐츠로부터 제 1 채널의 특징들과 제 2 채널의 특징들을 추출하고, 제 1 채널의 특징들과 제 2 채널의 특징들을 E-플레이어모듈(45)에 입력한다. 도 9에 도시된 바에 따르면, A-플레이어모듈(41)의 은닉형 컨텐츠, B-플레이어모듈(42)의 노출형 컨텐츠, C-플레이어모듈(43)의 은닉형 컨텐츠, D-플레이어모듈(44)의 은닉형 컨텐츠, E-플레이어모듈(45)의 노출형 컨텐츠가 임계값 이상의 정확도를 갖는 컨텐츠이다. 코디네이터모듈(50)은 A~E-플레이어모듈(41~45)에 의해 생성된 5 개의 노출형 출력컨텐츠와 5 개의 은닉형 출력컨텐츠 중에서 임계값 이상의 정확도를 갖는 5 개의 출력컨텐츠를 통합함으로써 "I told you need to finish the homework."라는 자막에 해당하는 다자의 협의 컨텐츠를 생성한다.

도 10~12는 도 2에 도시된 협의 컨텐츠 제공 방법의 응용 예로서 영화 자작 방법을 나타내는 도면이다. 도 10을 참조하면, 입력모듈(10)은 영화의 한 스틸샷에 해당하는 이미지와 "주인공은 이제 헤드폰을 끼우고 음악을 듣기 시작합니다."라는 자막을 입력받고, 인경신경망을 이용하여 이미지와 자막의 특징들을 추출한다. 도 10에 도시된 바와 같이, 입력모듈(10)은 IN-인공신경망의 CNN 부분을 이용하여 이미지의 특징들을 추출하고, IN-인공신경망의 다층퍼셉트론(multilayer perceptron) 부분을 이용하여 자막의 특징들을 추출한다. 도 10에 도시된 예에서의 IN-인공신경망은 CNN 부분과 다층퍼셉트론 부분으로 이루어져 있다. 이어서, 입력모듈(10)은 이미지와 자작의 특징들로 이루어진 시드 컨텐츠를 A~D-플레이어모듈(44) 각각에 입력한다. 이러한 시드 컨텐츠는 A~D-플레이어모듈(44) 각각의 구동 개시를 위한 외부 자극으로 작용한다.

도 10~12에 도시된 예에서 A-플레이어모듈(41)과 B-플레이어모듈(42)은 자막 생성을 담당하고, C-플레이어모듈(43)과 D-플레이어모듈(44)은 이미지 생성을 담당한다. 도 5. 6에 도시된 예와 같이, 시드 컨텐츠에 대해 각 플레이어모듈(41~44)이 어떤 시드 컨텐츠에 대해 "나는 언제나 옳다. 나머지는 다 틀리다."라는 외부에 드러내고자 하는 일차적인 추론 논리와 "혹시 그렇지 않다면?"이라는 외부로부터 숨기고자 하는 이차적인 추론 논리를 갖고 있는 경우라고 가정한다. 이러한 추론 논리는 시드 컨텐츠의 내용 및 각 플레이어모듈(41~44)의 사고 체계에 따라 결정된다.

도 11을 참조하면, A-플레이어모듈(41)은 "나는 언제나 옳다. 나머지는 다 틀리다."라는 일차적 추론 논리로부터 시드 컨텐츠에 대해 "주인공은 이제 헤드폰을 두 손으로 만지면서 음악을 더 크게 틉니다."라는 노출형 출력컨텐츠를 생성한다. 이것의 정확도는 0.13이라고 하자. A-플레이어모듈(41)은 "혹시 그렇지 않다면?"이라는 이차적 추론 논리로부터 시드 컨텐츠에 대해 "음악 소리는 점점 크게 들리면서 주인공은 천천히 거리를 걸어갑니다."라는 은닉형 출력컨텐츠를 생성한다. 이것의 정확도는 0.8이라고 하자.

B-플레이어모듈(42)은 "나는 언제나 옳다. 나머지는 다 틀리다."라는 일차적 추론 논리로부터 시드 컨텐츠에 대해 "이제 장면이 전환되면서 카메라는 줌아웃으로 멀리 비춰줍니다."라는 노출형 출력컨텐츠를 생성한다. 이것의 정확도는 0.19라고 하자. B-플레이어모듈(42)은 시드 컨텐츠에 대해 "혹시 그렇지 않다면?"이라는 이차적 추론 논리로부터 "카메라는 줌안으로 가깝게 비춰줍니다."라는 은닉형 출력컨텐츠를 생성한다. 이것의 정확도는 0.8이라고 하자.

C-플레이어모듈(43)은 "나는 언제나 옳다. 나머지는 다 틀리다."라는 일차적 추론 논리로부터 시드 컨텐츠에 대해 도 11에 도시된 이미지(111)와 같은 노출형 출력컨텐츠를 생성한다. 이것의 정확도는 0.25라고 하자. C-플레이어모듈(43)은 시드 컨텐츠에 대해 "혹시 그렇지 않다면?"이라는 이차적 추론 논리로부터 도 11에 도시된 이미지(112)와 같은 은닉형 출력컨텐츠를 생성한다. 이것의 정확도는 0.25라고 하자.

D-플레이어모듈(44)은 "나는 언제나 옳다. 나머지는 다 틀리다."라는 일차적 추론 논리로부터 시드 컨텐츠에 대해 도 11에 도시된 이미지(113)와 같은 노출형 출력컨텐츠를 생성한다. 이것의 정확도는 0.57이라고 하자. C-플레이어모듈(43)은 시드 컨텐츠에 대해 "혹시 그렇지 않다면?"이라는 이차적 추론 논리로부터 도 11에 도시된 이미지(114)와 같은 은닉형 출력컨텐츠를 생성한다. 이것의 정확도는 0.39라고 하자.

A-플레이어모듈(41)과 B-플레이어모듈(42)에 의해 생성된 4 개의 자막과 C-플레이어모듈(43)과 D-플레이어모듈(44)에 의해 생성된 4 개의 이미지는 코디네이터모듈(50)로 입력된다. 임계값이 0.5라면, 코디네이터모듈(50)은 A-플레이어모듈(41)에 의해 은닉형 출력컨텐츠에 해당하는 자막 "음악 소리는 점점 크게 들리면서 주인공은 천천히 거리를 걸어갑니다."와 A-플레이어모듈(41)에 의해 은닉형 출력컨텐츠에 해당하는 자막 "카메라는 줌안으로 가깝게 비춰줍니다."를 통합으로써 협의 자막 "음악 소리는 점점 크게 들리면서 주인공은 천천히 거리를 걸어가며 카메라는 줌안으로 가깝게 비춰줍니다."를 생성한다. 코디네이터모듈(50)은 이미지(113)를 협의 이미지로 결정한다.

리프리젠터모듈(60)이 코디네이터모듈(50)에 의해 생성된 협의 자막과 협의 이미지의 협의 타당성 점수가 기준 점수보다 높으면 협의 자막과 협의 이미지를 스토리지(30)에 저장한다. 출력모듈(20)은 스토리지(30)에 저장된 협의 자막과 협의 이미지를 출력한다. 도 12에는 이와 같은 협의 자막과 협의 이미지가 출력된 예가 도시되어 있다.

본 실시예에 따르면, 다자 회의의 대상에 해당하는 시드 컨텐츠에 대하여 여러 사람의 사고 체계를 모델링한 복수의 인공신경망을 이용하여 다양한 복수의 출력컨텐츠를 생성한 후에 복수의 출력컨텐츠로부터 다자의 협의 컨텐츠를 생성함으로써 하나의 인공신경망을 이용하여 시드 컨텐츠에 대한 출력컨텐츠를 제공하는 경우보다 시드 컨텐츠에 더 적합한 양질의 출력컨텐츠인 협의 컨텐츠를 제공할 수 있다. 이것은 현실 세계에서 어떤 회의 대상에 대해 한 사람이 단독으로 의견을 내 놓는 경우보다 여러 사람이 내 놓은 의견을 취합하여 최종 결론을 내리는 경우가 보다 양질의 결과를 얻을 수 있는 것과 유사하다.

인공신경망은 그것의 수많은 가중치와 바이오스를 조정하는 방식으로 학습이 이루어진다. 이로 인해, 인공신경망은 입력에 대하여 그 학습 과정에 편향된 결과를 출력하는 경향이 있다. 본 실시예는 여러 사람의 사고 체계를 모델링한 복수의 인공신경망을 이용함으로써 각 인공신경망이 그 각각의 학습 과정에 편향된 결과를 출력하는 것을 방지할 수 있고 하나의 인공신경망을 이용할 때 보다 객관적인 결과를 제공할 수 있다. 특히, 여러 사람의 사고 체계를 모델링한 복수의 인공신경망으로부터 다양한 사고 체계에서의 다양한 결과를 유도해 낼 수 있음에 따라 하나의 인공신경망을 이용할 때 보다 보편적인 결과를 제공할 수 있다.

한편, 상술한 바와 같은 본 발명의 일 실시예에 따른 협의 컨텐츠 제공 방법은 컴퓨터의 프로세서에서 실행 가능한 프로그램으로 작성 가능하고, 이 프로그램을 컴퓨터로 읽을 수 있는 기록매체에 기록하여 실행시키는 컴퓨터에서 구현될 수 있다. 컴퓨터는 데스크탑 컴퓨터, 노트북 컴퓨터, 스마트폰, 임베디드 타입의 컴퓨터 등 프로그램을 실행시킬 수 있는 모든 타입의 컴퓨터를 포함한다. 또한, 상술한 본 발명의 일 실시예에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 컴퓨터로 읽을 수 있는 기록매체는 램(RAM), 롬(ROM), 마그네틱 저장매체(예를 들면, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형상으로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

10 ... 입력모듈
20 ... 출력모듈
30 ... 스토리지
41 ... A-플레이어모듈
42 ... B-플레이어모듈
43 ... C-플레이어모듈
44 ... D-플레이어모듈
50 ... 코디네이터모듈
60 ... 리프리젠터모듈

Claims

다자 회의 모델링 기반의 협의 컨텐츠를 제공하는 방법에 있어서,
다자 회의의 대상에 해당하는 시드 컨텐츠(seed contents)를 입력하는 단계;
상기 다자 중 제 1 인의 사고 체계를 모델링한 인공신경망을 이용하여 상기 입력된 시드 컨텐츠에 대한 적어도 하나의 제 1 출력컨텐츠를 생성하는 단계;
상기 다자 중 제 2 인의 사고 체계를 모델링한 인공신경망을 이용하여 상기 입력된 시드 컨텐츠에 대한 적어도 하나의 제 2 출력컨텐츠를 생성하는 단계; 및
상기 적어도 하나의 제 1 출력컨텐츠와 상기 적어도 하나의 제 2 출력컨텐츠를 포함하는 복수의 출력컨텐츠 중 적어도 하나로부터 상기 다자의 협의 컨텐츠를 생성하는 단계를 포함하고,
상기 적어도 하나의 제 1 출력컨텐츠는 외부에 드러내는 속성을 갖는 제 1 노출형 출력컨텐츠와 외부로부터 숨겨지는 속성을 갖는 제 1 은닉형 출력컨텐츠를 포함하고,
상기 적어도 하나의 제 2 출력컨텐츠는 외부에 드러내는 속성을 갖는 제 2 노출형 출력컨텐츠와 외부로부터 숨겨지는 속성을 갖는 제 2 은닉형 출력컨텐츠를 포함하는 것을 특징으로 하는 협의 컨텐츠 제공 방법.
삭제
제 1 항에 있어서,
상기 협의 컨텐츠를 생성하는 단계는 상기 다자의 협의를 도출하는 체계를 모델링한 인공신경망을 이용하여 상기 복수의 출력컨텐츠 중 적어도 하나의 출력컨텐츠로부터 상기 협의 컨텐츠를 생성하는 것을 특징으로 하는 협의 컨텐츠 제공 방법.
제 3 항에 있어서,
상기 협의 컨텐츠를 생성하는 단계는 상기 복수의 출력컨텐츠 각각의 정확도를 결정하고, 상기 복수의 출력컨텐츠 중에서 미리 설정된 임계값 이상의 정확도를 갖는 적어도 하나의 출력컨텐츠로부터 상기 협의 컨텐츠를 생성하는 것을 특징으로 하는 협의 컨텐츠 제공 방법.
제 4 항에 있어서,
상기 협의 컨텐츠를 생성하는 단계는 상기 복수의 출력컨텐츠 각각의 정확도를 결정하고, 상기 복수의 출력컨텐츠 중에서 미리 설정된 임계값 이상의 정확도를 갖는 복수의 출력컨텐츠를 통합함으로써 상기 협의 컨텐츠를 생성하는 것을 특징으로 하는 협의 컨텐츠 제공 방법.
제 5 항에 있어서,
상기 협의 컨텐츠를 생성하는 단계는 상기 생성된 각 출력컨텐츠를 상기 다자의 협의를 도출하는 체계를 모델링한 인공신경망에 입력함으로써 상기 다자의 협의를 도출하는 체계를 모델링한 인공신경망의 출력으로부터 상기 각 출력컨텐츠의 역변환 컨텐츠를 획득하고, 상기 각 출력컨텐츠의 역변환 컨텐츠와 상기 시드 컨텐츠의 유사도를 상기 각 출력컨텐츠의 정확도로 결정하는 것을 특징으로 하는 협의 컨텐츠 제공 방법.
제 1 항에 있어서,
상기 다자의 협의 타당성을 평가하는 체계를 모델링한 인공신경망을 이용하여 상기 협의 컨텐츠의 협의 타당성 점수에 따라 상기 협의 컨텐츠를 출력하는 단계를 더 포함하는 것을 특징으로 하는 협의 컨텐츠 제공 방법.
제 1 항에 있어서,
상기 다자 중 제 3 인의 사고 체계를 모델링한 인공신경망을 이용하여 상기 입력된 시드 컨텐츠에 대한 제 3 출력컨텐츠를 생성하는 단계를 더 포함하고,
상기 협의 컨텐츠를 생성하는 단계는 상기 적어도 하나의 제 1 출력컨텐츠, 상기 적어도 하나의 제 2 출력컨텐츠, 및 상기 적어도 하나의 제 3 출력컨텐츠를 포함하는 복수의 출력컨텐츠 중 적어도 하나로부터 상기 협의 컨텐츠를 생성하는 것을 특징으로 하는 협의 컨텐츠 제공 방법.
제 8 항에 있어서,
상기 다자 중 제 4 인의 사고 체계를 모델링한 인공신경망을 이용하여 상기 입력된 시드 컨텐츠에 대한 제 4 출력컨텐츠를 생성하는 단계를 더 포함하고,
상기 협의 컨텐츠를 생성하는 단계는 상기 적어도 하나의 제 1 출력컨텐츠, 상기 적어도 하나의 제 2 출력컨텐츠, 상기 적어도 하나의 제 3 출력컨텐츠, 및 상기 적어도 하나의 제 4 출력컨텐츠를 포함하는 복수의 출력컨텐츠 중 적어도 하나로부터 상기 협의 컨텐츠를 생성하는 것을 특징으로 하는 협의 컨텐츠 제공 방법.
제 1 항 또는 제 3 항 내지 제 9 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
다자 회의 모델링 기반의 협의 컨텐츠를 제공하는 장치에 있어서,
다자 회의의 대상에 해당하는 시드 컨텐츠(seed contents)를 입력하는 입력모듈;
상기 다자 중 제 1 인의 사고 체계를 모델링한 인공신경망을 이용하여 상기 입력된 시드 컨텐츠에 대한 적어도 하나의 제 1 출력컨텐츠를 생성하는 제 1 플레이어모듈;
상기 다자 중 제 2 인의 사고 체계를 모델링한 인공신경망을 이용하여 상기 입력된 시드 컨텐츠에 대한 적어도 하나의 제 2 출력컨텐츠를 생성하는 제 2 플레이어모듈; 및
상기 적어도 하나의 제 1 출력컨텐츠와 상기 적어도 하나의 제 2 출력컨텐츠를 포함하는 복수의 출력컨텐츠 중 적어도 하나로부터 상기 다자의 협의 컨텐츠를 생성하는 코디네이터모듈을 포함하고,
상기 적어도 하나의 제 1 출력컨텐츠는 외부에 드러내는 속성을 갖는 제 1 노출형 출력컨텐츠와 외부로부터 숨겨지는 속성을 갖는 제 1 은닉형 출력컨텐츠를 포함하고,
상기 적어도 하나의 제 2 출력컨텐츠는 외부에 드러내는 속성을 갖는 제 2 노출형 출력컨텐츠와 외부로부터 숨겨지는 속성을 갖는 제 2 은닉형 출력컨텐츠를 포함하는 것을 특징으로 하는 협의 컨텐츠 제공 장치.