KR20190008510A

KR20190008510A - 비콘(Beacon)과 다자간 학습방법(Multi-lateral Joint Analysis) 절차를 이용한 인지공간 구성과, 딥러닝(Deep Learning)을 활용한 개인화 컴포넌트(Component) 식별 방법

Info

Publication number: KR20190008510A
Application number: KR1020170090089A
Authority: KR
Inventors: 임성열
Original assignee: 임성열
Priority date: 2017-07-16
Filing date: 2017-07-16
Publication date: 2019-01-24

Abstract

딥러닝(Deep Learning)에 이은 인공지능의 재조명으로, 앞으로는 현재의 전문직들의 일이 인공지능으로 대체될 전망이다. 이미 의료, 유통 등 다양한 분야에서 AI가 등장하였다.
하지만 '사람'의 대체로 발생하는 '사람' 자체에 대한 조명과, 인공지능을 활용하여 새로운 분야를 찾아 개인에게 제공하는 역량개발에 대해서는 아직까지 다루어지지 않았다.
이 발명에서는, 다자간 협동방식의 셋업(Set Up) 환경을 구성하여, '사람'의 역량개발을 위해 필요한 새로운 컴포넌트(Component)를 발견하고 이를 활용하는 방식을 다루고 있다. 셋업(Set Up)환경은, 비콘과 중계기와 다자간 협업 방식을 적용한 격벽으로 구성한다.
중계기는, 현재는 BLE4.0과 WiFi가 장착된 라즈베리파이와 같은 미니 PC로 구현한 애플리케이션(Application) 장치이며, 각 비콘으로부터 비콘식별자, RSSI거리값을 전송받아 일시와 함께 WiFi로 DB서버로 전송한다. 비콘은 사용자 부착형이다.
사전에 다자간 협업절차로 셋업된 각 중계기가 수신하는 정보를 룰(Rule)로 적용하여, 개인별 특성에 맞게 학습을 하기 위한 최적의 분석을 지원한다. 결과적으로 협업의 성과를 극대화하게 되는 모델이다.
이 방식은 디지털포렌식(Digital Forensic) 수사관들이 전자장치, 의료 등의 분야에서 한정된 시간내에 사건처리를 위해 다른 분야의 전문 영역까지 학습하거나 의견을 교류하기 위해 실무에서는 검증한 바 있다. 이후 최대의 협업 방안을 개선하기 위한 방식을 적용하여 다자간 협동 학습 모델로써 착안하였다.
이 발명과 구성 장치를 이용하면, 조정자가 원하는 특성에 대한 학습을 지정할 경우 이를 달성하기 위해 필요한 학습자별 개인 컴포넌트(Component)를 발견할 수 있다.

Description

비콘(Beacon)과 다자간 학습방법(Multi-lateral Joint Analysis) 절차를 이용한 인지공간 구성과, 딥러닝(Deep Learning)을 활용한 개인화 컴포넌트(Component) 식별 방법 {Identifying personalized components by the method of building a cognitive space with beacons under Multi-lateral Joint Analysis process}

본 발명은 각 전문가들이 서로 협업할 때 나타나는 새로운 개인화 특성을 컴포넌트(Component)로 식별하는 방법에 관한 것이다. 개인 전문가들이 참여하여 학습하고 실행하는 모델이며 국제적으로 검증된 사례로 다자간 합동수사 방식(*SCI: Science Citation Index 논문, 다자간합동수사간 협업/학습 모델; 2012, 2013, 2015 임성열)이 있다. 이는 실제 디지털포렌식(Digital Forensic) 업무 절차를 적용한 실무 모델이다.

이를 위해, 실내 협업공간을 격자로 구분하고 비콘을 이용하여 각 사용자의 위치와 역량 향상 단계를 연결하여 개인별로 역량 향상에 필요한 개인화 특성을 컴포넌트로 발견할 수 있도록 돕는다. 구조방정식(Structural Equation Model)과 딥러닝(Deep Learning) 방법을 도구로 사용하나, 도구의 사용 자체는 청구의 범위가 아니다.

기존의 데이터과학(Data Science)은 보통 데이터 셋(Data Set)에서 특징(Feature)을 (1차) 추출하여 (2차) 데이터를 적재하고 의미 있는 관계를 찾아내거나 이를 통해서 향후를 예측하는 형태의 2차원적 분석 방식을 취한다. 이런 형태의 분석은, 1950~60년대부터 시작되어 온 기술들이다. 여기서 하려는 시도는 이러한 분석 기반 위에서, 데이터를 담는 변수로써 뿐만이 아니라, 콘텐츠 룰(Contents Rule) 즉, 기능/비기능적인 (3차) 의미를 담는 지능형 컴포넌트(Componet)로 다룬다. 기능/비기능적인 의미를 가지는 각 컴포넌트(Component)들간의 관계를 포함한다.

이렇게 미지의 컴포넌트(Component)를 발견하고 이들간의 관계를 증명하는 것을 기존에 사용되었던 용어 중에 도메인(Domain) 및 유즈케이스(Usecase), 마케팅(Marketing) 등의 의미를 포괄할 수 있는 "콘텐츠 룰(Contents Rule)"이라는 단어를 차용한 것이다. 클라우드(Cloud), 빅데이터(Big Data) 등 인프라(Infra)의 개선으로 콘텐츠(Content)로 의미를 가지는 컴포넌트(Component) 수준의 실시간 분석 및 학습이 가능하다는 것을 전제로 한다.

요인분석이나, 경로분석, 구조방정식 등 기존 공통 분석 방법외에도 컴포넌트(Component)를 발견하기 위한 소프트웨어아키텍처(Software Architecture) 기술(기능/비기능적 유즈케이스 식별)을 융합하여 적용한다. 본 발명에서는 도메인(Domain)기반 지능형 아키텍처(Intelligent Architecture)라고 명명한다.

다자간 학습 환경에서 발생하는, 도메인(Domain, 업종)별 의미 있는 특징(Feature)을 정의하여 추정한 초기 셋업(Set Up) 컴포넌트(Component)와 이를 촉발시키는 콘텐츠 룰(Contents Rule)을 가설로 세우고, 딥러닝(Deep Learning)을 적용하여 가설에 대해 의미 있는 가치와 관계를 가지는 새로운 비즈니스(Business) 컴포넌트(Component)를 발견하려고 하는 것이다.

[문헌1] 1017575290000 (2017.07.06) 모바일 비콘과 모바일 애플리케이션을 활용한 위치 추적 방법 및 시스템(Location Tracking Method and System using Mobile Beacon and Mobile Application), 청구항4, 청구항5 [문헌2] 1017488310000 (2017.06.13) 비콘을 이용한 전시장 운영시스템(EVENT SERVICE MANAGING SYSTEM USING BEACON), 청구항1

[문헌1] Control Variables of Remote Joint Analysis Realization on the M2M Case : Sung Ryel Lim외, KSII Transactions on Internet and Information Systems Vol. 6, No.1, January 30, 2012 [문헌2] Factors Affecting Medical Incident Care on WBAN : Sung Ryel Lim외, KSII Transactions on Internet and Information Systems, Vol. 7, No.5, May 31, 2013 [문헌3] Identifying management factors for digital incident responses on Machine-to-Machine services : Sung Ryel Lim, Digital Investigation Vol.14 46-52, July 21, 2015

딥러닝(Deep Learning)에 이은 인공지능의 재조명으로, 앞으로는 현재의 전문직들의 일이 인공지능으로 대체될 전망이다. 이미 의료, 유통 등 다양한 분야에서 AI가 등장하였다.

하지만 '사람'의 대체로 발생하는 '사람' 자체에 대한 조명과, 인공지능을 활용하여 새로운 분야를 찾아 개인에게 제공하는 역량개발에 대해서는 아직까지 다루어지지 않았다.

이 발명에서는, 다자간 협동방식의 셋업(Set Up) 환경을 구성하여, '사람'의 역량개발을 위해 필요한 새로운 컴포넌트(Component)를 발견하고 이를 활용하는 방식을 다루고 있다.

제시하는 발명은, 강화 학습을 통해 처리하는 콘텐츠 룰(Contents Rule)을 개인에게 제공하는 역량개발 모델이다. 셋업(Set Up) 환경에서, 각 센싱(Sensing) 식별자들의 값이 중계기(통제 변수, Control Variables)와 가깝게(=영향력이 크게) 나오게 하기 위해서 필요한 최적화 과정을 콘텐츠 룰(Contents Rule)로 식별하여 학습 모델로 제공한다.

중계기는, 현재는 BLE4.0과 WiFi가 장착된 라즈베리파이와 같은 미니 PC로 구현한 애플리케이션(Application) 장치이며, 각 비콘으로부터 비콘식별자, RSSI거리값을 전송받아 일시와 함께 WiFi로 DB서버로 전송한다.

사전에 다자간 협업절차로 셋업된 각 중계기가 수신하는 정보를 룰(Rule)로 적용하여, 개인별 특성에 맞게 협업 업무를 하기 위한 최적의 분석을 지원하고, 결과적으로 협업의 성과를 극대화하게 되는 모델이다.

이 방식은 디지털포렌식(Digital Forensic) 수사관들이 전자장치, 의료 등의 분야에서 한정된 시간내에 사건처리를 위해 다른 분야의 전문 영역까지 학습하거나 의견을 교류하기 위해 실무에서는 검증한 바 있다. 이후 최대의 협업 방안을 개선하기 위한 방식을 적용하여 다자간 협동 학습 모델로써 착안하였다.

이를 본 발명에서 재적용하여 일반 시민들에게 도움을 줄 수 있는 다자간 협동 학습에서도 사용할 수 있도록 조정하여 제안한다. 발명에 사용된 데이터는 시민들에게 크게 영향을 줄 수 있는 민감한 분야 중 '의료'분야를 선택하여 사용하였으나, 다자간 학습모델을 사용하는 모든 유즈케이스(Usecase)에 적용이 가능하다. 실제 이러한 다자간 학습 모델은 적용 분야를 달리하여 적용 시(3회에 걸쳐) SCI(Science Citation Index) 논문에서 아이디어와 가치가 입증되었다.

이 모델은 여러 명의 전문가들이 참여하여 이루어지는 컨설팅 업무 및 다자간 학습에서 사용할 수 있는 학습 모델로 활용할 수 있다. 이미 알려진 이스라엘에서 토론으로 이루어지는 학습 방식도 비슷한 모델이나, 발명자가 제안하는 것과 같은 구조와 장치, 분석방법을 갖춘 것은 아니다. 여기서는 추가적으로 인지공간을 셋업(Set Up)하여 자동으로 데이터 획득 및 실시간 분석이 함께 이뤄진다는 점도 다르다.

이 발명과 구성 장치를 이용하면, 다자간 학습환경에서 개인별 학습 성과를 참조하여 개별 역량개발 방식에 대한 자동 관리를 할 수 있다. 또한 조정자가 원하는 특성에 대한 학습을 지정할 경우 이를 달성하기 위해 필요한 학습자별 개인 컴포넌트(Component)를 발견하고 성과를 높이기 위한 학습 경로를 유도할 수 있다.

도 1은, 다자간 학습을 위한 서비스 지표 설계 구성 도표
도 2는, 다자간 학습을 위한 서비스 지표 측정 유형 배치 도표
도 3은, 유형 배치에 대한 요인분석과 컴포넌트 식별 도표
도 4는, 센서를 매핑한 모바일 의료앱 개발 개념도
도 5은, 모바일 앱에서 각 센서 배치의 이점을 연결한 대쉬보드 화면 구성도
도 6은, 모바일 앱 대쉬보드 리포팅 페이지 구성도
도 7은, 최종 모형의 상관분석을 통한 경로 추정도
도 8는, 새롭게 발견한 셋업 컴포넌트간 공식 관계도(예시)
도 9는, 최종 모델에 대한 회귀분석 결과가 수치 분석도표

다음 [도 1]은 WBAN(Wireless Body Area Network) 등 M2M(Machine to Machine) 통신이 발생하는 환경에서 상호작용을 갖는 센서(Sensor)에 대한 특이점 조사를 위한 가상의 종합 상황실을 배치하고, (의료분야) 전문가들이 대응을 위한 다자간 협업 업무에서 필요한 참여자의 역할과, 센서 특이점 배치를 기획하기 위한 유즈케이스(Usecase)이다. 최초 모델의 절차 생성 시 사용된 데이터들은 실제 대한민국 각 지방경찰청 디지털포렌식 수사관들의 업무와 의견을 반영한 것이며, 제안하는 발명에서 사용된 데이터는 서울대학교 병원에서 각 참여자들을 통해 수집된 실 데이터를 토대로 구성한 것이다.

구성된 공간에서 최적의 학습을 하기 위해 필요한 컴포넌트(Component)를 도출하여 모바일앱(Mobile App.)을 통해 기능간 함수(예로써, X1이라는 기능이 동작하고 X2라는 기능이 동작하면 Y의 실행이 예측되는 함수)로 연계하였다. 실제 [도 4] [도 5] [도 6]에서 대쉬보드(Dashboard) 모습으로 반영하였다.

각 업무 담당자는 4개의 역할을 가질 수 있다. (Responsible, Supportive, Accountable, Consulted & Informed) 그리고 각 담당자별로 (비콘, Beacon) 센서가 장착된 ID 카드를 소지한다.

[도 2]에서 업무 단계별 각 지표들은 중계기(통제변수) 유형을 할당하기 위한 것이며 초기 중계기에 셋팅될 수 있는 값들이다. 향후 센서로부터 수집되는 ID카드별 구분값을 더하여 서버(DB)로 추가 정보를 전송하는데 사용될 수 있다.

[도 2]는, 중계기(통제변수)로부터 업무 정도에 따라 배치 공간을 구분한 결과이다. 중계기(통제변수)는 3개씩 위치하여 삼각측량을 통해 현재 참여자의 업무 위치를 식별한다.

각 업무 담당별 4개의 역할을 참조하여 중계기 유형을 식별하고 필요한 중계기를 초기 셋팅 한다. (Responsible, Supportive, Accountable, Consulted & Informed)

다음에서는 중계기(통제변수) 유형별 ID카드를 가진 사용자가 가지게 될 성취 등급에 따라 거리 값에 의미를 반영한다. 학습 컨텐츠별 처리 완성도에 따라, 5개의 성취 등급(Outstanding, Excellent, Meet Expectation, Need Efforts, Fail)을 가지도록 물리적 격벽을 셋팅한다.

성취 등급은 초기 관리자가 셋팅하고, 이후 작업자의 학습 컨텐츠별 참여 여부, 리포팅 이력 조회, 리포팅에 대한 처리결과 등을 통해 자동 조정된다. 또한 강화학습을 통해 성취 등급을 높이기 위해 필요한 개별 참여자에게 필요한 컨텐츠에 대한 조언을 제공한다.

예로써, 학습 컨텐츠별 작성 결과는 제출하는 보고서는 형태소 분석 후 키워드 매핑(Mapping)을 통해 정확도 등의 값을 부여한다. 이후 정확도의 성취등급에 따라 각 중계기(통제변수)별 최고의 등급을 가지기 위해 설정된 역량육성 콘텐츠를 조언한다.

학습자가 이동 시 자동으로 ID카드를 식별하여 본인 학습 위치의 PC가 알람(Alarm)을 제공한다. 성취 등급이 높을수록 중계기(통제변수)에 인접하는 좌석과 성취 등급이 낮을수록 가장 떨어진 좌석까지 5개의 격벽을 가지는 모바일 좌석(Mobile Seat, 도서관처럼 특정인에게 고정되지 않은 좌석)과 해당 등급의 자료를 보유한 장치(PC)에 접근할 수 있다. 학습 완성 정도가 높을수록 높은 성취 등급의 자료를 활용할 수 있다.

모든 업무자는 ID카드(센서 비콘)를 장착하고 업무를 처리한다. 하루에 1~5건의 학습 케이스(Case)가 할당되며, 케이스(Case)별 콘텐츠 학습 결과 보통 하루에 2~3회 좌석 이동이 발생한다.

케이스별 지정된 성취 등급을 직접 할당 받은 경우는 콘텐츠를 학습하기 위해 직접 해당 격벽으로 이동할 수 있으나, 케이스별 학습결과를 토대로 성취 등급이 자동 상향되면 신규 상급 컨텐츠 학습을 시작할 수 있고, 하향 조정되면 이를 보완한 후 승급할 수 있다. 사용자 소지 비콘에 대해 PC의 알람(Alarm)으로 확인 가능하다.

[도 3]은 각 참여자가 가지는 ID카드(비콘 센서)로부터 60일간 중계기가 측정한 결과화(RSSI값 강도를 5점 척도화)하여 취합한 예제이다. 2009년도 황강댐 사건을 수사하는 과정을 참조하여 [도 1]과 [도 2]의 절차를 따랐다. 이후 다자간 학습 업무 프로세스를 적용해서 실제 학습에서 참여자들의 업무 위치를 확인하여 재관측한 실 데이터를 반영하였다. 각각의 센서는 개별적으로 동작하나 전체 기록 값들은 발생시간을 기준으로 하나의 일련의 행위로 묶어서, 각자가 전체에 영향을 미치는 것으로 가정한다. 이 센서 배치의 결과 의미를 가지는 컴포넌트(Component)를 식별될 수 있으며, 매번 교육장 전개 시 초점을 두어야 하는 특이점으로 관리할 수 있게 된다.

[도 3]은 추가된 센서("볼드체")가 기존 센서들에 미치는 영향을 센서 추가 전/후의 측정 값을 기록한 결과를 요약한 것이다.

이 센서들이 취득한 값에 기반하여, 전체에 미치는 요인을 분석해서 발견한 요소들을 새롭게 그룹핑하여 매핑(굵게 박스 표기)하고 기존 요인과 함께 같이 정리한 것이다. 기존 센서로 부터는 주요 컴포넌트들로 기존 센서들의 배치로부터 "Reliability"가 식별되었고 추가한 센서들로부터는 "Safety"와 "Reliability"가 증명되었다. 상대적으로 "Accuracy"를 위해 추가한 센서들은 "Reliability"를 위해 배치한 센서들이 대체하여 충족시킬 수 있다.

기존 배치된 센서들과 추가 배치된 센서들간의 비교결과, F 값이 분산의 동질성을 가정할 수 있고, 유의수준 값이 0.000으로 0.05 보다 작아서, 추가 배치된 센서들이 특이점이 있음을 알 수 있다.

다음과 같이 센서들간의 상관관계를 분석하여, 다음 그림과 같이 경로를 탐색할 수 있다. 이 결과를 반영하여 매핑(Mapping)한 컴포넌트(Component)를 실제 모바일 앱(Mobile App.)으로 설계하면 [도 4], [도 5], [도 6]과 같다.

다음은 [도 5]의 구성에 대한 설명이다.

① 의료앱 사용자의 의무와 의료사고에 대한 "Policy" 처리 우선순위를 제시한다. 최소 처리 시간과 최소한의 처리 수준을 보장하기 위한 특이점을 갖는다.

② "Admissibility"를 보장하기 위해 필요한 표준 가이드라인과 절차를 연결한다.

③ 의료사고 대응 AI서비스를 위해 필요한 "Architecture" 측면의 지표를 표현한다. 이 지표들은 실제 수행되는 절차별 관측센서들에 의해 자동으로 수집되고 분석된다.

④ 이 곳의 버튼을 누르면 각각의 "Standard" 지표에 적용된 최신 "Policy"를 살펴볼 수 있다.

⑤ 이 곳을 클릭하면, 각각의 "Architecture" 지표에 적용된 최신 "Standard"를 추적할 수 있다.

⑥ 이 곳을 클릭하면 이 AI서비스에 참여하고 있는 참여자와 그들이 로그인 활동 상태를 알 수 있다. [도 6]과 같은 상세 대쉬보드가 별도로 열린다.

⑦ 이 곳을 클릭하면, 이 사건 케이스에 적용되는 "Policy" 지표와 여기에 할당된 센서들의 상태를 개별적으로 볼 수 있다.

⑧ 이 곳을 클릭하면, 이 사건 케이스에 적용되는 "Standard" 지표와 여기에 할당된 센서들의 상태를 개별적으로 확인할 수 있다.

⑨ 이 곳을 클릭하면, 이 사건 케이스에 적용되는 "Architecture" 지표와 여기에 할당된 센서들의 상태를 개별적으로 점검할 수 있다.

[도 5]에는 다양한 센서배치의 특이점들로부터 수집되는 신뢰성을 높이기 위해 PKI(Public Key Infrastructure)구조를 활용한 개인서명(Private Signature) 기능을 반영하였다. 이를 토대로 [도 6]에서 로그인 상태를 확인하도록 하였다.

모바일 앱(Mobile App.)과 비콘(Beacon)으로부터 수집한 데이터를 토대로 컴포넌트간 상관관계를 분석해 보면 다음 [도 7]과 같이 식별된다.

[도 7]에서 추정한 지표간 상관도와 경로를 토대로, [도 8]과 같이 구조방정식을 통해 컴포넌트간 관계를 셋업한 공식을 설계해 볼 수 있다.

위와 같이 추정한 모형은 다음과 같이 요약된다.

만약 ξ₁ = Accuracy, err = δ₁~δ₃ 라면,

x₁=Architecture_B, x₁=λ₁₁ξ₁ +δ₁

x₂=Architecture_C, x₂=λ₂₁ξ₁ +δ₂

x₃=Standard_B, x₃=λ₃₁ξ₁ +δ₃

그리고 ξ₂ = MJA_Accuracy, err =δ₄~δ₆라면,

x₄=Factor_DP2, x₄=λ₄₂ξ₂ +δ₄

x₅=Factor_BF3, x₅=λ₅₂ξ₂ +δ₅

x₆=Factor_MP3, x₆=λ₆₂ξ₂+δ₆

그리고 ξ₃ = Reliability, err =δ₇~δ₉라면,

x₇=Standard_C, x₇=λ₇₃ξ₃+δ₇

x₈=Standard_D, x₈=λ₈₃ξ₃+δ₈

x₉=Policy_B, x₉=λ₉₃ξ₃ +δ₉

그리고 η₁ = MJA_Reliability, err =ε₁~ε₃라면,

y₁=Factor_DP1, y₁=λ₁₁η₁ +ε₁

y₂=Factor_MP2, y₂=λ₂₁η₁ +ε₂

y₃=Factor_MJA3, y₃=λ₃₁η₁ +ε₃

그리고 η₂= MJA_Safety, err =ε₄ ~ε₆라면,

y₄=Factor_MJA7, y₄=λ₄₂η₂+ε₄

y₅=Factor_MJA8, y₅=λ₅₂η₂ +ε₅

y₆=Factor_RC1 y₆=λ₆₂η₂ +ε₆

마지막으로 검증 결과를 요약하면 다음과 같이 최종 공식을 도출할 수 있다

만약 γ₁₁ = 0.214, γ₁₂ = 0.273, β₁₁ = 0.385 라면,

η₁= γ₁₁ξ₁ + γ₂₁ξ₂+ β₁₁η₂

그리고 γ₂₂ = 0.226, γ₂₃ = 0.232, β₂₁ = 0.385 라면,

η₂ = γ₂₂ξ₂ + γ₂₃ξ₃ + β₂₁η₁

그리고 γ₁₂ = 0.273, γ₂₂ = 0.226, γ₃₂ = 0.379 라면,

ξ₂ = γ₁₂η₁+ γ₂₂η₂+ γ₃₂ξ₃

이 공식과 매핑된 센서를 통해 데이터를 수집하고 강화학습을 딥러닝(Deep Learning)기반으로 처리하여, 실시간으로 센서 배치의 특이점을 파악하고 영향도와 의미를 관리에 적합화시킨다. 이렇게 적합화된 컴포넌트(Component)를 개인역량개발을 위한 인공지능의 기능으로 활용할 수 있다.

도메인(Domain)별 데이터 특성을 반영할 경우 다양한 값의 결과가 나올 수 있으나 각 데이터 특성별 최적화된 성능으로 조정할 수 있다. 딥러닝(Deep Learning)을 적용하는 과정은 현재는 발명의 항목이 아니므로 설명에서 생략한다.

[도 2]에 사용된 약어
Decision-making about a meeting and Priority assignment(DP)
Meeting Preparation(MP)
Case outline for Architecture support(CA)
Briefing(BF)
Joint Analysis(JA)
Review for finalization and Categorization for future reference(RC).”

Claims

다자간 학습 환경에서 비콘(Beacon)과 중계기(통제변수를 할당한 장치)를 이용하여 격벽 또는 위치 구분이 설치된 학습 공간을 구성하는 단계,
상기 단계 후 전문가간 다자간 협업 모델의 절차를 정의하고, 다자간 학습에 필요한 지표(Metrics)와 특징(Feature)을 추출하는 단계,
상기 단계 후 비콘(Beacon) 신호와 중계기(통제변수를 할당한 장치)로부터 식별하는 수집 데이터를 통해,다자간 학습에 참여하는 개별 사용자들에게 의미 있는 새로운 요인(Factor)를 추출하여 제시하는 단계,
상기 단계 후 응용 프로그램에서 새로운 요인(Factor)를, 기능 컴포넌트(Component)로 매핑(Mapping)하여 요인(Factor)간 추정한 공식이 동작하도록 애플리케이션을 설계 및 구현하는 단계
상기 단계 후 발견한 컴포넌트(Component)를 활용하여 개별 사용자들에게 조정자가 의도한 특성을 가지는 컨텐츠를 학습하도록 설정하는 방법.