KR20110069734A - 리스크 정보의 분산 추출 및 집성을 위한 시스템 및 방법 - Google Patents

Abstract

리스크 정보의 분산 추출 및 집성을 위한 방법 및 시스템을 제공한다. 그 방법은, 연관된 리스크 정보를 갖는 하나 이상의 리스크 노드를 포함하는 리스크 네트워크를 선택하는 단계와, 각 리스크 노드에 역할을 할당하는 단계 - 상기 역할은 리스크 노드를 평가하는 사용자의 유형을 나타냄 - 와, 맞춤형 조사를 생성하여 역할과 사용자에 기초하여 리스크 노드에 대한 리스크 정보를 추출하는 단계 - 사용자에게 제시되는 맞춤형 조사의 질문들의 순서는 순서화 기준에 의해 결정됨 - 와, 맞춤형 조사를 사용자에게 공개하는 단계와, 맞춤형 조사에 대한 사용자의 답변들로부터 리스크 노드에 대한 리스크 정보를 수집하는 단계와, 수집된 리스크 정보에 기초하여 리스크 노드들을 채우는 단계를 포함한다.

Description

리스크 정보의 분산 추출 및 집성을 위한 시스템 및 방법{SYSTEM AND METHOD FOR DISTRIBUTED ELICITATION AND AGGREGATION OF RISK INFORMATION}

본 발명은 일반적으로 리스크 관리에 관한 것으로서, 보다 상세하게는, 리스크 정보의 분산 추출 및 집성을 위한 방법 및 시스템에 관한 것이다.

조직들은 리스크 관리 솔루션을 통해 기업에 영향을 끼치는 리스크 및 불확실성을 관리할 필요성을 점점 더 인식하고 있다. 현대의 비지니스 프로세스 및 시스템은 매우 복잡하고 계속 성장중이다. 심지어 유사하게 보이는 지역적 이벤트들도 전체적 영향을 끼칠 수 있다. 또한, 조직들은 증가하는 정부 요건 및 규제에 직면하여 이러한 리스크들을 책임감 있게 관리하려는 의향을 실증하고 있다.

리스크들은 리스크 모델을 이용하여 평가되고 정량화될 수 있다. 리스크 평가는 확률 언명(probabilistic statements)의 형태로 리스크 영향 및 리스크 이벤트들의 우도(likelihood)의 추정을 활용한다. 예를 들어, 리스크 평가는 해커가 조직의 컴퓨터 네트워크에 대한 액세스를 얻는 우도를 분석하는 데 이용될 수 있다. 리스크 평가는 이러한 보안 위반에 연관된 비용을 추정하는 데 더 이용될 수 있다. 확률 언명은, 이력 데이터가 이용가능할 때 데이터 분석으로부터 그리고 이력 데이터가 관련되지 않았거나 이용불가로 간주될 때 전문가 의견으로부터 또한 획득된다.

전문가 의견의 추출은 상당한 시간을 소비한다. 또한, 전문가 의견을 추출하기 위한 현재의 방법은, 이러한 방법들이 전문가에게 제기되는 질문들을 사용자 응답에 적응시킬 수 없다는 점에서 정적이다. 또한, 추출 프로세스는 리스크 분석가에 의해 안내되는 전화 토론이나 대면식 워크샵과 같은 상당한 안내(guidance)를 필요로 할 수 있다. 또한, 추출 프로세스는 협력적이지 않다. 다수의 전문가들은 수집된 정보를 최대한 이용하도록 분석가나 의사 결정자에 의해 해결될 필요가 있는 특정한 리스크의 평가에 대하여 일관성 없거나 충돌되는 의견들을 제공할 수 있다.

따라서, 해당 분야에서는, 전문가 의견을 추출하고 전문가에 의해 제공되는 정보에 기초하여 적응가능한 개선된 방법 및 시스템이 필요하다. 또한, 그 방법 및 시스템은 전문가에 의해 제공되는 정보에 기초하여 적응가능할 수 있으며 또한 일관성 없거나 충돌되는 전문가 의견들을 관리할 수 있다.

하나 이상의 전문가로부터 리스크 정보를 추출하고 집성하기 위한 방법 및 시스템을 개시한다. 일 실시예에서, 그 방법은, 연관된 리스크 정보를 갖는 하나 이상의 리스크 노드를 포함하는 리스크 네트워크를 선택하는 단계와, 각 리스크 노드에 역할을 할당하는 단계 - 상기 역할은 리스크 노드를 평가하는 사용자의 유형을 나타냄 - 와, 맞춤형 조사를 생성하여 역할과 사용자에 기초하여 리스크 노드에 대한 리스크 정보를 추출하는 단계 - 사용자에게 제시되는 맞춤형 조사의 질문들의 순서는 순서화 기준에 의해 결정됨 - 와, 맞춤형 조사를 사용자에게 공개하는 단계와, 맞춤형 조사에 대한 사용자의 답변들로부터 리스크 노드에 대한 리스크 정보를 수집하는 단계와, 수집된 리스크 정보에 기초하여 리스크 노드들을 채우는 단계를 포함한다.

일 실시예에서, 그 시스템은, 하나 이상의 리스크 노드를 포함하는 리스크 모델을 특정하고, 각 리스크 노드에 역할을 할당하고, 각 리스크 노드를 평가하는 사용자를 할당하고, 역할과 사용자에 기초하여 맞춤형 조사를 생성하고, 맞춤형 조사를 사용자에게 공개하고, 사용자로부터 맞춤형 조사의 결과들을 수집하고, 수집된 결과들에 기초하여 리스크 분석 보고를 생성하도록, 동작가능한 프로세서를 포함한다.

기계에 의해 판독가능하며, 리스크를 식별하고 정량화하기 위한 전술한 방법의 단계들을 수행하도록 기계에 의해 실행가능한 명령어들의 프로그램을 유형으로(tangibly) 구체화하는 프로그램 저장 장치도 제공한다.

본발명에 따르면, 전문가 의견을 추출하고 전문가에 의해 제공되는 정보에 기초하여 적응가능한 개선된 리스크 관리 방법 및 시스템을 제공한다.

도 1은 리스크 네트워크를 구축하기 위한 방법의 일례이다.
도 2는 리스크 네트워크의 구조의 일례이다.
도 3은 리스크 네트워크에 연관된 조건부 확률 테이블의 일례이다.
도 4는 리스크 정보를 추출하기 위한 조사의 일례이다.
도 5는 본 발명에 유익할 수 있는 리스크 네트워크의 일례이다.
도 6은 리스크 정보를 추출하기 위한 조사를 생성하기 위한 방법의 일례이다.
도 7은 본 발명에 유익할 수 있는 아키텍처의 일례이다.

다양한 실시예들의 구조와 동작뿐만 아니라 추가 특징들을 첨부 도면을 참조하여 이하에서 상세히 설명한다. 도면에서, 유사한 참조 번호들은 동일하거나 기능적으로 유사한 요소들을 가리킨다.

전문가로부터 리스크 정보를 추출하고 집성하기 위한 방법 및 시스템을 개시한다. 일 실시예에서, 그 방법은 하나 이상의 리스크 노드를 포함하는 리스크 모델을 선택하는 단계와, 각 리스크 노드에 역할을 할당하는 단계와, 각 리스크 노드를 평가하는 사용자를 할당하는 단계와, 역할과 사용자에 기초하여 맞춤형 조사(survey)를 생성하는 단계와, 맞춤형 조사를 사용자에게 공개하는 단계와, 사용자로부터 맞춤형 조사의 결과들을 수집하는 단계와, 수집된 결과들에 기초하여 리스크 분석 보고를 생성하는 단계를 포함한다.

이하의 예는 고객 만족을 정량화하는 문맥으로 리스크 정보를 추출하고 집성하는 방법 및 시스템에 적용된다. 이하의 예에서, 전문가로부터 "리스크 정보의 추출" 및 "리스크 정보를 추출하는 것"은 리스크 이벤트에 대하여 전문가에게 질문함으로써 달성된다. 전문가는 특정 분야의 특정한 스킬, 지식 또는 경험을 갖는 사람이다. 전문가는 자신의 경험, 전문 지식 및 개인적 지식에 기초하여 리스크 이벤트가 발생하거나 발생하지 않을 확률을 공급한다. (조건부 확률 테이블의 매개변수들이라 칭하는) 공급된 확률들은 당해 분야에서 리스크 노드들(risk nodes)이라고도 알려져 있는 리스크 변수들을 특징으로 한다. 리스크 변수들 및 리스크 노드들은, 흔히 상호 교환가능하게 사용되며, 본 출원에서 동일한 하나로서 이해된다. 리스크 이벤트의 평가에 있어서, 리스크 변수들의 보다 큰 세트로부터 취해진 리스크 변수들의 서브세트가 리스크 변수들의 전체 세트보다 중요한 경우가 있다. 리스크 변수들의 서브세트는 때때로 관심 변수들로 알려져 있다.

도 1, 도 2, 도 3은 리스크 네트워크를 구성하는 데 있어서 베이지안 네트워크(Bayesian network; 200)를 어떻게 활용할 수 있는지의 일례를 함께 도시한다. 베이지안 네트워크(200)는 리스크 노드들(202, 204, 206, 208, 210) 및 아크들(arcs; 205)을 포함한다. 도 2에 도시한 것과 같은 베이지안 네트워크는 리스크 노드들의 세트에 대한 결합 확률 분포를 나타낸다. 리스크 노드들의 결합 분포는, 흔히 리스크 네트워크의 필요로 하는 출력들인 베이지안 추론을 계산하는 데 이용될 수 있다.

도 1은 도 2에 도시한 베이지안 네트워크(200)를 구축하는 데 이용될 수 있는 방법을 도시한다. 방법은 블록(102)에서 시작하여 블록(104)으로 진행된다. 블록(104)에서, 네트워크 빌더는 타겟 노드에 대한 소정의 리스크 노드의 직접적인 영향에 기초하여 각 리스크 노드를 베이지안 네트워크(200)의 하나 이상의 리스크 노드와 연관짓는다. 네트워크 빌더는 일반적으로 리스크 노드들이 서로 어떻게 연관되어 있는지를 이해하는 전문가 또는 사람이다. 도 1의 방법에 의해 생성될 수 있는 리스크 네트워크의 예들이 도 2와 도 5에 도시되어 있다.

도 2를 참조하면, 리스크 네트워크 "구축"의 일례는, 아크(205₁)에 의해 리스크 노드 "Burglar"(202)에 연관되고 아크(205₂)에 의해 리스크 노드 "Earthquake"(204)에 또한 연관된 리스크 노드 "Alarm"(206)을 포함한다. 아크(205)가 존재한다는 것은 리스크 노드가 타겟 리스크 노드에 영향을 끼친다는 것을 나타낸다. 예를 들어, 리스크 노드 "Burglar"(202)가 타겟 리스크 노드 "Alarm"(206)에 입력을 제공하고, 이에 따라 "Alarm"(206)의 출력은 "Burglar"(202)의 입력에 조건적으로 의존한다. 리스크 노드들 간에 아크(205)가 없다는 것은 그 리스크 노드들이 조건적으로 서로 독립되어 있다는 것을 나타낸다.

다시 도 1을 참조하면, 블록(106)에서, 베이지안 네트워크(200)의 각 리스크 노드에 대한, 도 3에 도시한 바와 같은, 조건부 확률 테이블(CPT)은 각 리스크 노드의 조건적 의존성에 기초하여 생성된다.

도 3은 조건부 확률 테이블들(302, 304, 306, 308, 310)의 집합이다. 도 2의 리스크 네트워크(200) 예에 더하여, CPT(302)는 리스크 노드(202)에 연관되고, CPT(304)는 리스크 노드(204)에 연관되고, CPT(306)는 리스크 노드(206)에 연관되고, CPT(308)는 리스크 노드(208)에 연관되고, CPT(310)는 리스크 노드(210)에 연관된다. CPT의 각 행에 대한 모든 확률들의 총 합은, CPT의 각 행이 네트워크에서의 연관된 리스크 노드의 부모들(그 리스크 노드로 가는 아크를 갖는 리스크 노드들)의 상태들을 조건으로 한 그 연관된 리스크 노드의 상태들의 확률을 제공하므로, 1이어야 한다. 예를 들어, 리스크 노드 "Alarm"(206)은 두 개의 부모 리스크 노드인 "Burglar"(202)와 "Earthquake"(204)를 갖는다. 따라서, 리스크 노드 "Alarm"(206)에서 발생하는 리스크 이벤트의 확률은 리스크 노드 "Burglar"(202)와 리스크 노드 "Earthquake"(204)의 상태에 직접적으로 의존한다. 수학적으로는, 리스크 노드 "Alarm"에 영향을 끼칠 수 있는 (테이블(306)로서 도시한) "Burglar"와 "Earthquake" 상태들의 네 개의 조합인, B & B, B & ~E, ~B & E, ~B & ~E가 가능하다. "B"와 "E의 네 개의 가능한 조합에 연관된 확률들의 합은 1이다.

다시 도 1을 참조하면, CPT를 전개한 후, 블록(108)에서, 전문가는 CPT의 각 엔트리에 확률 값을 입력한다. 전문가는 일반적으로 특정한 리스크 노드에 연관된 리스크에 대한 전문가이며, 네트워크 빌더와 동일해도 된다. 베이지안 네트워크(200)의 각 리스크 노드에 대한 전문가 의견들의 집합은 시간 소비적인 프로세스일 수 있다. 또한, 베이지안 네트워크의 기저를 이루는 매개변수들의 개수는 리스크 노드들의 개수가 증가할수록 지수적으로 증가한다. 방법은 블록(110)에서 종료된다.

본 발명은 전문가로부터 정보를 추출하기 위한 신규한 시스템 및 방법을 활용한다. 방법은 다양한 리스크 노드들에 대한 정보를 전문가들로부터 효율적으로 수집하고, 추출된 정보는 리스크를 평가하도록 도 2에 도시한 것과 같은 베이지안 네트워크에서 사용될 수 있다. 일 실시예에서, 전문가 의견은 일련의 컴퓨터 생성 조사들을 통해 수집된다. 도 4에 도시한 바와 같은 조사 또는 설문지는 각 리스크 노드에 대하여 생성되고 전문가에게 제시된다. 조사는 특정한 리스크 노드에 연관된 리스크 이벤트에 대하여 전문가 의견을 추출한다. 예를 들어, 리스크 노드 "Earthquake"는 리스크 이벤트 지진(earthquakes)에 연관된 것이다. 지진 분야의 전문가, 즉, 지진학자에게 제시된 조사는, "내년에 도시에서 지진이 발생할 확률은 어떻게 되는가?", "당신은 내년에 지리적 위치에서 얼마나 많은 지진이 발생할 것으로 믿는가?", "당신은 내년에 도시에서 지진이 발생할 거라는 당신의 예측을 얼마나 확신하는가"와 같은 질문들을 요청할 수 있다. 이러한 예에서, 조사 질문들에 대한 답변들 또는 입력들은 "5"와 같은 개별적인 값들이며 "10%" 또는 "1"과 같은 확률 값들이다. 그러나, "예" 또는 "아니오"와 같이 조사 질문들에 대한 수치가 아닌 답변들도 가능하다는 것을 이해할 것이다.

일 실시예에서, 조사는 트리플-S 조사 표준(Triple-S Survey Standard)에 따라 생성된다. 트리플-S 조사 표준의 완전한 설명은 http://www.triple-s.org에서 유지된다. 트리플-S 조사 표준은 조사 소프트웨어 패키지들 간의 데이터 및 메타데이터의 전달을 용이하게 한다. 트리플-S 조사 표준은 조사 데이터를 설명하는 두 개의 텍스트 파일인 "정의 파일" 및 "데이터 파일"을 정의한다. "정의 파일"은 조사에 관한 일반적인 정보 및 예를 들어 변수 메타데이터 등의 조사 변수들의 설명을 포함한다. 정의 파일은 연관된 트리플-S XML 다큐먼트 유형 정의(Document Type Definition; DTD)에 의해 제공되는 규칙들에 따라 XML 신택스로 코딩된다. 데이터 파일은 조사를 위한 실제 케이스 데이터를 포함한다.

도 4는 본 발명에 따라 생성된 클라이언트 계산 장치 상의 사용자에게 제시하기 위한 조사(400)의 일례이다. 일 실시예에서, 조사는 리스크 노드에 관한 일련의 질문과 답변이다. 조사의 구조는 조사 생성 프로세스 동안 질문 및 답변 선택들에 적용되는 소정의 템플릿들에 기초한다. 조사 템플릿들은 각 문제에 대하여 수집된 정보의 양과 특이성을 관리한다.

조사(400)는 클라이언트 계산 장치 상의 GUI(예를 들어, 웹 브라우저)를 통해 제시되는 세 개의 서로 다른 질문(402, 404, 406)을 포함한다. "슬라이더"(408)는 0과 1 사이의 확률 값을 선택하도록 조사 질문들에 답하는 전문가에 의해 조작된다. 또한, 전문가는 GUI를 통해 확률 값에 연관된 "확신 레벨"(410)을 선택할 수 있다. 전문가의 응답에 기초하여, 다른 가능한 답변 선택들과 비교하여 선택된 확률의 확률 분포를 전문가에게 나타내는 "확률 휠"(412)이 생성된다. (결정적 질문들과 같은) 다른 질문 포맷들 및 지금까지 제공된 응답의 요약들을 나타내는 기타 스크린 스냅 샷들은 관련될 때마다 조사에 포함될 수 있다.

일 실시예에서, 조사 질문들은 시퀀셜 순서와 같은 소정의 순서로 전문가에게 제시된다. 다른 일 실시예에서, 가장 중요한 조사 질문들은 조사의 시작에서 전문가에게 제시된다. 또 다른 일 실시예에서, 조사 질문들은 동적인 순서로 전문가에게 제시되며, 즉, 하나의 조사 질문에 대한 응답은 다음에 제시되는 조사 질문에 영향을 끼친다. 질문들의 순서는 전문가가 조사의 모든 질문 각각에 대하여 응답하지 않을 수 있기 때문에 중요하다. 또한, 질문들의 순서는 소정의 질문들이 리스크 노드를 평가하는 데 더욱 적절할 수 있기 때문에 중요하다. 대부분의 적절한 질문들로부터 추출되는 정보는 때때로 관심 변수들로 알려져 있다.

전문가 의견들은 도 4에 도시한 것과 같은 GUI를 통해 제시되는 조사를 이용함으로써 추출될 수 있다. 전문가가 베이지안 네트워크의 각 변수에 대한 확률 값을 제공하지 못함으로써, 즉, 그 네트워크의 각 리스크 노드의 불완전한 추출로 인해, 실제 결합 분포와는 다른 분포가 발생할 수 있다. 변수들의 부정확한 분포로 인해 부정확한 추론이 야기될 수 있다. 따라서, 불완전한 추출에 따라, 추출된 변수들에 대하여 실제 결합 분포에 근사하는 결합 분포가 발생할 수 있다.

다른 일 실시예에서는, 베이지안 네트워크(200)의 일부만이 평가를 받는다. 따라서, 관심 변수들에 관한 변수들만을 평가할 필요가 있다. 그러나, 전문가는 각 변수에 대한 값을 제공하지 못할 수 있다. 이러한 예에서는, 이러한 불완전한 추출로 인해, 관심 변수들에 대하여 실제 결합 분포에 근사하는 결합 분포가 발생할 수 있다.

일 실시예에서, 추출을 위해 선택된 리스크 노드의 선택은 이하의 식에서 특정된 바와 같이 부분적으로 추출된 리스크 네트워크의 정보성의 일부 척도를 캡처하는 기준에 기초한다.

K는 지금까지 추출된 리스크 노드들의 세트(비어있는 세트일 수 있음)를 나타내고,

P_Z는 관심 변수들의 세트(Z)에 대한 참 확률 결합 분포를 나타내고,

는 세트 K의 변수들만이 추출되었다면 이용되는 결합 분포를 나타내고,

i는 리스크 노드들을 인덱싱하고,

E는 예상 연산자를 나타내고,

D는 두 개의 확률 분포들 간의 거리 메트릭이다.

미리 추출된 노드들 K의 세트가 주어진 경우, 선택된 노드

는 일단 그 노드가 추출되면 사용되는 근사 결합 분포와 참 결합 분포 간의 예상 거리를 최소화하는 노드이다. 유클리드 거리, 총 변동, 쿨백-라이블러 발산(Kullback-Leibler divergence)과 같이 D를 위해 이용될 수 있는 여러 거리 메트릭들이 존재한다.

일 실시예에서, 선택된

노드는

와

의 결합 분포들 간의 최단 유클리드 거리를 갖는 노드이다. 다른 일 실시예에서, 유클리드 거리의 제곱은

노드를 선택하는 데 사용된다.

노드의 추출 후에,

노드를 포함하도록 세트 K를 갱신한다.

일 실시예에서, K의 노드들이 추출되면, 추출을 위해 선택된 i 노드는 수학식 2에 따라 선택된다.

K는 지금까지 추출된 리스크 노드들의 세트(비어있는 세트일 수 있음)를 나타내고,

는 부모들의 상태들이 u_j로 정의된 노드 j에 대한 매개변수의 참 값을 나타내고,

는 부모들의 상태들이 u_j로 정의된 노드 j에 대한 매개변수의 예상 값을 나타내고,

는 부모들의 상태들이 u_j로 정의된 노드 j에 대한 매개변수의 표준 편차를 나타내고,

E는 예상 연산자를 나타낸다.

수학식 2에 따라 추출을 위한 리스크 노드를 선택하는 것은 대형 베이지안 네트워크에 대하여 계산 집약적일 수 있다. 그러나, 전문가들로부터 추출된 리스크 노드들로 구성된 베이지안 네트워크들은 작은 경향이 있다.

일 실시예에서, 추출을 위해 선택된 i 노드는 수학식 3에 따라 베이지안 네트워크에 남아 있는 비추출 노드들에 대한 상태들 "s"의 개수에 따라 선택된다.

K는 지금까지 추출된 리스크 노드들의 세트(비어있는 세트일 수 있음)를 나타내고,

s_j는 노드 j의 상태들의 개수를 나타내고,

C(K)는 추출된 노드들의 함수이고, 식의 나머지는 베이지안 네트워크의 비추출 노드들의 상태들 "s"의 개수에만 의존한다. 예를 들어, 도 2에 도시한 바와 같은 베이지안 네트워크(200)를 고려한다. 이러한 특정한 베이지안 네트워크(200)는 당해 분야에서 버글러 네트워크(Burglar Network)라고도 알려져 있다. 버글러 네트워크가 다수의 상태(s; 3, 4, 5, 6, 7)를 각각 갖는 노드들(202, 204, 206, 208, 210)을 포함한다고 가정한다. 수학식 3에 따라 노드들의 추출 순서를 계산하면, 추출 순서는 202, 204, 208, 210, 206이다. 어떠한 노드들도 추출되지 않은 경우, 노드(202)가 상태들의 최소 개수, 즉, 3을 갖기 때문에, 노드(202)를 먼저 선택한다.

노드들은 베이지안 네트워크의 결합 분포에 대한 그 노드들의 근접성이 선택 노드의 확산(spread)과 비추출 노드들의 조합으로부터의 확산 간의 트레이드오프를 형성하기 때문에 선택된다. 최소 개수 또는 최대 개수의 상태들을 갖는 노드를 선택하는 것은 노드 선택이 확산을 저감시키는 정도에 의해 결정된다.

일 실시예에서는, 몬테 카를로 시뮬레이션(Monte Carlo simulation)을 이용하여 추출할 다음 노드 i를 선택한다. 알려져 있는 변수 Z, 상태 및 구조, 관심 변수 Y, 모든 매개변수들에 대한 이전 분포 및 세트 K의 추출 노드들의 CPT에 대한 모든 매개변수들과 함께 베이지안 네트워크가 주어진 경우, 전문가로부터

를 추출할 다음 노드 i는 이하의 단계들에 따라 선택된다.

1. 모든 모드들

에 대한 모든 매개변수들의 이전 분포로부터 생성된 샘플 포인트 및 노드들

에 대한 매개변수들의 정확한 값들을 이용함으로써,

의 실제 결합 분포에 대한 샘플 포인트를 생성한다.

2. 노드 i가 추출될 때

에 의해 Z의 부분 평가 결합 분포를 표시하고, 여기서 노드 i에 대한 매개변수들은

로부터 생성된 값들이며, 노드들

에 대한 매개변수들은 이전의 예상 값들이고,

에 대한 매개변수들은 미리 추출된 실제 개수들이다.

3. 요구시 추론을 이용하여 관심 변수들

및

의 결합 분포를 찾는다.

4.

를 찾는다.

5. 단계 1 내지 단계 3을 n회 반복한다. n개 거리들의 평균값을 이용하여

를 추정한다.

6. 획득된 평균값들에 기초하여, 추출할 다음 노드를 선택하고

와

를 K에 부가한다.

7. 단계 1 내지 단계 6을 반복하여 추출할 다음 노드를 찾는다.

도 5와 도 6은, 함께 취할 때, 본 발명의 방법으로부터 리스크 네트워크가 어떻게 유익할 수 있는지의 일례이다. 도 5는 (베이지안 네트워크로서 구조화된) 리스크 네트워크(501)의 다른 예이다. 리스크 네트워크(501)는 리스크 노드들(500)을 포함한다. 리스크 노드들(500₁ 내지 500₆)은 아크(516)에 의해 직접적으로 또는 간접적으로 서로 상호 접속되고, 각 리스크 노드(500)는 가능한 리스크 모델들의 세트에 연관된다.

네트워크의 각 리스크 노드의 출력들은 다른 리스크 노드에 대한 입력으로서 기능할 수 있다. 일 실시예에서, 각 리스크 모델의 출력들은 각 리스크 노드에 대한 리스크 이벤트의 발생의 확률 분포이다. 출력들의 형태는 합성 리스크 모델 네트워크에 걸쳐 일관되며, 부모 리스크 노드에 의존하는 각 리스크 노드는 부모 리스크 노드와 일관된다. 이러한 일관성은 서로 다른 리스크 모델들의 출력들을 결합하게 할 수 있다.

각 리스크 노드에 대한 전문가 의견은 후술하는 바와 같이 그리고 도 6에 더 도시한 바와 같이 본 발명에 의해 추출되고 집성될 수 있다. 일 실시예에서, 전문가 평가의 결과들은 테이블에 저장된다. 일례로, NSB 리스크 노드(500₁)의 전문가 평가는 테이블(503)에 저장되고, IE 리스크 노드(500₂)의 전문가 평가는 테이블(509)에 저장된다. 이 예에서, 테이블들(503, 509)은 전문가 평가의 결과들을 리스크 이벤트의 확률 분포로서 저장한다.

도 6은 본 발명의 일 실시예에 따라 전문가 의견을 추출하고 집성하기 위한 방법의 흐름도이다. 그 방법은 리스크 네트워크 툴링(656)을 이용하여 리스크 네트워크를 제공하거나 그 외에는 생성하는 단계(602)에서 시작된다. 전문가가 리스크 네트워크를 생성하는 한 가지 가능한 방법이 도 1에 도시되어 있다. 다시 도 6을 참조하면, 단계(604)에서, 리스크 네트워크의 개별적인 리스크 노드들에 전문가 역할들을 할당한다. 역할은 어떤 유형의 전문가가 리스크 노드를 평가할 수 있는지를 나타낸다. 예를 들어, 다시 도 5를 참조하면, 리스크 노드(500₁)를 평가하도록 컴퓨터 보안 전문가를 할당할 수 있고 리스크 노드(500₂)를 평가하도록 인력 전문가를 할당할 수 있다. 일 실시예에서, 전문가 역할들을 개별적 노드들에 할당하는 것은 리스크 네트워크의 생성자에 의해 행해진다. 다른 일 실시예에서, 소프트웨어는 리스크 노드를 전문가에 부합하게 한다.

단계(606)에서는, 예를 들어, HTTP를 통해 추출 요구를 리스크 네트워크(501)에 통신하여, 모든 리스크 노드들(500)의 평가를 개시한다. 단계(607)에서는, 추출 요구를 추출 관리 모듈(616)에 전달한다. 추출 관리 모듈(616)은 전문가들에게 공개되는 조사들(618)을 생성한다. 전술한 바와 같이, 일 실시예에서, 조사들은 트리플-S 조사 표준에 따라 생성된다. 조사 생성기(612)는 질문 및 답변 템플릿(608)을 질문들(610)과 결합하여 조사(618)를 생성한다. 일 실시예에서, 그 조사는 트리플-S 조사 표준을 따른다. 질문들(610)은 전술한 바와 같이 트리플-S 준수 데이터 파일에 저장된다. 본 발명에 따라 생성될 수 있는 조사의 일례가 도 4에 도시되어 있다.

조사들(618)은 단계(619)에서 하나 이상의 전문가에게 공개된다. 추출 조사 모듈(624)은 단계(604)에서 특정한 리스크 노드에 할당된 전문가에게 적절한 조사를 공개한다. 예를 들어, 추출 조사 툴(624)은 컴퓨터 보안 전문가에게 리스크 노드(500₁)를 평가하도록 설계된 조사를 제시한다. 일 실시예에서, 추출 조사 툴(624)은 이메일을 통해 전문가에게 조사를 공개한다. 또한, 조사(618)는 다른 식으로 전문가에게 통신될 수 있다. 전문가는 조사의 온라인 버전에 연결되는 하이퍼링크 또는 URL을 포함하는 이메일을 수신한다. 일단 온라인 조사(618)가 전문가에 의해 완료되면, 조사 결과들(630)은 단계(625)에서 추출 집성기(628)에 통신된다.

추출 집성기 모듈(628)은 각 개별적 리스크 노드에 대한 전문가 의견들을 집성한다. 일 실시예에서, 전문가 의견들은 각 전문가 의견에 할당된 확신 레벨들에 기초하여 집성된다. 예를 들어, 자신의 의견을 "매우 확신하는" 전문가는 집성에서 자신에 의견에 대하여 보다 큰 가중값을 수신한다. 다른 일 실시예에서는, 피어 리뷰(Peer review)를 통해 영향력 있는 것으로 여겨지는 전문가들에게 보다 큰 가중값을 부여한다. 일례로, 전문가들은 자신의 분야에 있는 다른 전문가들을 평가하도록 요청받을 수 있으며, 가장 높게 평가받는 전문가를 가장 영향력 있는 전문가로 간주한다. 다른 일례로, 자신의 분야에 관련된 학회지 논문에서 가장 빈번하게 인용되는 전문가를 가장 영향력 있는 전문가로 간주할 수 있다. 또한, 피어 리뷰는 다른 평가 활동(assessment exercises)에서의 전문가의 답변들에 기초할 수 있다. 일 실시예에서는, 전문가의 답변들의 시의성(timeliness) 및 신뢰성을 평가 기준으로서 이용할 수 있다.

일례로, 다시 도 5를 참조하면, 리스크 노드(500₁)는 시니어 컴퓨터 보안 전문가 및 주니어 컴퓨터 보안 전문가 둘 다에 의해 평가될 수 있다. 이 예에서는, 주니어 컴퓨터 보안 전문가의 의견보다 시니어 컴퓨터 보안 전문가의 의견에 가중값을 주는 것이 보다 바람직하다. 전문가 의견을 위한 집성 및 가중 규칙들은 결정 분석 문헌에서 충분한 리뷰를 수신하였다. 당업자라면 결정할 수 있듯이, 본 발명은 이러한 방법과 규칙 중 임의의 것을 적용할 수 있다.

일 실시예에서, 추출 집성기 모듈(628)은 수집된 전문가 의견들의 일관성을 체크한다. 답변들, 즉, 전문가들에 의해 공급된 확률들이 임계값을 초과하면, 전문가들로부터 추가 정보를 수집할 수 있다. 예를 들어, 다음날의 강우 확률에 대하여 두 명의 서로 다른 전문가의 여론을 조사한 경우, 한 전문가가 강우 확률을 0%라고 답하고 나머지 한 명의 전문가가 강우 확률을 100%라고 답하였다면, 추출 분석기(634)는 이러한 답변들이 서로 일관되지 않다는 점을 주목한다. 일 실시예에서, 답변 간의 일관성은 임계값을 초과하지 않는 전문가에 의해 공급되는 확률들에 의해 측정된다. 임계값은 리스크 분석 또는 리스크 네트워크 빌더를 요청하는 사용자에 의해 설정될 수 있다.

다른 일 실시예에서, 추출 집성기 모듈(628)은 전문가 답변들 간의 발생가능한 불일치를 체크한다. 예를 들어, 시니어 및 주니어 컴퓨터 보안 전문가들이 리스크 노드(500₁)를 평가하고 이들의 의견들이 보안 위반 확률에 대하여 충돌하면, 추출 집성기 모듈(628)은 전문가 의견을 제공하는 전문가들에게 확신 레벨에 대한 이들의 의견을 더 질의할 수 있다. 또 다른 일 실시예에서, 추출 집성기(628)는 특정한 리스크 노드에 대한 리스크를 적절히 정량화하도록 전문가에 의해 조사의 최소 개수의 질문들에 대하여 답하였는지를 결정할 수도 있다. 전문가에 의해 충분한 질문들이 답변되지 않았다면, 추출 집성기(628)는 추가 질문들을 전문가에게 질의할 수 있고, 또는 추가 전문가들로부터 리스크 정보를 추출할 수 있다. 일 실시예에서, 추출 집성기(628)는 리스크 노드에 값을 할당할 수 있는 전문가들 중 하나로부터 적어도 하나의 높은 확신 답변을 요구한다. 다른 일 실시예에서는, 전문가 확신에 상관없이, 소정의 리스크 노드에 대하여 답변을 이용할 수 없다면 더 많은 전문가들에 대한 질의만을 갖고 모든 전문가들이 동일한 가중값을 가지면서 선형 풀(pool) 또는 대수 풀에 이어 전문가 답변을 집성한다.

다시 도 6을 참조하면, 단계(631)에서, 집성된 조사 결과들(632)을 추출 분석 모듈(634)에 전달한다.

일 실시예에서, 추출 분석기 모듈(634)은 수집된 전문가 의견들 간의 일관성을 체크한다. 예를 들어, 일 실시예에서, 답변 간의 일관성은 리스크 네트워크의 일부 출력(예를 들어, 특정한 추론 질의들)에 대한 두 명의 전문가 답변들 간의 차에 기초하여 측정된다. 그 차가 소정의 임계값을 초과하면, 전문가들은 자신의 답변들을 확인하거나 수정하도록 요구될 수 있다. 임계값은 리스크 네트워크 빌더에 의해 설정될 수 있다.

단계(638)에서는, 리스크 정량화 분석을 사용자에게 제공한다. 리스크 정량화 분석은 전체 리스크 네트워크의 평가에 기초한다. 리스크 분석 보고의 결과는 리스크 추출 분석기(634)에 의해 사용자에게 제공된다. 제공된 결과는 개별적인 값, 확률 분포들의 테이블, 또는 사용자가 리스크를 평가할 수 있게 하는 다른 임의의 출력일 수 있다.

도 7은 본 발명을 구현하기 위한 아키텍처 및 계산 환경(700)의 블록도이다. 환경(700)은 네트워크(708)를 통해 리스크 서버(650)에 접속된 클라이언트 컴퓨터(601)를 포함한다. 클라이언트 컴퓨터(601)는 프로세서(CPU; 704) 및 메모리(706)를 포함한다. 클라이언트 컴퓨터(601)는 데스크톱 컴퓨터, 랩탑 컴퓨터, 개인 휴대 단말기(PDA) 또는 네트워크(708)에 대한 접속에 유익할 수 있는 임의의 장치일 수 있다. 네트워크(708)는 인터넷, 이더넷, 공중 또는 사설 LAN이나 WAN(기업 인트라넷)과 같이 계산 장치들을 접속하기 위한 임의의 표준 네트워크일 수 있다.

일 실시예에서, 클라이언트 컴퓨터의 메모리(706)는 리스크 네트워크를 생성하고 역할들을 리스크 네트워크의 개별 리스크 노드들에 할당하는 데 사용되는 리스크 네트워크 툴링(656)을 저장한다.

리스크 서버(650)는 프로세서(CPU; 712), 지원 회로(714), 및 메모리(716)를 포함한다. CPU(712)는 지원 회로(714)를 통해 메모리(716)에 상호 접속된다. 지원 회로(714)는 캐시, 전원, 클록, 입력/출력 인터페이스 회로 등을 포함한다.

메모리(716)는 RAM, ROM, 탈착가능 디스크 메모리, 플래시 메모리, 및 이러한 유형의 메모리들의 다양한 조합들을 포함할 수 있다. 메모리(716)는 때때로 메인 메모리라 칭하며, 캐시 메모리로서 부분적으로 사용될 수 있다. 메모리(716)는 운영 체제(OS; 718), 추출 관리 모듈(616), 추출 조사 모듈(624), 집성 모듈(628), 추출 분석기 모듈(634) 및 조사 결과들(632)을 저장한다. 리스크 서버(650)는 프로세서(712)가 모듈들(616, 624, 628, 634) 중 임의의 하나를 동작시킬 때 특정 계산 장치로 되는 일반적인 계산 장치이다.

모듈들(616, 624, 628, 634)의 각각의 기능은 전문가 의견을 추출하고 집성하기 위한 방법에 대하여 이미 설명하였다. 추출 관리 모듈(616)은 조사 생성기(612), 조사 질문들(610) 및 질문 및 답변 템플릿들(608)을 포함한다. 조사 생성기(612)는 조사 질문들(610) 및 질문 및 답변 템플릿들(608)로부터 조사들(618)을 생성하는 것을 담당한다. 추출 관리 모듈(616)은 조사들을 추출 조사 모듈(624)에 제공한다.

추출 조사 모듈(624)은 조사들(618)을 전문가들에게 공개하고, 조사들에 대한 응답들을 추적하고, 조사 결과들(630)을 수집한다. 이어서, 조사 결과들(630)은 집성 모듈(628)에 전달된다.

집성 모듈(628)은 각 리스크 노드에 대한 서로 다른 전문가들로부터 수집된 조사 결과들(630)을 집성한다. 집성 모듈(628)은 가중 시스템 또는 집성 규칙들의 세트를 이용하여 특정 전문가의 의견에 더 큰 비중을 둘 수 있다. 집성된 조사 규칙들(632)은 추출 분석기 모듈(634)에 전달된다. 추출 집성기 모듈(628)은 리스크 노드를 평가하도록 할당된 전문가들의 발생가능한 일관성없는 답변들을 체크하고, 필요시 전문가들로부터 추가 정보를 추출한다.

추출 분석기 모듈(634)은 리스크 노드를 평가하도록 할당된 전문가들의 발생가능한 일관성없는 답변들에 대한 집성된 조사 결과들(632)을 체크하고, 필요시 전문가들로부터 추가 정보를 추출한다.

리스크 서버(650) 및 다양한 모듈들(616, 624, 628, 634)은 조사들을 공개하고 리스크 노드에 할당된 전문가들로부터 조사 답변들을 수집함으로써 분산형 리스크 추출을 제공한다. 또한, 리스크 서버(650)는 수집된 조사 답변들을 집성하고 분석하고, 이에 따라 분산에 기초한 리스크 분석을 가능하게 한다.

당업자라면 인식하듯이, 본 발명의 양태들은 시스템, 방법, 또는 컴퓨터 프로그램 제품으로서 구체화될 수 있다. 이에 따라, 본 발명의 양태들은 완전한 하드웨어의 실시예, (펌웨어, 상주 소프트웨어, 마이크로코드 등을 포함한) 완전한 소프트웨어의 실시예, 또는 소프트웨어 양태와 하드웨어 양태를 결합한 실시예의 형태를 취할 수 있으며, 이들 모두는 본 명세서에서 일반적으로 "회로", "모듈", 또는 "시스템"이라 칭할 수 있다. 또한, 본 발명의 양태들은 컴퓨터 판독가능 프로그램 코드가 구체화된 하나 이상의 컴퓨터 판독가능 매체(들)에서 구체화된 컴퓨터 프로그램 제품의 형태를 취할 수 있다.

하나 이상의 컴퓨터 판독가능 매체(들)의 임의의 조합을 이용할 수 있다. 컴퓨터 판독가능 매체는 컴퓨터 판독가능 신호 매체 또는 컴퓨터 판독가능 저장 매체일 수 있다. 컴퓨터 판독가능 저장 매체는, 예를 들어, 전자, 자기, 광학, 전자기, 적외선, 또는 반도체 시스템, 기기, 장치, 또는 이들의 임의의 적절한 조합을 포함할 수 있지만, 이러한 예로 한정되지는 않는다. 컴퓨터 판독가능 저장 매체의 보다 구체적인 예(비배타적 리스트)로는, 하나 이상의 와이어를 갖는 전기적 접속부, 휴대용 컴퓨터 디스켓, 하드 디스크, RAM, ROM, EPPOM이나 플래시 메모리, 광섬유, CD-ROM, 광 저장 장치, 자기 저장 장치, 또는 이들의 임의의 적절한 조합이 있다. 본 출원의 문맥에서 볼 때, 컴퓨터 판독가능 저장 매체는 명령어 실행 시스템, 기기, 또는 장치가 사용하기 위한 또는 이러한 명령어 실행 시스템, 기기, 또는 장치와 함께 사용하기 위한 프로그램을 포함 또는 저장할 수 있는 임의의 유형의 매체일 수 있다.

컴퓨터 판독가능 신호 매체는, 예를 들어, 기저대역에서 또는 반송파의 일부로서, 컴퓨터 판독가능 프로그램 코드가 내부에 구체화된 전파 데이터 신호를 포함할 수 있다. 이러한 전파 데이터 신호는 전자기, 광학, 또는 이들의 임의의 적절한 조합을 포함한 임의의 형태를 취할 수 있지만, 이러한 예로 한정되지는 않는다. 컴퓨터 판독가능 신호 매체는, 컴퓨터 판독가능 저장 매체가 아니라 명령어 실행 시스템, 기기, 또는 장치가 사용하기 위한 또는 이러한 명령어 실행 시스템, 기기, 또는 장치와 함께 사용하기 위한 프로그램을 통신, 전파, 또는 송신할 수 있는 임의의 컴퓨터 판독가능 매체일 수 있다.

컴퓨터 판독가능 매체 상에 구체화된 프로그램 코드는 무선, 유선, 광섬유 케이블, RF 등 또는 이들의 임의의 적절한 조합을 포함한 임의의 적절한 매체를 이용하여 송신될 수 있지만, 이러한 예로 한정되지는 않는다.

본 발명의 양태들을 위한 동작들을 실행하기 위한 컴퓨터 프로그램 코드는, JAVA, Smalltalk, C++ 등의 오브젝트 지향 프로그래밍 언어 및 "C" 프로그래밍 언어와 같은 종래의 절차적 프로그래밍 언어 또는 유사한 프로그래밍 언어를 포함한 하나 이상의 프로그래밍 언어들의 임의의 조합으로 기입될 수 있다. 프로그램 코드는, 독립형 소프트웨어 패키지로서, 사용자의 컴퓨터 상에서 완전하게, 사용자의 컴퓨터 상에서 부분적으로, 사용자의 컴퓨터 상에서 부분적으로 그리고 원격 컴퓨터 상에서 부분적으로, 또는 원격 컴퓨터나 서버 상에서 완전하게 실행될 수 있다. 후자의 경우에, 원격 컴퓨터는 LAN 또는 WAN을 포함한 임의의 유형의 네트워크를 통해 사용자의 컴퓨터에 접속될 수 있고, 또는 그 접속은 (예를 들어, 인터넷 서비스 제공자를 이용하여 인터넷을 통해) 외부 컴퓨터에 대하여 행해질 수 있다.

본 발명의 실시예들에 따른 방법, 기기(시스템) 및 컴퓨터 프로그램 제품의 블록도 및/또는 흐름도를 참조하여 본 발명의 양태들을 후술한다. 흐름도 및/또는 블록도의 각 블록, 및 흐름도 및/또는 블록도의 블록들의 조합이 컴퓨터 프로그램 명령어들에 의해 구현될 수 있다는 것을 이해할 것이다. 이러한 컴퓨터 프로그램 명령어들은 범용 컴퓨터, 전용 컴퓨터, 또는 머신을 생성하기 위한 기타 프로그래밍가능 데이터 처리 기기의 프로세서에 제공될 수 있으며, 컴퓨터 또는 기타 프로그래밍가능 데이터 처리 기기의 프로세서를 통해 실행되는 이러한 명령어들은 흐름도 및/또는 블록도의 블록이나 블록들에서 특정된 기능/액션을 구현하기 위한 수단을 생성한다.

또한, 이러한 컴퓨터 프로그램 명령어들은, 컴퓨터 판독가능 매체에 저장된 명령어들이 흐름도 및/또는 블록도의 블록이나 블록들에서 특정된 기능/액션을 구현하는 명령어들을 포함하는 제조 물품을 생성하도록, 컴퓨터 또는 기타 프로그래밍가능 데이터 처리 기기가 특정한 방식으로 기능을 할 수 있게 하는 컴퓨터 판독가능 매체에 저장될 수 있다.

또한, 컴퓨터 프로그램 명령어들은 컴퓨터, 기타 프로그래밍가능 데이터 처리 기기 또는 기타 장치 상으로 로딩되어, 일련의 연산 단계들을 그 컴퓨터, 기타 프로그래밍가능 데이터 처리 기기 또는 기타 장치 상에서 수행하게 하여 컴퓨터 구현 프로세스를 생성할 수 있으며, 이때 컴퓨터 또는 기타 프로그래밍가능 기기 상에서 실행되는 그 명령어들은 흐름도 및/또는 블록도의 블록이나 블록들에서 특정된 기능/액션을 구현하기 위한 프로세스들을 제공한다.

이제 도 1 내지 도 7을 참조한다. 이러한 도면들의 흐름도 및 블록도는, 본 발명의 다양한 실시예들에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 구현가능한 예들의 아키텍처, 기능 및 동작을 도시한다. 이러한 점에서, 흐름도 또는 블록도의 각 블록은, 특정된 논리 함수(들)를 구현하기 위한 하나 이상의 실행가능 명령어를 포함하는 모듈, 세그먼트, 또는 코드의 일부를 나타낼 수 있다. 또한, 일부 대체 구현예에서는, 블록에 기재된 기능들이 도면에 기재된 순서와 다르게 발생해도 된다는 점에 주목하기 바란다. 예를 들어, 관련된 기능에 따라, 연속으로 도시된 두 개의 블록이 실제로는 대략 동시에 실행되어도 되고, 또는 블록들이 때때로 역순으로 실행되어도 된다. 또한, 블록도 및/또는 흐름도의 각 블록, 및 블록도 및/또는 흐름도의 블록들의 조합이, 특정 기능들이나 액션들을 수행하는 전용 하드웨어 기반 시스템, 또는 전용 하드웨어와 컴퓨터 명령어들의 조합에 의해 구현될 수 있다는 점에 주목한다.

본 발명을 바람직한 실시예들에 대하여 구체적으로 도시하고 설명하였지만, 본 발명의 사상과 범위로부터 벗어나지 않고 형태와 상세에 있어서 전술한 바와 기타 변경을 행할 수 있다는 점을 당업자라면 이해할 것이다. 따라서, 본 발명은 정확한 형태와 상세로 한정되고 예시되는 것이 아니라 청구범위에 속하는 것이다.

Claims (10)

1. 리스크 정보를 추출(elicit)하기 위한 컴퓨터 구현 방법으로서,
   연관된 리스크 정보를 갖는 하나 이상의 리스크 노드를 포함하는 리스크 네트워크를 선택하는 단계와,
   각 리스크 노드에 하나 이상의 역할을 할당하는 단계 - 상기 역할은 상기 리스크 노드를 평가하는 하나 이상의 유형의 사용자를 나타냄 - 와,
   리스크 정보를 추출하도록 상기 사용자들 중 하나에게 질문들을 제시하는 단계와,
   상기 질문들에 대한 상기 사용자의 답변들로부터 상기 리스크 노드들에 대한 리스크 정보를 수집하는 단계와,
   상기 수집된 리스크 정보에 기초하여 상기 리스크 노드들을 채우는(populate) 단계
   를 포함하는, 컴퓨터 구현 방법.
2. 제1항에 있어서,
   완전성과 일관성 중 적어도 하나를 위해 상기 수집된 리스크 정보를 분석하는 단계를 더 포함하고,
   상기 완전성은 상기 제시된 질문들 중 최소 개수의 질문들에 답하는 상기 사용자에 의해 충족되고,
   상기 일관성은 상기 동일한 리스크 노드를 평가하도록 할당된 다른 사용자로부터 수집된 리스크 정보로부터의 특정량을 초과하지 않는 상기 수집된 리스크 정보에 의해 충족되는, 컴퓨터 구현 방법.
3. 제2항에 있어서,
   상기 리스크 정보가 최신임을 보장하도록 상기 수집된 리스크 정보를 분석하여 하나 이상의 사용자에게 추가 질문들을 제시할 필요가 있는지를 결정하는 단계를 더 포함하는, 컴퓨터 구현 방법.
4. 제2항에 있어서,
   상기 수집된 리스크 정보에 가중값을 할당하는 단계와,
   가중된 리스크 정보를 다른 리스크 정보와 함께 집성하여 향상된 리스크 정보를 생성하는 단계 - 상기 향상된 리스크 정보는 미리 수집되거나 갱신된 정보가 없었다면 새로운 정보이고 또는 이용가능한 이전 정보가 있었다면 갱신된 정보임 -
   를 더 포함하는, 컴퓨터 구현 방법.
5. 제1항에 있어서,
   맞춤형 조사의 상기 질문들은 부분적으로 추출된 리스크 네트워크의 정보량을 캡처하는 기준에 기초하여 추출을 위한 리스크 노드를 선택함으로써 정의되는 순서화 기준(ordering criteria)을 따르고,
   상기 기준은

   

   식에 따라 정의되고,
   상기 선택된 리스크 노드는, 추출되지 않은 다른 모든 리스크 노드들에 비해 상기 선택된 리스크 노드가 추출되면, 상기 리스크 네트워크의 결합 확률 분포의 "참" 값과 상기 리스크 네트워크의 상기 결합 확률 분포의 값 사이의 예상 거리를 최소화하는, 컴퓨터 구현 방법.
6. 제1항에 있어서,
   맞춤형 조사의 질문들은 상기 리스크 노드에 연관된 상태들의 개수에 기초하여 추출을 위한 리스크 노드를 선택함으로써 정의되는 순서화 기준을 따르고, 상기 리스크 노드는 비추출된(non-elicited) 리스크 노드인, 컴퓨터 구현 방법.
7. 제1항에 있어서,
   맞춤형 조사의 질문들은 상기 리스크 네트워크의 몬테 카를로 시뮬레이션(Monte Carlo simulation) 및 리스크 노드의 상기 리스크 네트워크의 매개변수들에 기초하여 추출을 위한 리스크 노드를 선택함으로써 정의되는 순서화 기준을 따르는, 컴퓨터 구현 방법.
8. 제1항에 있어서,
   맞춤형 조사의 질문들은

   

   에 의해 정의된 식에 대한 해를 최소화하는 것에 기초하여 추출을 위한 리스크 노드를 선택함으로써 정의되는 순서화 기준을 따르는, 컴퓨터 구현 방법.
9. 리스크 정보를 추출하기 위한 컴퓨터 프로그램 제품으로서,
   프로세서에 의해 판독가능하며, 방법을 수행하도록 상기 프로세서가 동작하기 위한 명령어들을 저장하는 저장 매체를 포함하고,
   상기 방법은,
   연관된 리스크 정보를 갖는 하나 이상의 리스크 노드를 포함하는 리스크 네트워크를 선택하는 단계와,
   각 리스크 노드에 하나 이상의 역할을 할당하는 단계 - 상기 역할은 상기 리스크 노드를 평가하는 하나 이상의 유형의 사용자를 나타냄 - 와,
   리스크 정보를 추출하도록 상기 사용자들 중 하나에게 질문들을 제시하는 단계와,
   상기 질문들에 대한 상기 사용자의 답변들로부터 상기 리스크 노드들에 대한 리스크 정보를 수집하는 단계와,
   상기 수집된 리스크 정보에 기초하여 상기 리스크 노드들을 채우는 단계를 포함하는, 컴퓨터 프로그램 제품.
10. 리스크 정보를 추출하기 위한 시스템으로서,
    연관된 리스크 정보를 갖는 하나 이상의 리스크 노드를 포함하는 리스크 네트워크를 선택하고,
    각 리스크 노드에 역할 - 상기 역할은 상기 리스크 노드를 평가하는 사용자의 유형을 나타냄 - 을 할당하고,
    리스크 정보를 추출하도록 상기 사용자에게 질문들 - 상기 질문들은 순서화 기준에 따라 제시됨 - 을 제시하고,
    상기 순서화된 질문들에 대한 상기 사용자의 답변들로부터 상기 리스크 노드들에 대한 리스크 정보를 수집하고,
    상기 수집된 리스크 정보에 기초하여 상기 리스크 노드들을 채우도록
    동작가능한 프로세서를 포함하는, 리스크 정보의 추출 시스템.

Images