KR102326773B1 - 표준 기반 연구개발 가이드라인 자동 생성 및 평가 시스템 및 그 방법 - Google Patents

표준 기반 연구개발 가이드라인 자동 생성 및 평가 시스템 및 그 방법 Download PDF

Info

Publication number
KR102326773B1
KR102326773B1 KR1020190045624A KR20190045624A KR102326773B1 KR 102326773 B1 KR102326773 B1 KR 102326773B1 KR 1020190045624 A KR1020190045624 A KR 1020190045624A KR 20190045624 A KR20190045624 A KR 20190045624A KR 102326773 B1 KR102326773 B1 KR 102326773B1
Authority
KR
South Korea
Prior art keywords
goal
standard
model
document
standard document
Prior art date
Application number
KR1020190045624A
Other languages
English (en)
Other versions
KR20200122657A (ko
Inventor
이정원
이병정
김동엽
Original Assignee
아주대학교산학협력단
서울시립대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아주대학교산학협력단, 서울시립대학교 산학협력단 filed Critical 아주대학교산학협력단
Priority to KR1020190045624A priority Critical patent/KR102326773B1/ko
Publication of KR20200122657A publication Critical patent/KR20200122657A/ko
Application granted granted Critical
Publication of KR102326773B1 publication Critical patent/KR102326773B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/18Legal services
    • G06Q50/184Intellectual property management

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Economics (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Machine Translation (AREA)
  • Document Processing Apparatus (AREA)

Abstract

본 발명에 따른 표준문서 기반 연구개발 가이드라인 자동 생성 및 평가 시스템은 표준문서를 검색하고, 연구개발 기록문서를 작성하기 위한 사용자 입력단; 상기 표준문서를 표준DB에서 검색하여 불러오는 표준 관리부; 상기 표준문서의 명세에서 규칙(Rule)에 따라 골(Goal)과 링크(Link)로 추출하고, 해당 골(Goal)과 링크(Link)를 병합하여 골모델(Goal-Model)을 생성하는 골모델 생성부; 상기 골모델(Goal-Model)을 전달받아 사용자에게 연구개발의 가이드라인으로 제공하는 연구개발 관리부; 상기 가이드라인에 따라 작성한 연구개발 기록문서를 전달받아 상기 골모델(Goal-Model)과 대조하여 평가하는 연구개발 평가부; 및 상기 골모델(Goal-Model)의 정보를 사용자에게 출력하고, 상기 연구개발 평가부에서 전달된 기록문서 평가결과를 출력하는 사용자 출력단;을 포함하여, 표준문서의 내용을 골모델로 제공함으로써 보다 체계적으로 연구개발이 가능한 효과가 있고, 연구개발의 진행에 따라 작성한 기록문서를 골모델과 대조하여 평가함으로써 연구개발 문서의 질적 평가가 가능한 효과가 있으며, 품질이 보장된 연구개발문서를 갖춤으로써 제품의 인허가 절차에 도움을 제공할 수 있는 효과가 있다.

Description

표준 기반 연구개발 가이드라인 자동 생성 및 평가 시스템 및 그 방법{STANDARD BASED RESEARCH AND DEVELOPMENT GUIDELINE AUTOMATIC GENERATING AND EVALUATING SYSTEM AND METHOD FOR THE SAME}
본 발명은 표준 기반 연구개발 가이드라인 자동 생성 및 평가 시스템에 관한 것으로써 더욱 상세하게는 표준 명세의 복합적인 구조와 다양한 정보를 견고하게 추출하기 위해 명세의 문법을 분석하고 문법요소 단위에서 골(Goal)과 링크(Link)를 추출하는 규칙(Rule)을 정의하고, 표준 문서의 실제 추출 사례의 확인을 통해, 개발자가 기존 표준의 내용을 골모델(Goal-Model)로 제공받음으로써 보다 직관적이고 효율적으로 표준을 준수할 수 있게 되며, 각 기술분야의 SW Domain의 Specific한 정보들을 놓치지 않고 파악할 수 있도록 하는 표준 기반 연구개발 가이드라인 자동 생성 및 평가 시스템에 관한 것이다.
소프트웨어 제조업체는 제품의 최초 설계 단계부터 출시 후의 유지보수 단계까지 항상 표준의 명세를 따라 소프트웨어를 개발하고 관리해야 인허가를 통과할 수 있다. 개발자는 소프트웨어를 구현하는 것 이외에도 설명글로 작성된 표준의 모든 명세를 이해 해야하고, 그 내용을 준수하며 소프트웨어를 개발 해야한다.
또한, 인허가 시 증빙 절차를 위해 상당한 수의 명세에 대한 수행기록을 문서로서 남겨야 한다.
이 표준을 소프트웨어 개발자가 준수하는 데에 있어 몇 가지 어려움 들이 있는데, 첫째로 이 표준은 약 80 page, 230 요구사항(requirements) 로 이루어진 방대한 분량을 갖는다는 것이다. 소프트웨어 개발자들이 설명문으로 이루어진 표준의 모든 내용을 파악하고 수행하고, 문서로 기록해내는 것은 시간과 인력의 측면에서 어려운 일이다. 구체적으로 이것이 어려운 이유는 이 표준이 개발자에게 소프트웨어 연구개발에 대한 기본적인 내용 이외의, 제품의 인허가를 위한 특별한 정보들을 약속된 표현 방식을 통해 문장 안에 내포시켜 제공하기 때문이다.
예를 들어, 표준의 약 230여개 요구사항들은 인허가 과점에서 필수, 권장, 가능과 같이 각 항목들의 성격이 나뉘며, 이러한 요구사항의 '필수 준수여부' 정보는 문장에서 조동사를 통해서만 표현된다.
구체적으로 조동사가 “Shall”이라고 표현되는 요구사항은 그 요구사항이 필수 사항임과 동시에 인허가 때 검사받는 내용이라고 표준이 약속한 것이다. 따라서 개발자는 인허가를 위해 “Shall”로 표현된 문장과 이외의 조동사를 사용한 모든 문장들을 인식해 내야한다.
이와 같은 방식으로, '안전 등급에 따른 준수여부', '문서화 여부' 등과 같은 인허가에 중요한 정보들이 문장 안에 약속된 표현 방식을 통해서 내포되어 있다. 본 발명에서는 이러한 정보를 standard-domain specific, medical-domain specific한 정보들이라 일컫는데, 이들은 한눈에 띄게 표현되어있지 않고, 문장 안에서 개발자가 발견해내고, 한 번 더 해석해내야 하는 형태로 주어진다.
또 다른 어려움은 표준의 명세들이 서로 참조관계를 갖기 때문에 개발자가 하나의 요구사항을 수행하기 위해 다른 요구사항의 내용까지 파악해야 하는 것이다. 예를 들어, IEC 62304 표준이 제시하는 프로세스 중에는 Development Process와 Risk Management Process가 있다.
이 두 프로세스가 문서상으로는 5장과 7장으로 분리되어 기술되어 있지만, 소프트웨어 생명주기의 측면에서는 서로 영향을 미치며 동시에 병행되는 내용이다.
실제로 표준에서 개발프로세스의 어떠한 요구사항들은 위험관리 프로세스 요구사항의 수행결과를 얻어야만 진행할 수 있기 때문에 다른 어떤 요구사항을 참조하도록 명시한다.
이와 같은 방식으로 표준에 있는 5개의 프로세스의 요구사항들은 서로 간에 참조관계를 갖으며, 개발자는 복잡한 참조관계를 파악하며 표준을 준수하는데 어려움이 있다.
관련하여, 소프트웨어 표준의 요구사항을 수행하는데 필요한 연구개발, 즉, 테스팅, 형상관리와 같은 소프트웨어공학 분야의 연구는 활발히 진행되고 있다. 그러나 이에 비해 표준의 수행 내용을 문서로 기록하는 것을 돕는 가이드라인과 연구는 미미한 실정이다.
따라서 제조업체는 표준을 기반으로 하는 인허가 절차에 어려움을 겪고 있으며, 이를 위해 최근 의료기기 소프트웨어의 연구개발 문서를 갖추는 것을 보조하거나 작성된 문서의 품질을 평가하기 위한 연구들이 진행되고 있다. 아래의 비특허문헌 1과 2는 각각 의료기기 소프트웨어에 대한 표준인 IEC 62304와 일반 소프트웨어에 대한 ISO/IEC 12207를 대상으로, 표준 명세들 중에 문서화를 필요로하는 요구사항만 식별한다. 그리고 그들을 '연구개발 문서화 가이드라인'이라는 효과적인 형식으로 개발자에게 제공하도록 제안한다.
그러나 이것들은 문서화에만 초점을 맞추었고 프로세스의 개념이 반영되지 않았기 때문에, 연구개발이 시간 흐름에 따라 원활하게 진행되는 것을 보조하는데 한계점이 있다.
비특허문헌 3과 4는 각각 일반 소프트웨어, 의료기기 소프트웨어의 연구개발 역량을 평가하기 위한 Software Process Improvement and Capability dEtermination(SPICE), MeDical device SPICE(MEevSPICE)를 제안하는 연구이다. 이들은 ISO/IEC 12207과 IEC 62304의 두 표준을 기준으로 명세의 내용와 소프트웨어 산출물을 비교하여 연구개발 프로세스의 역량을 평가한다.
그러나 이들은 소프트웨어 개발자가 이미 제품의 연구개발을 마친 이후에 표준과 산출물을 비교하는 방식이기 때문에 평가 이외의 개발자가 연구개발을 표준에 맞게 진행하도록 보조하지 못하는 문제점이 있다.
대한민국 공개특허공보 제10-2012-0047163호(2012.05.11)
DongYeop Kim, Ye-Seul Park, Byungjeong Lee, Jung-Won Lee, "Methods of Extracting and Providing R&D Documentation Guideline for Licensing Medical Device Software," in Proc of KSII The 13th Asia Pacific International Conference on Information Science and Technology(APIC-IST), pp.1-3, Jung 24-27, 2018. 비특허문헌 2: DongYeop Kim, Byungjeong Lee, Jung-Won Lee, "Methods for Providing and Evaluating Software R&D Documentation Guideline based on Extracting Requirements of ISO/IEC 12207," in Proc of KSII 2018, Vol 19, No.1, pp 1-2, April 28, 2018 ISO/IEC 15504-4:2004, Information technology ― Process assessment ― Part 4: Guidance on use for process improvement and process capability determination 7Lepmets, M., Clarke, P., McCaery, F., Finnegan, A., & Dorling, A. Development of MDevSPICE the medical device software process assessment framework. Journal of Software: Evolution and Process, 27(8), 565-572.
상술한 바와 같은 한계점와 문제점을 해결하기 위해 본 발명은 표준 명세의 복합적인 구조와 다양한 정보를 견고하게 추출하기 위해 명세의 문법을 분석하고 문법요소 단위에서 골(Goal)과 링크(Link)를 추출하는 규칙(Rule)을 정의하고, 표준 문서의 실제 추출 사례의 확인을 통해, 개발자가 기존 표준의 내용을 골모델(Goal-Model)로 제공받음으로써 보다 직관적이고 효율적으로 표준을 준수할 수 있게 되며, 각 기술분야의 SW Domain의 Specific한 정보들을 놓치지 않고 파악할 수 있도록 하는 표준 기반 연구개발 가이드라인 자동 생성 및 평가 시스템의 제공을 목적으로 한다.
상술한 목적을 달성하기 위한 본 발명에 따른 표준문서 기반 연구개발 가이드라인 자동 생성 및 평가 시스템은 표준문서를 검색하고, 연구개발 기록문서를 작성하기 위한 사용자 입력단; 상기 표준문서를 표준DB에서 검색하여 불러오는 표준 관리부; 상기 표준문서의 명세에서 규칙(Rule)에 따라 골(Goal)과 링크(Link)로 추출하고, 해당 골(Goal)과 링크(Link)를 병합하여 골모델(Goal-Model)을 생성하는 골모델 생성부; 상기 골모델(Goal-Model)을 전달받아 사용자에게 연구개발의 가이드라인으로 제공하는 연구개발 관리부; 상기 가이드라인에 따라 작성한 연구개발 기록문서를 전달받아 상기 골모델(Goal-Model)과 대조하여 평가하는 연구개발 평가부; 및 상기 골모델(Goal-Model)의 정보를 사용자에게 출력하고, 상기 연구개발 평가부에서 전달된 기록문서 평가결과를 출력하는 사용자 출력단;을 포함하는 것을 특지응로 한다.
바람직하게 상술한 목적을 달성하기 위한 본 발명에 따른 표준문서 기반 연구개발 가이드라인 자동 생성 및 평가 시스템의 골모델 생성부는 상기 표준문서에 존재하는 그림, 표, 공백을 모두 제거하고, 텍스트(Text)만 추출하여 명세(Specification)의 구문을 인식하고 형태에 따라 프로세스(Process), 액티비티(Activity), 테스크(Task), 요구사항(Requirement), 및 노트(Note) 명세로 분류하는 표준문서 전처리단; 상기 Process, Activity, Task 명세의 명사절(Noun Phrase) 정보를 상기 골모델(Goal-Model)을 구성하는 Process, Activity, Task 골(Goal)에 Description항목으로 추출하는 명사절 추출단; 상기 Process, Activity, Task 명세의 인덱스(Index)를 링크(Link) 정보로 추출하는 인덱스 추출단; 상기 요구사항 명세를 문법요소로 분류하는 요구사항 분류단; 상기 문법요소를 골(Goal)과 링크(Link)로 추출하는 문법요소 추출단; 및 상기 골(Goal)과 링크(Link)를 병합(Merging)하여 골모델(Goal-Model)을 생성하는 골모델 생성단;을 포함하는 것을 특징으로 한다.
바람직하게 상술한 목적을 달성하기 위한 본 발명에 따른 표준문서 기반 연구개발 가이드라인 자동 생성 및 평가 시스템의 문법요소는 주어(Subject), 조동사(Auxiliary), 동사(Verb), 목적어(Object), 수식어(Modifier), 및 브라켓(Bracket)으로 구성되는 것을 특징으로 한다.
바람직하게 상술한 목적을 달성하기 위한 본 발명에 따른 표준문서 기반 연구개발 가이드라인 자동 생성 및 평가 시스템의 문법요소 추출단은 주어(Subject)를 골모델(Goal-Model)에 요구사항의 골(Goal)의 수행자로 추출하는 것을 특징으로 한다.
바람직하게 상술한 목적을 달성하기 위한 본 발명에 따른 표준문서 기반 연구개발 가이드라인 자동 생성 및 평가 시스템의 문법요소 추출단은 상기 조동사(Auxiliary)의 사용에 따라 요구사항의 골(Goal)의 수용(Acceptance)항목인 필수(Mandatatory), 추천(Recommend), 가능(Available) 중 어느 하나로 추출하는 것을 특징으로 한다.
바람직하게 상술한 목적을 달성하기 위한 본 발명에 따른 표준문서 기반 연구개발 가이드라인 자동 생성 및 평가 시스템의 문법요소 추출단은 상기 동사(Verb)를 상기 요구사항의 골(Goal)의 Action으로 추출하지만, 단어의 사용에 따라 상기 골모델(Goal-Model)에서 문서화 여부를 표시하도록 추출하는 것을 특징으로 한다.
바람직하게 상술한 목적을 달성하기 위한 본 발명에 따른 표준문서 기반 연구개발 가이드라인 자동 생성 및 평가 시스템의 문법요소 추출단은 상기 목적어(Object)를 상기 요구사항의 골(Goal)의 Action으로 추출하고, 특정 표현의 사용 여부에 따라 서브 요구사항의 골(Sub-Requirement Goal)로 추출하며, 상기 요구사항(Requirement)을 보조하는 상기 서브 요구사항(Sub-Requirement)을 지시하는 관계를 의미하는 링크(Link)로 추출하는 것을 특징으로 한다.
바람직하게 상술한 목적을 달성하기 위한 본 발명에 따른 표준문서 기반 연구개발 가이드라인 자동 생성 및 평가 시스템의 문법요소 추출단은 요구사항 간의 참조관계를 나타내는 표현으로 사용된 경우 상기 수식어(Modifier)를 링크(Link) 정보로 추출하고, 그 외의 표현으로 사용된 경우 상기 수식어(Modifier)를 삭제하는 것을 특징으로 한다.
바람직하게 상술한 목적을 달성하기 위한 본 발명에 따른 표준문서 기반 연구개발 가이드라인 자동 생성 및 평가 시스템의 명사절 추출단은 상기 Note명세에서 요구사항과 다른 부분과의 참조관계를 표현한 정보를 상기 골모델(Goal-Model)에서 골(Goal) 간의 링크(Link) 정보이기 때문에 해당 표현만을 인식해서 링크(Link)로 추출하는 것을 특징으로 한다.
다른 실시예로써, 상술한 목적을 달성하기 위한 본 발명에 따른 표준문서 기반 연구개발 가이드라인 자동 생성 및 평가 방법은 (a) 사용자 입력단이 표준문서 검색어를 입력하는 단계; (b) 표준 관리부가 상기 표준문서를 표준DB에서 검색하여 불러오는 단계; (c) 골모델 생성부가 상기 표준문서를 프로세스(Process), 액티비티(Activity), 테스크(Task), 요구사항(Requirement), 및 노트(Note) 명세로 분류하고, 분류되 명세를 한 문장씩 파싱하여 문법요소를 분류하여 골(Goal)과 링크(Link)로 추출한 후, 해당 골(Goal)과 링크(Link)를 병합하여 골모델(Goal-Model)을 생성하는 단계; (e) 연구개발 관리부가 상기 골모델(Goal-Model)을 전달받아 사용자에게 연구개발의 가이드라인으로 제공하는 단계; (f) 사용자의 조작에 따라 사용자 입력단이 상기 가이드라인에 따라 작성한 연구개발 기록문서를 작성하는 단계; (g) 연구개발 평가부가 상기 가이드라인에 따라 작성한 연구개발 기록문서를 전달받아 상기 골모델(Goal-Model)과 대조하여 평가하는 단계; 및 (h) 사용자 출력단이 상기 골모델(Goal-Model)의 정보를 사용자에게 출력하고, 상기 연구개발 평가부에서 전달된 기록문서 평가결과를 출력하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 따른 표준 기반 연구개발 가이드라인 자동 생성 및 평가 시스템을 통해 제조업체는 제품 분야의 국내외 표준을 준수하며 연구개발이 가능한 효과가 있다.
또한, 본 발명에 따른 표준 기반 연구개발 가이드라인 자동 생성 및 평가 시스템은 표준문서의 내용을 골모델로 제공함으로써 보다 체계적으로 연구개발이 가능한 효과가 있다.
또한, 본 발명에 따른 표준 기반 연구개발 가이드라인 자동 생성 및 평가 시스템은 연구개발의 진행에 따라 작성한 기록문서를 골모델과 대조하여 평가함으로써 연구개발 문서의 질적 평가가 가능한 효과가 있다.
또한, 본 발명에 따른 표준 기반 연구개발 가이드라인 자동 생성 및 평가 시스템은 품질이 보장된 연구개발문서를 갖춤으로써 제품의 인허가 절차에 도움을 제공할 수 있는 효과가 있다.
도 1은 본 발명에 따른 표준 기반 연구개발 가이드라인 자동 생성 및 평가 시스템의 블록도 이다.
도 2는 본 발명에 따른 표준 기반 연구개발 가이드라인 자동 생성 및 평가 시스템에 의해 표준문서에서 골모델을 추출한 상태를 도시하 도면이다.
도 3은 본 발명에 따른 표준 기반 연구개발 가이드라인 자동 생성 및 평가 시스템에서 사용하는 표준문서의 구조를 도시한 도면이다.
도 4는 표준문서의 명세와 골모델(Goal-Model)간의 연관성을 요약한 것이다.
도 5는 요구사항으로부터 골의 규칙을 추출하는 예를 도시한 도면이다.
도 6은 각 유형에 따라 링크를 추출하는 예를 도시한 도면이다.
도 7은 골모델(Goal-Model) 생성 프로세스를 도시한 도면이다.
도 8은 골모델(Goal-Model) 시각화 예를 도시한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면을 참조하여 상세하게 설명하도록 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재 항목들의 조합 또는 복수의 관련된 기재 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급될 때에는 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 표준 기반 연구개발 가이드라인 자동 생성 및 평가 시스템 및 그 방법에 대해 상세히 설명한다.
본 발명에 따른 표준 기반 연구개발 가이드라인 자동 생성 및 평가 시스템은 도 1에 도시된 바와 같이 사용자 입력단(100), 표준 관리부(200), 골모델 생성부(300), 연구개발 관리부(400), 연구개발 평가부(500), 및 사용자 출력단(600)을 포함한다.
상기 사용자 입력단(100)은 사용자의 입력을 위한 구성으로, 보다 구체적으로 상기 사용자 입력단(100)의 표준 입력부(110)는 사용자가 연구개발에 사용하기 위해 표준의 제목, 식별번호, 산업분야, 또는 국내외속성을 입력하는 구성이다.
또한, 상기 사용자 입력단(100)의 기록문서 입력부(120)는 사용자가 생성된 골모델을 바탕으로 연구개발 기록문서를 작성하기 위해 데이터를 입력하는 구성이다.
참고로, 본 발명에서 언급하는 '표준'은 다양한 산업 분야의 연구개발을 위한 지침으로 제정된 규칙을 뜻하며, 세계적으로는 IEEE, ISO, 국내로는 KS와 같은 단체로부터 제정된 표준들을 의미한다.
또한, 본 발명에서 언급하는 '기록문서'는 제품의 연구개발에 관한 내용으로 이루어지며, 제품 인허가 절차의 증빙자료로 사용되는 문서를 의미한다.
상기 표준 관리부(200)는 상기 사용자 입력단(100)에서 입력받은 표준문서의 제목, 식별번호, 산업분야, 또는 국내외속성에 근거하여 표준DB에서 표준문서를 검색하고 해당 표준문서의 내용을 불러온다.
상기 골모델 생성부(300)는 상기 표준 관리부(200)에서 전달받은 표준문서의 내용을 골모델로 생성한다.
보다 구체적으로 상기 골모델 생성부(300)는 표준문서 전처리단(310), 명사절 추출단(320), 인덱스 추출단(330), 요구사항 분류단(340), 문법요소 추출단(350), 및 골모델 생성단(360)를 포함한다.
상기 표준문서 전처리단(310)은 상기 표준문서에서 표와 그림 같은 요소를 제거하고 텍스트 정보만 남도록 표준문서의 내용을 전처리한다.
하기에 상세히 후술된 바와 같이 상기 명사절 추출단(320)은 표준문서의 명세 중, process, activity, Task 명세에서 Noun Phrase 정보를 골모델의 각 골(Goal)에 Description항목으로 추출한다.
상기 인덱스 추출단(330)은 Process, Activity, Task 명세의 계층관계, 즉 포함관계를 의미하기 때문에 상기 Index를 중요한 링크(Link) 정보로 추출한다.
상기 요구사항 분류단(340)은 표준문서의 요구사항을 유형별로 분리한다.
상기 문법요소 추출단(350)은 요구사항의 구문분석을 통해 구성성분을 추출한다.
상기 골모델 생성단(360)은 각 요구사항 유형별 골모델 추출 규칙을 통해 표준의 요구사항을 골모델로 추출한다.
상기 연구개발 관리부(400)는 상기 골모델 생성부(300)에서 생성된 골모델을 전달받아 사용자에게 연구개발의 가이드라인으로 제공하기 위해 상기 사용자 출력단(600)에 전달한다.
상기 연구개발 관리부(400)는 사용자가 상기 골모델을 가이드라인으로 하여 연구개발 기록문서 작성을 위한 환경을 제공하고, 상기 사용자 입력단(100)에서 일력받은 기록문서를 저장 및 관리하며, 해당 기록문서를 상기 연구개발 평가부(500)에 전달한다.
상기 연구개발 평가부(500)는 상기 연구개발 관리부(400)에서 전달받은 연구개발 기록문서를 골모델 항목과 대조하여 평가한다.
상기 사용자 출력단(600)은 상기 연구개발 관리부(400)의 골모델 정보를 사용자에게 출력하고, 상기 연구개발 평가부(500)에서 전달된 기록문서 평가결과를 사용자에게 출력해 준다.
상술한 구성을 갖는 본 발명에 따른 표준 기반 연구개발 가이드라인 자동 생성 및 평가 시스템은 도 2에 도시된 바와 같이, 도 2(a)와 같은 표준문서를 도 2(b)와 같은 골모델(Goal-Model)로 추출한다.
본 발명에 따른 표준 기반 연구개발 가이드라인 자동 생성 및 평가 시스템은 표준문서를 골모델(Goal-Model)로 추출하기 위해 고려해야 하는 점은 다음과 같다.
첫째로, 표준문서(명세)는 내용과 형식 모두가 Process-Activity-Task-Requirement로 이어지는 계층적인 구조로 이루어져 있다.
상기 표준문서(명세<specification>)들은 종류(type)마다 도 2(a)의 G1, G2, G3, G4, G9과 같이 서로 다른 표현 방식을 갖기 때문에 표준문서의 text를 specification type에 따라 구분하여 처리해야 한다.
둘째로, 표준문서(명세)의 핵심 정보가 문장을 꾸미는 여러 표현들에 가려져있다. (의료)SW 표준문서의 특성상, 각 표준문서에는 '문서화 요구 정보', '필수 수행여부 정보', '안전등급 정보', '참조 요구사항'들과 같은 인허가를 위한 중요한 정보가 많기 때문에 문장에서 이 정보들을 인식할 수 있어야 한다.
셋째로, 표준문서의 모든 문장에서 사용하는 구문의 가짓수는 제한되어 있기 때문에 모든 요구사항은 Semi-structured Text라고 볼 수 있다.
상술한 사항들을 모두 고려하며 표준문서를 도 2(b)와 같이 좋은 품질의 골모델로 제공하기 위해 본 발명은 규칙(Rule) 기반의 골모델 추출 방법을 제안한다.
표준문서(명세)의 구문과 용법을 분석하여 이를 토대로, 표준문서의 Hierarchy, 문장의 핵심 정보들을 인식할 수 있고, (의료)SW 표준문서에서 특별히 요구하는 Specific한 정보를 빠뜨리지 않고 골모델로 추출할 수 있는 규칙(Rule)을 정의한다.
본 발명에서는 의료 표준문서의 골모델 추출을 일실시예로 설명하지만, 이에 한정되지 않고 다양한 기술분야의 표준무선에 대한 골모델 추출에도 적용이 가능하다.
IEC 62304는 의료 소프트웨어 생명주기 프로세스에 관한 명세를 명시하는 표준문서로서, 그 명세는 'Process ~ Activity ~ Task ~ Requirement'의 체계(Hierarchy)로 구성되어 있고, 추가적으로 Note라는 명세도 있다.
개발자가 수행해야 하는 구체적인 지시 사항은 모두 요구사항 명세에서 설명하고, 부가설명이 필요할 경우에는 노트 명세에서 설명한다.
Process, Activity, Task는 개발자가 표준에서 제시하는 요구사항이 프로세스의 어느 흐름 가운데 있는 것인지 파악하도록 명사구 형태의 간략한 Title으로만 주어진다.
예를 들면, “Software Development Planning”“Risk Management Planning”과 같다. [표 1]은 표준문서(명세)가 체계(Hierarchy) 관점에서 분류된 각 종류, 각 계층에서의 명세 개수, 그리고 실제 문서에서의 각 계층의 명세 예시를 제시한다.
대표적으로 Process는 의료 소프트웨어 연구개발의 특성상 5가지 (Development, Risk Management, Configuration Management, Risk Resolution Management, Maintenance)로 나뉘고, 각 항목을 상위 개념으로 삼아서 수십, 수백개의 액티비티, 테스크, 요구사항, 노트 명세가 속하게 된다.
Type of Specification # of Item Example
Process 5 (*Fig1(a)G1)
Activity 26 (*Fig1(a)G2)
Task 124 (*Fig1(a)G3)
Requirement 230 (*Fig1(a)G4~G7)
Note 47 (*Fig1(a)G9)
상기 표준문서(명세)는 상술한 바와 같이 5개의 유형으로 분류되며, 유형은 각각의 구문 표현을 갖는다. 이들은 모델로 정의되며, 도 3의 개요도로 표현될 수 있다. 이들은 이후 골모델 추출 룰의 기준 단위로 사용된다.
도 2(a)에 나와있는 표준문서의 실제 내용을 통해 살펴보면, G1부터 G9까지의 Specification 중 G1~G3과 같은 Process, Activity, Task Type은 비교적 짧은 명사구로 표현한다.
이들은 모델의 요소로 인덱스(Index)와 명사구(Noun Phrase)만 존재하는 간단한 구조를 갖는다. 그러나 G4~G7와 같은 요구사항 명세(Requirement specification)는 온전한 문장의 형태를 갖으며, 표현되는 경우가 수동태, 능동태로 나뉜다.
모델도 각 형태로 나뉘며, 골 추출규칙(Goal Extraction Rule)을 정의하기 위해 구문을 문법 요소별로 분해한다. 이러한 작업은 최근 룰 기반의 자연어 처리 연구에서 Functional Grammar라 불리며, 문장의 각 구성요소들이 어떠한 의미와 역할을 제공하는지 체계적으로 파악하게 한다. Specification Type 별로 Functional Grammar 요소에 대한 설명은 다음과 같다.
먼저, Process, Activity, Task Type을 표현하는 인덱스(Index)와 명사구(Noun Phrase)를 살펴본다.
세 종류(Process, Activity, Task)의 명세는 “(Index). (Title)”의 형태로 작성되며, 도 2(a)의 G1~G3와 같다. 특히 인덱스(Index)는 각 Specification Type에 따라 넘버링 레벨이 나뉘어 있다.
Process Specification은 X., Activity는 X.X., Task는 X.X.X.의 형태이며, 이를 통해 Specification들의 계층 관계, 즉 포함 관계를 파악할 수 있다.
예를 들어, 5.X 번호 대의 모든 Activity Specification은 “5. Software Development Process”라는 Process Specification의 하위 명세이며, 이처럼 인덱스 내용은 골 모델 추출 시에 골 간에 존재하는 링크 정보로 추출된다.
명사구(Noun Phrase) 요소는 각 Process, activity, Task 명세의 description 부분이다. 연구개발의 구체적인 지침은 요구사항 명세(Requirement Specification)에서 제공되며, 이 세 가지 Specification Type은 연구개발 프로세스에 따라 수행되어야 하는 활동들을 명사구의 형태로 요약해서 제공하여 개발자가 연구개발의 주요 흐름을 파악할 수 있게 돕는다.
이들 Specification type은 description이 명사구의 비교적 간단한 형태와 간략한 내용만을 갖기 때문에 골모델로 추출하는 특별한 규칙(Rule)이 정의되지는 않으며, 인덱스(Index)의 Level을 통해 명세간의 계층 및 포함 관계를 링크로 추출하는 방식이 규칙(Rule)으로 정의된다.
다음으로, 온전한 문장의 형태를 갖는 요구사항 명세(Requirement specification)가 능동태로 표현되는 경우에 대해 살펴본다.
능동태로 표현된 요구사항 명세에서 `Subject`는 요구사항이 제시하는 활동을 수행해야 하는 주체를 의미한다. 제조업체는 해당 요구사항을 누가 담당하도록 시킬지 이것을 통해 결정하게 된다. 예를 들어, 어떤 요구사항들은 subject를 manufacturer라고 포괄적으로 지정하며, 다른 어떤 요구사항들은 subject를 developer로만 한정할 때가 있다. 도 2(a)의 경우에서, 'G4'는 software development plan을 manufacturer가 작성하라고 지시하며, 이 경우 Subject는 manufacturer이라는 단어이다.
능동태로 표현된 요구사항 명세에서 `Auxiliary verb`는 일반 문장에서의 사용과 달리 표준문서에서만 약속하는 특별한 의미가 내포된다. 이 요소는 요구사항이 인허가를 위해 필수적으로 수행되어야 하는지, 사용자 결정에 의해 선택적으로 수행되는 추천 사항인지를 나타낸다. 또한, 표준문서가 사용자에게 이러한 활동도 가능하다는 것을 제시해주는 의미로도 표현된다. 필수의 경우는 'Shall', 추천의 경우는 'Should', 가능의 경우는 'may'를 사용한다.
능동태로 표현된 요구사항 명세에서 `Verb`는 상기 Subject가 수행해야 하는 동작 따위를 의미하며, 동작의 대상이 되는 Object와 함께 하나의 세트로 해석되지만 골로 추출될 때는 별개로 다뤄진다. 표준문서(명세)의 특성상 Verb도 특별한 의미를 내포한다. Verb는 요구사항의 수행 기록에 대한 문서화 여부를 사용자에게 명시하기 때문이다. 이는 개발자에게 표준의 인허가를 위한 가장 중요한 정보이며, 문서화를 해야 하는 경우에는 'Document', 'Establish', 'define', 'reference' 등의 몇 가지 동사들만 제한적으로 사용된다. 추후 이 동사를 인식하는 것은 골 생성을 위한 중요한 작업이다.
능동태로 표현된 요구사항 명세에서 `Object`는 동사의 목적 또는 대상이 되는 요소로, verb와 함께 하나의 세트로 해석된다. 골로 추출될 때는 동사와 개별적인 요소로 다뤄진다. Object는 표준 만의 특별한 의미를 내포하진 않지만, 특별한 기술 방식이 존재한다. 예를 들어, 도 2(a)의 G6, G7처럼, 요구사항 중 목적어가 하나가 아닌 여러 Case로 나뉘어 사용되는 경우가 있다. 이렇게 한 문장 안에서 여러 개로 표현된 목적어들은 대부분이 문장의 길이가 길다. 본 발명에서 제시하는 골모델은 효율적으로 명세를 파악할 수 있도록 a), b), c)를 하나의 골(Goal)로 인식하지 않고, 3개의 개별적인 서브 요구사항의 골(sub-requirement goal)로 제시한다.
능동태로 표현된 요구사항 명세에서 `Modifier`는 기분 문장 구문에서 부가적인 요소로서, 요구사항의 주요 내용에 참고할 만한 정보를 제공하는 역할로 사용된다. 골모델(Goal-Model)은 표준문서의 핵심 정보만을 요약하여 개발자에게 제공하는 것이 목표이다. 따라서 골 추출 과정에서 요구사항의 Modifier는 대부분 삭제한다. 그러나 표준문서(명세)의 표현 특성상 주요 정보로 인식되어야 하는 경우가 있는데, “In accordance with A”라는 '전치사구'로 표현되는 경우이다. 이것은 요구사항의 수행을 위해 A라는 요구사항이 꼭 선행되어야 함을 의미한다. 이후 골 모델에서, 본 요구사항에서 생성된 골과 A 요구사항에서 생성된 골은 링크(Link)로 연결되어 개발자를 보조하게 된다.
능동태로 표현된 요구사항 명세에서 `[](Braket)`는 하나의 Task에 속한 요구사항 중 제일 마지막 순서의 요구사항에는 항상 “[Class ~]와 같은 표현이 나와있다. 이는 표준의 특성 중에서도 의료기기 소프트웨어 분야에서만 존재하는 것으로, 의료기기 소프트웨어의 안전등급을 의미한다. 의료기기 소프트웨어 표준에서는 제품의 안전등급을 A,B,C 세 가지로 나누며, 각 등급에 따라 준수해야하는 Task는 차등 적용된다. 즉, 개발자는 이 정보를 통해 각 Task의 준수 여부를 판단하게 된다.
한편, 온전한 문장의 형태를 갖는 요구사항 명세(Requirement specification)가 수동태로 표현되는 경우에 대해 살펴본다.
수동태로 표현된 요구사항 명세에서 `Subject`와 관련하여, 수동태로 구성된 요구사항은 실제 표준의 내용 가운데에서 “the report shall be documented”와 같은 문장을 예시로 들 수 있다. 대부분의 수동태 요구사항이 앞선 예시와 같이 연구개발과 관련된 어떤 문서 혹은 일정이 작성, 계획되어야 한다는 내용이다. 이때 실제 활동의 주체인 manufacturer 혹은 developer에 대한 표현은 생략된다. subject 자리에는 요구사항 활동의 결과물을 의미하는 단어가 위치한다.
수동태로 표현된 요구사항 명세에서 `Auxiliary verb`는 능동태에서 사용되는 auxiliary verb의 의미와 동일하다. 수동태에 경우에서는 subject가 필수적으로 생성되어야 하는지, 사용자 결정에 의해 선택적으로 생성되어도 되는지를 의미한다. 필수의 경우는 'Shall', 추천의 경우는 'Should', 가능의 경우는 'may'를 사용한다.
수동태로 표현된 요구사항 명세에서 `Verb`는 subject 자리에 위치한 요구사항의 결과물이 어떠한 활동을 통해 생성되어야 하는지 나타낸다. 능동태 요구사항의 verb의 용법과 마찬가지로 표준문서 사용자에게 요구사항의 문서화 여부가 중요한 정보이다. 따라서 'document', 'establish', 'define', and 'reference'와 같은 표현은 이후 골 추출과정에서 중요 정보로 사용된다.
수동태로 표현된 요구사항 명세에서 `Modifier`는 능동태에서 사용되는 Modifier의 용법과 동일하다. 요구사항이 수행되는데 필요한 부가적인 정보가 Modifier의 위치에서 설명된다. 특별히 'in accordance with A'라는 표현은 표준에서 요구사항이 다른 요구사항을 참조해야 하는 연관성을 나타낼 때 사용한다. 이후 골 모델에서 골 간의 참조관계를 나타내는 링크(Link)를 생성하는데 중요한 정보로 사용된다.
수동태로 표현된 요구사항 명세에서 `[](Braket)`는 능동태에서 사용되는 Bracket의 용법과 동일하다. 개발자는 이 정보를 통해 의료기기 소프트웨어의 안전등급에 해당하는 Task만을 준수해야 한다.
마지막으로 표준문서의 노트명세(Note Specification)는 요구사항 혹은 테스크 명세의 하위 요소로서 표준문서 사용자에게 부가적인 정보를 주기 위한 명세이다. 상기 노트 명세(Note Specification)의 문장은 형식이 다양하게 표현되어 model로 정의하기에 가짓수가 상당히 많다.
그러나 이들은 주로 example, best practice에 대한 내용으로 사용되고, 골모델은 요구사항의 핵심내용을 추출하는 것이 목표이기 때문에 추출과정에서 note specification의 내용은 삭제한다.
따라서 명세의 다양한 구문을 model로 정의할 필요가 없기 때문에 도 3에 도시된 바와 같이 구(phrase)로 포괄적으로 표현한다. 하지만, 표준문서 특성상 특별한 의미를 내포하는 경우가 있는데, 요구사항의 수행을 위해 표준의 다른 부분을 참고하라고 지시하는 경우이다. 이는 도 2(a) G9와 같이 “See ~”로 표현된다.
요구사항의 Modifier가 참조관계를 지시하는 것은 요구사항과 요구사항 간의 관계이지만, Note가 지시하는 것은 요구사항과 액티비티, 요구사항과 테스크, 심지어는 요구사항과 다른 표준 간의 관계와 같이 보다 넓은 참조 범위를 담당한다. 이 정보들은 골 모델에서 골 간의 중요한 링크(Link) 정보로 사용된다.
이하에서 골 추출 규칙에 대해 설명한다.
상기 [표 1]과 같이 표준문서의 명세는 5개의 종류로 구분되고, 각 명세는 각 타입(Type)마다 다른 방식으로 표현된다. 표준문서에서 모든 명세들은 각각 골(Goal)로 추출(Extracting)되는데, 그 규칙(Rule)은 각 타입마다 구문 구조를 고려하여 별개로 정의한다.
도 4는 표준문서의 명세와 골모델(Goal-Model) 간의 연관성을 요약한 것이다. 임의의 Specification이 골(Goal) 또는 링크(Link)로 추출될 때 Specification의 세부 요소들이 어떻게 변형되는지 model 관점에서 표현한 것이다. 왼쪽 Standard 부분의 요소는 상술한 바와 같이 정의한 내용과 같다.
도 4에 도시된 바와 같이 상기 골모델 생성부(300)는 표준문서의 명세를 오른쪽 골모델(Goal-Model)에서 크게 골(Goal)과 링크(Link) 개념으로 추출한다. 상기 골(Goal)은 문장으로 기술된 명세에서 핵심 정보만을 추출하고 이들을 Itemize된 형태로 제공한다.
Process Goal, Activity Goal, Task Goal, Requirement Goal, Sub-Requirement Goal, Note Goal, 및 링크(Link) 즉 6개의 종류로 나뉘며, 표준문서의 명세에 없는 서브요구사항(Sub-Requirement)이라는 항목이 추가되어 요구사항 명세(Requirement Specification)을 세분화한다. 링크(Link)는 골(Goal)간의 관계를 표현하는 역할이며, 명세 간의 계층, 참조 관계 등을 나타낸다. 각 종류마다 골(Goal)과 링크(Link)로 추출하는 자세한 규칙(Rule)은 다음과 같다.
이미 언급한 바와 같이, process, activity, Task 명세의 경우는 도 4에 도시된 바와 같이 인덱스(Index)와 명사절(Noun Phrase) 요소를 갖는다.
먼저, 상기 골모델 생성부(300)의 표준 전처리단(310)은 표준 관리부(200)에서 전달받은 표준문서에서 텍스트 정보만 남도록 표와 그림같은 요소를 제거한다.
상기 골모델 생성부(300)의 명사절 추출단(320)은 process, activity, Task 명세에서 상기 Noun Phrase 정보를 골모델의 각 골(Goal)에 Description항목으로 추출하는 것이 바람직하다.
이 명세 종류들은 활동 내용을 명사구의 형태로 Title처럼 제공했기 때문에 그 자체가 중요한 정보이다. 따라서 별도의 변형 없이 그대로 Description 항목으로 추출한다.
한편, 인덱스(Index)의 경우 상기 골모델 생성부(300)의 인덱스 추출단(330)은 숫자 자체가 의미하는 것은 없으나, Process, Activity, Task 명세의 계층관계, 즉 포함관계를 의미하기 때문에 상기 인덱스(Index)를 중요한 링크(Link) 정보로 추출하는 것이 바람직하다.
상술한 바와 같이 표준문서의 요구사항 명세는 다양한 문법 요소들로 분해되는데, 각 요소들은 상기 문법요소 추출단(350)에 의해 골(Goal)의 세부요소로 추출되고 그 규칙은 도 5에 도시된 바와 같다.
도 5는 요구사항으로부터 골의 규칙을 추출하는 규칙을 도시한 도면으로 특히 능동태로 표현된 요구사항의 경우에 대한 골(Goal)과 링크(Link)를 추출하는 규칙을 도시한 도면이다.
상기 요구사항 분류단(340)는 표준문서의 요구사항 명세에서 주어(Subject), 조동사(Auxiliary), 동사(Verb), 목적어(Object), 수식어(Modifier), 및 브라켓(Bracket) 등의 문법 요소로 분류한다.
상기 문법요소 추출단(350)은 상기 요구사항 분류단(340)이 분류한 요구사항 명세의 주어(Subject)를 골모델에 요구사항의 골(Goal)의 수행자로 추출한다.
상기 문법요소 추출단(350)은 요구사항 명세에서 조동사 shall, should, 또는 may의 사용에 따라 요구사항의 골(Goal)의 요구사항 준수여부를 의미하는 수용(Acceptance)항목인 필수(Mandatory), 추천(Recommend), 가능(Available) 중 어느 하나로 추출하는 것이 바람직하다.
골(Goal)은 항목별로 작성(itemize)해서 정보를 나타내어 개발자가 직관적으로 준수 여부를 결정할 수 있다.
상기 문법요소 추출단(350)은 동사(Verb)의 경우 기본 용법처럼 골(Goal)의 Action으로 추출하지만, 특정 단어의 사용여부에 따라 골모델에서 문서화 여부를 표시하도록 추출한다. 즉 'document', 'establish', 'record'와 같은 단어가 사용되는 경우는 요구사항의 골(Goal)의 Documentation 항목이 'O'라고 표시되게 한다.
또한, 상기 문법요소 추출단(350)은 목적어(Object)의 경우도 기본 목적과 같게 Action으로 추출하고, 특정 표현의 사용 여부에 따라 서브 요구사항의 골(Sub-Requirement Goal)로 추출하며, 요구사항(Requirement)를 보조하는 서브 요구사항(Sub-Requirement)를 지시하는 관계를 의미하는 후속링크(Following Link)로 추출한다.
상기 문법요소 추출단(350)은 수식어(Modifier)의 경우, 'In accordance with'의 표현이 사용된 경우는 요구사항 간의 참조관계를 나타내는 것이기 때문에 링크(Link) 정보로 추출한다. 그 외의 모든 표현은 요구사항을 보조하는 내용이기 때문에 중요 정보로 취급하지 않고 삭제한다.
한편, 표준문서의 노트 명세에 있어, 사용자에게 부가적인 정보를 주기 위한 명세이기 때문에 특정 표현 이외에는 모두 삭제한다. 요구사항과 다른 부분과의 참조관계를 “See ~”로 표현하는데, 상기 명사절 추출단(320)은“See ~”로 표현된 정보를 골 모델에서 골 간의 중요한 링크(Link) 정보이기 때문에 해당 표현만을 인식해서 링크로 추출한다.
골(Goal)이 사용자에게 표준문서 명세의 주요 정보만을 항목별로 작성(itemize)하여 보여준다면, 링크(Link)는 명세간에 존재하는 참조 연관성을 개발자에게 직관적으로 보여준다.
즉 골(Goal) 간에 존재하는 참고관계를 의미하며, 링크(Link) 정보 또한 골(Goal)과 마찬가지로 누락하면 안되는 중요한 정보이다. 앞에서 골 추출규칙(Goal Extraction Rule)이 표준문서의 명세를 골(Goal)로 변환하는 작업이었다면, 이하에서의 링크 추출 규칙(Link Extraction Rule)은 참조 관계를 갖는 어떠한 두 명세에 대해서 그것들이 골(Goal)로 변환되었을 때 골(Goal) 간의 링크관계로 만들어주는 작업이다.
링크 추출 규칙(Link Extraction Rule)은 도 4(a)로부터 (c)로 요약되어있다. 링크(Link)는 지원 링크(Support Link), 후속 링크(Following Link), 참조 링크(Reference Link) 총 3개의 종류로 구성되는데, 상기 지원 링크(Support Link)의 경우는 프로세스 관점에서 골(Goal)간의 계층 관계를 나타내는 것이다.
이미 언급한 바와 같이 상기 인덱스 추출단(330)은 명세(Specification)의 인덱스(Index) 정보를 통해서, 즉 숫자를 통해서 계층 관계를 표현하던 것을 링크(Link) 정보로 추출하여 링크(Link)를 통해 사용자에게 직관적으로 지시할 수 있다.
상기 문법요소 추출단(350)에 의해 목적어(Object)를 골모델의 후속 링크(Following Link)로 추출하는데, 상기 후속 링크(Following Link)는 요구사항(Requirement)을 보조하는 서브 요구사항(Sub-Requirement)을 지시하는 관계를 의미한다.
상기 명사절 추출단(320)이 표준문서의 노트(Note) 명세에 “See ~”로 표현된 정보만을 인식해서 추출한 참조 링크(Reference Link)는 표준 문서 내에 존재하는 요구사항 간의 또는 요구사항과 다른 파트 간의 broadly한 참조 연관성을 표현하는데 사용된다.
도 6은 앞서 설명한 지원 링크(Support Link), 후속 링크(Following Link), 참조 링크(Reference Link)규칙이 실제로 적용된 예시이다. 개발자는 골모델의 링크를 통해 표준문서 명세 간에 존재하는 관계를 글로 이해하는 것보다 더 효과적으로 이해할 수 있다.
상기 골모델 생성단(360)은 상술한 바와 같이 추출된 상기 골(Goal)과 상기 링크(Link)을 병합(Merging)하여 골모델(Goal-Model)을 생성한다.
상술한 바와 같은 구성을 갖는 본 발명에 따른 표준 기반 연구개발 가이드라인 자동 생성 및 평가 시스템은 사용자가 도 2(a)와 같은 표준문서를 입력하면, 골과 링크의 추출규칙(Goal&Link Extracting Rule)에 따라 Text가 처리하여 그 결과로, 사용자가 표준문서의 내용을 직관적으로 파악할 수 있게, 도 2(b)와 같은 골모델을 생성한다.
상술한 골모델 생성 프로세스에 대해, 도 7을 참조하여 상세히 설명한다.
대부분의 표준 문서는 .pdf 형식의 파일로 제공된다. 사용자가 .pdf 형식의 문서를 Input으로 시스템에 입력하면, 골 추출 작업 이전에 상기 골모델 생성부(300)의 표준문서 전처리단(310)에 의해 전처리(Pre-processing) 과정을 갖는다.
먼저, 상기 표준문서 전처리단(310)은 표준문서에 존재하는 그림, 표, 공백과 같은 개체를 모두 제거하고, Text만 추출한다. 이후 상기 골모델 생성부(300)는 텍스트를 낱개의 명세 단위로 분리하고 각각의 ID를 부여한다. 또한 모든 명세(Specification)의 구문을 인식하고 그 형태에 따라 5가지 Type(Process, Activity, Task, Requirement, Note)으로 분류한다.
분류된 명세(Specification)는 한 문장씩 파서에 의해 문법(Syntactic) 요소로 분리된다. 문법 항목(Syntactic Item)들은 추출규칙(Extracting Rule)에 의해 골(Goal)과 링크(Link)로 추출된다. 문법 항목(Syntactic Item)들은 도 3에 도시된 명세 모델의 구조로 존재하며, 추출(Extracting) 규칙에 따라 골의 항목(Item)에 대응되는 값들로 추출된다. 능동태의 요구사항 명세 중 하나가 파서를 통해 골(Goal)로 추출되는 사례는 다음과 같다.
Example 1-1) The requirement of G4 (in Fig1 (a)) is splitted as 'Subject(The manufacturer) + AuxiliaryVerb(shall) + Verb(establish) + Object(a software development plan (or plans)) + Modifier(for conducting the ... developed)'
Example 1-2) The goals from G4 (in Fig1 (a)) is extracted as 'DG.Performer(manufacturer) + DG.Accept.(Mandatory) + DG.Action('establish' +'a software development plan (or plans)') + DG.Document(O) + Delete(for conducting ...)'
표준문서 내용은 골(Goal)로 추출되는 것 이외에도 골(Goal) 간의 연관성을 나타내는 링크(Link) 정보로도 추출된다. 일반적인 골모델(Goal-Model)에서 골(Goal)간의 수직계층 구조를 나타내는 지원링크(Support Link) 이외에도, 표준의 특성상 요구사항 간에 갖게되는 후속링크(Following Link)와 참조링크(Reference Link)는 표준이 명시하는 중요한 정보이기 때문에 이를 추출해내는 것은 중요한 작업이다.
이때 추출되는 링크 정보는 “See 5.1”또는 “~ in accordance with Clause 5”와 같이 내부적으로 처리되는 명세 ID와 골 ID 정보로 주어져 있지 않다.
따라서 링크 정보와 명세 ID를 일치시켜야 하며, 이후로는 명세가 골(Goal)로 변형되었기 때문에 해당하는 골(Goal) ID로 일치시켜야 한다. 프레임워크 내부에서 이러한 동기화(Synchronize) 과정을 모두 거친 후에 골(Goal)과 링크(Link)는 합쳐질 수 있다. 파서를 통해 노트명세(Note Specification)에서 링크(Link)로 추출하는 사례는 다음과 같다.
Example 2-1) The note which is G9 (in Fig1 (a)) is identified as 'Sentence(This subclause as ... processes) + Expression(,see 5.1.1.)'
Example 2-2) The linkage from G9 (in Fig1 (a)) is extracted as 'Linkage.Reference(To 'TG1' from 'Note41').'
표준문서에서 Text만 추출되고, 명세(Specification)들이 구분되어 ID와 Type이 부여된다. 이후 각 명세는 룰에 따라 골(Goal)과 링크(Link)로 추출되고, 특히 명세 ID로부터 골(Goal)과 링크(Link) ID를 동기화시키는 작업도 진행되어야 한다.
이 작업까지 모두 완료되면, 골(Goal)과 링크(Link)까지 모두 연결하여 골 모델을 최종 표현할 수 있게 된다. 이는 도 2의 사례와 같이, 사용자는 (a)의 표준 문서를 입력해서 (b)의 골모델(Goal-Model)을 출력물로 얻게 된다.
의료 표준의 구성을 고려해 세워진 규칙(Rule)은 표준의 중요 정보들이 효과적이고 직관적으로 표현되게 한다. 생성된 골모델(Goal-Model)은 다양한 방법을 통해 시각화시킬 수 있다. 본 발명은 Ontology Language 시각화 도구인 Prot
Figure 112019040099141-pat00001
eg
Figure 112019040099141-pat00002
를 사용하며, 도 8은 도구를 통해 골모델을 시각화한 일부 모습이다.
이하에서, 본 발명에 따른 표준 기반 연구개발 가이드라인 자동 생성 및 평가 시스템에서 제시하는 골모델 추출 방법이 기존 수작업을 통한 골모델 생성 방법에 비해 얼마나 정확하고 효과적인지 확인한다.
소프트웨어 제조업체가 골모델을 통해 제품 개발의 프로세스를 진행하기로 결정했을 때, 대부분의 경우는 소수의 Proejct Manager, Quality Manager, 혹은 Test Manager가 SRS의 내용을 수작업으로 골모델로 정의하게 된다.
본 발명은 의료기기 소프트웨어 제조업체가 제품의 연구개발 프로세스를 표준의 내용을 준수하며 따르고, 골모델을 통해 프로세스를 제공받기 원하는 경우에, 기존의 수작업을 통한 한계점을 보조하기 위한 방법을 제시한다.
개발 인력이 직접 표준을 분석해서 골모델을 정의하는 것이 아니라 룰 기반으로 골 모델이 자동 생성되도록 한다.
먼저, 본 발명에서 제시하는 방법이 정확한지 확인하기 위해 기존 방법으로 표준 전문가에 의해 manually 추출된 골모델을 답안이라 여기고, 제안하는 방법을 통해 생성된 골모델이 얼마나 정확하게 생성되었는지 비교한다.
또한, 본 발명은 의료기기 소프트웨어 표준인 IEC 62304 표준만을 기준으로 사용했지만, 다른 기술분야 표준들도 이 표준과 매우 유사한 구조와 표현을 갖는다.
따라서 본 발명의 방법이 다른 표준에도 응용될 수 있는 가능성을 확인하기 위해 기타 유사 표준에도 본 추출 방식을 적용한 결과를 확인한다.
IEC 60601-1 표준은 의료기기 안전에 관한 표준으로, 소프트웨어 안전에 대해 설명하는 14절만을 발췌해 사용한다. ISO 14971은 의료기기 소프트웨어 위험관리에 대한 표준으로, IEC 62304 표준과 병행하여 사용된다.
하기의 [표 2]는 IEC 62304 표준과 다른 2개의 유사 표준에 대해 룰 기반 골모델 추출방식과 수작업을 통해 생성된 골모델을 비교한 결과이다.
Standard Total Number of Goal Number of matches Accuracy(%)
IEC 62304 484 470 97.1%
IEC 60601-1-14 112 80 71.4%
ISO 14971 242 198 81.9%
<수행 모델 생성의 정확도>
결과에 따르면 IEC 62304 표준의 경우는 본 발명의 골모델 추출 방식이 97%로 비교적 정확하게 생성해냈다. 이 표준문서의 모든 명세의 표현을 분석해서 룰을 정의했기 때문에 이러한 결과를 얻을 수 있게 된다. 대표적인 실패 사례는 아래의 Ex 3-1, 3-2와 같다. 이들은 참조 연관성을 나타내는 표현을 사용하고 있지만, 참조하는 부분이 IEC 62304 내부가 아닌 외부 표준을 참조하고 있는 경우이다.
Example 3-1) "The manufacturer shall document in the Risk Management File potential causes of the software item contributing to a hazardous situation (see ISO 14971)."
Example 3-2) "NOTE 5 Information regarding usability engineering requirements can be found in IEC 60601-1-6."
그러나 IEC 60601-1 표준은 71.4%, ISO 14971 표준은 81.9%의 정확도를 갖는다. 대부분의 명세는 변환이 되지만, 적지 않은 수의 명세가 실패하게 된다. 그 이유는 두 표준이 IEC 62304로부터 다른 표현 방식을 사용하는 부분에서 발생했기 때문이다.
예를 들어, 두 표준에는 IEC 62304의 안전등급을 나타내는 [Class A,B]와 같은 표현이 없다. 이러한 한계점을 개선하기 위해서는 골 추출 규칙(Rule)을 더 완성도 있게 정의할 필요가 있다. 세 표준을 포함한 의료기기 소프트웨어에 대한 모든 표준에 대한 명세를 분석하고 규칙(Rule)을 정의하여, 의료기기 소프트웨어 제조업체가 사용하는 모든 표준에 대해 매우 완벽한 골모델을 제공해줄 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 사람이라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 실행된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 사용자 입력단
110 : 표준 입력부
120 : 기록문서 입력부
200 : 표준 관리부
300 : 골모델 생성부
310 : 표준문서 전처리단
320 : 명사절 추출단
330 : 텍스트 추출단
340 : 요구사항 분류단
350 : 문법요소 추출단
360 : 골모델 생성단
400 : 연구개발 관리부
500 : 연구개발 평가부
600 : 사용자 출력단

Claims (10)

  1. 산업 분야의 연구개발을 위한 지침으로 제정된 표준을 포함하는 표준문서를 검색하고, 연구개발 기록문서를 작성하기 위한 사용자 입력단;
    상기 표준문서를 표준DB에서 검색하여 불러오는 표준 관리부;
    상기 표준문서의 명세에서 규칙(Rule)에 따라 골(Goal)과 링크(Link)로 추출하고, 해당 골(Goal)과 링크(Link)를 병합하여 골모델(Goal-Model)을 생성하는 골모델 생성부;
    상기 골모델(Goal-Model)을 전달받아 사용자에게 연구개발의 가이드라인으로 제공하는 연구개발 관리부;
    상기 가이드라인에 따라 작성한 연구개발 기록문서를 전달받아 상기 골모델(Goal-Model)과 대조하여 평가하는 연구개발 평가부; 및
    상기 골모델(Goal-Model)의 정보를 사용자에게 출력하고, 상기 연구개발 평가부에서 전달된 기록문서 평가결과를 출력하는 사용자 출력단;
    을 포함하고,
    상기 골모델 생성부는 상기 표준문서의 명세에서 조동사에 기초하여 요구사항(Requirement)을 추출하고, 수식어에 기초하여 요구사항 간의 참조관계를 나타내는 링크(Link) 정보를 추출하는 것을 특징으로 하는 표준문서 기반 연구개발 가이드라인 자동 생성 및 평가 시스템.
  2. 제 1항에 있어서,
    상기 골모델 생성부는
    상기 표준문서에 존재하는 그림, 표, 공백을 모두 제거하고, 텍스트(Text)만 추출하여 명세(Specification)의 구문을 인식하고 인식된 명세를 형태에 따라 프로세스(Process), 액티비티(Activity), 테스크(Task), 요구사항, 및 노트(Note)로 분류하는 표준문서 전처리단;
    상기 프로세스, 액티비티, 테스크로 분류된 각각의 명세에서의 명사절(Noun Phrase) 정보를 상기 골모델(Goal-Model)을 구성하는 프로세스, 액티비티, 테스크 각각의 골(Goal)에 Description항목으로 추출하는 명사절 추출단;
    상기 프로세스, 액티비티, 테스크로 분류된 각각의 명세의 인덱스(Index)를 링크(Link) 정보로 추출하는 인덱스 추출단;
    상기 요구사항의 명세를 문법요소로 분류하는 요구사항 분류단;
    상기 문법요소를 골(Goal)과 링크(Link)로 추출하는 문법요소 추출단; 및
    상기 골(Goal)과 링크(Link)를 병합(Merging)하여 골모델(Goal-Model)을 생성하는 골모델 생성단;을 포함하는 표준문서 기반 연구개발 가이드라인 자동 생성 및 평가 시스템.
  3. 제 2항에 있어서,
    상기 문법요소는
    주어(Subject), 조동사(Auxiliary), 동사(Verb), 목적어(Object), 수식어(Modifier), 및 브라켓(Bracket)으로 구성되는 표준문서 기반 연구개발 가이드라인 자동 생성 및 평가 시스템.
  4. 제 3항에 있어서,
    상기 문법요소 추출단은
    상기 주어(Subject)를 골모델(Goal-Model)에 요구사항의 골(Goal)의 수행자로 추출하는 표준문서 기반 연구개발 가이드라인 자동 생성 및 평가 시스템.
  5. 제 4항에 있어서,
    상기 문법요소 추출단은
    상기 조동사(Auxiliary)의 사용에 따라 상기 요구사항의 골(Goal)의 수용(Acceptance)항목인 필수(Mandatory), 추천(Recommend), 가능(Available) 중 어느 하나로 추출하는 표준문서 기반 연구개발 가이드라인 자동 생성 및 평가 시스템.
  6. 제 5항에 있어서
    상기 문법요소 추출단은
    상기 동사(Verb)를 상기 요구사항의 골(Goal)의 액션(Action)으로 추출하지만, 단어의 사용에 따라 상기 골모델(Goal-Model)에서 문서화 여부를 표시하도록 추출하는 표준문서 기반 연구개발 가이드라인 자동 생성 및 평가 시스템.
  7. 제 6항에 있어서,
    상기 문법요소 추출단은
    상기 목적어(Object)를 상기 요구사항의 골(Goal)의 액션(Action)으로 추출하고, 특정 표현의 사용 여부에 따라 서브 요구사항(Sub-Requirement)의 골(Goal)로 추출하며, 상기 요구사항을 보조하는 상기 서브 요구사항(Sub-Requirement)을 지시하는 관계를 의미하는 링크(Link)로 추출하는 표준문서 기반 연구개발 가이드라인 자동 생성 및 평가 시스템.
  8. 제 7항에 있어서,
    상기 문법요소 추출단은
    요구사항 간의 참조관계를 나타내는 표현으로 사용된 경우 상기 수식어(Modifier)를 링크(Link) 정보로 추출하고, 그 외의 표현으로 사용된 경우 상기 수식어(Modifier)를 삭제하는 표준문서 기반 연구개발 가이드라인 자동 생성 및 평가 시스템.
  9. 제 8항에 있어서,
    상기 명사절 추출단은
    상기 노트의 명세에서 요구사항과 다른 부분과의 참조관계를 표현한 정보를 상기 골모델(Goal-Model)에서 골(Goal) 간의 링크(Link) 정보이기 때문에 해당 표현만을 인식해서 링크(Link)로 추출하는 표준문서 기반 연구개발 가이드라인 자동 생성 및 평가 시스템.
  10. 산업 분야의 연구개발을 위한 지침으로 제정된 표준을 포함하는 표준문서 기반 연구개발 가이드라인 자동 생성 및 평가 방법으로서,
    (a) 사용자 입력단이 표준문서 검색어를 입력하는 단계;
    (b) 표준 관리부가 상기 표준문서 검색어에 기초하여 표준DB에서 표준문서를검색하여 불러오는 단계;
    (c) 골모델 생성부가 상기 표준문서에서 프로세스(Process), 액티비티(Activity), 테스크(Task), 요구사항(Requirement), 및 노트(Note)로 명세를 분류하고, 분류된 명세를 한 문장씩 파싱하여 문법요소를 분류하여 골(Goal)과 링크(Link)로 추출한 후, 해당 골(Goal)과 링크(Link)를 병합하여 골모델(Goal-Model)을 생성하는 단계;
    (e) 연구개발 관리부가 상기 골모델(Goal-Model)을 전달받아 사용자에게 연구개발의 가이드라인으로 제공하는 단계;
    (f) 사용자의 조작에 따라 사용자 입력단이 상기 가이드라인에 따라 작성한 연구개발 기록문서를 작성하는 단계;
    (g) 연구개발 평가부가 상기 가이드라인에 따라 작성한 연구개발 기록문서를 전달받아 상기 골모델(Goal-Model)과 대조하여 평가하는 단계; 및
    (h) 사용자 출력단이 상기 골모델(Goal-Model)의 정보를 사용자에게 출력하고, 상기 연구개발 평가부에서 전달된 기록문서 평가결과를 출력하는 단계;를 포함하고,
    상기 골모델을 생성하는 단계에서,
    상기 표준문서의 명세에서 조동사에 기초하여 상기 요구사항을 추출하고, 수식어에 기초하여 요구사항 간의 참조관계를 나타내는 링크(Link) 정보를 추출하는 것을 특징으로 하는 표준문서 기반 연구개발 가이드라인 자동 생성 및 평가 방법.

KR1020190045624A 2019-04-18 2019-04-18 표준 기반 연구개발 가이드라인 자동 생성 및 평가 시스템 및 그 방법 KR102326773B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190045624A KR102326773B1 (ko) 2019-04-18 2019-04-18 표준 기반 연구개발 가이드라인 자동 생성 및 평가 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190045624A KR102326773B1 (ko) 2019-04-18 2019-04-18 표준 기반 연구개발 가이드라인 자동 생성 및 평가 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20200122657A KR20200122657A (ko) 2020-10-28
KR102326773B1 true KR102326773B1 (ko) 2021-11-17

Family

ID=73018436

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190045624A KR102326773B1 (ko) 2019-04-18 2019-04-18 표준 기반 연구개발 가이드라인 자동 생성 및 평가 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102326773B1 (ko)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100993309B1 (ko) * 2008-11-20 2010-11-10 부산대학교 산학협력단 Rfid 비즈니스 이벤트 모델링 시스템
KR20120047163A (ko) 2010-11-03 2012-05-11 현대차전자 주식회사 표준 형식의 문서를 자동 생성하기 위한 시스템 및 방법
KR20160129548A (ko) * 2015-04-30 2016-11-09 한국과학기술정보연구원 맞춤형 국가 연구개발 정보 제공을 위한 시스템 및 방법
KR20180128694A (ko) * 2017-05-24 2018-12-04 서울시립대학교 산학협력단 연구개발 문서의 품질 평가 시스템 및 그 방법

Also Published As

Publication number Publication date
KR20200122657A (ko) 2020-10-28

Similar Documents

Publication Publication Date Title
Wyner et al. On rule extraction from regulations
US5311429A (en) Maintenance support method and apparatus for natural language processing system
Gulia et al. An efficient automated design to generate UML diagram from Natural Language Specifications
Woodsend et al. Generation with quasi-synchronous grammar
EP1351158A1 (en) Machine translation
US11158118B2 (en) Language model, method and apparatus for interpreting zoning legal text
MacDonell et al. Autonomous requirements specification processing using natural language processing
US20120124467A1 (en) Method for automatically generating descriptive headings for a text element
Witt et al. On the lossless transformation of single-file, multi-layer annotations into multi-rooted trees
Al-Gaphari et al. A method to convert Sana’ani accent to Modern Standard Arabic
CN106446018A (zh) 基于人工智能的查询信息处理方法和装置
Yilmaz Natural Language Processing: An Inevitable Step in Requirements Engineering
Zeni et al. NómosT: building large models of law with a tool-supported process
Osman et al. From natural language text to visual models: A survey of issues and approaches
Zamaraeva et al. Handling cross-cutting properties in automatic inference of lexical classes: A case study of Chintang
KR102326773B1 (ko) 표준 기반 연구개발 가이드라인 자동 생성 및 평가 시스템 및 그 방법
JPS6318458A (ja) 感情情報抽出装置
JP4361299B2 (ja) 評価表現抽出装置、プログラム、及び記憶媒体
Neubig et al. The naist-ntt ted talk treebank
Kim et al. Building a rule-based goal-model from the IEC 62304 standard for medical device software
Losada et al. An approach for using procedure manuals as a source for Requirements Elicitation
Kimura et al. Treatment of legal sentences including itemized and referential expressions–towards translation into logical forms
Anastasiou et al. Localisation standards and metadata
JP3910823B2 (ja) アンケート分析装置、アンケート分析方法及びプログラム
Garcia-Fernandez et al. Construction and Annotation of a French Folkstale Corpus.

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant