WO2022196882A1 - 플랜트 절차서를 음성 인터페이싱을 지원하는 스마트 절차서로 변환하는 방법 및 시스템 - Google Patents

플랜트 절차서를 음성 인터페이싱을 지원하는 스마트 절차서로 변환하는 방법 및 시스템 Download PDF

Info

Publication number
WO2022196882A1
WO2022196882A1 PCT/KR2021/015599 KR2021015599W WO2022196882A1 WO 2022196882 A1 WO2022196882 A1 WO 2022196882A1 KR 2021015599 W KR2021015599 W KR 2021015599W WO 2022196882 A1 WO2022196882 A1 WO 2022196882A1
Authority
WO
WIPO (PCT)
Prior art keywords
voice
procedure
user
mobile app
bpmn
Prior art date
Application number
PCT/KR2021/015599
Other languages
English (en)
French (fr)
Inventor
최용선
덕 응웬민
키엣 황테
렁 하넉
Original Assignee
인제대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210107849A external-priority patent/KR20220131133A/ko
Application filed by 인제대학교 산학협력단 filed Critical 인제대학교 산학협력단
Priority to US18/551,394 priority Critical patent/US20240169980A1/en
Publication of WO2022196882A1 publication Critical patent/WO2022196882A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Definitions

  • a smart procedure using a mobile device may act as another hindrance in terms of safety and productivity since the operator has to watch and operate the screen while holding the mobile device and work on plant equipment at the same time. In other words, it may interfere with the original work of operating the equipment while keeping an eye on the work area for the plant operator. You may also find yourself in situations where data entry is difficult, you may have to hold other work tools in your hand, or you may find yourself unable to hold your mobile device in your hands due to contaminants such as oil.
  • the information extraction step may include: a first step of performing a pre-processing process for the procedure; a second step of performing natural language processing to analyze text information according to the preprocessing process, and detecting and correcting POS tags and syntax analysis errors occurring during the natural language processing; a third step of performing semantic entity identification, paragraph type classification, and detailed component identification of action paragraphs for each paragraph of the procedure using the results of the first and second steps; and a fourth step of generating and outputting the extracted information as two or more types of outputs including a database.
  • the user's voice recognition is processed after capturing the user's voice in the voice input receiving mode of the activated state, and converting it into a text form.
  • FIG. 4 is a system configuration diagram for converting a plant procedure document into a smart procedure document supporting voice interfacing according to an embodiment of the present invention.
  • FIG. 10 is a diagram illustrating a three-way voice interfacing scenario proceeding to the next BPMN element.
  • FIG. 14 is an exemplary diagram illustrating a process of creating a template-based message and a process of outputting a synthesized voice using a known TTS component.
  • the pre-processing unit may include a non-text object handling unit and a text processing unit (Create and fill-in text feature for 'Paragraph' instances).
  • a procedure paragraph that does not require a user's physical action can be treated as a simplified version in which the last two basic VUI units are omitted in FIG. 6B.
  • a group element that collectively represents one or more activities may be associated with a hold point that specifies who is responsible for performing them, or a reference, caution or warning statement related to them. Each of these is marked as related to that activity group and processed before that activity group.
  • a configuration of speech recognition and user intention processing will be described with reference to FIG. 13 . That is, it is a process from capturing a voice input using the STT component 212 to processing a recognized user's intention.
  • Each voice input receiving mode will be described, and the user voice input in text format transmitted from the STT component 212 is processed by the controller 230 as follows.
  • the database 330 functions to store all data related to the operation of the system of the present invention.
  • the data stored in the database 330 includes all predefined data acquired through the mobile app 200 , important events such as user confirmation during operation of the mobile app 200 , and time information of their occurrence, user accounts and work orders. This could be data for additional management purposes such as , data including the update status of mobile apps and XML procedures, and the folder location where each latest version is stored.
  • the mobile app client when the mobile app client operates in offline mode, it cannot synchronize the procedure execution progress with other mobile app clients, so that all clients participating in the workgroup through a single client will perform the role.
  • synchronization between multiple app clients can be realized by using a known direct communication technology between terminals.
  • a stable communication means is essential. Therefore, the above-described offline mode-based execution plan may be selectively used or configured to cope with some exceptional situations.
  • 18A is a card layout for a simple action statement that does not include a conditional clause and has no attached elements. As shown, it consists of two containers. One for action statements and the other for action buttons. The label of the action button is changed in the order of 'Acknowledge', 'Complete', and 'Next' according to the progress of the action for the corresponding action statement, and the specified transaction is executed when the user speaks the corresponding voice command or clicks the corresponding button. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Manufacturing & Machinery (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명은 자연어 처리 기반 기술을 적용하여 자동으로 XML 형식으로 제공되는 절차서의 프로세스 모델을 입력으로 처리함으로써, 각종 절차서 문서를 음성 인터페이싱을 지원하는 스마트 절차로 쉽게 변환할 수 있는 방법 및 시스템을 제안한다. 본 발명의 시스템은, XML 형식의 절차서를 입력받고 음성 인터페이싱을 지원하는 스마트 절차서로 변환하는 변환모듈을 포함한다. 변환모듈은 스마트 디바이스에 설치된 모바일 앱과 백엔드 서비스를 제공하는 서버시스템의 클라이언트-서버 아키텍처로 구성된다. 모바일 앱은, STT 및 TTS를 포함하는 음성 사용자 인터페이스 컴포넌트, 터치 사용자 인터페이스 컴포넌트 및 사용자 인터페이스 기능을 포함하여 전체 모바일 앱의 작동을 제어하는 컨트롤러 컴포넌트를 포함하여 구성된다. 서버시스템은, 모바일 앱의 요청을 수신하고 처리한 후 그 결과를 요청 모바일 앱 클라이언트에 회신하는 Web API 컨트롤러; 상기 Web API 컨트롤러의 요청에 따라 지정된 클라이언트로 데이터를 전송하는 Web Socket 컨트롤러; 및 변환 모듈의 작동과 관련된 모든 데이터들을 저장하는 데이터베이스를 포함하여 구성된다. 외부 공용 서비스를 활용하지 않고 음성을 통해 모든 절차서 내용을 안내하고, 또한 사용자는 음성을 통해 스마트 절차서의 작동을 통제하고 실시간으로 관측값 등의 데이터를 보안 통신망을 통해 자체 서버시스템에 저장할 수 있다. 이를 통해 작업 생산성과 품질 개선 효과를 기대할 수 있으며, 인적 오류를 줄여 플랜트의 안정성을 향상시키는 효과도 기대할 수 있다.

Description

플랜트 절차서를 음성 인터페이싱을 지원하는 스마트 절차서로 변환하는 방법 및 시스템
본 발명은 자연어 처리 기반 기술을 적용하여 자동으로 XML(eXtensible Markup Language)로 나타낸 절차서의 BPMN(Business Process Model and Notation) 프로세스 모델을 입력으로 활용함으로써, 플랜트 절차서 문서를 음성 인터페이싱을 지원하는 스마트 절차서로 변환하는 방법 및 시스템에 관한 것이다.
본 발명의 명세서에서 설명하는 플랜트는, 발전소, 정유 플랜트, (석유)화학플랜트, 담수화 플랜트 등과 같은 대형 설비를 운용하는 산업분야를 말하나, 아래에서 설명하게 되는 본 실시 예는 원자력 발전소를 예를 들어 설명한다. 따라서 본 발명의 플랜트 절차서는 실시 예에서 설명하는 원자력 발전소의 절차서만을 의미하지 않고 다른 유형의 플랜트 절차서에도 적용될 수 있음은 당연할 것이다.
절차서(procedures)는 원자력 발전소와 같이 많은 설비를 구비한 플랜트 시스템과의 인터페이싱 및 다양한 상황에 대한 조치방안을 지원하고 안내함으로써, 플랜트 시스템을 안전하게 운영하는데 필수적이다.
지난 수십 년 동안 플랜트의 작업 프로세스는 점검과 확인 등을 강화하여 설비의 활용도와 플랜트의 안전을 개선해왔다. 그러나, 이로 인해 작업의 복잡성이 증가함으로써 작업자의 생산성은 저하되고 플랜트 운영 및 유지에 드는 비용이 증가하는 문제점을 직면하고 있다. 또 복잡한 작업으로 인해 작업자의 인적오류 요인도 증가하였다.
최근 플랜트에서의 작업자의 생산성 및 작업품질의 제고를 위한 효과적인 플랫폼으로 모바일 장치에서 실행되는 스마트 절차서의 도입이 추진되고 있다. 문서로 된 절차서와 비교하면 스마트 절차서는 다양한 이점이 있다. 그러나 모바일 장치를 활용한 스마트 절차서는, 작업자가 모바일 장치를 파지한 채 화면을 주시하고 조작하며 동시에 플랜트 설비에 대한 작업을 해야 하기에, 안전성과 생산성 측면에서 또 다른 저해 요인으로 작용할 수 있다. 즉 플랜트 작업자가 작업 영역을 계속 주시하면서 설비를 조작하는 본연의 작업을 수행하는데 방해가 될 수 있다. 또한 데이터 입력이 어려운 상황에 노출되거나, 다른 작업 도구를 손에 들고 있어야 하거나, 또는 기름과 같은 오염물질 등이 묻음으로 인해 모바일 장치를 손에 들고 조작할 수 없는 상황에 처할 수도 있다.
따라서 작업자가 본연의 작업 현장에 시선을 집중하면서, 모바일 장치의 파지 및 그 조작을 위한 손동작 없이도, 사용자가 통제할 수 있는 다른 인터페이싱을 통해 스마트 절차서로부터 작업수행과 관련된 안내를 받으면서 작업에 집중할 수 있도록 하는 방안이 필요하다.
본 발명의 목적은, 자연어 처리 기반 기술을 적용하여 XML로 나타낸 절차서의 BPMN 프로세스 모델을 입력으로 활용함으로써, 플랜트 절차서 문서를 음성 인터페이싱을 지원하는 스마트 절차서로 변환하는 방법 및 시스템을 제공하는 것이다.
본 발명의 다른 목적은, 외부 공용 통신망 및 서비스에의 접속을 배제하여, 외부에서의 침입으로부터 플랜트의 정보 인프라를 원천적으로 안전하게 보호할 수 있는 음성 인터페이싱 지원 스마트 절차서로의 변환 방법 및 시스템을 제공하는 것이다.
본 발명의 또 다른 목적은, 시나리오 기반의 운영 메커니즘을 활용하여, 그 확장 및 맞춤 작업이 용이한 음성 인터페이싱 지원 스마트 절차서로의 변환 방법 및 시스템을 제공하는 것이다.
본 발명의 또 다른 목적은, 각자 다른 역할을 담당하는 복수의 작업자가 하나의 워크그룹에 참여하여 하나의 절차서를 공동으로 수행할 때, 절차서의 각 단위작업별로 각 작업자의 모바일 앱이 맞춤형으로 작동하여 작업그룹내 각 작업자를 효과적으로 지원하는 음성 인터페이싱 지원 스마트 절차서로의 변환 방법 및 시스템을 제공하는 것이다.
이와 같은 목적을 달성하기 위한 본 발명의 시스템은, 절차서에 포함된 유의미한 구문 및 의미 정보를 추출하는 추출모듈; 상기 추출된 구문 및 의미 정보를 이용하여 절차서를 확장된 BPMN(Business Process Model and Notation) 프로세스 모델로 나타내고 상기 BPMN 프로세스 모델을 XML 형식으로 저장하는 생성모듈; 및 상기 XML 형식의 절차서를 입력받아 음성 인터페이싱을 지원하는 스마트 절차서로 변환하는 변환모듈을 포함하는 것을 특징으로 한다.
상기 추출모듈은, 입력된 절차서에 포함된 이미지 및 표 개체를 제거하는 넌-텍스트 처리부와, 이미지 및 표 개체가 제거된 절차서의 텍스트에 대한 구조적 특성을 추출하는 텍스트 처리부를 포함하는 전처리 유닛; 상기 전처리 유닛으로부터 텍스트 정보를 전달받고 자연어 처리(NLP) 기술을 이용하여 텍스트를 분석하고 보정하는 확장된 자연어 처리 유닛; 및 상기 자연어 처리된 절차서의 각 단락을 대상으로 단락에 포함된 모든 유의한 의미 개체 식별, 단락의 유형 분류, 조치문 단락의 세부 구성 요소 식별을 수행하는 정보 추출 유닛을 포함하여 구성된다.
상기 생성모듈은, 상기 절차서의 각 단락에 대해 내포된 상기 구문 및 의미 정보를 활용하여 하나 이상의 개별 BPMN 요소 및 그 속성값으로 변환하는 변환부; 및 상기 개별 BPMN 요소들을 통합 및 재구조화하여 BPMN 기반 절차서의 프로세스 모델을 생성하는 생성부를 포함하여 구성된다.
상기 변환모듈은, 스마트 디바이스에 설치된 모바일 앱과 백엔드 서비스를 제공하는 서버시스템의 클라이언트-서버 아키텍처로 구성된다.
상기 모바일 앱은, STT(Speech-to-Text) 및 TTS(Text-to-Speech) 컴포넌트를 포함하는 음성 사용자 인터페이스(Voice User Interface); 터치 사용자 인터페이스(Touch User Interface); 및 사용자 인터페이스 기능을 포함하여 전체 모바일 앱의 작동을 제어하는 컨트롤러를 포함하여 구성된다.
상기 음성 사용자 인터페이스 또는 터치 사용자 인터페이스를 활용한 사용자와 모바일 앱 간의 인터페이싱을 포함한 전체 모바일 앱의 작동은, 상기 절차서의 프로세스 모델의 각 BPMN 요소의 유형별로 미리 정의된 시나리오에 따라 실시된다.
여기서, 시퀀스 흐름 또는 연계 요소로 연결된 다음 BPMN 요소로의 진행 시나리오는 사용자 중심 방식, 시스템 중심 방식 및 자동 방식의 세 가지 다른 방식으로 처리 될 수 있으며, 상기 세 가지 방식의 모든 경우에 사용자로 하여금 다음 BPMN 요소로 진행되고 있음을 명확하게 인식할 수 있도록 특정 알림음을 마지막 기본 VUI(Voice user interfaces) 단위로 포함하여 사용자에게 제공한다.
상기 컨트롤러는, 사용자 음성을 인식하여 사용자 의도를 파악하고, 필요한 트랜잭션을 처리한 후 처리 결과를 합성된 음성으로 제공하는 모바일 앱의 전체 작동을 제어한다.
상기 음성 사용자 인터페이스는, 상기 컨트롤러의 제어에 따라 상기 STT 컴포넌트들을 활용하여, 대기 모드, 명령 감지 모드, 데이터 입력 모드로 구분되는 음성 입력 수신 모드가 활성화되거나 상기 모드 간의 전환이 이루어지며, 사용자의 음성을 포착한 후 텍스트 형태로 변환하여 상기 컨트롤러에 전달한다.
상기 컨트롤러는 외부 클라우드 서비스를 배제한 채 상기 음성 사용자 인터페이스로부터 전달받은 텍스트 내용이 유효한 음성 명령 또는 적합한 데이터 유형에 해당하는지 확인한 다음에, 해당되는 트랜잭션들을 처리한 이후 또는 사용자에게 적합한 음성 입력을 요구한 이후에 다시 해당 음성 입력 수신 모드를 활성화하거나, 음성 입력을 무시하고 대기 모드에 머무르게 한다.
상기 음성 사용자 인터페이스는, 상기 컨트롤러의 제어에 따라 상기 TTS 컴포넌트를 활용하여 사용자에 대한 음성 안내를 합성된 음성 형태로 제공한다.
상기 컨트롤러는, 각 유형의 상기 BPMN 요소 및 해당 속성과 연결된 패턴 기반 메시지 템플릿을 사용하여 음성 출력 대상 텍스트 메시지를 작성하고, 상기 음성 출력 대상 텍스트 메시지를 SSML(Speech Synthesis Markup Language) 태그를 사용하여 확장한 후, 상기 음성 사용자 인터페이스의 상기 TTS 컴포넌트를 활용하여 합성된 음성 형태로 제공한다.
상기 변환모듈의 모바일 앱 클라이언트와 서버시스템은 플랜트 내부의 보안 통신망을 통해 연결된다.
상기 서버시스템은, 모바일 앱의 요청을 수신하고 처리한 후 그 결과를 요청 모바일 앱 클라이언트에 회신하는 Web API 컨트롤러; 상기 Web API 컨트롤러의 요청에 따라 지정된 클라이언트로 데이터를 전송하는 Web Socket 컨트롤러; 및 상기 변환모듈의 작동과 관련된 모든 데이터들을 저장하는 데이터베이스를 포함하여 구성된다.
상기 모바일 앱으로부터의 요청과 서버시스템으로부터의 처리결과 수신은 모두 서버시스템이 제공하는 응용 프로그래밍 인터페이스 (Application Programming Interface, API)를 통해서 이루어지며, 상기 Web API 컨트롤러에 의해 제어된다.
상기 서버시스템은, 플랜트 관리 시스템에서 생성된 작업지시 데이터를 활용하여, 절차서 XML 파일의 다운로드를 통제하고 해당 작업 그룹 내에서 각 참여자의 역할을 자동으로 할당한다.
본 발명에서 하나의 작업 그룹에 복수 개의 상기 모바일 앱 클라이언트가 참여할 경우, 스마트 절차서의 각 단락별로 사용자 인터페이스를 통한 작동 제어 권한은 단일 클라이언트에게만 허용되며, 작동 제어 권한을 가진 클라이언트에서의 데이터 입력을 포함한 모바일 앱의 작동 상황은 상기 Web API 컨트롤러를 통해 실시간으로 서버시스템에 전송되어 데이터베이스에 저장되고, 상기 Web Socket 컨트롤러를 통해 다시 동일한 작업 그룹에 포함된 모든 클라이언트에 자동으로 전송되어 동기화된다.
상기 터치 사용자 인터페이스용 디스플레이는, 3개의 행으로 구성되며 업로드 된 절차서의 기본 정보 및 현재 수행중인 섹션이 표시되는 제1 영역; 1개의 행으로 구성되며, 현재 작동상태에서 유효한 사용자의 음성 입력 종류들을 텍스트로 표시하거나 사용자의 음성입력에 대해 인식한 결과를 텍스트로 표시하는 제2 영역; 제1 영역과 제2 영역 사이에 위치하며, 현재 수행 대상인 절차서 단락을 중심으로 수행 완료한 이전 단락들 및 수행해야 할 이후 단락들을 표시하는 제3 영역을 포함하도록 구성된다.
현재 수행중인 절차서 단락은, 수행해야 할 절차서 단락의 내용, 조치문에 선택적으로 첨부된 요소, 클릭 가능한 버튼 및 현재 수행 대상인 절차서 단락의 수행 상태를 표기하는 체크박스를 포함하는 4가지 컨테이너로 구성되는 카드 레이아웃 템플릿을 사용하여 표시하며, 절차서 단락의 유형에 대응하는 해당 BPMN요소에 따라 맞춤화된 형태로 표시된다.
상기 버튼 컨테이너에 포함되는 동작 버튼의 레이블은 'Acknowledge', 'Complete', 'Next'의 순서로 변경되며, 사용자가 해당 음성 명령을 말하거나 해당 버튼을 클릭시 각각 별도로 지정된 트랜잭션이 실행된다.
상기 조치문 중 조건부 조치문은, 조건절용 카드 레이아웃과, 조치절용 카드 레이아웃을 포함하고, 상기 조건절용 카드 레이아웃이 사용된 후 조건이 만족되면 상기 조치절용 카드 레이아웃이 사용된다.
상기 모바일 앱은, 절차서의 미리보기와 수행결과를 포함한 다시 보기 지원기능, 별도 화면을 통해 합성 음성 출력의 말하기 속도와 같은 사용자 선호도 또는 기본 VUI의 배제와 같은 시나리오의 맞춤화에 따라 작동방식을 변경하는 사용자 (또는 시스템) 설정 변경 지원, 소정 음성 명령을 사용하여 현재 절차서 단락을 다시 안내하거나 이전 단락으로 되돌아가도록 지시하는 기능을 제공한다.
상기 목적을 달성하기 위한 본 발명의 방법은, 모바일 앱과 서버 시스템을 이용하여 음성 인터페이싱을 지원하는 스마트 절차서로 변환하는 방법에 있어서, 추출모듈이 절차서에 포함된 유의미한 구문 및 의미 정보를 추출하는 정보 추출 단계; 생성모듈이 상기 추출된 구문 및 의미 정보를 이용하여 절차서를 확장된 BPMN(Business Process Model and Notation) 프로세스 모델로 나타내고 XML 형식으로 저장하는 생성 단계; 및 변환모듈이 상기 XML 형식의 절차서를 입력받아 음성 인터페이싱을 지원하는 스마트 절차서로 변환하는 변환 단계를 포함하는 것을 특징으로 한다.
상기 정보 추출단계는, 상기 절차서에 대한 전처리 과정을 수행하는 제1 단계; 상기 전처리 과정에 따른 텍스트 정보를 분석하기 위해 자연어 처리를 수행하고, 상기 자연어 처리 중 발생한 POS 태그 및 구문분석 오류를 감지하고 수정하는 제2 단계; 상기 제1 단계 및 제2 단계의 결과물을 이용하여 상기 절차서의 각 단락에 대하여 의미 개체 식별, 단락의 유형 분류, 조치문 단락의 세부 구성 요소 식별을 수행하는 제3 단계; 및 상기 추출된 정보를 데이터베이스를 포함한 둘 이상의 형태의 출력물로 생성 출력하는 제4 단계를 포함한다.
상기 생성 단계는, 상기 절차서의 각 단락에 대해 내포된 상기 구문 및 의미 정보를 활용하여 하나 이상의 개별 BPMN 요소 및 그 속성값으로 변환하는 단계; 및 상기 개별 BPMN 요소들을 통합 및 재구조화하여 BPMN 기반 절차서의 프로세스 모델을 생성하는 단계를 포함한다.
상기 변환 단계는, 상기 모바일 앱과 플랜트 내부의 보안 통신망을 통해 연결된 서버시스템 간의 인터페이싱을 통해 실시되며, 상기 절차서의 프로세스 모델의 각 BPMN 요소의 유형별로 미리 정의된 시나리오에 따라 실시된다.
상기 미리 정의된 시나리오는 사용자 음성 인식 후 사용자의 의도를 파악하는 단계; 상기 사용자의 의도에 대응하는 트랜잭션을 처리하는 단계; 및 처리 결과를 음성 정보로 출력하는 단계를 포함한다.
상기 사용자 음성 인식은, 활성화 상태의 음성 입력 수신 모드에서 사용자 음성을 포착한 후 텍스트 형태로 변환되어 처리된다.
상기 사용자의 의도 파악은, 변환된 텍스트의 내용이 유효한 음성 명령 또는 적합한 데이터 유형인가를 판단하는 것에 의해 이루어진다.
상기 음성 정보로의 출력은, 각 유형의 상기 BPMN 요소 및 해당 속성과 연결된 패턴 기반 메시지 탬플릿을 사용하여 음성 출력 대상 텍스트 메시지를 작성하는 단계; 상기 출력대상 텍스트 메시지를 SSML(Speech Synthesis Markup Language) 태그를 사용하여 확장하는 단계; 및 음성 사용자 인터페이스의 TTS 컴포넌트를 활용하여 합성된 음성 형태로 제공하는 단계를 포함한다.
상기 목적을 달성하기 위한 본 발명의 다른 방법은, 모바일 앱과 서버 시스템을 활용하여 음성 인터페이싱을 지원하는 방법이고, 하나의 워크 그룹에 참여한 복수의 작업자가 하나의 절차서를 효과적으로 공동 수행할 수 있도록, 상기 절차서의 각 단위 작업별로 담당 작업자의 모바일 앱에 배타적 작동권한을 자동으로 이관하는 단계; 및 상기 작동권한을 가진 모바일 앱의 작동 상황을 상기 워크 그룹내의 모든 모바일 앱에 전송하여 자동으로 동기화되는 단계를 포함하는 것을 특징으로 한다.
이상과 같은 본 발명에 따르면, 인쇄된 절차서의 내용을 음성 인터페이싱을 지원하는 스마트 절차로 변환하여 외부 공용 서비스를 활용하지 않고 음성을 통해 모든 절차서 내용을 안내할 수 있어, 종래 방식의 스마트 절차서에서 요구되는 작업자의 단말기 파지 및 주시, 그리고 조작을 위한 손동작이 필요하지 않다. 또한 사용자는 음성을 통해 스마트 절차서의 작동을 통제하고 실시간으로 관측 값 등의 데이터를 보안 통신망을 통해 자체 서버시스템에 저장할 수 있다. 이를 통해 작업 생산성과 품질 개선 효과를 기대할 수 있으며, 인적 오류를 줄여 플랜트의 안정성을 향상시키는 효과도 기대할 수 있다.
본 발명에 따르면, 하나의 워크그룹에 포함된 다수의 작업자가 각각 모바일 앱 클라이언트를 이용하여 공동의 스마트 절차서를 활용할 수 있으며, 각자 담당작업에 대한 모바일 앱 작동 제어 권한을 자동으로 부여받아 수행하고, 그 작동 상황은 워크그룹내 모든 참여자의 모바일 앱 클라이언트에 실시간으로 동기화됨으로써, 워크그룹내 모든 사용자에게 맞춤화된 서비스를 제공하여 효과적으로 지원할 수 있다.
본 발명에 따르면 자연어 처리 기반 기술을 적용하여 자동으로 XML 형태로 변환된 절차서의 프로세스 모델을 입력받아 처리하고 있어, 수 많은 절차서를 음성 지원 스마트 절차서로 변환하는 노력을 최소화할 수 있다.
본 발명에 따르면, 플랜트 설비 상태뿐만 아니라 모든 작업자의 구체적 작업 현황에 대한 실시간 양방향 상황 인식을 촉진하여, 확장된 디지털 트윈 플랜트를 실현할 수 있다.
도 1은 음성 사용자 인터페이스(VUI: Voice user interfaces)를 사용하는 일반적인 음성 지원 시스템의 아키텍처이다.
도 2는 BPMN 모델의 구성에 사용되는 기본적인 요소 (Elements)들을 나타내고 있다.
도 3은 소정 절차서에 대해 프로세스 모델로 표현한, 확장된 BPMN 다이어그램의 일부를 나타낸 예시 도면이다
도 4는 본 발명의 실시 예에 따라 플랜트 절차서를 음성 인터페이싱을 지원하는 스마트 절차서로 변환하는 시스템 구성도이다.
도 5는 도 4에 도시한 변환모듈에서 모바일 앱의 상세 구성과 서버시스템과의 협력관계를 나타내는 구성도이다.
도 6은 단순 조치문에 대한 음성 인터페이싱 시나리오 예시 도면이다.
도 7은 "IF"로 시작하는 조건부 조치문에 포함된 조건절에 대한 음성 인터페이싱 처리방법을 설명하는 도면이다.
도 8a는 "WHEN"으로 시작하는 조건부 조치문에 포함된 조건절에 대한 음성 인터페이싱 처리방법을 나타낸 도면, 도 8b는 선행 단계에서 획득한 데이터값을 이용하여 조건부조치문에 포함된 조건절에 대한 판단을 자동으로 할 수 있는 경우에 대한 음성 인터페이싱 처리방법을 나타낸 도면이다.
도 9는 조치문의 또 다른 선택적 구성요소인 첨부 요소에 대한 처리 방안으로, 데이터 입력을 목적으로 조치문에 첨부된 레코드 행에 대한 음성 인터페이싱 처리 방법을 나타낸 도면이다.
도 10은 다음 BPMN 요소로 진행하는 3가지 방식의 음성 인터페이싱 시나리오를 나타낸 도면이다.
도 11은 세 가지 음성 입력 모드 간의 전이 조건을 설명하는 도면이다.
도 12는 VUI를 활용한 모바일 앱의 작동상태 전이 메커니즘을 나타낸 구성도이다.
도 13은 공지된 STT 컴포넌트를 활용한 음성 인식 및 사용자 의도 처리의 구성을 나타낸 도면이다.
도 14는 템플릿 기반 메시지 작성 과정과 공지된 TTS 컴포넌트를 활용한 합성 음성 출력 과정을 나타낸 예시도면이다.
도 15는 서버 내부 구조를 포함한 본 발명 시스템의 클라이언트 - 서버의 아키텍처를 보인 도면이다.
도 16은 동일한 작업 그룹에 참여하는 2개의 모바일 앱 클라이언트 간의 작동 상황 동기화 및 작동 제어 권한의 전환을 나타낸 도면이다.
도 17은 작동중인 모바일 앱의 기본 TUI 디스플레이의 레이아웃과 절차서의 각 단락을 나타내기 위한 카드 레이아웃 템플릿의 구성을 나타내는 도면이다.
도 18은 각 절차서 단락의 유형에 따라 도 17에 나타낸 카드 레이아웃 템플릿의 다양한 커스터마이징 예를 보여준 도면이다.
도 19는 모바일 앱의 터치 사용자 인터페이스의 추가 기능을 보여주는 도면들이다.
본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.
그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하에서 도면에 도시한 실시 예에 기초하면서 본 발명에 대하여 더욱 상세하게 설명하기로 한다. 본 발명을 설명하기 전에 음성을 통해 시스템과 인터페이싱하는 방안들에 대해 살펴본다.
도 1은 음성 사용자 인터페이스(VUI: Voice user interfaces)를 사용하는 일반적인 음성 지원 시스템의 아키텍처이다. 도 1을 보면 음성 지원 시스템은 사용자의 음성 입력을 포착하고 시스템으로부터의 합성 음성 출력을 담당하는 Voice Interface 컴포넌트와, 그 오른쪽에 원형으로 나타낸 일련의 과정을 통해서 포착된 사용자의 음성 입력으로부터 사용자의 의도를 파악하고 이에 대한 처리 및 그 출력을 제어하는 컴포넌트로 구성되며, 부가적으로 음성 이외의 시스템의 출력을 담당하는 컴포넌트(Pheripherals)를 포함할 수 있다. 음성 입력 컴포넌트가 사용자의 음성을 포착하면 처리 (및 제어) 컴포넌트는 사용자 의도를 감지하고 이에 대한 처리를 수행한다. 처리 (및 제어) 컴포넌트의 결과 피드백은 합성 음성 출력과 필요시 주변 장치의 작동을 통해 제공된다.
이러한 VUI 애플리케이션은 최근 실생활에 폭넓게 적용되고 있으며 산업분야에도 적용되고 있으나, 본 발명의 기술분야인 플랜트 산업 분야, 특히 절차서에 구체적으로 적용된 사례는 없다. 그 이유의 하나로, 플랜트 산업 분야에서 특별히 요구되는 정보보안 유지의 중요성을 들 수 있다. 즉 도 1과 같은 일반적인 VUI 아키텍처들은 대부분 사용자의 의도를 감지하고 처리하기 위해 외부 공용 클라우드 서버에의 접속을 반드시 필요로 하기 때문에 시스템 보안이 취약할 수 밖에 없다. 이는 기밀정보로 관리되어야 하는 단말기기에 대한 정보 및 음성 입력 등의 사용자 데이터가 외부 공용 클라우드 서버에 전달되고 저장되기 때문이다. 또 외부 공용 클라우드 서버는 사용자에게 어떤 종류의 데이터를 소비하고 어떤 정보를 활용하는지 전혀 통보하지 않는 문제도 있다. 또 상용 개인 음성 비서 시스템은 제3자에 의한 음성 명령의 원격 제어 또는 조작의 대상이 될 수 있는 취약점도 있다.
본 발명의 주요 적용대상인 플랜트 산업은 정보 인프라가 여러 보호 장벽을 통해 외부로부터 철저하게 보호되어야만 하며, 이는 플랜트의 안전유지 및 관련 법 규정의 준수를 위해 필수적으로 요구되는 사항이다. 따라서, 보안상 취약점이 있는 상기한 음성 비서 시스템 플랫폼은 플랜트 산업에 적극 활용할 수 없다.
본 발명의 플랜트 분야에 적용하려는 VUI 기술은 외부 공용 클라우드 서버를 전혀 활용하지 않는 환경에서, 플랜트설비를 대상으로 하는 작업을 수행하는 과정에서 절차서 또는 다른 기술정보를 활용해야 하는 현장 작업 등의 지원에 매우 적합한 아키텍처라 할 수 있다.
그러나 이러한 VUI 기술을 플랜트 분야에 바로 적용하기 위해서는 또다른 어려움이 있다. 절차서는 각 플랜트마다 수백 내지 수천 개가 존재하는데, 수작업을 통해 이러한 절차서를 음성 인터페이싱을 지원하는 스마트 절차서로 변환하기 위해서는 엄청난 노력과 시간이 수반되기 때문이다. 또 절차서의 모든 유의미한 내용을 각각 적절한 형태로 변환하는 것도 쉽지 않다. 그리고 문서로 된 절차서를 스마트 절차서로 변환한 후에도 오류없이 정확하게 변환되었는지를 점검해야 하는 추가 작업이 필요한데, 이 역시 적지 않은 노력과 시간이 뒤따른다.
그래서, 절차서에 담겨있는 오랜 기간 동안의 플랜트 운영 경험과 중요한 기능적 특징을 유지하기 위해, 절차서에 포함된 모든 내용을 스마트 절차서에 적절하게 반영하는 변환 프로세스를 자동화하거나 적어도 부분적으로 자동화하는 방법이 필요하다.
이러한 여러 문제점들을 해결하면서 수많은 절차서를 음성 인터페이싱을 지원하는 스마트절차서로 적절하게 변환하기 위한 방법의 일부로, 본 발명은 자연어 처리(NLP) 기반의 정보 추출 기술을 이용한다. 자연어 처리 기반의 정보 추출은 절차서에 포함된 모든 유의미한 구문 및 의미 정보를 자동으로 추출할 수 있다. 구체적으로는, 전처리 과정, 확장된 자연어 처리 과정, 정보 추출과정의 단계를 통해 이루어진다. 또 추출된 다양한 정보를 사용하여 각 절차서를 프로세스 모델로 나타낸다. 절차서의 프로세스 모델은 추출된 구문 및 의미 정보(의미 개체, 단락유형, 조치문의 세부 구성요소)를 활용하여 절차서 내용을 모든 관계자가 직관적으로 이해할 수 있도록 함과 동시에, 세부 상세내용도 모두 표현할 수 있도록 한 것이다. 본 발명의 실시 예는 BPMN(Business Process Model and Notation) 표준을 확장하여, 각 절차서에 대해 그 모든 내용을 포함하면서도 직관적으로 이해할 수 있는 프로세스 모델로 나타낸다.
도 2는 BPMN 모델에 사용되는 기본적인 요소(Elements)들을 나타내고 있다. 도 2를 보면 BPMN 모델은 흐름 객체(Flow objects), 부가 객체(Artifacts), 연결 객체(Connecting Objects), 스윔레인(Swimlane)의 4가지 유형으로 구성된다.
흐름 객체(Flow objects)는 프로세스의 동작을 정의하는 액티버티(Activities), 이벤트(Events), 게이트웨이(Gateways) 요소들을 포함한다. 부가 객체(Artifacts)는 프로세스의 흐름에 영향을 주지 않는 데이터 객체(Data object), 복수 개의 흐름 객체 요소 등을 일괄해서 나타내기 위한 그룹(Group), 프로세스 모델에 관한 추가 정보를 제공하는 주석(Annotation)을 포함한다. 연결 객체(Connecting Objects)는 흐름 객체간 또는 흐름 객체와 부가 객체를 서로 연결하는데 사용되며, 시퀀스 흐름, 메시지 흐름 및 연계 요소를 포함한다. 스윔레인(Swimlane)은 풀(pool)과 그 내부의 적어도 하나 이상의 레인(lane)으로 구성된다.
도 3은 소정의 절차서에 대해 프로세스 모델로 표현한, 확장된 BPMN 다이어그램의 일부를 나타낸 예시 도면이다. 이를 보면 둥근 모서리의 6개 실선 사각형은 액티버티를 나타낸다. 3개는 단일 작업에 해당하는 태스크(task)를 나타내고, 나머지 3개는 최소 하나 이상의 태스크로 구성되는 내부 작업흐름을 단순화해서 나타내는 서브 프로세스들인데 '+'기호를 포함하는 아래의 작은 사각형으로 구분된다. 그리고 3개의 다이아몬드는 분기 또는 병합 게이트웨이이다. 두 겹 테두리의 원으로 표시된 2개의 확장형 이벤트는 'WHEN ~'으로 시작하는 조건절을 위한 것이다. 둥근 모서리의 파선 사각형은 그룹 요소를 나타내며, 그 왼쪽 상단 테두리에 'i'자를 포함하는 파란색 원 표시는 관련된 참조문이 있음을 나타낸다. 마지막으로, 오른쪽 위 모서리가 접힌 사각형은 태스크 6.3.1에서 참조하는 문서로서, 연계 요소로 연결된 부가객체로 표현되어 있다.
이와 같이 자동으로 생성된 절차서의 BPMN 프로세스 모델은 XML 파일로 생성되어 본 발명의 시스템의 입력 데이터로 활용된다.
다음에는 본 발명의 시스템 구성에 대해 설명한다. 도 4는 본 발명의 실시 예에 따라 플랜트 절차서를 음성 인터페이싱을 지원하는 스마트 절차서로 변환하는 시스템 구성도이다.
도 4를 참조하면, 본 발명 시스템은, 문서로 된 플랜트 절차서(plant procedures)내의 각 문구(문장)에 포함된 구문(syntactic) 및 의미(semantic) 정보를 추출하는 정보 추출모듈(10)과, 정보 추출모듈에 의해 추출된 구문 및 의미 정보를 활용하여 해당 절차서에 대한 확장된 BPMN 프로세스 모델을 구축하고 이를 XML로 저장하는 프로세스 모델 생성모듈(20), 그리고 XML 형식의 절차서를 입력으로 활용하여 음성 인터페이싱을 지원하는 스마트 절차서로 변환하는 변환모듈(100)을 포함하여 구성된다.
도면에는 도시하지 않았지만, 정보 추출모듈(10)은 절차서 문서 파일을 전처리하는 전처리 유닛, 공개형 자연어 처리 도구를 컴포넌트 형태로 활용하여 기본적인 자연어 처리를 수행한 후 그 결과를 보정하는 확장된 자연어 처리유닛, 절차서에 포함된 모든 유의한 의미 개체, 단락의 유형 분류, 조치문 단락의 세부 구성요소 식별 등을 수행하는 정보추출유닛을 포함하여 구성될 수 있다.
전처리 유닛은 넌-텍스트 처리부(Non-Text object Handling)와 텍스트 처리부(Create and fill-in text feature for 'Paragraph' instances)를 포함할 수 있다.
확장된 자연어 처리 유닛은 전처리 유닛으로부터 표 개체(Table object)의 각 셀에 기재된 텍스트를 포함한 텍스트 정보를 입력으로 받아 기본적 자연어 처리 및 보정 과정을 수행하는 맞춤화된 자연어 처리 도구(tool)이다. 제1 자연어 처리부 내지 제3 자연어 처리부를 포함하여 구성될 수 있다. 제1 자연어 처리부는 토큰화(Tokenization), 문장 분할(Sentence splitting) 및 표제어 추출(Lemmatization) 과정을 수행하고, 제2 자연어 처리부는 품사(POS) 태깅 및 구문 분석 과정을 수행하며, 제3 자연어 처리부는 어휘 데이터베이스와 내부 규칙(rules)을 활용하여 형태소 분석 및 품사 태깅의 오류를 수정하는 과정을 수행한다.
정보추출유닛은 온톨로지 조회 방식과 내부 규칙 방식을 적용하여 절차서의 각 단락에 포함된 유의한 의미 개체를 식별하는 의미 개체 식별부(semantic element extraction, SE), 절차서 각 단락의 유형을 분류하는 단락 유형 분류부(paragraph type classification, PC), 조치문 단락의 세부 구성요소를 식별하는 조치문의 구성 요소 식별부(step components identification, CI)를 포함하여 구성될 수 있다.
프로세스 모델 생성모듈(20)은 각 단락을 유형에 따라 개별 BPMN 요소 및 그 속성으로 변환하고, 변환된 BPMN 요소들을 연결하여 통합한 후, 간결하고 이해하기 용이하게 재구조화하여 BPMN기반 절차서의 프로세스 모델을 최종 생성한다. 도 3에 도시한 예가 이에 해당한다. 절차서의 전체적인 내용을 모든 관계자가 직관적으로 이해할 수 있도록 표현한 것이라 할 수 있으며, 절차서의 모든 세부 상세 내용은 모델에 포함된 BPMN개체의 여러가지 속성값으로 저장된다.
도 5는 도 4에 도시한 변환모듈(100)의 구성도이다. 변환모듈(100)은 아래에서 설명하는 스마트 디바이스에 설치된 모바일 앱(200)과 백-엔드 서비스를 제공하는 서버시스템(300)으로 구성되는 클라이언트-서버 아키텍처로 이루어진다. 이하에서 변환모듈(100)은 모바일 앱(200) 및 서버시스템(300)의 협력체계와 동일한 구성으로 취급하기로 하고 동일한 부호를 부여하여 설명한다. 모바일 앱(200)을 탑재하는 스마트 디바이스는 작업자가 파지하지 않고서도 절차서 내용을 음성으로 안내받고, 작업자가 모바일 앱(200)의 작동을 음성으로 통제하며, 또한 관측값 등의 데이터를 음성으로 입력할 수 있는 다양한 형태의 기기일 수 있다. 이러한 음성 인터페이싱 과정에는 블루투스 무선통신 방식 등을 이용하는 헤드셋 등이 사용될 수 있다.
스마트 디바이스에 설치된 모바일 앱(200)은 현재 'Android Studio'를 사용하여 'Google Android' 환경에서 개발되었으나, 다른 운영체제인 'Apple iOS'와 호환되는 플랫폼형태로 개발될 수도 있다. 사용자와의 인터페이싱 실현을 위해 음성 사용자 인터페이스(210, Voice User Interface, VUI) 및 터치 사용자 인터페이스(220, Touch User Interface, TUI), 그리고 이들 인터페이스 기능을 제어하는 컨트롤러(230, Controller)를 포함한다.
음성 사용자 인터페이스(210)는 스마트 디바이스에서 동작하도록 개발된 공개형 STT(Speech-to-Text) 컴포넌트(212) 및 TTS(Text-to-Speech) 컴포넌트(214)를 포함할 수 있다.
컨트롤러(230)는 모바일 앱(200)의 모든 동작을 통제한다. 즉 사용자의 음성을 인식하고, 파악한 사용자의 의도에 따라 필요한 트랜잭션을 처리하며, 그 결과를 합성된 음성으로 제공하는 과정을 총괄한다. 또 사용자와의 인터페이싱 과정을 제어하고, Private LTE와 같은 플랜트 내의 보안 통신망을 활용한 서버시스템(300)과의 인터페이싱도 관리한다.
모바일 앱(200)에 대한 백엔드 서비스를 지원하는 서버시스템(300)은 모바일 앱(200)의 요청을 처리하고, 요청한 모바일 앱(200)에 그 결과를 회신하는 역할을 한다. 또 음성 인터페이싱 스마트절차서의 작동에 필요하거나 작동중 획득한 데이터의 저장, 검색, 브로드캐스팅과 함께, 기타 사용자 계정 및 작업지시 자료 관리 등 시스템 관리 기능을 처리한다. 그리고 모바일 앱(200)의 최신 버전과 절차서의 XML 프로세스 모델을 저장하고 배포하는 기능도 수행한다.
본 발명에서 VUI를 통한 사용자와 모바일 앱(200) 간의 인터페이싱은 절차서 프로세스 모델의 각 BPMN 요소 유형별로 미리 정의된 시나리오에 의해 수행된다. 인터페이싱 시나리오는 조치문에 포함된 태스크에 대한 처리, 조치문의 선택적 구성요소인 조건절을 나타내는 분기 게이트웨이 또는 이벤트에 대한 판단처리, 조치문의 또 다른 선택적 구성요소인 첨부 요소에 대한 처리를 포함한다. 조치문과 연결된 부가객체와 같은 다른 BPMN 요소는 상기 3가지 시나리오의 단순한 변형형태로 처리된다. 그리고 이외의 간단한 추가 유형으로, 시퀀스 흐름 또는 연계 요소를 통해 연결된 다음 BPMN 요소로의 진행방법에 대한 시나리오 처리도 포함한다.
이들 각각의 시나리오에 대한 처리방안에 대해 살펴본다. 모든 처리는 외부 클라우드 서버와의 접속없이 스마트 디바이스에 탑재된 모바일 앱(200)과 플랜트 자체의 서버시스템(300)과의 협력을 통해서 이루어지며, XML 형식의 절차서를 입력받아 음성 인터페이싱을 지원하는 스마트 절차서로 변환하는 중요 과정이라고 할 수 있다.
도 6은 단순 조치문에 대한 음성 인터페이싱 시나리오의 예로서, 도 6a에 조건절을 포함하지 않는 조치문의 예시를 나타냈다. 이러한 조치문에 나타낸 수행 대상 단위작업에 대해 음성 인터페이싱은 도 6b와 같이 5개의 말풍선(3개는 모바일 앱으로부터 2개는 사용자로부터)으로 표시된 기본 VUI 단위로 처리된다.
그리고 도 6c는 도 6b의 시나리오를 처리하기 위한 사용자와 모바일 앱(200)간의 인터페이싱을 나타내는 시퀀스 다이어그램이다. 도 6c에서 실선 화살표는 모바일 앱(200)의 안내나 질의 또는 사용자의 음성 입력을 나타내고, 점선 화살표는 모바일 앱 컴포넌트 간의 메시지 또는 사용자에게 보내는 시스템 상태 알림을 나타낸다. 도 6c를 보면 도 6b에 나타낸 각 말풍선의 기본 VUI가 사용자와 모바일 앱(200) 상호간에 순서대로 처리되고 있음을 알 수 있다. 이렇게 단순하고 이해하기 쉬운 시나리오 기반 제어 메커니즘을 활용함으로써, 모바일 앱(200)은 절차서의 단락유형에 따른 해당 BPMN요소별 처리 시나리오(예컨대 시퀀스 다이어그램의 흐름) 또는 각 기본 VUI 단위 (예컨대 시퀀스 다이어그램의 각 메시지 화살표)의 구현방안을 갱신하는 형태로 쉽게 확장하여 맞춤화할 수 있다. 컨트롤러 컴포넌트(130)를 통한 서버시스템(300)과의 인터페이싱은 꺾인 화살표로 간단히 나타나 있으며, 뒤에서 설명한다.
도 7은 "IF"로 시작하는 조건부 조치문에 포함된 조건절에 대한 음성 인터페이싱 처리방법을 설명하는 도면이다. 즉 조치문의 선택적 구성요소인 조건절을 나타내는 분기 게이트웨이에 대한 판단처리이다.
조건부 조치문은 도 7a의 "IF CWS-V-335.1 (Bypass isolation valve) is OPEN, THEN CLOSE CWS-V-335.1"를 가정한다. 조건부 조치문의 키워드 "IF"는 결과가 참이거나 거짓일 수 있는 조건과 연관되어 있다. 따라서, 'IF'로 시작하는 조건절은 절차서의 BPMN 프로세스 모델에서 'THEN'이후의 조치절에 해당하는 액티버티를 선행하는 분기 게이트웨이로 표시된다.
도 7a의 조건절은 도 7b와 같이 모바일 앱(200)으로부터 2개의 기본 VUI 및 사용자로부터 1개의 기본 VUI 등 총 세 개의 기본 VUI로 처리 될 수 있다. 도 7c는 도 7b의 시나리오를 실현하는 사용자와 모바일 앱(200) 간의 인터페이싱을 나타내는 시퀀스 다이어그램이다. 도 7a에서 보여준 조건부 조치문의 조치절에 해당하는 단위작업 활동은 'THEN' 이후에 기재되어 있으며, 도 6과 유사한 방식으로 처리될 수 있다.
도 8a는 "WHEN"으로 시작하는 조건부 조치문에 포함된 조건절에 대한 음성 인터페이싱 처리방법을 나타낸 도면이다.
"WHEN" 조건절은 어떠한 상황이 발생하는 조건을 전제로 하여 사용된다. 따라서 도 8a와 같이 'WHEN'으로 시작하는 조건절은 절차서의 BPMN 프로세스 모델에서 'THEN'이후의 조치절에 해당하는 활동을 수행하기 전에 발생해야 하는 이벤트로 표현된다. 또한 도 8b와 같이 일부 조건절은 현재 절차서의 실행 인스턴스에 대해 모바일 앱(200)의 작동 중에 획득된 데이터를 사용하여 자동으로 평가될 수 있다. 이처럼 조건절의 유형에 따라 음성 인터페이싱 처리가 상이하게 진행될 수 있다.
도 9는 조치문의 또 다른 선택적 구성요소인 첨부 요소에 대한 처리 방안으로 조치문에 첨부된 레코드 행에 대한 음성 인터페이싱 처리 방법을 나타낸 도면이다. 여기서 설명하는 조치문의 예는 도 9a와 같다. 조치문 "6.1.7 RECORD the following:"에 대한 레코드 행 'Hardware Size:_ inches'은 도 9b에 표시된 대로 모바일 앱(200)으로부터 4개, 사용자로부터 2개의 총 6개의 기본 VUI 단위로 처리할 수 있다. 마지막 여섯 번째 말풍선은 둘 이상의 레코드 행이 첨부된 경우 선택적으로 사용된다. 도 9c는 도 9b의 시나리오를 처리하기 위한 사용자와 모바일 앱(200) 간의 인터페이싱을 나타내는 시퀀스 다이어그램이다. 도 9a에서 레코드 행 이전의 조치문은 도 6과 유사한 방식으로 처리될 수 있다.
한편 여러 개의 레코드 행이 첨부된 경우에는 도 9b에서 사각형에 포함된 5 개의 기본 VUI 단위 그룹이 해당 횟수만큼 호출된다. 그리고 도 9c의 시퀀스 다이어그램에서는, 해당 5개의 기본 VUI 단위 그룹에 대한 사용자와 모바일 앱(200)간의 인터페이싱 과정이 왼쪽 상단 모서리에 'loop' 태그가 표시된 바깥쪽 사각형 안에 표현되어 있다. 도 9c에서 왼쪽 상단 모서리에 'alt' 태그가 표시된 안쪽 사각형 안에 나타낸 내용은 사용자의 음성 메시지를 모바일 앱(200)이 인식한 결과에 대해 사용자가 동의하지 않을 때, 상기 'loop' 태그가 표시된 바깥쪽 사각형 안의 단계가 반복될 수 있음을 나타낸다.
다른 BPMN 요소는 위에서 설명했던 시나리오들의 간단한 변형으로 처리된다.
예를 들면, 하위 섹션 제목 또는 참고문과 같이 사용자의 물리적 조치가 필요하지 않은 절차서 단락은 도 6b에서 마지막 두 개의 기본 VUI 단위가 생략된 단순화된 버전으로 처리 할 수 있다. 또 다른 예로, 하나 이상의 액티버티를 일괄해서 나타내는 그룹 요소는 이들에 대한 수행 책임자가 누구인지를 명시하는 Hold Point 나, 이들과 관련된 참고문, 주의문 또는 경고문과 연관 될 수 있다. 이들 각각은 해당 액티버티 그룹과 관련된 것으로 표시되고 해당 액티버티 그룹 이전에 처리된다.
본 발명에서 시퀀스 흐름 또는 연계 요소를 통해 연결된 다음 BPMN 요소에 대한 진행방안은 다음과 같다.
조치문 또는 이와 연관 또는 첨부된 요소에 대한 처리를 완료한 후, 시퀀스 흐름으로 연결된 다음 BPMN 요소로의 진행은, 사용자 중심 방식, 시스템 중심 방식 및 자동 방식의 세 가지 다른 방식으로 처리 될 수 있다.
도 10은 위의 3가지 경우를 표시하고 있으며, 모든 경우에 'ding-dong'과 같은 간단한 알림음을 마지막 기본 VUI 단위로 포함하여, 사용자로 하여금 다음 BPMN 요소로 진행되고 있음을 명확하게 인식할 수 있도록 한다. 도 10a의 사용자 중심 방식에서는 모바일 앱(200)으로부터, 그리고 10b의 시스템 중심 방식에는 사용자로부터의 확인단계를 각각 포함한다.
또한 본 발명의 시스템은 언제든지 사용자의 음성명령으로 현재 BPMN 요소를 다시 안내하거나 이전 BPMN 요소로 돌아갈 수 있도록 지원한다. 이를 통해 사용자가 절차서의 내용을 정확하게 인지하고 작업품질을 제고하기 위한 통제권한을 강화할 수 있다.
다음에는 공개형 STT 컴포넌트를 활용한 3가지 유형의 음성 인식에 대해 살펴본다. 본 발명의 모바일 앱은 공개형 STT 컴포넌트를 활용하여, 3가지의 다른 음성 입력 수신 모드를 지원한다.
도 11에 도시한 바와 같이 모바일 앱(200)은 대기 모드, 명령 감지 모드, 데이터 입력 모드의 3가지 다른 모드에서 사용자의 음성입력을 포착한다. 각각의 음성 입력 수신 모드에서는 고유한 유형의 사용자 음성 입력에 대응한다. 그리고 음성 입력 수신 모드의 활성화, 음성 입력 수신 모드 간의 전환은 각각 아래에서 설명하는 특정한 조건하에서 컨트롤러 컴포넌트의 제어에 의해 수행된다.
첫 번째, 대기(Standby) 모드에서는 사전(事前)에 정의된 기동어 (wake-up word)를 수신할 경우에만 명령 감지 모드로 전환되며 나머지는 무시한다.
두 번째, 명령 감지(Command detection) 모드에서는 모바일 앱(200)의 작동 상황별로 사전에 정의된 음성명령 목록 각각에 대해서 사전에 지정된 각 트랜잭션 집합을 호출하여 수행한 다음 다시 명령 감지 모드로 복귀한다. 그리고 데이터 입력이 필요한 경우에는 데이터 입력 모드로 전환되고, 일정 시간 동안 음성 입력이 포착되지 않으면 대기 모드로 전환된다.
세 번째, 데이터 입력(Data input) 모드에서는 숫자 또는 문자열 데이터를 입력받아 처리한다. 그리고 입력 데이터에 대한 처리를 완료하거나, 사용자의 음성입력이 일정 시간동안 포착되지 않으면 명령 감지 모드로 전환된다.
도 12는 VUI를 활용한 모바일 앱의 작동상태 전이 메커니즘을 나타낸 구성도이다.
도시한 바와 같이 모바일 앱(200)을 통해 사용자의 음성 입력을 포착하고 처리하는 과정은 'Expecting Speech', 'Recognizing Speech' 및 'Processing User Intent' 세 가지 상태 간의 계속적인 전이과정을 통해서 이루어 진다. 이와 같은 상태전이과정은 음성 입력 수신 모드별 처리방식과 밀접한 관련이 있다.
모바일 앱(200)을 이용하여 음성을 수신하고 처리하는 구체적 과정은 다음과 같다. 모바일 앱(200)의 컨트롤러(230)는 음성입력 수신 모드에서 STT 컴포넌트(212)를 활성화하여 사용자의 음성을 포착한다. 그리고 STT 컴포넌트(212)는 사용자의 음성이 포착되면 텍스트 형태로 변환하여 컨트롤러(230)로 전달한다.
컨트롤러(230)는 전달된 텍스트의 내용이 유효한 명령 또는 데이터 유형에 해당하는지 자체적으로 확인한다. 컨트롤러(230)에 의해 텍스트가 사전에 정의된 모바앨 앱(200)의 작동 상황별로 허용된 음성 명령 또는 적절한 데이터인 것으로 확인되면, 최종적으로 이를 사용자의 의도로 인식한다. 인식된 사용자 의도는 이에 대해 필요한 해당 트랜잭션 집합을 통해 처리되고 그 결과는 합성 음성으로 출력된다. 그리고, 컨트롤러(230)는 다시 STT 컴포넌트(212)를 활성화하여 사용자의 다음 음성 입력 포착을 준비한다. 또한 음성 인식, 사용자의 의도 파악 및 처리, 음성 출력 등의 전체 과정에서, 컨트롤러(230)는 외부 클라우드 서비스에 의존하지 않고 보안이 유지된 통신 회선을 통해 연결된 서버시스템(300)과의 접속만을 통해 작업을 수행하기 때문에 정보 보안 유지를 할 수 있다.
여기서 사용자 음성이 수신되지 않거나 잘못된 사용자 음성이 수신되는 경우도 있는데, 이 때도 역시 컨트롤러(230)는 사용자의 다음 음성 입력을 포착하기 위하여 STT 컴포넌트(212)를 다시 활성화한다.
도 13을 참조하여 음성 인식 및 사용자 의도 처리의 구성을 살펴본다. 즉 STT 컴포넌트(212)를 활용하여 음성 입력을 포착하는 것부터 인식된 사용자의 의도를 처리하기까지의 과정이다. 각각의 음성 입력 수신 모드별로 설명하며, STT 컴포넌트(212)로부터 전달된 텍스트 형식의 사용자 음성 입력은 컨트롤러(230)에 의해 다음과 같이 처리된다.
첫 번째, 대기 모드에서는 미리 정의된 기동어(wake-up word)와 비교된다. 기동어와 일치하는 경우 음성 수신 모드는 명령 감지 모드로 전환되며, 그렇지 않은 경우에는 대기 모드를 계속 유지한다.
두 번째, 명령 감지 모드에서는 모바일 앱(200)의 작동 상황에 따라 유효한 명령 목록과 비교한다. 유효한 명령으로 확인된 경우 컨트롤러(230)는 필요한 트랜잭션을 호출하며, 그렇지 않은 경우 사용자에게 적절한 음성 명령을 요청한다.
세 번째, 데이터 입력 모드에서는 숫자 또는 문자열 등 해당하는 데이터 유형으로 변환한 후 적합한 유형인지 확인한다. 적합한 데이터 유형으로 확인된 경우 컨트롤러(230)는 필요한 트랜잭션을 호출하며, 그렇지 않은 경우 사용자에게 적절한 데이터를 요청한다.
다음에는 본 발명의 모바일 앱(200)에서 공개형 TTS 컴포넌트를 활용하여 음성 정보를 출력하는 방법에 대해 살펴본다. 먼저, TTS 컴포넌트(214)로 전달할 메시지는 각 유형의 BPMN 요소 및 해당 속성과 연결된 패턴 기반 메시지 템플릿을 사용하여 작성된다. 메시지 템플릿의 각 매개 변수에 해당하는 개별 텍스트 조각은 절차서의 내용이나, 사용자의 음성입력 값 등 본 발명의 시스템 작동 중에 획득하여 저장된 값들과 같이, 본 발명의 시스템에서 가져온 내용으로 대체하여 텍스트 메시지를 완성한다.
이후, SSML(Speech Synthesis Markup Language) 태그를 사용하여 텍스트 메시지를 확장하여 더 자연스럽고 명확하게 합성 음성 출력이 되도록 만든다. 상기 SSML은 다양한 음성 합성 플랫폼에서 발음, 볼륨, 음높이, 속도와 같은 음성 속성을 제어하여 풍부한 합성 음성을 제공하도록 설계된 XML 기반의 마크업 언어이다.
그리고 SSML 태그에 의해 확장된 텍스트 메시지는 TTS 컴포넌트(214)에 의해 합성된 음성 형태로 제공된다.
도 14를 참조하여 템플릿 기반 메시지 작성을 포함하는 합성 음성 출력 과정을 예를 들어 설명한다.
계산 행의 결과를 알리는 메시지 템플릿은 'Caluculated value for <what> is <value>.'로 나타낼 수 있다. <what>과 <value>의 두 매개 변수 값은 본 발명의 시스템에서 각각 절차서의 내용과 수식으로 계산된 값에서 가져온다.
해당 매개 변수들에 대응하는 값들이 'the gallons required to fill the tank' 및 '54.7'이라고 가정할 경우, 텍스트 메시지는 'Calculated value for the gallons required to fill the tank is 54.7'으로 완성된다.
완성된 텍스트 메시지는, 보다 명확하고 자연스러운 합성 음성을 생성하기 위해, SSML 태그를 추가하여 확장된 형식으로 변환된다. 예를 들어, <break time "=.3s"/> 태그는 매개변수 값의 앞 뒤에 잠시 음성 출력을 정지하기 위한 목적으로 삽입되고, '54.7' 이전에 삽입된 <say-as interpret-as = "cardinal"> 태그는 TTS 컴포넌트(214)에 의해 'fifty-four point seven'으로 음성 출력하도록 한다.
도 15는 서버시스템(300)의 내부 구조를 포함한 본 발명 시스템의 클라이언트-서버 아키텍처를 보인 도면이다. 도 15에 도시한 바와 같이 백엔드 서비스를 제공하는 서버시스템(300)은 Web API 컨트롤러(310), Web Socket 컨트롤러(320), 데이터베이스(330)를 포함한다.
Web API 컨트롤러(310)는 HTTP 프로토콜을 통해 모바일 앱 클라이언트의 요청을 수신하고 처리하는 역할을 한다. 모바일 앱 클라이언트의 요청을 처리하기 위해서는 일반적으로 데이터베이스(330)에 대한 CRUD(Creat, Read, Update, Delete) 작업이 필요하다. 그런 다음 처리 결과를 HTTP 프로토콜을 통해 이를 요청한 클라이언트로 다시 보낸다. 이러한 모바일 앱(200)으로부터의 요청과 다시 서버시스템(300)으로부터의 처리결과 수신은 모두 응용 프로그래밍 인터페이스 (Application Programming Interface, API)를 통해서 이루어 진다. 필요한 경우 상기 Web Socket 컨트롤러(320)에 요청 클라이언트와 동일한 작업 그룹에 참여하는 다른 클라이언트에도 결과를 전송하도록 요청할 수 있다.
Web Socket 컨트롤러(320)는 Web API 컨트롤러(310)의 요청에 따라 지정된 클라이언트로 데이터를 전송하는 역할을 한다. 클라이언트의 요청 없이도 서버시스템(300)에서 클라이언트로 지속적인 데이터를 전송하기 위해 Web Socket 프로토콜을 활용한다.
데이터베이스(330)는 본 발명의 시스템의 운용과 관련된 모든 데이터를 저장하는 기능을 한다. 데이터베이스(330)에 저장되는 데이터는 모바일 앱(200)을 통해 획득한 모든 사전에 정의된 데이터, 모바일 앱(200)의 작동중에 사용자 확인과 같은 중요 이벤트 및 그 발생시각 정보, 사용자 계정 및 작업지시와 같은 추가 관리 목적용 데이터, 모바일 앱 및 XML 절차서의 갱신 상태와 각각의 최신 버전이 저장된 폴더 위치를 포함하는 데이터 등이 될 수 있다.
응용 프로그래밍 인터페이스(API)는 모바일 앱(200) 클라이언트(즉 스마트 디바이스)와 서버시스템(300) 간의 인터페이싱에 사용된다. API는 클라이언트의 요청에 따라 중앙 집중 방식으로 데이터를 관리하고 클라이언트측의 응용 프로그램을 독립적으로 개발할 수 있게 하는 백-엔드 서비스를 처리하기 위해 사용된다. 호출될 모든 모바일 앱 클라이언트의 요청 유형에 대해 각각 해당 API가 정의된다. 인증 및 권한 부여, 앱 가동 중 그 버전 확인 또는 데이터 관리 등과 같이 모바일 앱(200)에서 일반적으로 사용되는 기본 API 외에도, 본 발명의 서버시스템(300)은 몇 가지 고유한 API를 제공한다. 예를 들어 작업지시 기반 인증 API는 전사적자원관리(Enterprise Resources Planning, ERP) 시스템과 같은 플랜트 관리 시스템에서 생성된 작업지시 데이터를 활용하여, 본 발명 시스템에서 입력자료로 활용하는 절차서 XML파일의 다운로드를 통제하고 해당 작업 그룹내에서 각 참여자의 역할을 자동으로 할당하여, 정보자산 및 시스템운영 상의 보안과 편리성을 동시에 제고한다.
플랜트에서의 작업활동은 하나의 절차서에 대해 복수의 작업자가 참여하는 하나의 작업 그룹을 통해 수행될 수 있으며, 작업자는 각각 다른 역할을 수행하게 된다. 각 조치문 액티버티는 해당 작업 그룹에서 특정 역할을 담당하는 작업자가 수행하도록 지정된다. 그래서 VUI 지원을 포함한 모바일 앱(200)의 작동 제어 권한은 항상 작업그룹 내의 한 클라이언트에만 허용되는 반면, 그 작동 상황은 해당 작업 그룹의 모든 클라이언트에 전송되어 동기화된다. 이러한 모바일 앱의 작동 제어 권한은 절차서 수행이 진행되면서 매 작업을 수행하도록 지정된 해당 작업자의 모바일 앱 클라이언트로 자동으로 전환된다. 이러한 모바일 앱(200)의 작동 상황 동기화 및 작동 제어 권한의 자동 전환은 도 16을 참조하여 설명한다.
도 16은 동일한 작업 그룹에 참여하는 2개의 모바일 앱 클라이언트 간의 작동 상황의 동기화 및 작동 제어 권한의 전환을 나타낸 도면이다.
모바일 앱(200)의 작동 제어 권한은 도 16의 클라이언트 1(Client 1) 또는 도 16의 클라이언트 2(Client 2)에 배타적으로 할당된다. 먼저, 각 조치문 액티버티(또는 조치문과 관련되었거나 첨부된 BPMN 요소)에 대해 클라이언트 1과 2는 각각 현재의 워크그룹에 참여하고 있음을 서버에 전송하고 다른 클라이언트의 참여사실을 전송받는다.
이후 현재 작업에 대한 작동 제어 권한을 보유하고 있는 클라이언트에서 발생한 모든 이벤트는 해당 발생시각과 함께 데이터베이스에 저장되고, 해당 내용은 서버시스템(300)에 의해 다른 클라이언트로 전송되어 동기화된다. 각 이벤트에 대한 세 가지 다른 유형(즉 Request, Response, Broadcast)의 메시지 화살표의 시작 또는 종료 위치는 해당 이벤트가 어디에서 발생했는지에 따라 다름을 나타내고 있다. 절차서의 수행이 계속 진행되면서 필요할 때마다 자동으로 해당 클라이언트로 모바일 앱(200)의 작동 제어 권한이 이관된다.
본 발명의 모바일 앱(200)은 오프라인 모드에서도 작동이 가능하다. 작동 결과는 모바일 앱(200)의 구동 단말기인 스마트 디바이스에 일시적으로 저장된 후 나중에 온라인 상태가 되었을 때 일괄 업로드 된다. 이러한 기능은 통신망의 연결이나 서버시스템이 불안정한 문제상황에도 본 발명 시스템이 대처할 수 있도록 하기 위함이며, 해당 작업 그룹에 모바일 앱 클라이언트가 하나만 있는 경우 서버시스템(300)과 통신하는 불필요한 트랜잭션을 선택적으로 배제하는 효과도 있다.
다만, 모바일 앱 클라이언트가 오프라인 모드에서 작동하는 경우, 다른 모바일 앱 클라이언트와 절차서 수행 진행 상황을 동기화 할 수 없으므로, 단일 클라이언트를 통해 그 워크그룹에 참여하는 모든 클라이언트의 역할을 수행하게 된다. 물론 공지된 단말기간 직접 통신 기술을 이용하여 여러 앱 클라이언트 간의 동기화를 실현할 수도 있다. 하지만, 작업 현황 및 플랜트 설비 상태에 대한 실시간 양방향 상황 인식을 촉진하기 위해서는 안정적인 통신 수단이 필수적이라 할 것이다. 따라서 앞서 설명한 오프라인 모드 기반의 실행방안은 선택적으로 사용되거나 일부 예외적인 상황에 대처하기 위한 구성일 수 있다.
본 발명의 모바일 앱(200)은 터치 사용자 인터페이스(TUI) 기반으로 한 작동도 가능하다. 모바일 앱(200)이 VUI를 통해 작동될 경우 그 작동 상황은 동일한 작업그룹에 포함되어 있는 모든 클라이언트의 TUI 디스플레이에도 자동으로 동기화된다.
작동중인 모바일 앱(200)의 기본 TUI 디스플레이(250) 레이아웃은 도 17과 같다. 도 17a를 보면 TUI 디스플레이(250) 레이아웃은 상단 영역(251), 하단 영역(252), 중앙 영역(253)으로 구획되어 배치된다.
상단 영역(251)은 3개의 행으로 구성되며, 현재 수행중인 절차서의 기본정보 (일반적으로 절차서 문서의 페이지 머리글에 포함되는 절차서 ID, 절차서 제목 및 개정 번호 등)와 함께 현재 수행중인 섹션 등이 표시된다. 맨 윗줄에는 탐색 창 아이콘(≡)을 비치하여 절차서의 각 섹션에 쉽게 액세스 할 수 있도록 하고 있다. 또한 모바일 앱(200)의 사용자 설정 기능을 포함하여 사용 가능한 모든 메뉴 항목에 쉽게 액세스 할 수 있는 메뉴 버튼(세로로 배열된 세개의 점)도 배치되어 있다. 이들 각각은 최상위 디스플레이 레이어에 각각 수평 또는 수직 슬라이드-스와이프(slide-and-swipe) 형태로 선택 가능한 항목들의 목록을 표시한다.
하단 영역(252)은 단일 행으로 구성되며, 모바일 앱(200)의 구동 상태별로 인식 및 처리될 수 있는 사용자의 음성 입력 종류들을 텍스트로 표시하며, 오른쪽 끝에는 현재 음성 수신 모드를 나타내는 마이크 아이콘이 부분적으로 겹쳐서 표시된다.
중앙 영역(253)은 현재 수행 대상인 절차서 단락을 중심으로 수행 완료한 이전 단락들 및 앞으로 수행해야 할 이후 단락들을 스크롤을 지원하는 세로 목록형태로 표시한다. 그리고 화면중앙에 위치하며 강조되는 현재 수행중인 절차서 단락은 도 17b와 같이 4가지 컨테이너로 구성되는 카드 레이아웃 템플릿을 사용하여 나타낸다. 순서대로 수행해야 할 절차서 단락의 내용(260), 레코드 행과 같이 조치문에 선택적으로 첨부된 요소(261), 클릭 가능한 버튼(262), 현재 수행 대상인 절차서 단락의 수행 상태를 자동으로 표기하는 체크박스(263)가 제공된다. 도 17b의 카드 레이아웃 탬플릿은 절차서 내의 각 단락유형을 기초로 한 BPMN 흐름 요소 유형 및 첨부된 요소에 따라 맞춤화되어 정의된다.
도 18은 도 17b에 나타낸 카드 레이아웃 템플릿의 다양한 맞춤화 예를 도시한 도면이다. 체크박스는 모든 절차서 단락에 사용되기 때문에 도 18에는 도시하지 않았다.
도 18a는 조건절을 포함하지 않고 첨부된 요소도 없는 단순 조치문에 대한 카드 레이아웃이다. 도시된 바와 같이 2개의 컨테이너로 구성된다. 하나는 조치문용, 다른 하나는 동작 버튼용이다. 해당 조치문에 대한 작업 진행 상황에 따라 동작 버튼의 레이블은 'Acknowledge', 'Complete', 'Next'의 순서로 변경되며, 사용자가 해당 음성 명령을 말하거나 해당 버튼을 클릭시 지정된 트랜잭션이 실행된다.
도 18b는 조건부 조치문의 카드 레이아웃으로, 조건절용 카드 레이아웃과 조치절용 카드 레이아웃의 서로 다른 2개의 카드 레이아웃이 차례로 사용된다. 즉, 먼저 조건절용 카드 레이아웃이 사용되고, 조건이 만족될 경우 조치절용 카드 레이아웃이 사용된다. 조건절용 카드 레이아웃은 조건절 내용을 표시하는 컨테이너와 그 아래에 3개의 버튼을 포함하는 컨테이너로 구성된다. 3개의 버튼은 동작버튼과 한 쌍의 'YES' 또는 'NO'의 버튼을 말한다. 조치절용 카드 레이아웃은 도 18a과 같이 하나의 동작 버튼을 포함한다. 도 18a에서 설명한 대로, 동작 버튼의 레이블은 'Acknowledge', 'Complete', 'Next'의 순서로 변경된다.
도 18c는 레코드 행이 첨부된 조치문의 카드 레이아웃이다. 도 18c를 보면 3개의 컨테이너를 포함하는데, 각각은 상단의 조치문, 하단의 단일 동작버튼, 중간의 데이터 입력을 위한 하나 이상의 입력 텍스트 상자를 포함한다. 각 입력 텍스트 상자는 절차서에 기술된 내용에 따라 입력대상을 명시하는 레이블이 앞에 표시되거나, 입력할 데이터의 측정 단위가 뒤에 표시되기도 한다. 이러한 입력 텍스트 상자에는 사용자의 음성 입력을 통해 인식된 데이터가 표시된다.
본 발명의 시스템 구성은 다음의 다양한 기능을 추가적으로 지원할 수 있다.
도 19a에서 보듯이 모바일 앱(200)은 터치 사용자 인터페이스를 통한 읽기 전용 방식으로 절차서의 미리보기와 수행결과를 포함한 다시보기 (또는 검토 모드)를 지원한다.
도 19b와 같이 야간 모드 디스플레이를 지원한다. 야간 모드 디스플레이는 어두운 색 배경과 밝은 색 문자로 표시하는 기능이고, 이는 저조도 조건에서 사용할 때 안전 위험을 초래할 수 있는 일시적 야맹증 문제를 최소화하는 효과가 있다.
도 19c와 같이 3D 모델의 대화형 보기를 지원한다. 오픈 소스 도구인 Android 3D Model Viewer를 이용하여 사용자의 필요에 따라 다운로드 한 3D 모델에 대한 대화형 보기를 지원할 수 있다.
본 발명의 모바일 앱(200)은 별도의 화면을 통해 합성 음성 출력의 말하기 속도와 같이 사용자 선호도에 따라 작동방식을 쉽게 변경할 수 있는 사용자 설정 변경을 지원한다. 이와 같은 설정 변경 기능을 응용하여, 각 음성 인터페이싱 시나리오에서 일부 기본 VUI 단위를 단순한 클릭을 통해 배제함으로써 사용자의 경력 수준에 따라 상이한 작동방식을 정의할 수 있다. 이렇게 하면 모바일 앱 코드를 변경하지 않고서도 시스템 설정을 바꿀 수 있어, 시나리오의 맞춤화가 쉽다. 단, 이와 같이 시스템의 작동방식에 영향을 주는 고급 설정기능은 일반 사용자가 아닌 시스템 관리자에게만 허용된다.
모바일 앱(200)은 각 절차서의 단락, 그리고 이에 해당하는 BPMN 요소에 대하여 그 작동 상태에 따라 사전에 정의된 특정 음성 명령들만 처리한다. 그러나, 'Again' 또는 'Go Back' 등의 음성 명령을 사용하여 모바일 앱(200)이 현재 절차서 단락을 다시 안내하거나 이전 단락으로 되돌아가도록 지시할 수 있게 함으로써, 사용자가 절차서의 내용을 정확하게 인지하고 작업품질을 제고하기 위한 통제권한을 강화한다.
그리고 모바일 앱(200)의 터치 사용자 인터페이스용 디스플레이 레이 아웃은 사용되는 기기의 유형에 따라 자동으로 맞춰진다. 태블릿과 같이 상대적으로 큰 화면을 가진 기기는 절차서 내용뿐만 아니라 다양한 멀티미디어 데이터를 중첩되지 않은 상태에서 표시할 수 있다.
그리고 대기 모드에서 사전에 정의된 기동어(wake-up word)가 감지되지 않으면 화면 표시를 모두 없애고 절전 모드로 전환한다. 기동어가 감지되면 화면 표시는 즉시 이전 정상상태로 돌아간다.
이상에서 설명한 바와 같이 본 발명은, 인쇄된 절차서의 내용을 음성 인터페이싱을 지원하는 스마트 절차로 변환하여 외부 공용 서비스를 활용하지 않고 음성을 통해 모든 절차서 내용을 안내할 수 있어, 종래 방식의 스마트 절차서에서 요구되는 작업자의 단말기 파지 및 주시, 그리고 조작을 위한 손동작이 필요하지 않다. 또한 사용자는 음성을 통해 스마트 절차서의 작동을 통제하고 실시간으로 관측값 등의 데이터를 보안 통신망을 통해 자체 서버시스템에 저장할 수 있다. 이를 통해 작업 생산성과 품질 개선 효과를 기대할 수 있으며, 인적 오류를 줄여 플랜트의 안정성을 향상시키는 효과도 기대할 수 있다.
한편, 본 발명의 일 실시 예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명의 도시된 실시 예를 참고하여 설명하고 있으나, 이는 예시적인 것들에 불과하며, 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자라면 본 발명의 요지 및 범위에 벗어나지 않으면서도 다양한 변형, 변경 및 균등한 타 실시 예들이 가능하다는 것을 명백하게 알 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적인 사상에 의해 정해져야 할 것이다.
본 발명은 발전소, 정유플랜트, 화학플랜트, 담수화플랜트 등과 같은 대형 설비를 운용하는 산업분야에서 사용되는 다양한 종류의 플랜트 절차서 문저를 스마트 절차서로 변환, 운영하는 방안에 이용된다.

Claims (31)

  1. 절차서에 포함된 유의미한 구문 및 의미 정보를 추출하는 추출모듈;
    상기 추출된 구문 및 의미 정보를 이용하여 절차서를 확장된 BPMN(Business Process Model and Notation) 프로세스 모델로 나타내고 상기 BPMN 프로세스 모델을 XML 형식으로 저장하는 생성모듈; 및
    상기 XML 형식의 절차서를 입력받아 음성 인터페이싱을 지원하는 스마트 절차서로 변환하는 변환모듈을 포함하는 것을 특징으로 하는 변환 시스템.
  2. 제 1 항에 있어서,
    상기 추출모듈은,
    입력된 절차서에 포함된 이미지 및 표 개체를 제거하는 넌-텍스트 처리부와, 이미지 및 표 개체가 제거된 절차서의 텍스트에 대한 구조적 특성을 추출하는 텍스트 처리부를 포함하는 전처리 유닛;
    상기 전처리 유닛으로부터 텍스트 정보를 전달받고 자연어 처리(NLP) 기술을 이용하여 텍스트를 분석하고 보정하는 확장된 자연어 처리 유닛; 및
    상기 자연어 처리된 절차서의 각 단락을 대상으로 단락에 포함된 모든 유의한 의미 개체 식별, 단락의 유형 분류, 조치문 단락의 세부 구성 요소 식별을 수행하는 정보 추출 유닛을 포함하여 구성되는 변환 시스템.
  3. 제 1 항에 있어서,
    상기 생성모듈은,
    상기 절차서의 각 단락에 대해 내포된 상기 구문 및 의미 정보를 활용하여 하나 이상의 개별 BPMN 요소 및 그 속성값으로 변환하는 변환부; 및
    상기 개별 BPMN 요소들을 통합 및 재구조화하여 BPMN 기반 절차서의 프로세스 모델을 생성하는 생성부를 포함하여 구성되는 변환 시스템.
  4. 제 1 항에 있어서,
    상기 변환모듈은,
    스마트 디바이스에 설치된 모바일 앱과 백엔드 서비스를 제공하는 서버시스템의 클라이언트-서버 아키텍처로 구성되는 변환 시스템.
  5. 제 4 항에 있어서,
    상기 모바일 앱은,
    STT(Speech-to-Text) 및 TTS(Text-to-Speech) 컴포넌트를 포함하는 음성 사용자 인터페이스(Voice User Interface);
    터치 사용자 인터페이스(Touch User Interface); 및
    사용자 인터페이스 기능을 포함하여 전체 모바일 앱의 작동을 제어하는 컨트롤러를 포함하여 구성되는 변환 시스템.
  6. 제 5 항에 있어서,
    상기 음성 사용자 인터페이스 또는 터치 사용자 인터페이스를 활용한 사용자와 모바일 앱 간의 인터페이싱을 포함한 전체 모바일 앱의 작동은, 상기 절차서의 프로세스 모델의 각 BPMN 요소의 유형별로 미리 정의된 시나리오에 따라 실시되는 변환 시스템.
  7. 제 6 항에 있어서,
    시퀀스 흐름 또는 연계 요소로 연결된 다음 BPMN 요소로의 진행 시나리오는 사용자 중심 방식, 시스템 중심 방식 및 자동 방식의 세 가지 다른 방식으로 처리 되며,
    상기 세 가지 방식의 모든 경우에 사용자로 하여금 다음 BPMN 요소로 진행되고 있음을 인식할 수 있도록 특정 알림음을 마지막 기본 VUI(Voice user interfaces) 단위로 포함하여 사용자에게 제공하는 변환 시스템.
  8. 제 5 항에 있어서,
    상기 컨트롤러는,
    사용자 음성을 인식하여 사용자 의도를 파악하고, 필요한 트랜잭션을 처리한 후 처리 결과를 합성된 음성으로 제공하는 모바일 앱의 전체 작동을 제어하는 변환 시스템.
  9. 제 5 항에 있어서,
    상기 음성 사용자 인터페이스(Voice User Interface)는,
    상기 컨트롤러의 제어에 따라 상기 STT 컴포넌트들을 활용하여, 대기 모드, 명령 감지 모드, 데이터 입력 모드로 구분되는 음성 입력 수신 모드가 활성화되거나 상기 모드 간의 전환이 이루어지며, 사용자의 음성을 포착한 후 텍스트 형태로 변환하여 상기 컨트롤러에 전달하는 변환 시스템.
  10. 제 5 항에 있어서,
    상기 컨트롤러는,
    외부 클라우드 서비스를 배제한 채 상기 음성 사용자 인터페이스로부터 전달받은 텍스트 내용이 유효한 음성 명령 또는 적합한 데이터 유형에 해당하는지 확인한 다음에, 해당되는 트랜잭션들을 처리한 이후 또는 사용자에게 적합한 음성 입력을 요구한 이후에 다시 해당 음성 입력 수신 모드를 활성화하거나, 음성 입력을 무시하고 대기 모드에 머무르게 하는 변환 시스템.
  11. 제 5 항에 있어서,
    상기 음성 사용자 인터페이스는,
    상기 컨트롤러의 제어에 따라 상기 TTS 컴포넌트를 활용하여 사용자에 대한 음성 안내를 합성된 음성 형태로 제공하는 변환 시스템.
  12. 제 5 항에 있어서,
    상기 컨트롤러는,
    각 유형의 상기 BPMN 요소 및 해당 속성과 연결된 패턴 기반 메시지 템플릿을 사용하여 음성 출력 대상 텍스트 메시지를 작성하고, 상기 음성 출력 대상 텍스트 메시지를 SSML(Speech Synthesis Markup Language) 태그를 사용하여 확장한 후, 상기 음성 사용자 인터페이스의 상기 TTS 컴포넌트를 활용하여 합성된 음성 형태로 제공하는 변환 시스템.
  13. 제 4 항에 있어서,
    상기 변환모듈의 모바일 앱 클라이언트와 서버시스템은 플랜트 내부의 보안 통신망을 통해 연결되는 변환 시스템.
  14. 제 4 항에 있어서,
    상기 서버시스템은,
    모바일 앱의 요청을 수신하고 처리한 후 그 결과를 요청 모바일 앱 클라이언트에 회신하는 Web API 컨트롤러;
    상기 Web API 컨트롤러의 요청에 따라 지정된 클라이언트로 데이터를 전송하는 Web Socket 컨트롤러; 및
    상기 변환모듈의 작동과 관련된 모든 데이터들을 저장하는 데이터베이스를 포함하여 구성되는 변환 시스템.
  15. 제 14 항에 있어서,
    상기 모바일 앱으로부터의 요청과 서버시스템으로부터의 처리결과 수신은 모두 서버시스템이 제공하는 응용 프로그래밍 인터페이스 (Application Programming Interface, API)를 통해서 이루어지며, 상기 Web API 컨트롤러에 의해 제어되는 변환 시스템.
  16. 제 4 항에 있어서,
    상기 서버시스템은, 플랜트 관리 시스템에서 생성된 작업지시 데이터를 활용하여, 절차서 XML 파일의 다운로드를 통제하고 해당 작업 그룹 내에서 각 참여자의 역할을 자동으로 할당하는 변환 시스템.
  17. 제 14 항에 있어서,
    하나의 작업 그룹에 복수 개의 상기 모바일 앱 클라이언트가 참여할 경우, 스마트 절차서의 각 단락별로 사용자 인터페이스를 통한 작동 제어 권한은 단일 클라이언트에게만 허용되며, 작동 제어 권한을 가진 클라이언트에서의 데이터 입력을 포함한 모바일 앱의 작동 상황은 상기 Web API 컨트롤러를 통해 실시간으로 서버시스템에 전송되어 데이터베이스에 저장되고, 상기 Web Socket 컨트롤러를 통해 다시 동일한 작업 그룹에 포함된 모든 클라이언트에 자동으로 전송되어 동기화되는 변환 시스템.
  18. 제 5 항에 있어서,
    상기 터치 사용자 인터페이스용 디스플레이는,
    3개의 행으로 구성되며 업로드 된 절차서의 기본 정보 및 현재 수행중인 섹션이 표시되는 제1 영역;
    1개의 행으로 구성되며, 현재 작동상태에서 유효한 사용자의 음성 입력 종류들을 텍스트로 표시하거나 사용자의 음성입력에 대해 인식한 결과를 텍스트로 표시하는 제2 영역;
    상기 제1 영역과 제2 영역 사이에 위치하며, 현재 수행 대상인 절차서 단락을 중심으로 수행 완료한 이전 단락들 및 수행해야 할 이후 단락들을 표시하는 제3 영역을 포함하도록 구성되는 변환 시스템.
  19. 제 18 항에 있어서,
    현재 수행중인 절차서 단락은,
    수행해야 할 절차서 단락의 내용, 조치문에 선택적으로 첨부된 요소, 클릭 가능한 버튼 및 현재 수행 대상인 절차서 단락의 수행 상태를 표기하는 체크박스를 포함하는 4가지 컨테이너로 구성되는 카드 레이아웃 템플릿을 사용하여 표시하며, 절차서 단락의 유형에 대응하는 해당 BPMN요소에 따라 맞춤화된 형태로 표시되는 변환 시스템.
  20. 제 19 항에 있어서,
    상기 클릭 가능한 버튼 컨테이너에 포함되는 동작 버튼의 레이블은 'Acknowledge', 'Complete', 'Next'의 순서로 변경되며, 사용자가 해당 음성 명령을 말하거나 해당 버튼을 클릭시 각각 별도로 지정된 트랜잭션이 실행되는 변환 시스템.
  21. 제 19 항에 있어서,
    상기 조치문 중 조건부 조치문은, 조건절용 카드 레이아웃과, 조치절용 카드 레이아웃을 포함하고, 상기 조건절용 카드 레이아웃이 사용된 후 조건이 만족되면 상기 조치절용 카드 레이아웃이 사용되는 변환 시스템.
  22. 제 4 항에 있어서,
    상기 모바일 앱은,
    절차서의 미리보기와 수행결과를 포함한 다시 보기 지원기능, 별도 화면을 통해 합성 음성 출력의 말하기 속도와 같은 사용자 선호도 또는 기본 VUI의 배제와 같은 시나리오의 맞춤화에 따라 작동방식을 변경하는 사용자 또는 시스템 설정 변경 지원, 소정 음성 명령을 사용하여 현재 절차서 단락을 다시 안내하거나 이전 단락으로 되돌아가도록 지시하는 기능을 제공하는 변환 시스템.
  23. 모바일 앱과 서버 시스템을 이용하여 음성 인터페이싱을 지원하는 스마트 절차서로 변환하는 방법에 있어서,
    추출모듈이 절차서에 포함된 유의미한 구문 및 의미 정보를 추출하는 정보 추출 단계;
    생성모듈이 상기 추출된 구문 및 의미 정보를 이용하여 절차서를 확장된 BPMN(Business Process Model and Notation) 프로세스 모델로 나타내고 XML 형식으로 저장하는 생성 단계; 및
    변환모듈이 상기 XML 형식의 절차서를 입력받아 음성 인터페이싱을 지원하는 스마트 절차서로 변환하는 변환 단계를 포함하는 것을 특징으로 하는 변환 방법.
  24. 제 23 항에 있어서,
    상기 정보 추출단계는,
    상기 절차서에 대한 전처리 과정을 수행하는 제1 단계;
    상기 전처리 과정에 따른 텍스트 정보를 분석하기 위해 자연어 처리를 수행하고, 상기 자연어 처리 중 발생한 POS 태그 및 구문분석 오류를 감지하고 수정하는 제2 단계;
    상기 제1 단계 및 제2 단계의 결과물을 이용하여 상기 절차서의 각 단락에 대하여 의미 개체 식별, 단락의 유형 분류, 조치문 단락의 세부 구성 요소 식별을 수행하는 제3 단계; 및
    상기 추출된 정보를 데이터베이스를 포함한 둘 이상의 형태의 출력물로 생성 출력하는 제4 단계를 포함하는 변환 방법.
  25. 제 23 항에 있어서,
    상기 생성 단계는,
    상기 절차서의 각 단락에 대해 내포된 상기 구문 및 의미 정보를 활용하여 하나 이상의 개별 BPMN 요소 및 그 속성값으로 변환하는 단계; 및
    상기 개별 BPMN 요소들을 통합 및 재구조화하여 BPMN 기반 절차서의 프로세스 모델을 생성하는 단계를 포함하는 변환 방법.
  26. 제 23 항에 있어서,
    상기 변환 단계는,
    상기 모바일 앱과 플랜트 내부의 보안 통신망을 통해 연결된 서버시스템 간의 인터페이싱을 통해 실시되며,
    상기 절차서의 프로세스 모델의 각 BPMN 요소의 유형별로 미리 정의된 시나리오에 따라 실시되는 변환 방법.
  27. 제 26 항에 있어서,
    상기 미리 정의된 시나리오는,
    사용자 음성 인식 후 사용자의 의도를 파악하는 단계; 및
    상기 사용자의 의도에 대응하는 트랜잭션을 처리하는 단계; 및 처리 결과를 음성 정보로 출력하는 단계를 포함하는 변환 방법.
  28. 제 27 항에 있어서,
    상기 사용자 음성 인식은,
    활성화 상태의 음성 입력 수신 모드에서 사용자 음성을 포착한 후 텍스트 형태로 변환되어 처리되는 변환 방법.
  29. 제 27 항에 있어서,
    상기 사용자의 의도 파악은,
    변환된 텍스트의 내용이 유효한 음성 명령 또는 적합한 데이터 유형인가를 판단하는 것에 의해 이루어지는 변환 방법.
  30. 제 27 항에 있어서,
    상기 음성 정보로의 출력은,
    각 유형의 상기 BPMN 요소 및 해당 속성과 연결된 패턴 기반 메시지 탬플릿을 사용하여 음성 출력 대상 텍스트 메시지를 작성하는 단계;
    상기 출력대상 텍스트 메시지를 SSML(Speech Synthesis Markup Language) 태그를 사용하여 확장하는 단계; 및
    음성 사용자 인터페이스의 TTS 컴포넌트를 활용하여 합성된 음성 형태로 제공하는 단계를 포함하는 변환 방법.
  31. 모바일 앱과 서버 시스템을 활용하여 음성 인터페이싱을 지원하는 방법이고,
    하나의 워크 그룹에 참여한 복수의 작업자가 하나의 절차서를 효과적으로 공동 수행할 수 있도록, 상기 절차서의 각 단위 작업별로 담당 작업자의 모바일 앱에 배타적 작동권한을 자동으로 이관하는 단계; 및
    상기 작동권한을 가진 모바일 앱의 작동 상황을 상기 워크 그룹내의 모든 모바일 앱에 전송하여 자동으로 동기화되는 단계를 포함하는 것을 특징으로 하는 변환 방법.
PCT/KR2021/015599 2021-03-19 2021-11-01 플랜트 절차서를 음성 인터페이싱을 지원하는 스마트 절차서로 변환하는 방법 및 시스템 WO2022196882A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/551,394 US20240169980A1 (en) 2021-03-19 2021-11-01 Method and system for converting plant procedures to voice interfacing smart procedures

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2021-0035941 2021-03-19
KR20210035941 2021-03-19
KR10-2021-0107849 2021-08-17
KR1020210107849A KR20220131133A (ko) 2021-03-19 2021-08-17 플랜트 절차서를 음성 인터페이싱을 지원하는 스마트 절차서로 변환하는 방법 및 시스템

Publications (1)

Publication Number Publication Date
WO2022196882A1 true WO2022196882A1 (ko) 2022-09-22

Family

ID=83320685

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/015599 WO2022196882A1 (ko) 2021-03-19 2021-11-01 플랜트 절차서를 음성 인터페이싱을 지원하는 스마트 절차서로 변환하는 방법 및 시스템

Country Status (2)

Country Link
US (1) US20240169980A1 (ko)
WO (1) WO2022196882A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004030012A (ja) * 2002-06-24 2004-01-29 Mitsubishi Heavy Ind Ltd 整備情報提供装置及び整備情報提供方法
KR20060131930A (ko) * 2004-03-30 2006-12-20 니혼 빅터 가부시키가이샤 전자화 서비스 매뉴얼 생성 방법, 부가 데이터 생성 방법, 전자화 서비스 매뉴얼 생성 장치, 부가 데이터 생성 장치, 전자화 서비스 매뉴얼 생성용 프로그램, 부가 데이터 생성용 프로그램 및 이것들의 프로그램이 기록된 기록 매체
KR20080011744A (ko) * 2006-07-31 2008-02-11 주식회사 다큐레이터 엑스엠엘 기반의 원격 유지 보수 시스템
KR20110114173A (ko) * 2010-04-13 2011-10-19 한국과학기술원 비즈니스 프로세스로부터 사용자 맞춤형 웹 서비스를 생성하는 시스템 및 방법
KR20160038672A (ko) * 2014-09-29 2016-04-07 주식회사 사이버다임 비정형 업무 영역에서의 업무 관리와 자동화 제어 시스템 및 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004030012A (ja) * 2002-06-24 2004-01-29 Mitsubishi Heavy Ind Ltd 整備情報提供装置及び整備情報提供方法
KR20060131930A (ko) * 2004-03-30 2006-12-20 니혼 빅터 가부시키가이샤 전자화 서비스 매뉴얼 생성 방법, 부가 데이터 생성 방법, 전자화 서비스 매뉴얼 생성 장치, 부가 데이터 생성 장치, 전자화 서비스 매뉴얼 생성용 프로그램, 부가 데이터 생성용 프로그램 및 이것들의 프로그램이 기록된 기록 매체
KR20080011744A (ko) * 2006-07-31 2008-02-11 주식회사 다큐레이터 엑스엠엘 기반의 원격 유지 보수 시스템
KR20110114173A (ko) * 2010-04-13 2011-10-19 한국과학기술원 비즈니스 프로세스로부터 사용자 맞춤형 웹 서비스를 생성하는 시스템 및 방법
KR20160038672A (ko) * 2014-09-29 2016-04-07 주식회사 사이버다임 비정형 업무 영역에서의 업무 관리와 자동화 제어 시스템 및 그 방법

Also Published As

Publication number Publication date
US20240169980A1 (en) 2024-05-23

Similar Documents

Publication Publication Date Title
KR102563314B1 (ko) 전자 장치 및 단축 명령어의 바로가기 생성 방법
US11825555B2 (en) Systems and methods for real-time remote control of mobile applications
US20110137988A1 (en) Automated social networking based upon meeting introductions
EP3543875A1 (en) Conversation context management in a conversation agent
WO2020159288A1 (ko) 전자 장치 및 그 제어 방법
WO2013077589A1 (ko) 음성인식 부가 서비스 제공 방법 및 이에 적용되는 장치
US20200312297A1 (en) Method and device for extracting factoid associated words from natural language sentences
KR102026839B1 (ko) 소프트웨어 개발 서비스 제공 장치 및 방법
CN110362288B (zh) 一种同屏控制方法、装置、设备及存储介质
WO2014133225A1 (ko) 음성 메시지 제공 방법, 이를 위한 장치 및 시스템
EP2891041A1 (en) User interface apparatus in a user terminal and method for supporting the same
CN110431524A (zh) 信息处理系统、信息处理装置、信息处理程序和信息处理方法
WO2016200141A1 (ko) 가족 문화 컨텐츠 서비스 방법 및 시스템
CN111756930A (zh) 通信控制方法、通信控制装置、电子设备和可读存储介质
WO2021251539A1 (ko) 인공신경망을 이용한 대화형 메시지 구현 방법 및 그 장치
JP6689953B2 (ja) 通訳サービスシステム、通訳サービス方法及び通訳サービスプログラム
WO2022196882A1 (ko) 플랜트 절차서를 음성 인터페이싱을 지원하는 스마트 절차서로 변환하는 방법 및 시스템
US11368585B1 (en) Secured switch for three-way communications
US20190205498A1 (en) Design parameter extraction from digitized image of a schematic or block diagram for electrical designs
WO2023204544A1 (ko) 사용자 인터페이스 공유를 통한 비대면 원격 업무 처리 시스템 및 방법
KR20220131133A (ko) 플랜트 절차서를 음성 인터페이싱을 지원하는 스마트 절차서로 변환하는 방법 및 시스템
WO2021002585A1 (ko) 챗봇을 통한 전자문서 제공 방법, 챗봇을 통한 전자문서 작성 방법 및 장치
WO2020246862A1 (en) Method and apparatus for interacting with intelligent response system
CN112542172A (zh) 基于在线会议的沟通辅助方法、装置、设备及介质
KR20220162898A (ko) 오픈소스 소프트웨어의 라이선스에 대한 온라인 컨설팅 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21931823

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18551394

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21931823

Country of ref document: EP

Kind code of ref document: A1