KR20220097299A - 인공 지능 기반 실시간 음성인식 원격 협업 방법 및 그 시스템 - Google Patents

Abstract

본 발명의 일 실시예에 따른 AI 기반 실시간 음성인식 원격 협업 방법은, 음성인식을 통한 원격 협업 시스템에 의해 수행되는 방법으로서, 현장단말을 통해 작업대상인 장비를 식별하는 단계; 현장단말과 원격단말 사이의 셋업이 성립(Establish)되는 단계; 현장단말 및 원격단말 중 적어도 하나에서 입력된 음성신호를 분석하여 명령어를 식별하는 단계; 및 식별된 명령어와 대응하는 기능 또는 데이터 검색 기능을 실행하는 단계를 포함한다.

Description

인공 지능 기반 실시간 음성인식 원격 협업 방법 및 그 시스템{ARTIFICIAL INTELLIGENCE-BASED REAL-TIME VOICE RECOGNITION REMOTE COLLABORATION METHOD AND SYSTEM THEREOF}

본 발명은 원격 협업 방법 및 시스템에 관한 것으로, 보다 상세하게는, 인공 지능(AI, Artificial Intelligence) 기반 실시간 음성인식 원격 협업 시스템 및 그 방법에 관한 것이다.

최근 전세계적으로 제조 혁신의 바람이 거세며 그 중심에 있는 것이 바로 스마트팩토리 기술이다. 스마트팩토리는 ICT(Information and Communication Technology)와 기존의 제조업 기술인 생산제조 기술과 융합하여 사물인터넷(IoT, Internet of Things), 빅데이터, 클라우드 컴퓨팅, CPS(Cyber Physical System)등의 기술 등을 통해서 공장내의 장비, 장치 부품들이 서로 연결되고 상호 소통되는 생산 체계로 정의될 수 있다. 이런 생산 체계를 통해 다양한 기계장치들이 자동으로 공정을 수행하며, 자동화에 따라 설비의 복잡도가 증가하고 있다. 이에 따라, 제조업에서 장치의 제어, 원격수리, 유지관리 등의 작업의 복잡도도 증가하고 있다.

다만, 제조산업에서 전문가의 고령화가 진행되고 있으며 기계장치의 복잡도는 점점 더 증가되는 추세이므로, 숙련되지 않은 작업자를 교육하는데 많은 시간과 비용이 소모되고 있다. 또한, 대면으로 인한 바이러스 접촉의 위험성이 대두됨에 따라 비접촉방식의 작업수행의 필요성이 대두되고 있다.

이러한 필요성 속에서 스마트팩토리 원격 협업 시스템이 개발되고 있는데, 기존의 원격 협업 방식은 네트워크와 AR/VR 기술을 사용하여 원격지에서 하는 화상 통화 수준에 머물러 있어, 메뉴얼 문서, 설계도면, 트러블 슈팅 로그 등과 같은 관련 데이터를 찾는데에 시간 및 리소스가 많이 소비된다. 또한, 사람이 직접적으로 처리 할 수 없는 빅데이터 분석, 전사적 데이터(MES, ERP), 다양한 설비의 메타데이터 같은 자료들을 활용하기 어려운 문제점이 있다. 또한, 원격지의 전문가가 충분한 전문성을 갖춰야하므로, 인적비용이 증가되며, 원격 전문가의 자질이 부족한 경우 또는 필요한 기술을 가진 원격 전문가가 부재인 문제가 존재한다.

대한민국 등록특허공보 제10-2086451 (2020. 03. 03 등록)

본 발명은 상술한 문제점을 해결할 수 있는 방법 및 그 시스템을 제공하는 것을 목적으로 한다.

또한, 본 발명은, 음성인식 기반 AI 솔루션을 통해, 원격 전문가와 현장 작업자 사이의 XR 협업 시스템을 제공하는, AI 기반 실시간 음성인식 원격 협업 방법 및 그 시스템을 제공하는 것을 일 목적으로 한다.

또한, 본 발명은, 5G AR/VR 등의 기술 발달로 원격지에서의 전문가와 협업을 가능하도록 하여 비숙련공의 문제와 언택트의 문제를 동시에 해결하는, AI 기반 실시간 음성인식 원격 협업 방법 및 그 시스템을 제공하는 것을 일 목적으로 한다.

또한, 본 발명은, AI와 빅데이터의 자료 검색 및 데이터 분석 솔루션을 통해, 원격 전문가가 없는 상황에서도 협업할 수 있는 AI 기반 실시간 음성인식 원격 협업 방법 및 그 시스템을 제공하는 것을 일 목적으로 한다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 AI 기반 실시간 음성인식 원격 협업 방법은, 음성인식을 통한 원격 협업 시스템에 의해 수행되는 방법으로서, 현장단말을 통해 작업대상인 장비를 식별하는 단계; 현장단말과 원격단말 사이의 셋업이 성립(Establish)되는 단계; 현장단말 및 원격단말 중 적어도 하나에서 입력된 음성신호를 분석하여 명령어를 식별하는 단계; 및 식별된 명령어와 대응하는 기능 또는 데이터 검색 기능을 실행하는 단계를 포함한다.

이때, 상기 현장단말을 통해 작업대상인 장비를 식별하는 단계는, 제1 서버를 사용하여 복수 장비의 데이터를 저장 가능한 제1 주소 공간을 생성하여 가상 물리 시스템(CPS, Cyber Physical System)을 구축하는 단계; 상기 현장단말을 통해 식별 코드가 인식되어 상기 장비가 식별되는 단계를 포함할 수 있다.

또한, 본 발명의 AI 기반 실시간 음성인식 원격 협업 방법은 상기 CPS 시스템에 상기 식별된 장비로부터의 실시간 데이터 스트림을 송신하는 단계; 및 상기 송신된 실시간 데이터 스트림이 상기 현장단말 및 상기 원격단말에 디스플레이되는 단계를 더 포함할 수 있다.

이때, 상기 실시간 데이터 스트림을 송신하는 단계는, 상기 제1 주소 공간에 대한 단일 연결로 송신될 수 있다.

또한, 상기 현장단말과 원격단말 사이의 셋업이 성립되는 단계는, 상기 현장단말에서 상기 원격단말로 접속을 요청하는 셋업 요청 메시지(Setup Request Message)를 전송하는 단계; 상기 셋업 요청 메시지를 수신한 후, 상기 원격단말은 원격 협업을 승낙할지 여부를 입력받아, 셋업 응답 메시지(Setup Response Message)를 송신하는 단계; 상기 현장단말 및 상기 원격단말의 셋업이 설정되는 단계; 및 인공 지능 음성 협업봇이 비활성 상태로 상기 셋업에 참여하는 단계를 포함할 수 있다.

또한, 상기 현장단말 및 상기 원격단말 중 적어도 하나에서 입력된 음성신호를 분석하여 명령어를 식별하는 단계는, 상기 현장단말 및 상기 원격단말 중 적어도 하나를 통해 입력된 제1 음성 신호 중 기 설정된 제 1 키워드를 검출하는 단계; 상기 검출 결과를 기초로 상기 제1 음성 신호의 상기 제1 키워드 이후의 제2 음성 신호를 입력 받는 단계; 상기 제2 음성 신호를 제1 서버로 전송하는 단계; 상기 제1 서버에서 처리된 상기 제2 음성 신호를 제2 서버로 전송하는 단계; 상기 제2 서버에서 처리된 상기 제2 음성 신호로부터 기 설정된 제2 키워드를 검출하여, 상기 제2 음성 신호에 포함된 명령을 식별하는 단계를 포함할 수 있다.

이때, 상기 제1 서버는 STT 엔진을 포함하고, 및 상기 제 2서버는 NLP 엔진을 포함할 수 있다.

또한, 상기 지시명령과 대응하는 기능 또는 데이터 검색을 실행하는 단계는, 상기 인공 지능 음성 협업봇이 상기 명령어와 대응하는 기능 또는 대응하는 데이터 검색을 실행하는 단계; 상기 인공 지능 음성 협업봇이 상기 명령어와 연관된 추천 데이터 검색을 실행하는 단계; 및 상기 인공 지능 음성 협업봇에 의해 검색된 상기 대응 데이터 및/또는 상기 연관된 추천 데이터가 상기 현장단말 및 상기 원격단말 중 적어도 하나로 제공되는 단계를 포함할 수 있다.

또한, 본 발명의 일 실시예에 따른 컴퓨터 프로그램은 하드웨어인 컴퓨터와 결합되어, 인공 지능 기반 실시간 음성인식 원격 협업 방법을 수행하기 위하여 컴퓨터 판독 가능한 기록매체에 저장될 수 있다.

또한, 본 발명의 일 실시예에 따른 음성인식을 통한 원격 협업 시스템은, 현장단말을 통해 식별된 장비에 대한 데이터를 저장하는 메모리부; 상기 현장단말 및 원격단말과 데이터를 송수신하는 통신부; 상기 현장단말 및 상기 원격단말 중 적어도 하나로부터 수신한 음성 신호 중에서 키워드 또는 명령어를 검출 또는 식별하는 제1 프로세서; 및 식별된 상기 명령어와 대응하는 기능 또는 대응하는 데이터 검색을 실행하도록 제어하는 제2 프로세서를 포함하고, 상기 제2 프로세서는, 상기 장비에 대한 상기 데이터를 상기 현장단말 및 상기 원격단말에 디스플레이되도록 제어하고, 상기 현장단말과 상기 원격단말 사이의 셋업이 성립된 경우, 인공지능 음성 협업봇을 셋업에 참여시키고, 상기 대응 데이터 및/또는 상기 대응 데이터에 연관된 추천 데이터를 상기 현장단말 및 상기 원격단말 중 적어도 하나로 제공하도록 제어할 수 있다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명의 일 실시예에 따르면, 현장 작업자 또는 원격 전문가의 음성을 인식한 AI 모델이 필요한 기능을 실행시켜주거나 필요한 데이터를 검색하여 제공한다.

본 발명의 일 실시예에 따르면, 원격 전문가와 현장 작업자, 음성인식 AI봇의 3자 협업으로 빅데이터에서 자료와 지식의 추출 제공으로 현장 지식을 활용한 문제해결 가능한 XR 협업 시스템 구축할 수 있다.

본 발명에 따르면, 물리적 영역에 분산된 복수의 필드 디바이스를 관리하는 분산 OPC UA 서버의 정보를 중앙 OPC UA 서버에서 통합된 중앙 OPC UA 어드레스 공간을 통해 데이터를 실시간으로 관리함으로써, 수평적 데이터 분배 및 교환 작업에 대한 신뢰성 및 효율성을 향상시킬 수 있다. 이와 동시에 데이터 손실, 시스템의 성능 저하, 실시간 처리 지연을 감소시켜 작업시간을 최소화하면서 비용을 절감할 수 있다.

이를 통해, 현장단말 및 원격단말의 매뉴얼을 숙지하지 않은 현장 작업자 및 원격 전문가도 음성을 통해 원하는 기능을 찾아서 실행시킬 수 있으며, 원하는 데이터를 빠른 시간 내에 검색할 수 있다.

결과적으로, 현장단말 및 원격단말에 대한 사전교육 없이 바로 사용될 수 있으며, 현장 작업자와 원격 전문가 사이의 빠르고 원활한 데이터교환이 가능하다.

또한, 인식된 음성을 기 학습된 AI 솔루션을 통해 빅데이터를 분석하여 필요한 데이터를 검색할 수 있어, 전문가의 전문성이 높지 않은 경우이거나, 전문가의 경험에만 의지하지 않고서도 원활한 협업이 이루어질 수 있다.

나아가, AI 음성인식을 통해 협업이 진행되므로 제조 현장에서 현장 작업자는 양손을 자유롭게 작업에 사용할 수 있다.

또한, 디지털 트윈 CPS 서버와의 결합설계 및 생산으로 스마트팩토리의 보급의 효과가 있을 수 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 음성인식 원격 협업 시스템을 예시적으로 도시하는 도면이다.
도 2는 도 1에 따른 XR 협업 시스템의 구성을 도시하는 블록도이다.
도 3은 도 2의 디지털 트윈 연결부에 의해 제공되는 디지털 트윈 서비스를 예시적으로 도시하는 개념도이다.
도 4는 도 2의 XR 협업툴 제공부에 의해 제공되는 XR 협업툴의 동작을 예시적으로 도시하는 개념도이다.
도 5는 도 2의 AI 음성 협업봇 서비스 제공부에 의해 제공되는 AI 음성 협업봇의 동작을 예시적으로 도시하는 개념도이다.
도 6은 도 2의 추천 콘텐츠 뷰어 제공부에 의해 제공되는 추천 콘텐츠 뷰어를 예시적으로 도시하는 개념도이다.
도 7은 도 2의 제조 도메인 빅데이터 코어를 예시적으로 도시하는 개념도이다.
도 8은 본 발명의 일 실시예에 따른 AI 기반 음성인식 원격 협업 시스템의 전체 동작이 예시적으로 도시된다.
도 9는 본 발명의 일 실시예에 따른 음성인식 원격 협업 방법의 과정을 도시하는 흐름도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. 그러나 다음에 예시하는 본 발명의 실시예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 상술하는 실시예에 한정되는 것은 아니다. 본 발명의 실시예는 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공된다.

1. 본 발명의 일 실시예에 따른 AI 기반 실시간 음성인식 원격 협업 시스템

도 1은 본 발명의 일 실시예에 따른 음성인식 원격 협업 시스템을 예시적으로 도시하는 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 AI 기반 실시간 음성인식 원격 협업 시스템은 네트워크(4)에 의해 서로 통신 가능하게 연결되는 확장현실(XR, eXtended Reality) 협업 시스템(1), 복수의 현장단말(2) 및 복수의 원격단말(3)을 포함할 수 있다.

확장 현실(XR)은 가상 현실(VR, Virtual Reality), 증강 현실(AR, Augmented Reality), 혼합 현실(MR, Mixed Reality)을 총칭한다. VR 기술은 현실 세계의 객체나 배경 등을 CG 영상으로만 제공하고, AR 기술은 실제 사물 영상 위에 가상으로 만들어진 CG 영상을 함께 제공하며, MR 기술은 현실 세계에 가상 객체들을 섞고 결합시켜서 제공하는 컴퓨터 그래픽 기술을 말한다.

다만, 최근에는 VR, AR, MR 기술을 명확히 구별하기 보다는 XR(eXtended Reality) 기술로 부르기도 한다. 따라서, 본 발명의 실시예들은 VR, AR, MR, XR 기술 모두에 적용 가능하다.

복수의 현장단말(2)은 스마트팩토리 현장에서 기계장치에 대한 점검 및 수리업무 등을 수행하는 현장 작업자가 소지하고 있는 사용자 단말로서, 다수 개가 다자참여가 가능하다. 현장단말(2)은 현장의 촬영영상을 획득하며, 획득된 촬영영상에 가상의 XR 모델이 결합된 디지털트윈이 디스플레이부에 표시될 수 있다. 현장단말(2)은 임의의 식별 코드를 인식하고 작업대상인 장비를 식별할 수 있다. 예를 들어, 식별 코드는 고유의 바코드, 2-D QR 코드, 시리얼 넘버 등이 될 수 있다.

현장단말(2)이 네트워크(4)와 연결되는 경우, 현장단말(2)은 네트워크(4)를 통해 XR 협업 시스템(1)으로부터 협업에 필요한 기능들, 예를 들어, 디지털 트윈 연결, AI 봇 등을 제공 받고, 원격단말(3)을 통한 입력이 디스플레이부에 표시되어 협력을 진행할 수 있다. 예를 들어, 원격단말(3)을 통한 입력으로서는, 원격 전문가의 음성 또는 지시를 나타내는 드로잉이 있을 수 있다.

또한, 현장단말(2)은 협업을 위해 어플리케이션(App)을 실행할 수 있다. 이때, 현장단말(2)은 서로 상이한 OS, 예를 들어, 안드로이드, iOS, 윈도우 등 각종 OS를 모두 지원할 수 있는 형태를 가질 수 있다. 여기서, 현장단말(2)은 AR/VR용 스마트 글라스, AR/VR 지원용 5G(4G) 스마트폰, XR 협업 툴 제공부(112)를 실시간으로 디스플레이해 주는 휴대용 단말기, 헤드 마운트 디스플레이 기기(HMD) 등이 될 수 있다.

복수의 원격단말(3)은 스마트팩토리의 원격에서 현장 작업자에게 기술 지원을 하기 위한 전문가가 소지하고 있는 단말로서, 다수 개가 다자참여가 가능하다. 전문가는 각 분야의 전문가뿐만 아니라, 제조 설비사의 기술 엔지니어를 포함한다. 이 때, 각 원격단말(3-1, 3-2, …, 3-n) 간에 협업하여 현장단말(2)에 대한 원격지원이 가능하다. 예를 들어, 임의의 원격단말은 현장단말(2) 및 연결된 다른 원격단말과 각각 검색하거나 연관된 데이터를 공유하고, 공유된 데이터를 기반으로 작업자의 작업에 대한 기술 지원을 제공할 수 있다. 원격단말(3)은 PC, 노트북, 넷북, 태블릿PC, PDA, 모바일 등의 통상의 컴퓨팅 단말기일 수 있다.

XR 협업 시스템(1)을 통해 현장단말(2)과 원격단말(3) 사이의 협업이 이루어진다. 현장 작업자가 문제를 해결하지 못하여 전문가의 도움을 받아야 하는 상황이 발생할 수 있다. 이 경우, 현장단말(2)은 XR 협업 시스템(1)을 통해 원격단말(4)과 연결되어, 전문가로부터 기술 지원을 제공받을 수 있다. 이를 위해, XR 협업 시스템(1)는 현장단말(2) 및 원격단말(4)에 XR 협업툴을 제공하고 원격단말(4) 혹은 현장단말(2)로부터 기술 지원에 필요한 키워드를 식별하면 식별된 키워드에 따라 필요한 기능을 제공한다.

한편, 스마트팩토리에서의 원격지에서의 전문가의 부재 혹은 전문가의 전문성이 높지 않아, 원격단말(3)을 통해 원격 전문가의 도움을 받을 수 없는 상황이 발생할 수 있다. 이 경우, 현장단말(2)은 XR 협업 시스템(1)을 통해, 전문가 없이도 필요한 데이터를 손쉽게 검색하여 기술지원을 제공받을 수 있다. 구체적으로, XR 협업 시스템(1)는 기 학습된 AI 솔루션을 통해 빅데이터를 분석하여 현장 작업자가 필요한 데이터를 제공한다.

또한, XR 협업 시스템(1), 현장단말(2) 및 원격단말(3)은 각각 데이터를 전송하고 수신하기 위한 통신부, 데이터를 연산하기 위한 제어부, 데이터를 저장하기 위한 메모리부(또는 데이터베이스), 및 XR 협업을 위한 디지털 트윈을 표시하는 디스플레이부 등을 포함할 수 있다.

통신부는 유선통신모듈, 무선통신모듈 및 근거리통신모듈 중 적어도 하나를 통해 구현될 수 있다. 무선 인터넷 모듈은 무선 인터넷 접속을 위한 모듈을 말하는 것으로 각 장치에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), LTE(long term evolution), LTE-A(Long Term Evolution-Advanced) 등이 이용될 수 있다.

제어부는, 하드웨어적으로, ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다.

또한, 소프트웨어적으로, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 애플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리에 저장되고, 제어부에 의해 실행될 수 있다.

메모리는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard

disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, random access memory), SRAM(static random access memory), 롬(ROM, read-only memory), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

도 2는 도 1에 따른 XR 협업 시스템(1)의 구성을 도시하는 블록도이다.

XR 협업 시스템(1)은 현장단말(2)과 원격단말(3)이 확장 현실을 기반으로 협업이 가능한 플랫폼을 제공한다.

구체적으로, XR 협업 시스템(1)은 현장단말(2) 및 원격단말(3)을 통해 전송된 현장 작업자 및 원격 전문가의 음성을 텍스트로 인식하고, 기 학습된 AI 솔루션을 이용해 인식된 텍스트에 포함된 현장 작업자 및 전문가의 의도를 파악할 수 있다.

또한, XR 협업 시스템(1)은 기 학습된 AI 솔루션을 통해 파악된 현장 작업자 및 전문가의 의도와 대응되는 기능을 제공하거나 요청된 데이터를 검색하여 제공한다.

종래의 증강 현실(AR, Augmented Reality) 협업 솔루션은 단말을 사용하기 위한 매뉴얼이 존재하여 현장 작업자 또는 전문가가 해당 매뉴얼을 사전 학습해야하는 문제점이 존재했다. 또한, 원격지의 전문가가 충분한 전문성을 갖춰야하므로, 인적비용이 증가되는 문제점이 존재했다.

반면, 본 발명의 일 실시예에 따르면, 인식된 음성을 기 학습된 AI 솔루션을 통해 분석하여 기능 및 데이터 검색이 실행되므로, 매뉴얼에 대한 사전학습 없이 현장 작업자 및 원격 전문가가 실시간 음성인식 원격 협업 시스템을 사용할 수 있다.

또한, 본 발명의 일 실시예에 따르면, 음성인식을 통해 수행되므로, 현장 작업자 및 원격 전문가가 양손이 자유로운 상태에서 협업을 수행할 수 있다. 이는 두 손의 기능이 필요한 제조현장에서 생산성과 효율성을 증대시킬 수 있다.

또한, 본 발명의 일 실시예에 따르면, 기 학습된 AI 솔루션을 이용해 인식된 음성에 포함된 현장 작업자 및 원격 전문가의 의도에 매칭되는 기능 및 데이터 검색이 실행되므로, 협업이 원활하게 수행될 뿐만 아니라 필요한 데이터 추출에 소요되는 시간이 단축될 수 있다. 또한, 전문가의 전문성이 높지 않은 경우에도 원활한 협업이 수행될 수 있다.

도 2는 도 1에 따른 XR 협업 시스템(1)의 구성을 도시하는 블록도이다.

도 2를 참조하면, 도 1의 XR 협업 시스템(1)의 구성이 구체적으로 도시된다.

XR 협업 시스템(1)은 XR 협업 서버(11), 음성인식 AI 코어(12) 및 제조 도메인 빅데이터 코어(13)를 포함할 수 있다.

XR 협업 서버(11)는, 현장단말(2) 및 원격단말(3)에 협업을 위한 기능들을 제공할 수 있다. 구체적으로 XR 협업 서버(11)는 디지털 트윈 연결부(111), XR 협업툴 제공부(112), 3D XR 모델 제공부(113), AI 음성 협업봇 서비스 제공부(114) 및 추천 콘텐츠 뷰어 제공부(115), 및 통신부(116)를 포함할 수 있다.

디지털 트윈 연결부(111)는 현장단말(2) 및 원격단말(3)에 디지털 트윈 서비스를 연결할 수 있다. 상세한 내용은 후술한다.

XR 협업툴 제공부(112)는 XR 협업 제조에 필요한 각종 툴 인터페이스 제공할 수 있다. 상세한 내용은 후술한다.

3D XR 모델 제공부(113)는 XR 객체를 생성 및 저장할 수 있는 기능을 제공할 수 있다. 구체적으로, 캡처된 현장 작업자의 영상에 CAD파일로 작업한 3D XR모델과 CPS 데이터가 오버레이가 되어 AR작업이 행해질 수 있다. 예를 들어, 솔리드 웍스 사, 오토 데스크 사 등의 CAD 프로그램으로 만들어진 3D CAD 파일은 오버레이에 맞게 최적화(Optimize)되고, 컨버젼된 후 오버레이 될 수 있다. 오버레이에 관하여는 후술한다.

AI 음성 협업봇 서비스 제공부(114)는 현장단말(2) 및 원격단말(3)에 AI 음성 협업봇 서비스를 제공할 수 있다. 상세한 내용은 후술한다.

추천 컨텐츠 뷰어 제공부(115)는 이하의 도 6에서 상세히 후술한다.

도 3은 도 2의 디지털 트윈 연결부(111)에 의해 제공되는 디지털 트윈 서비스를 예시적으로 도시하는 개념도이다.

도 3을 참조하면, 현장 작업자의 실시간 영상에 AR 객체 및 CPS 데이터를 오버레이하는 디지털 트윈 모델 서비스가 예시적으로 도시된다.

디지털 트윈 연결부(111)에 대해 살펴본다. 디지털 트윈 연결부(111)는 현장단말(2) 및 원격단말(3)에 디지털 트윈 서비스를 연결하는 역할을 한다. 디지털 트윈 연결부(111)는 국제 통신 표준 기술인 OPC UA(Open Platform Communications Unified Architecture) 기반의 디지털 트윈(Digital twin)을 구현하는 CPS(Cyber Physical System, 사이버 물리 시스템) 서버와의 연결을 제공한다. CPS 서버에 관한 실시예는 특허출원 10-2019-0078047에 기재되어 있다.

OPC UA는 이종의 산업용 기기, 시스템 및 응용 서비스 등에 종속되지 않고 상호 운용성을 확보하여, 데이터 통합 및 교환을 가능하게 하는 산업용 데이터 통신 표준을 말한다. OPA UA는 기본적으로 클라이언트(Client), 서버(Server) 구조를 가지고 있어 센서 및 제어기와 같은 최하위 계층에 위치한 정보 제공자가 서버의 역할을 수행하며, 서버로부터 수집된 데이터를 상위 계층에서 분석, 응용하는 클라우드 서버와 같은 정보 소비자가 클라이언트의 역할을 수행하는 것이 일반적이다. 본 발명은 OPC UA를 기반으로 높은 보안성을 가지고 안전하게 고품질 설비 데이터를 제공하는 효과가 있다. CPS는 물리적 영역을 IoT(Internet of Things), ICT(Information & Communication Technology) 등의 기술을 활용하여 사이버로 동일하게 구현하고, 물리적 영역의 실시간 데이터를 사이버로 실시간으로 전달하며, 사이버 상에서의 프로세스 처리를 통해 물리적 영역으로 피드백을 주는 것을 의미한다. 또한, 디지털 트윈(Digital Twin)은 장치의 실시간 데이터를 기반으로 물리적 제조 현장에 맞춰 조정되고, 동기화된 사이버 세계의 디지털 모델(Digital Model)을 의미한다.

현장의 모터, 제조 로봇, 컨베이어 등과 같은 각종 생산 장비에 대한 실시간 데이터들은 센서들을 통해 수집된다. 구체적으로, PLC(Programmable Logic Controller), DCS(Distributed Control System) 등과 같이 각종 생산 장비를 실행하고 생산 공정을 제어하는 제어기(Controller)를 통해 실시간 데이터는 수집될 수 있다. OPC UA는 장치별 특유한 여러 필드버스들을 상호운용 가능하게 연결할 수 있다. 수집된 데이터는 스마트 커넥터(Smart Connector)를 통해 CPS 서버로 전달될 수 있다.

디지털 트윈으로 전송될 장치의 실시간 값들, 혹은 디지털 트윈 값(Digital Twin Values)은, 각 장치의 실시간 데이터들로서 OPC UA의 중앙 서버의 주소 공간(Adress Space)에 디지털 트윈 값으로 전송된다. 이러한 데이터들은, 이산(discrete) 값이 아니라, 데이터의 스트림(stream) 일 수 있다.

디지털 트윈 연결부(111)는 CPS 서버에 위치한 OPC UA 서버에, 주소 공간(Address Space)의 실시간 값을 AR 객체에 실시간으로 맵핑(Mapping)할 수 있다. 또한, CPS 서버를 연계하여 가상 설비와 연결할 수 있다.

일 실시예에 따르면, CPS 서버는 복수의 현장에 대응되는 복수의 OPC UA Server를 계층적 구조로 하나로 통합하여, 하나의 중앙 주소 공간(Centralized Address Space)을 구축할 수 있다. 바람직하게는, 하나의 중앙 주소 공간에 대한 단일 연결만으로 전체 공장의 데이터데이터를 지연 없이 실시간으로 맵핑할 수 있다.

본 발명에 따른 일 실시예로서, 디지털 트윈은 CPS로 전달되는 현장 장비들의 실시간 데이터를 XR 인터페이스로 제작함으로써 모니터링 가능하게 할 수 있다. XR 인터페이스는 후술할 XR 협업툴에 제공되어, 현장 작업자의 실시간 영상에 AR 처리된 영상 및 원격 전문가가 입력한 드로잉이 오버레이되어 디스플레이 될 수 있다.

구체적으로, 현장단말(2)을 통해 챕처된 현장 작업자의 영상이 AR 서버(도면에 도시되어 있지 않음)로 전송될 수 있다. 여기에서, 3D XR 모델 제공부(113)캡처된 현장 작업자의 영상에 CAD파일로 작업한 AR모델과 CPS 데이터가 오버레이가 되어 AR작업이 행해질 수 있다. 예를 들어, 솔리드 웍스 사, 오토 데스크 사 등의 CAD 프로그램으로 만들어진 3D CAD 파일은 오버레이에 맞게 최적화(Optimize)되고, 컨버젼된 후 오버레이 될 수 있다. 구체적으로, 물리적 장치의 지오메트리(geometry)가 파악되며, 거리 혹은 뎁스(detph)가 조합되어 렌더링될 수 있다. 본 기술적 분야의 통상의 기술자는 이러한 생성 과정을 이해할 수 있을 것이다.

도 4는 도 2의 XR 협업툴 제공부(112)에 의해 제공되는 XR 협업툴의 동작화면을 예시적으로 도시하는 개념도이다.

도 4를 참조하면, XR 협업툴 제공부(112)에 의해 제공되는 XR 협업툴이 단말에서 디스플레이되는 모습이 예시적으로 도시된다.

XR 협업툴 제공부(112)는 XR 협업툴에 현장단말(2) 및 원격단말(3)에 영상확대, 영상축소 기능을 제공한다. 또한 XR 협업툴 제공부(112)는 CPS 데이터 호출 등의 기능을 제공할 수 있다. 이 경우, XR 협업 툴로 디지털 트윈 값이 맵핑되어 디스플레이 될 수 있다. 또한, 현장 작업자의 영상에 그림을 그릴 수 있는 AR 드로잉 기능을 제공하여 현장 작업자와 원격 전문가 사이의 원활한 커뮤니케이션을 도울 수 있다.

XR 협업툴은 위와 같은 XR 협업 제조에 필요한 각종 툴 인터페이스(Tool interface)를 현장단말(2) 및 원격단말(3)에 제공할 수 있다.

본 발명의 일 실시예에서, XR 협업툴은 통신부(116)를 통해 현장단말(2)과 원격단말(3)을 연결하여 협업이 가능한 XR 인터페이스를 구축하며, 단말이 진입 가능한 포탈을 설정할 수 있다. 여기서, 현장단말(2)은 복수의 현장단말(2-1, …, 2-n)이 될 수 있으며, 원격단말(3)은 복수의 원격단말(3-1, …, 3-n)이 될 수 있음은 앞서 살핀 바와 같다. 본 개시내용에 따른 이 실시예의 상세한 단계들은 다음과 같다:

XR 협업툴은 통신부(116)를 통해 현장단말(2)에서 원격단말(3)로, 네트워크(4)를 거쳐 접속을 요청하는 셋업 요청 메시지(Setup Request Message)를 전송할 수 있다. 이 메시지는 작업 대상인 식별된 장비에 대한 정보를 포함할 수 있다.

셋업 요청 메시지를 수신한 후, 원격단말(3)은 네트워크(4)를 거쳐, 원격 협업을 승낙할지 여부의 인풋을 원격 전문가로부터 입력받아, 셋업 응답 메시지(Setup Response Message)를 송신할 수 있다. 메시지 송신으로 현장단말(2) 및 원격단말(3)의 셋업은 설정되며, 단말은 포탈을 통해 XR 협업툴에서 통신할 수 있다.

XR 협업툴 상의 구성에 대해 살펴본다. XR 협업툴 상의 한 쪽 구성에, 예를 들어, 좌측 상단에 AI 음성 협업봇이 디스플레이 될 수 있으며, 다른 한쪽에, 예를 들어, 좌측 하단에는 연결이 이루어진 단말의 유저의 얼굴이 디스플레이 될 수 있다. 또한, 단말의 디스플레이부의 전체에 디지털 트윈이 디스플레이 될 수 있다. 또한, XR 협업툴의 하단에는 제공되는 서비스들이 아이콘화되어 디스플레이 될 수 있다.

XR 협업툴은 단말에서 어플리케이션(Application)의 형태로 구현될 수 있다.

도 5는 도 2의 AI 음성 협업봇 서비스 제공부(114)에 의해 제공되는 AI 음성 협업봇의 동작을 예시적으로 도시하는 개념도이다.

도 5를 참조하면, AI 음성 협업봇 서비스 제공부(114)에 의해 현장단말(2) 및 원격단말(3)에 제공되는 AI 음성 협업봇 서비스 기능이 예시적으로 도시된다.

도2를 참조하면, AI 음성 협업봇은 음성인식 AI 코어(12)를 통해 구현된다.

음성인식 AI 코어(12)는 음성인식 AI 모델(121), 유사키워드 인식 AI 모델(122), STT/TTS 서버(123) 및 NLU 서버(124)를 포함할 수 있다.

STT 서버(123)는 입력된 음성 신호를 텍스트로 변환하며, NLU 서버(124)는 음성 신호로 입력된 인식 또는 변환된 텍스트를 해석할 수 있다.

음성인식 AI 모델(121)은 해석된 현장 작업자의 및 원격 전문가의 음성과 명령수행을 매칭시키도록 학습된다. 음성인식 AI 모델(121)에 의해 수행될 명령이 인식되며, 인식된 명령이 수행된다. 예를 들어, XR 협업 서버(11)가 제공하는 각종 기능이 수행될 수 있으며, 요청된 데이터에 대한 검색이 수행될 수 있다.

유사키워드 인식 AI 모델(122)은 키워드간의 유사성을 학습하고, 식별된 키워드와 유사성이 있는 키워드를 생성/식별할 수 있다.

예를 들어, 현장 작업자의 및 원격 전문가의 음성으로부터 특정 키워드가 도출된 경우, 해당 키워드와 유의미한 유사성이 있는 유사키워드를 검출하고, 이에 대한 데이터 검색이 수행될 수 있다.

본 발명에 따른 일 실시예에서, AI 음성 협업봇은 XR 원격 협업 세션의 셋업이 설정되면, 회의를 비활성화된 상태에서 자동으로 참석할 수 있다.

본 발명에 따른 일 실시예에서, AI 음성 협업봇은 호출 대기상태에서 기 설정된 호출어(Wake-up word)를 통해 활성화 되고, 활성 상태에서 호출어 뒤의 명령어를 인식할 수 있다. 즉, 활성 상태는 AI 봇이 음성을 인식하는 상태를 말한다. 호출어란 기본적으로 봇이 대기 상태에 있다가 특정 단어가 입력되면　그것을 감지하여 봇을 깨우는 역할을 하는 단어(word)를 말한다.

예를 들어, AI 음성 협업봇은 "인텔로이드"라는 기 설정된 호출어를 통해 활성되어, 현장 작업자 또는 원격 전문가의 음성 신호를 인식할 수 있다. 예컨대, 현장단말(2) 또는 원격단말(3)에 입력되는 첫 음성 신호가 "인텔로이드! 이 기계 장애 리포트 좀 찾아줘"라면, 해당 음성 입력은 음성 신호 처리부(도면 비도시)를 거쳐 음성 처리 엔진에 전달됨으로써 통상적인 음성인식 기능을 통해 처리되게 된다. 이 때, 활성화를 위한 호출어인 "인텔로이드"는 별개의 데이터베이스에 미리 저장되어, 키워드 검출(Keyword Spotting) 기술을 통해 검출될 수 있다.

한편, 호출어는 하나의 단어만 등록되어 사용될 수도 있으나, 필요에 따라 복수의 단어가 등록되어 사용될 수도 있으며, 복수의 호출어가 등록될 수도 있다.

대안적으로, 호출어의 인식률 향상을 위하여 현장에서 녹음된 데이터 베이스를 추가하여, 아쿠스틱 모델(Acoustic Model) 트레이닝을 할 수 있다. 바람직하게는, 소음을 반영한 노이즈 데이터 베이스를 사용하여 트레이닝 할 수 있다.

구체적으로, 음성 신호에 담긴 사용자(현장 작업자, 원격 전문가)의 의도가 인식되는 과정을 살펴본다.

활성화된 AI 음성 협업봇은 현장단말(2) 및 원격단말(3)로부터 감지된 현장 작업자 및 원격 전문가의 음성 신호를 NLU 서버(124)를 통해 처리하여 명확한 의도를 식별할 수 있다. 구체적으로, 호출어 이후의 음성 신호는 제어 서버를 통해 STT 서버(123) 및/또는 NLU 서버(124)로 전송될 수 있다. 더욱 구체적으로, NLU 서버(124)는 음성인식 엔진을 포함할 수 있으며, 호출어 이후로 입력된 음성 신호는 네트워크(4)를 통해 전송되어, STT 서버(123) 및/또는 NLU 서버(124)로 전송될 수 있다. 예를 들어, 입력된 음성 신호 중 호출어 이후의 음성 신호는 "이 기계 장애 리포트 좀 찾아줘"가 될 수 있다. 이 음성 신호는 STT 서버(123)를 통해 텍스트로 먼저 변환이 된다. 그 후, NLU 서버(124)를 통해 자연어 처리(Natural Language Processing) 기능을 통해 처리가 수행되고, 수행된 결과의 명령어(Instructions)와 매칭되는 기능을 XR 협업 서버(11)상에서 제공할 수 있다. 여기에서, 통상의 심층 인공 신경망(DNN, Deep Neural Network) 기술을 통해 자연어 처리가 수행됨을 본 기술분야의 통상의 기술자는 이해할 수 있을 것이다. 또한, 자연어 처리 엔진과 관련하여, 엔티티와 인텐트가 별개로 NLU 엔진에 반영될 수 있음을 이해할 것이다. 또한, 단말기 연동을 위해 JSON 포맷의 인터페이스로가 정의될 수 있음을 이해할 것이다.

또한, 본 발명의 일 실시예를 따르면, AI 음성 협업봇은 감지된 음성을 STT(Speech-to-Text) 엔진을 통해 텍스트화할 수 있으며, 이를 화면에 디스플레이할 수 있다. 텍스트를 통해 현장 작업에서의 효율이 증대될 수 있다.

본 발명에 따른 일 실시예에서, AI 음성 협업봇 서비스 제공부(114)는 유사 키워드 데이터 베이스를 포함할 수 있다. 제조업 현장의 분야에 따라 특징적으로 사용되는 단어는 다양하며, 세분화 되어있다. 이러한 전문 단어들을 포함하는 데이터 베이스를 구축하고, 이를 유사 키워드로 나열하여, 통상의 유사 키워드 데이터 베이스 기술을 통해, 사용자의 의미 분석을 효과적으로 수행할 수 있다.

본 발명에 따른 일 실시예에서, 데이터 베이스는, 바람직하게는, 한국어로 축적될 수 있다. 국문 데이터 베이스와 머신 러닝을 통해 산업 특징적인 키워드를 학습하도록 하여, 유사 키워드의 인식률을 바람직하게는 90%이상 높일 수 있다. 또한 제조 협업 문장을 학습하여, 문장 인식도의 정확도를 바람직하게는 90%까지 높일 수 있다.

본 발명에 따른 일 실시예에서, AI 음성 협업봇 서비스 제공부(114)는 유사 키워드로 사용자의 의도가 식별된 후, 관련 컨텐츠를 검색할 수 있다. 이러한 검색은 후술할 제조 도메인 빅데이터 코어(13)를 통해 이루어질 수 있다. 음성인식 AI 코어(12)와 제조 도메인 빅데이터 코어(13)는 각기 API 서버를 포함할 수 있으며, 이러한 API 서버를 통해 서로 데이터를 주고받을 수 있다.

본 발명에 따른 일 실시예에서, AI 음성 협업봇 서비스 제공부(114)는 식별된 명령어에 따라, 저장된 트러블슈팅(Trouble Shooting)을 제공할 수 있다. 구체적으로, 후술할 제조 도메인 빅데이터 코어(13)에 저장된 제조업 현장 시스템 데이트베이스(131)에 저장된 데이터를 디스플레이 할 수 있다. 이 때, 저장된 데이터의 유형에 맞게 제공할 수 있다. 예를 들어, jpg인 경우, 디스플레이, mp3인 경우, 재생이 될 수 있다.

본 발명에 따른 일 실시예에서, AI 음성 협업봇 서비스 제공부(114)는 음성 협업봇 뿐만 아니라 관련된 서비스도 제공할 수 있다. 구체적으로 제조 도메인 빅데이터 코어(13)에서 실시간 CPS 빅데이터 기반으로 실시간으로 사용자가 원하는 분석 결과를 제공할 수 있다. 시공간 빅데이터 엔진(132)을 통해 장치별 디지털 트윈값의 추이 및 범위를 제공할 수 있다. 예를 들어, 알람, 또는 분석 현황 그래프 등으로 제공할 수 있다.

도 6은 도 2의 추천 콘텐츠 뷰어 제공부(115)에 의해 제공되는 추천 콘텐츠 뷰어를 예시적으로 도시하는 개념도이다.

도 6을 참조하면, AR 글라스를 통해 추천 콘텐츠 뷰어를 활용하는 모습이 예시적으로 도시된다.

추천 콘텐츠 뷰어 제공부(115)는 현장 작업자 또는 원격 전문가로부터 요청된 기능 또는 데이터 검색과 관련된 추천 컨텐츠를 제공할 수 있다.

본 발명의 일 실시예에 따르면, AI 음성 협업봇과 음성인식 AI 코어(12)를 통해 식별된 명령어는 빅데이터 엔진(132)에 검색이 의뢰될 수 있다.

그 후, 빅데이터 엔진에서 받은 자료의 리스트를 AR 영상위에 추천으로 리스트 하고 현장 근무자는 그 중에서 필요한 데이터를 AR 어플리케이션 안에서 바로 열람할 수 있다. 추천 콘텐츠 뷰어 제공부(115)로 인해 자료 검색에 들어가는 시간을 현저하게 줄여 빠른 문제 해결을 할 수 있는 효과가 있다.

또한, 정확한 문제 해결 데이터가 제시되어 단축된 해결 시간으로 생산성 및 효율성을 증대시킬 수 있다.

본 발명의 일 실시예에 따르면, 추천 콘텐츠 뷰어 제공부(115)에 의해 제공되는 추천 콘텐츠는 마이크로소프트 워드(MS Word), PDF, 사진, 동영상, 또는 음성(mp3)등의 형태로 제공될 수 있다. 콘텐츠가 사진인 경우 JPEG, TIFF의 형식일 수 있고, 동영상인 경우 MPEG, AVI, MP4, M4V, WMV, MWA, ASF, MPG, MPEG, MKV, MOV 등의 형식일 수 있다. 원격 협업에 있어서, 별도의 검색 없이도 이들 추천 콘텐츠가 제공되어 작업자 혹은 전문가가 검색하는 시간이 대폭 감소되며 심도 높은 기술 지원이 가능하다.

도 7은 도 2의 제조 도메인 빅데이터 코어(13)를 예시적으로 도시하는 개념도이다.

도 7을 참조하면, 제조 도메인 빅데이터 코어(13)가 다양한 형태의 데이터를 수집/가공/저장/처리/제공하는 과정이 예시적으로 도시된다.

도 7 및 도 2를 참조하면, 제조 도메인 빅데이터 코어(13)는 데이터베이스(131) 및 시공간 빅데이터 엔진(132)을 포함할 수 있다.

데이터베이스(131)에는 제조업 현장 시스템의 MES(Manufacturing Execution System), ERP(Enterprise Resource Planning), 설비관리, PDM/SCM(Project Design Matrix/Supply Chain Management)에 대한 데이터가 저장되며, CPS 서버의 CPS 데이터, 3D 객체 데이터 및 시계열 데이터가 저장된다.

또한, 시공간 빅데이터 엔진(132)은 CPS의 계층적 구조의 노드(Node)에서 발생하는 시계열 데이터를 수집하여, 메타 데이터를 가지고 있는 다차원 데이터를 처리할 수 있다. 시공간 데이터는 다양한 제원에서 수집되어 시간/공간에 대한 정보를 가지고 있는 다차원 데이터를 말한다.

구체적으로, 시공간 빅데이터 엔진(132)의 저장 및 검색은 다차원 멀티 인덱싱으로 구현될 수 있다. 본 발명 분야의 통상의 기술자는 다차원 멀티 인덱싱을 통해, 데이터 및 사용자 특성에 적합한 저장 및 검색기능이 최적화 될 수 있음을 이해할 것이다. 또한, 다차원 멀티 인덱싱을 통해 현장의 복잡한 데이터들의 색인 속도는 한층 개선될 수 있다.

본 발명의 일 실시예에 따르면, 제조업 도메인 빅데이터 코어(13)는 이종 산업의 다양한 저장소를 통합할 수 있다. 이를 통해 다양한 영상/음성 등 NoSQL 데이터가 지원될 수 있으며, AI 음성 봇과 연계하여 저장된 회의록 및 트러블슈팅 로그, 작업일지, 녹화 영상 등을 통해, XR 협업 시스템(1)상의 협업을 디지털화할 수 있다.

또한, 수집되는 데이터(Source)의 형식은, Open API 등과 연계하여 수집된 데이터의 형식일 수 있다. 또한, 파일 포맷 데이터(File formatted Data) 및/또는 스트리밍 데이터(Streaming Data)의 형식일 수도 있다.

본 발명의 일 실시예에 따르면, 시공간 빅데이터 엔진(132)은 수집된 시계열 데이터에 대해 AI를 이용한 분석(머신러닝, 딥러닝 등)을 통해, 데이터 분석 및 예측 데이터를 제공할 수 있다. 또한, 이러한 결과는 데이터에 대한 통계분석, 시각화 등으로 구현될 수 있다. 구체적으로, CPS의 계층적 구조의 특정 노드(Node)의 시계열 값에서 기준치 이상의 값을 판단할 수 있다. 예를 들어, 이상 값은 머신 러닝의 알고리즘 중, 어노말리 디텍션(Anomaly Detection)을 통해 판단할 수 있다. 기준치 이상의 값이 판단되면, 이 전에 수집된 시계열 데이터에서 이상 데이터 검출로 장애 요인을 추정할 수 있다. 또한, 특정 노드의 시계열 빅데이터에서 이상 수치 이력 및 이후 추이에 대한 분석 결과를 그래프로 제공할 수 있다.

예를 들어, 현장 작업자 또는 원격 전문가가 AI 봇을 통해 데이터를 요청한 경우, 정확히 매치되는 데이터가 없을 수 있다. 이 때, 음성인식 AI 코어(12)는 API 서버를 통해 시공간 빅데이터 엔진(132)에 해당 장비의 노드 값의 시계열 데이터의 분석 및 그래프를 요청하고, 빅데이터 엔진(132)은 해당 장비의 노드들의 시계열 분석 그래프를 실시간으로 제공함으로써, 문제의 원인을 식별할 수 있는 자료를 제공할 수 있다.

본 발명의 일 실시예에 따르면, 시공간 빅데이터 엔진(132)은 데이터 검색을 제공할 수 있다. 구체적으로, 검색은, 예컨대, 데이터 확인, 필터링 및 Correlation, Anova, 리그레션(Regression)과 같은 통계 분석을 통해 구현될 수 있다. 또한, 예를 들어, 시공간 빅데이터 엔진(132)은 특정 일자, 각종 태그 정보의 데이터 수치값에 대한 평균, 분산, 비대칭도, 첨도 등의 통계량을 검색에 대한 기초자료로 활용할 수 있다.

본 발명의 일 실시예에 따르면, 자료 검색의 색인속도는 3초 이내가 될 수 있다. 또 다른 일 실시예에 따르면, 분석 알고리즘을 학습하게 할 수 있다.

이를 통해, 데이터 베이스(131)의 CPS 데이터 베이스 상에서 데이터 추출 시간은 10초 이내일 수 있다.

본 발명의 또 다른 일 실시예에 따르면, 시공간 빅데이터 엔진(132)은 수집된 데이터의 연관성을 분석할 수 있다. 구체적으로, 빅데이터 알고리즘을 통하여 센서에서 수집되는 데이터와 해당 시점에서의 온도, RPM등의 다른 데이터와의 연관성을 분석할 수 있다. 예를 들어, 제1 장치와 제2 장치에서 수집된 데이터를 분석할 수 있다. 각 장치에서의 조건과 반응을 연결하는 분석에 활용되며, 데이터 항목간의 상호관계 또는 종속관계를 찾아낼 수 있다.

본 발명의 또 다른 일 실시예에 따르면, 시공간 빅데이터 엔진(132)은 다양한 머신러닝 기법을 활용하여 예측 모델을 개발할 수 있다. 예를 들어, Decision Tree, Linear Regression, Random Forest Model 등의 알고리즘을 활용해, 장래의 장치의 상태 변화를 예측하고 제공할 수 있다. 또한, 소정의 관측 변수들을 특정하여, 모형들 간의 성능 비교를 통해 예측의 정확도를 높일 수 있다.

본 발명에 따른 일 실시예로서, 제조 도메인 빅데이터 코어(13)는 클라우드 형식으로 구현될 수 있다. 이를 통해 시간/장소/단말에 구애 받지 않는 효과를 얻을 수 있다.

도 8을 참조하면, 지금까지 상술한 AI 기반 음성인식 원격 협업 시스템의 전체 동작이 예시적으로 도시된다.

본 발명에 따른 시스템은, XR 협업 시스템(1)을 통해 원격 전문가, 현장 작업자, AI 봇이 협업을 할 수 있도록 제공된다.

이와 같은 도 8의 AI 기반 음성인식 원격 협업 시스템에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 7을 통해 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.

상술한 XR 협업 서버(11), 음성인식 AI 코어(12) 및 제조 도메인 빅데이터 코어(13)에 의해 다음과 같은 기능이 수행될 수 있다.

구성	기능	세부기능
XR 실시간 원격 AI 협업 제조 어플리케이션	디지털 트윈 연결	- Flexing CPS 서버를 연계하여 가상 설비와 연결 - CPS 실시간 데이터 모니터링를 위한 XR 인터페이스 제공
	XR 협업 툴	- XR 협업 제조에 필요한 각종 툴 인터페이스 제공 - 모바일 협업 회의장 구축 및 진입 포탈 제공 - AR 드로잉 / CPS 값 매핑 - 모바일 협업 어플리케이션 제공
	3D XR 모델	- 3D 모델링 AR 결합 및 뷰잉 - XR 객체 생성 및 저장 제작 툴
	AI 협업봇 서비스	- AI 봇 협업 회의 자동 참석 - 음성인식 의미 해석 후 관련 컨텐츠 추천 - 알고 있는 트러블슈팅 상황 가이드 - 제조 도메인 코어에서 CPS 실시간 빅데이터 기반으로 실시간 추론, 분석 AI를 통한 설비별 데이터 추이 및 범위 (알람, 분석 현황 그래프 등)
	추천 컨텐츠 뷰어	- 워드 파일 뷰어- PDF 뷰어 - 동영상/음성 컨텐츠 플레이어
음성인식 AI 코어	AI 협업 봇 Wake up	- AI 협업 봇 Wake up 기능 적용 - 회의 자동 참석 및 자동 대기 기능
	유사키워드 인식 AI 모델	- XR 제조 협업 환경 인풋 데이터기반의 유사키워드 생성 - 제조 협업 관련 키워드 및 의미 학습 기능
	음성인식 AI 모델 구현	- 실시간 자연어 의미 해석- 자연어 해석 및 명령 수행을 위한 명령 매핑 - 음성 회의록에서 의미분석 및 데이터 학습 - 음성데이터에서 키워드 추출 및 모델 재학습
제조 도메인 빅데이터 코어	제조업 도메인 빅데이터 인프라 구축	- CPS의 시계열 수치 데이터의 빅데이터 구축 - 빅데이터 관리 DB - 의미 관련 단어 연결 검색 - 색인 속도 최적화
	산업체의 각종 컨텐츠 통합화로 제조 도메인 지식 디지털 전환	- 산업체의 다양한 저장소를 통합할 수 있는 인터페이스 제공 - 다양한 영상/음성 등 NoSQL 데이터 지원 - 회의록 및 트러블슈팅 로그, 작업일지, 녹화 영상등 을 통한 제조업 숙련공 노하우 디지털화 - 키워드 기반 디지털 데이터 태그 맵핑
	시계열 데이터 분석 및 예측 데이터	- 시계열 데이터의 분석 및 분류- 특정 Node 값의 시계열 추이에서 기준치 이상의 값 판단 - 직전 시계열 데이터 이상 데이터 검출로 장애 요인 추정 - 시계열 빅데이터에서 이상 수치 이력 및 이후 추이 그래프 제공

2. 본 발명의 일 실시예에 따른 AI 기반 실시간 음성인식 원격 협업 방법(S1)의 설명

도 9는 본 발명의 일 실시예에 따른 음성인식 원격 협업 방법의 과정을 도시하는 흐름도이다.

도 9를 참조하면, 본 발명의 일 실시예에 따른 음성인식 원격 협업 방법(S1)은 현장단말(2)을 통해 작업대상인 장비를 식별하는 단계(S10), 현장단말(2) 및 원격단말(3) 사이의 셋업이 성립(Establish)되는 단계(S20), 현장단말(2) 및 원격단말(3) 중 적어도 하나에서 입력된 음성 신호를 분석하여 명령어를 식별하는 단계(S30) 및, 식별된 명령어와 대응하는 기능 또는 데이터 검색 기능을 실행하는 단계(S40)를 포함할 수 있다.

현장단말을 통해 작업대상인 장비를 식별하는 단계(S10)의 과정은 다음과 같다.

먼저, OPC UA 서버를 사용하여 복수의 장비의 데이터를 저장 가능한 주소 공간(Adress Space)을 생성하여 CPS 시스템을 구축할 수 있다(S11).

스마트팩토리의 장비들이 대한 데이터를 국제표신 통신 프로토콜인 OPC UA를 통해 주소 공간(Address Space)로 생성하여 CPS 시스템을 구축할 수 있다.

또한, 현장단말(2)을 통해 식별 코드가 인식되어 작업대상인 장비를 식별할 수 있다(S12). 식별 코드는 예를 들어, 고유의 바코드, 2-D QR 코드, 시리얼 넘버 등이 될 수 있다. 또한, 현장단말(2)이 스마트 팩토리의 장비를 사물인식하여 장비 데이터를 획득할 수 있다.

또한, CPS 시스템으로부터 식별된 장비로부터의 실시간 데이터 스트림을 송신할 수 있다(S13).

또한, 송신된 실시간 데이터 스트림이 현장단말(2) 및 원격단말(3)에 디스플레이될 수 있다(S14).

현장단말(2) 및 원격단말(3) 사이의 셋업이 성립되는 단계(S20)의 과정은 다음과 같다.

XR 협업툴은 통신부(116)를 통해 현장단말(2)에서 원격단말(3)로, 네트워크(4)를 거쳐 접속을 요청하는 셋업 요청 메시지(Setup Request Message)를 전송할 수 있다(S21). 이 메시지는 작업 대상인 식별된 장비에 대한 정보를 포함할 수 있다.

셋업 요청 메시지를 수신한 후, 원격단말(3)은 네트워크(4)를 거쳐, 원격 협업을 승낙할지 여부의 인풋을 원격 전문가로부터 입력받아, 셋업 응답 메시지(Setup Response Message)를 송신할 수 있다(S22).

메시지 송신으로 현장단말(2) 및 원격단말(3)의 셋업이 설정될 수 있으며(S23), 단말은 포탈을 통해 XR 협업툴에서 통신할 수 있다.

이 때, AI 음성 협업봇이 비활성 상태로 셋업에 참여한다(S24).

현장단말 및 원격단말 중 적어도 하나에서 입력된 음성 신호를 분석하여 명령어를 식별하는 단계(S30)의 과정은 다음과 같다.

현장단말(2) 및 원격단말(3) 중 적어도 하나를 통해 입력된 제1 음성 신호 중 기 설정된 제 1 키워드를 검출할 수 있다(S31).

제1 키워드는 기 설정된 형태의 음성, 또는 호출어일 수 있다.

검출 결과를 기초로 제1 음성 신호의 제1 키워드 이후의 제2 음성 신호를 입력 받을 수 있다(S32).

호출어 음성 신호는 텍스트화 될 수 있고, 호출어 음성 신호 및 텍스트 중 적어도 하나에 의해 AI 음성 협업봇이 활성화될 수 있다.

제2 음성 신호를 제1 서버로 전송할 수 있다(S33). 제2 음성 신호는 제1 서버에서 처리될 수 있다.

상기 제1 서버에서 처리된 상기 제2 음성 신호를 제2 서버로 전송할 수 있다(S34). 제2 음성 신호는 텍스트화 될 수 있고, 입력된 음성 신호 및 텍스트 중 적어도 하나가 AI 음성 협업봇에 의해 분석 및/또는 처리될 수 있다.

제2 서버에서 처리된 제2 음성 신호로부터 기 설정된 제2 키워드를 검출하여, 제2 음성 신호에 포함된 명령어를 식별할 수 있다(S35).

지시명령과 대응하는 기능 또는 데이터 검색을 실행하는 단계(S40)의 과정은 다음과 같다.

AI 음성 협업봇이 명령어와 대응하는 기능 또는 대응하는 데이터 검색을 실행할 수 있다(S41).

AI 음성 협업봇이 명령어와 연관된 추천 데이터 검색을 실행할 수 있다(S42).

AI 음성 협업봇은 지시명령과 매칭되는 기능 또는 데이터 검색을 실행한다(S34).

또한, AI 음성 협업봇은 지시명령과 연관된 추천 데이터 검색을 실행한다(S35).

AI 음성 협업봇에 의해 검색된 대응 데이터 및/또는 연관된 추천 데이터가 현장단말(2) 및 원격단말(3) 중 적어도 하나로 제공될 수 있다(S36).

현장 작업자 및 원격 전문가는 AI 음성 협업봇을 통해 제공받은 데이터를 활용하여 작업 대상인 장비에 대한 문제를 비대면 협업으로 해결한다.

이상에서 전술한 본 발명의 일 실시예에 따른 방법은, 하드웨어인 서버와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.

상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 데이터나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 데이터나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

1: XR 협업 시스템
2: 현장단말
3: 원격단말
4: 네트워크
11: XR 협업 서버
111: 디지털 트윈 연결부
112: XR 협업툴 제공부
113: 3D XR 모델 제공부
114: AI 음성 협업봇 서비스 제공부
115: 추천 컨텐츠 뷰어 제공부
116: 통신부
12: 음성인식 AI 코어
121: 음성인식 AI 모델
122: 유사키워드 인식 AI 모델
123: STT/TTS 서버
124: NLU 서버
13: 제조 도메인 빅데이터 코어
131: 데이터베이스
132: 시공간 빅데이터 엔진

Claims (10)

1. 음성인식을 통한 원격 협업 시스템에 의해 수행되는 방법에 있어서,
   현장단말을 통해 작업대상인 장비를 식별하는 단계;
   상기 현장단말과 원격단말 사이의 셋업이 성립(Establish)되는 단계;
   상기 현장단말 및 상기 원격단말 중 적어도 하나에서 입력된 음성신호를 분석하여 명령어를 식별하는 단계; 및
   상기 식별된 명령어와 대응하는 기능 또는 데이터 검색 기능을 실행하는 단계를 포함하는, 인공 지능 기반 실시간 음성인식 원격 협업 방법.
2. 제1항에 있어서,
   상기 현장단말을 통해 작업대상인 장비를 식별하는 단계는,
   제1 서버를 사용하여 복수 장비의 데이터를 저장 가능한 제1 주소 공간을 생성하여 가상 물리 시스템(CPS, Cyber Physical System)을 구축하는 단계; 및
   상기 현장단말을 통해 식별 코드가 인식되어 상기 장비가 식별되는 단계를 포함하는, 인공 지능 기반 실시간 음성인식 원격 협업 방법.
3. 제2항에 있어서,
   상기 CPS 시스템에 상기 식별된 장비로부터의 실시간 데이터 스트림을 송신하는 단계; 및
   상기 송신된 실시간 데이터 스트림이 상기 현장단말 및 상기 원격단말에 디스플레이되는 단계를 더 포함하는, 인공 지능 기반 실시간 음성인식 원격 협업 방법.
4. 제3항에 있어서,
   상기 실시간 데이터 스트림을 송신하는 단계는,
   상기 제1 주소 공간에 대한 단일 연결로 송신되는 것을 특징으로 하는, 인공 지능 기반 실시간 음성인식 원격 협업 방법.
5. 제4항에 있어서,
   상기 현장단말과 원격단말 사이의 셋업이 성립되는 단계는,
   상기 현장단말에서 상기 원격단말로 접속을 요청하는 셋업 요청 메시지(Setup Request Message)를 전송하는 단계;
   상기 셋업 요청 메시지를 수신한 후, 상기 원격단말은 원격 협업을 승낙할지 여부를 입력받아, 셋업 응답 메시지(Setup Response Message)를 송신하는 단계;
   상기 현장단말 및 상기 원격단말의 셋업이 설정되는 단계; 및
   인공 지능 음성 협업봇이 비활성 상태로 상기 셋업에 참여하는 단계를 포함하는, 인공 지능 기반 실시간 음성인식 원격 협업 방법.
6. 제4항에 있어서,
   상기 현장단말 및 상기 원격단말 중 적어도 하나에서 입력된 음성신호를 분석하여 명령어를 식별하는 단계는,
   상기 현장단말 및 상기 원격단말 중 적어도 하나를 통해 입력된 제1 음성 신호 중 기 설정된 제 1 키워드를 검출하는 단계;
   상기 검출 결과를 기초로 상기 제1 음성 신호의 상기 제1 키워드 이후의 제2 음성 신호를 입력 받는 단계;
   상기 제2 음성 신호를 제1 서버로 전송하는 단계;
   상기 제1 서버에서 처리된 상기 제2 음성 신호를 제2 서버로 전송하는 단계; 및
   상기 제2 서버에서 처리된 상기 제2 음성 신호로부터 기 설정된 제2 키워드를 검출하여, 상기 제2 음성 신호에 포함된 명령을 식별하는 단계를 포함하는, 인공 지능 기반 실시간 음성인식 원격 협업 방법.
7. 제6항에 있어서,
   상기 제1 서버는 STT 엔진을 포함하고,
   상기 제 2서버는 NLP 엔진을 포함하는 것을 특징으로 하는, 인공 지능 기반 실시간 음성인식 원격 협업 방법.
8. 제4항에 있어서,
   상기 지시명령과 대응하는 기능 또는 데이터 검색을 실행하는 단계는,
   상기 인공 지능 음성 협업봇이 상기 명령어와 대응하는 기능 또는 대응하는 데이터 검색을 실행하는 단계;
   상기 인공 지능 음성 협업봇이 상기 명령어와 연관된 추천 데이터 검색을 실행하는 단계; 및
   상기 인공 지능 음성 협업봇에 의해 검색된 상기 대응 데이터 및/또는 상기 연관된 추천 데이터가 상기 현장단말 및 상기 원격단말 중 적어도 하나로 제공되는 단계를 포함하는, 인공 지능 기반 실시간 음성인식 원격 협업 방법.
9. 하드웨어인 컴퓨터와 결합되어, 제1항 내지 제8항 중 어느 하나의 인공 지능 기반 실시간 음성인식 원격 협업 방법을 수행하기 위하여 컴퓨터 판독 가능한 기록매체에 저장된, 컴퓨터 프로그램.
10. 현장단말을 통해 식별된 장비에 대한 데이터를 저장하는 메모리부;
    상기 현장단말 및 원격단말과 데이터를 송수신하는 통신부;
    상기 현장단말 및 상기 원격단말 중 적어도 하나로부터 수신한 음성 신호 중에서 키워드 또는 명령어를 검출 또는 식별하는 제1 프로세서; 및
    식별된 상기 명령어와 대응하는 기능 또는 대응하는 데이터 검색을 실행하도록 제어하는 제2 프로세서를 포함하고,
    상기 제2 프로세서는,
    상기 장비에 대한 상기 데이터를 상기 현장단말 및 상기 원격단말에 디스플레이되도록 제어하고,
    상기 현장단말과 상기 원격단말 사이의 셋업이 성립된 경우, 인공지능 음성 협업봇을 셋업에 참여시키고,
    상기 대응 데이터 및/또는 상기 대응 데이터에 연관된 추천 데이터를 상기 현장단말 및 상기 원격단말 중 적어도 하나로 제공하도록 제어하는 것을 특징으로 하는, 음성인식을 통한 원격 협업 시스템.

Images