KR102612171B1 - 자연어 기반의 챗봇 및 영상분석 데이터 연동 사용자반응형 매뉴얼 제공 장치 및 방법 - Google Patents

Abstract

본 발명은 자연어 기반의 챗봇 및 영상분석 데이터 연동 사용자 반응형 매뉴얼 제공 장치 및 방법에 관한 것이다.
본 발명의 일 실시예에 따른 전자 장치는 메모리(memory) 및 상기 메모리와 연결된 프로세서(processor)를 포함하고, 상기 프로세서는, 카메라로부터 제1 장비와 제1 사용자를 촬영한 사용자영상을 수신하고, 상기 사용자영상을 분석하여, 상기 제1 사용자의 상태정보를 판단하고, 상기 상태정보에 기반하여 상기 사용자에게 필요한 것으로 판단되는 제1 매뉴얼을 매뉴얼DB에서 추출하고, 상기 제1 매뉴얼을 상기 사용자가 사용하는 사용자단말에게 송신할 수 있다.

Description

자연어 기반의 챗봇 및 영상분석 데이터 연동 사용자 반응형 매뉴얼 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING USER RESPONSIVE MANUAL IN CONJUNCTION WITH NATURAL LANGUAGE BASED CHATBOT AND IMAGE ANALYSIS}

본 발명은 자연어 기반의 챗봇 및 영상분석 데이터 연동 사용자 반응형 매뉴얼 제공 장치 및 방법에 관한 것이다.

본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.

업무 또는 직무 수행을 위하여 특정 장비를 운용 또는 정비함에 있어서, 사용자는 매뉴얼을 참고하여 수행하는 것이 일반적이다.

그러나, 사용자가 궁금한 부분을 매뉴얼을 일일이 검색하여 찾는 것은 다소 비효율적일 수 있다.

이에, 사용자의 영상을 분석하거나 사용자가 작업의 진행과정에서 필요한 지식임에도 숙지되어있지 못한 업무 부분에 대하여 시스템에 대화형으로 문의를 하면 해당 문의정보에 대하여 사용자에게 가장 적합한 매뉴얼을 제공할 수 있는 기술을 제안하고자 한다.

한국등록특허 제10-2073928호 (2020.01.30.)

본 발명의 일 실시예는 자연어 기반의 챗봇 및 영상분석 데이터 연동 사용자 반응형 매뉴얼 제공 장치 및 방법을 제공하는 것이다.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상술한 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 전자 장치는 메모리(memory) 및 상기 메모리와 연결된 프로세서(processor)를 포함하고, 상기 프로세서는, 카메라로부터 제1 장비와 제1 사용자를 촬영한 사용자영상을 수신하고, 상기 사용자영상을 분석하여, 상기 제1 사용자의 상태정보를 판단하고, 상기 상태정보에 기반하여 상기 사용자에게 필요한 것으로 판단되는 제1 매뉴얼을 매뉴얼DB에서 추출하고, 상기 제1 매뉴얼을 상기 사용자가 사용하는 사용자단말에게 송신할 수 있다.

이 때, 상기 프로세서는, 인공지능모듈을 통하여, 상기 사용자영상에 포함되어 있는 객체들을 분리하고, 상기 객체 중에서 상기 제1 사용자에 해당하는 사용자객체와 상기 제1 장비에 해당하는 장비객체를 추출하고, 상기 사용자객체에서 상기 제1 사용자의 손을 구분하여, 상기 장비객체가 차지하는 영역 중에서 상기 제1 사용자의 손와 중첩되는 영역을 중첩영역으로 추출하고, 상기 중첩영역이 기설정된 운용영역과 기설정된 정비영역 중 어느 영역에 해당하는지를 판단하고, 상기 중첩영역이 상기 운용영역에 해당하는 경우, 상기 상태정보를 상기 제1 사용자가 상기 제1 장비를 운용하고 있는 운용상태로 판단하고, 상기 제1 장비의 운용매뉴얼에 해당하는 매뉴얼을 상기 제1 매뉴얼로 추출하고, 상기 중첩영역이 상기 정비영역에 해당하는 경우, 상기 상태정보를 상기 제1 사용자가 상기 제1 장비를 정비하고 있는 정비상태로 판단하고, 상기 제1 장비의 정비매뉴얼에 해당하는 매뉴얼을 상기 제1 매뉴얼로 추출할 수 있다.

이 때, 상기 운용영역은, 상기 장비객체에서, 해당 장비에 대하여 사용자가 해당 장비를 운용시에 손으로 접촉하는 부분으로 설정된 부분이 차지하는 영역을 의미하고, 상기 정비영역은, 상기 장비객체에서, 해당 장비에 대하여 사용자가 해당 장비를 정비시에 손으로 접촉하는 부분으로 설정된 부분이 차지하는 영역을 의미할 수 있다.

이 때, 상기 프로세서는, 상기 사용자단말로부터 자연어기반의 문의정보를 수신하고, 상기 문의정보를 분석하여, 상기 제1 매뉴얼에 포함되는 복수개의 부분매뉴얼 중에서 상기 문의정보에 대응하는 부분매뉴얼을 제1 응답부분매뉴얼로 추출하고, 상기 제1 응답부분매뉴얼을 상기 사용자단말에게 송신할 수 있다.

이 때, 상기 프로세서는, 상기 문의정보를 토큰화하여 복수개의 제1 키워드를 추출하고, 상기 제1 키워드들을 기설정된 항목별로 분류하고, 상기 항목별로 분류된 상기 제1 키워드를 기반으로 상기 제1 매뉴얼에 포함되는 복수개의 부분매뉴얼에 대하여 매칭점수를 도출하고, 상기 매칭점수가 기설정된 임계매칭점수를 초과하는 부분매뉴얼을 상기 제1 응답부분매뉴얼로 추출할 수 있다.

이 때, 상기 항목은, 대상항목, 증상항목, 기능항목 및 방법항목을 포함하고, 상기 부분매뉴얼은, 상기 항목별로 제2 키워드가 할당되어 있고, 상기 프로세서는, 상기 항목별 상기 제1 키워드 및 상기 제2 키워드에 대하여 키워드간 단어유사도가 높을 수록 높게 설정되는 거리지수를 도출하고, 상기 거리지수를 기반으로 상기 부분매뉴얼에 대한 상기 매칭점수를 도출할 수 있다.

이 때, 상기 프로세서는, 상기 제1 사용자가 사용하는 상기 사용자단말에게 과거에 송신한 제2 응답부분매뉴얼을 기반으로 상기 항목별 가중치를 도출하고, 상기 항목별 상기 가중치를 반영하여, 상기 부분매뉴얼에 대한 상기 매칭점수를 도출할 수 있다.

이 때, 상기 매칭점수는, 아래 수학식에 의하여 도출되되,

MS는 상기 매칭점수를 의미하고, k_i는 i번째 항목에 대한 가중치를 의미하고, a_i는 i번째 항목에 대한 상기 제1 키워드 및 상기 제2 키워드간의 상기 거리지수를 의미할 수 있다.

이 때, 상기 항목별 상기 가중치는, 아래 수학식에 의하여 도출되되,

b_i는 상기 제2 응답부분매뉴얼에 대하여 설정된 항목별 제3 키워드를 기반으로 i번째 항목에 해당하는 제3 키워드 및 상기 제2 키워드간의 상기 거리지수를 의미하고, c_i는 i번째 항목에 해당하는 상기 제3 키워드와 동일한 항목에 해당하는 전체 제4 키워드간의 거리지수의 평균을 의미하는 것으로 아래 수학식에 의하여 도출되되,

n는 i번째 항목에 해당하는 전체키워드의 수를 의미하고, d_j는 상기 제3 키워드와 j번째 상기 제4 키워드 간의 거리지수를 의미할 수 있다.

또한, 상기 프로세서는, 상기 사용자단말로부터 작업완료신호를 수신하는 경우, 상기 카메라로부터 상기 사용자영상을 수신한 시점부터 현재시점까지의 상기 상태정보, 상기 제1 매뉴얼 및 상기 제1 응답부분매뉴얼을 기반으로 기설정된 작업일지양식에 따라 작업일지를 생성할 수 있다.

또한, 상기 프로세서는, 상기 작업일지를 상기 제1 사용자의 상위관리자로 설정되어 있는 제2 사용자가 사용하는 관리자단말로 송신할 수 있다.

이와 같이 본 발명의 일 실시예에 따르면, 자연어 기반의 챗봇 및 영상분석 데이터 연동 사용자 반응형 매뉴얼 제공 장치 및 방법을 제공할 수 있다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명의 특정한 바람직한 실시예들의 상기에서 설명한 바와 같은 또한 다른 측면들과, 특징들 및 이득들은 첨부 도면들과 함께 처리되는 하기의 설명으로부터 보다 명백하게 될 것이다.
도 1은 본 발명의 일 실시예에 따른 자연어 기반의 챗봇 및 영상분석 데이터 연동 사용자 반응형 매뉴얼 제공 장치의 개념도이다.
도 2는 본 발명의 일 실시예에 따른 전자 장치의 블록도이다.
도 3은 본 발명의 일 실시예에 따라 사용자객체 및 장비객체의 구분을 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따라 장비객체에서 운용영역과 정비영역의 구분을 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따라 제1 키워드 및 제2 키워드의 거리지수를 도출하는 개념도이다.
도 6은 본 발명의 일 실시예에 따라 제2 키워드 및 제3 키워드간의 거리지수를 기반으로 가중치를 도출하는 개념도이다.
도 7은 본 발명의 일 실시예에 따른 자연어 기반의 챗봇 및 영상분석 데이터 연동 사용자 반응형 매뉴얼 제공 방법의 흐름도이다.
상기 도면들을 통해, 유사 참조 번호들은 동일한 혹은 유사한 엘리먼트들과, 특징들 및 구조들을 도시하기 위해 사용된다는 것에 유의해야만 한다.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

실시예를 설명함에 있어서 본 발명이 속하는 기술 분야에 익히 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.

마찬가지 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시되었다. 또한, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 각 도면에서 동일한 또는 대응하는 구성요소에는 동일한 참조 번호를 부여하였다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

이 때, 본 실시 예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

본 발명의 실시예들을 구체적으로 설명함에 있어서, 특정 시스템의 예를 주된 대상으로 할 것이지만, 본 명세서에서 청구하고자 하는 주요한 요지는 유사한 기술적 배경을 가지는 여타의 통신 시스템 및 서비스에도 본 명세서에 개시된 범위를 크게 벗어나지 아니하는 범위에서 적용 가능하며, 이는 당해 기술분야에서 숙련된 기술적 지식을 가진 자의 판단으로 가능할 것이다.

도 1은 본 발명의 일 실시예에 따른 자연어 기반의 챗봇 및 영상분석 데이터 연동 사용자 반응형 매뉴얼 제공 장치의 개념도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 자연어 기반의 챗봇 및 영상분석 데이터 연동 사용자 반응형 매뉴얼 제공 장치는 카메라로 촬영된 제1 사용자와 제1 장비에 대하여, 상기 제1 사용자에게 필요한 매뉴얼이 무엇인지 판단하고, 판단된 매뉴얼을 상기 제1 사용자가 사용하는 사용자단말로 송신하여, 사용자가 보다 편리하고 신속하게 해당 장비에 대하여 익숙해지도록 할 수 있다.

한편, 자연어 기반의 챗봇 및 영상분석 데이터 연동 사용자 반응형 매뉴얼 제공 장치는 본 발명에서 '전자 장치(100)'로 호칭될 수도 있다.

이 때, 사용자단말(200)은 통신 가능한 데스크탑 컴퓨터(desktop computer), 랩탑 컴퓨터(laptop computer), 노트북(notebook), 스마트폰(smart phone), 태블릿 PC(tablet PC), 모바일폰(mobile phone), 스마트 워치(smart watch), 스마트 글래스(smart glass), e-book 리더기, PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 디지털 카메라(digital camera), DMB(digital multimedia broadcasting) 재생기, 디지털 음성 녹음기(digital audio recorder), 디지털 음성 재생기(digital audio player), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player), PDA(Personal Digital Assistant) 등을 포함할 수 있다.

도 2는 본 발명의 일 실시예에 따른 전자 장치(100)의 블록도이다.

일 실시예에 따른 전자 장치(100)는 프로세서(110) 및 메모리(120)를 포함한다. 프로세서(110)는 전술한 적어도 하나의 방법을 수행할 수 있다. 메모리(120)는 상술한 방법과 관련된 정보를 저장하거나 상술한 방법이 구현된 프로그램을 저장할 수 있다. 메모리(120)는 휘발성 메모리 또는 비휘발성 메모리일 수 있다. 메모리(120)는 '데이터베이스', '저장부' 등으로 호칭될 수 있다.

프로세서(110)는 프로그램을 실행하고, 전자 장치(100)를 제어할 수 있다. 프로세서(110)에 의하여 실행되는 프로그램의 코드는 메모리(120)에 저장될 수 있다. 장치(100)는 입출력 장치(미도시)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 데이터를 교환할 수 있다.

이 때, 상기 프로세서(110)는, 카메라로부터 제1 장비와 제1 사용자를 촬영한 사용자영상을 수신할 수 있다.

이 때, 상기 사용자영상은 동영상 또는 하나 이상의 사진을 포함할 수 있다.

또한, 상기 프로세서(110)는, 상기 사용자영상을 분석하여, 상기 제1 사용자의 상태정보를 판단할 수 있다.

이 때, 상기 상태정보는 상기 제1 사용자가 현재 상기 제1 장비에 대하여 어떠한 행동을 하고자 하는 것인지에 대한 것으로써, 상기 제1 사용자가 상기 제1 장비를 운용하고자 하는 것인지 정비하고자 하는 것인지에 대한 것을 의미할 수 있다. 이와 관련해서는 보다 상세하게 후술하도록 한다.

또한, 상기 프로세서(110)는, 상기 상태정보에 기반하여 상기 사용자에게 필요한 것으로 판단되는 제1 매뉴얼을 매뉴얼DB에서 추출할 수 있다.

이 때, 상기 매뉴얼DB는 장비에 대한 운용 즉, 사용방법에 대한 매뉴얼과 정비방법에 대한 매뉴얼을 포함하고, 영상, 사진 및 글로 설명된 매뉴얼을 포함할 수 있다.

또한, 상기 프로세서(110)는, 상기 제1 매뉴얼을 상기 사용자가 사용하는 사용자단말(200)에게 송신할 수 있다.

도 3은 본 발명의 일 실시예에 따라 사용자객체 및 장비객체의 구분을 나타내는 도면이고, 도 4는 본 발명의 일 실시예에 따라 장비객체에서 운용영역과 정비영역의 구분을 나타내는 도면이다.

도 3 및 도 4를 참조하면, 상기 프로세서(110)는, 인공지능모듈을 통하여, 상기 사용자영상에 포함되어 있는 객체들을 분리할 수 있다.

이 때, 상기 인공지능모듈은 딥러닝을 통하여 상기 사용자영상에서 사람과 기설정된 장비에 대한 외형을 추출하도록 학습되어 있을 수 있다. 또한, 이러한 학습을 위하여 활용되는 인공지능망 모델로는 RNN(Recurrent Neural Network), DNN(Deep Neural Network) 및 DRNN(Dynamic Recurrent Neural Network) 등 다양한 모델들을 활용할 수 있을 것이다.

여기서 RNN은 현재의 데이터와 과거의 데이터를 동시에 고려하는 딥러닝 기법으로서, 순환 신경망(RNN)은 인공 신경망을 구성하는 유닛 사이의 연결이 방향성 사이클(directed cycle)을 구성하는 신경망을 나타낸다. 나아가, 순환 신경망(RNN)을 구성할 수 있는 구조에는 다양한 방식이 사용될 수 있는데, 예컨대, 완전순환망(Fully Recurrent Network), 홉필드망(Hopfield Network), 엘만망(Elman Network), ESN(Echo state network), LSTM(Long short term memory network), 양방향(Bi-directional) RNN, CTRNN(Continuous-time RNN), 계층적 RNN, 2차 RNN 등이 대표적인 예이다. 또한, 순환 신경망(RNN)을 학습시키기 위한 방법으로서, 경사 하강법, Hessian Free Optimization, Global Optimization Method 등의 방식이 사용될 수 있다.

이를 통하여, 상기 프로세서(110)는, 상기 객체 중에서 상기 제1 사용자에 해당하는 사용자객체와 상기 제1 장비에 해당하는 장비객체를 추출할 수 있다.

또한, 상기 프로세서(110)는, 상기 사용자객체에서 상기 제1 사용자의 손을 구분하여, 상기 장비객체가 차지하는 영역 중에서 상기 제1 사용자의 손와 중첩되는 영역을 중첩영역으로 추출하고, 상기 중첩영역이 기설정된 운용영역과 기설정된 정비영역 중 어느 영역에 해당하는지를 판단할 수 있다.

이는, 상기 제1 사용자가 상기 제1 장비의 어느 영역에 접촉하고자 하는 것인지를 통하여, 상기 제1 사용자의 의도를 파악하고자 함이다.

이 때, 상기 운용영역은, 상기 장비객체에서, 해당 장비에 대하여 사용자가 해당 장비를 운용시에 손으로 접촉하는 부분으로 설정된 부분이 차지하는 영역을 의미할 수 있다.

또한, 상기 정비영역은, 상기 장비객체에서, 해당 장비에 대하여 사용자가 해당 장비를 정비시에 손으로 접촉하는 부분으로 설정된 부분이 차지하는 영역을 의미할 수 있다.

또한, 상기 프로세서(110)는, 상기 중첩영역이 상기 운용영역에 해당하는 경우, 상기 상태정보를 상기 제1 사용자가 상기 제1 장비를 운용하고 있는 운용상태로 판단하고, 상기 제1 장비의 운용매뉴얼에 해당하는 매뉴얼을 상기 제1 매뉴얼로 추출하고, 상기 중첩영역이 상기 정비영역에 해당하는 경우, 상기 상태정보를 상기 제1 사용자가 상기 제1 장비를 정비하고 있는 정비상태로 판단하고, 상기 제1 장비의 정비매뉴얼에 해당하는 매뉴얼을 상기 제1 매뉴얼로 추출할 수 있다.

이를 통하여, 상기 제1 사용자에게 필요한 매뉴얼을 제공해줄 수 있다.

다만, 이 경우, 상기 제1 사용자에게 필요한 매뉴얼을 제공하였지만, 상기 제1 사용자가 매뉴얼 전체를 읽기 곤란한 부분이 있고, 상기 제1 사용자가 궁금하여 확인하고자 하는 부분이 특정되어 있을 수 있다. 이에, 상기 제1 사용자가 궁금한 부분을 본 발명에 질문한 경우, 그에 대해 매뉴얼 내부에서 가장 적합한 부분을 추출하여 상기 제1 사용자에게 제공하는 것이 바람직하다.

이를 위하여, 상기 프로세서(110)는, 상기 사용자단말(200)로부터 자연어기반의 문의정보를 수신하고, 상기 문의정보를 분석하여, 상기 제1 매뉴얼에 포함되는 복수개의 부분매뉴얼 중에서 상기 문의정보에 대응하는 부분매뉴얼을 제1 응답부분매뉴얼로 추출하고, 상기 제1 응답부분매뉴얼을 상기 사용자단말(200)에게 송신할 수 있다.

본 발명은 챗봇의 일종으로, 상기 제1 사용자로부터 자연어기반의 문의정보를 수신할 수 있고, 상기 제1 응답부분매뉴얼을 상기 제1 사용자에게 제공해줄 수 있다. 이와 관련해서는 도 5를 참조하여 보다 상세하게 설명하도록 한다.

이 때, 상기 문의정보는 한글 뿐만 아니라, 영어, 일본어, 중국어 등 다양한 외국어로 생성될 수 있으며, 본 발명은 다국어에 대응되는 매뉴얼을 포함하도록 설정되어 다국어에 대한 자연어 기반의 문의정보에 대응되는 매뉴얼을 사용자에게 제공할 수 있다.

도 5는 본 발명의 일 실시예에 따라 제1 키워드 및 제2 키워드의 거리지수를 도출하는 개념도이다.

도 5를 참조하면, 상기 프로세서(110)는, 상기 문의정보를 토큰화하여 복수개의 제1 키워드를 추출할 수 있다.

이 때, 상기 프로세서(110)는, Soynlp, koNLpy 또는 토크나이저 중 적어도 하나 이상을 이용하여 토큰화할 수 있다. soynlp는 한국어 처리를 위한 파이썬 패키지이며, koNLPy에서 제공하는 형태소분석기는 형태소 기반으로 문서를 토큰화할 수 있는 기능을 제공하지만 새롭게 만들어진 미등록 단어들은 인식이 잘 되지 않는 단점을 가지고 있다. 이를 해결하기 위해서는 사용자 사전에 단어를 등록하는 절치를 거쳐야 한다. soynlp는 이러한 과정을 돕기 위해 사용자 사전과 형태소분석 없이 cohesion 기반으로 토큰화를 할 수 있는 기능을 제공한다. KoNLPy는 파이썬으로 한국어 정보처리를 할 수 있게 하는 패키지이다. 토크나이저 또한, Soynlp와 koNLpy와 마찬가지로 자연어에서 단어 또는 서브워드 단위로 쪼개어 사전에 등록된 표준단어 등으로 변환해주는 라이브러리를 의미한다.

또한, 상기 프로세서(110)는, 상기 제1 키워드들을 기설정된 항목별로 분류할 수 있다.

이 때, 상기 항목은, 대상항목, 증상항목 및 기능항목을 포함할 수 있다. 후술하는 바와 같이, 상기 제1 매뉴얼은 상기 제1 장비를 구성하는 특정대상, 특정증상, 특정기능 등에 대한 부분매뉴얼을 포함하고 있고, 각각의 부분매뉴얼이 어느 것을 대상으로 하는지, 어떤 증상에 대한 것인지, 어떤 기능에 대한 것인지를 태그(tag)와 같이 키워드형식으로 설정되어 있을 수 있다. 이에, 상기 제1 사용자의 문의정보에 포함되는 상기 제1 키워드를 상기 항목별로 구분 및 할당하여, 상기 제1 사용자에게 필요한 부분매뉴얼을 도출하는데 사용할 수 있다. 보다 상세하게는 후술하도록 한다.

또한, 상기 프로세서(110)는, 상기 항목별로 분류된 상기 제1 키워드를 기반으로 상기 제1 매뉴얼에 포함되는 복수개의 부분매뉴얼에 대하여 매칭점수를 도출하고, 상기 매칭점수가 기설정된 임계매칭점수를 초과하는 부분매뉴얼을 상기 제1 응답부분매뉴얼로 추출할 수 있다.

이 때, 상기 임계매칭점수는 상기 부분매뉴얼에 대한 매칭점수의 평균으로 설정될 수 있다.

이 때, 상기 부분매뉴얼은, 상술한 바와 같이, 상기 항목별로 제2 키워드가 할당되어 있을 수 있다.

이 때, 상기 프로세서(110)는, 상기 항목별 상기 제1 키워드 및 상기 제2 키워드에 대하여 키워드간 단어유사도가 높을 수록 높게 설정되는 거리지수를 도출하고, 상기 거리지수를 기반으로 상기 부분매뉴얼에 대한 상기 매칭점수를 도출할 수 있다.

이 때, 상기 거리지수는 워드임베딩으로 도출될 수 있다. 이 때, 워드 임베딩은 단어를 밀집 벡터의 형태로 표현하는 방법으로써, 상기 밀집 벡터를 워드 임베딩 과정을 통해 나온 결과라고 하여, 임베딩 벡터(Embedding Vector)라고도 한다. 보다 상세하게는 단어들을 특정 벡터 공간의 좌표로 매핑하되, 각 단어들의 유사도 또는 관련도를 기반으로 거리를 달리하여 매핑될 수 있다. 예를 들면, 유사도 또는 관련도가 높은 단어 사이의 거리는 짧고, 유사도 또는 관련도가 낮은 단어 사이의 거리는 멀게 매핑될 수 있다.

이 때, 상기 거리지수는 상기 워드임베딩에 의한 거리의 역수로 설정하여, 단어유사도가 높을 수록 높게 설정될 수 있다.

도 6은 본 발명의 일 실시예에 따라 제2 키워드 및 제3 키워드간의 거리지수를 기반으로 가중치를 도출하는 개념도이다.

도 6을 참조하면, 상기 프로세서(110)는, 상기 제1 사용자가 사용하는 상기 사용자단말(200)에게 과거에 송신한 제2 응답부분매뉴얼을 기반으로 상기 항목별 가중치를 도출하고, 상기 항목별 상기 가중치를 반영하여, 상기 부분매뉴얼에 대한 상기 매칭점수를 도출할 수 있다.

이 때, 상기 매칭점수는, 아래 수학식 1에 의하여 도출될 수 있다.

[수학식 1]

이 때, MS는 상기 매칭점수를 의미하고, k_i는 i번째 항목에 대한 가중치를 의미하고, a_i는 i번째 항목에 대한 상기 제1 키워드 및 상기 제2 키워드간의 상기 거리지수를 의미할 수 있다.

이 때, 항목에 대한 가중치는 상기 제2 응답부분매뉴얼이 존재하지 않는 경우에는 1로 설정하고, 상기 제2 응답부분매뉴얼이 존재하는 경우에는 아래 수학식 2에 의하여 도출될 수 있다.

[수학식 2]

이 때, b_i는 상기 제2 응답부분매뉴얼에 대하여 설정된 항목별 제3 키워드를 기반으로 i번째 항목에 해당하는 제3 키워드 및 상기 제2 키워드간의 상기 거리지수를 의미할 수 있다.

이 때, c_i는 i번째 항목에 해당하는 상기 제3 키워드와 동일한 항목에 해당하는 전체 제4 키워드간의 거리지수의 평균을 의미하는 것으로 아래 수학식 3에 의하여 도출될 수 있다.

[수학식 3]

이 때, n는 i번째 항목에 해당하는 전체키워드의 수를 의미하고, d_j는 상기 제3 키워드와 j번째 상기 제4 키워드 간의 거리지수를 의미할 수 있다.

이를 통하여, 상기 제1 사용자가 문의한 것에 가장 적합한 부분매뉴얼을 상기 제1 사용자에게 제공할 수 있다.

도 7은 본 발명의 일 실시예에 따른 자연어 기반의 챗봇 및 영상분석 데이터 연동 사용자 반응형 매뉴얼 제공 방법의 흐름도이다.

도 7을 참조하면, 본 발명의 일 실시예에 따른 자연어 기반의 챗봇 및 영상분석 데이터 연동 사용자 반응형 매뉴얼 제공 방법은 카메라로부터 제1 장비와 제1 사용자를 촬영한 사용자영상을 수신할 수 있다(S101).

또한, 본 발명의 일 실시예에 따른 자연어 기반의 챗봇 및 영상분석 데이터 연동 사용자 반응형 매뉴얼 제공 방법은 상기 사용자영상을 분석하여, 상기 제1 사용자의 상태정보를 판단할 수 있다(S103).

또한, 본 발명의 일 실시예에 따른 자연어 기반의 챗봇 및 영상분석 데이터 연동 사용자 반응형 매뉴얼 제공 방법은 상기 상태정보에 기반하여 상기 사용자에게 필요한 것으로 판단되는 제1 매뉴얼을 매뉴얼DB에서 추출할 수 있다(S105).

또한, 본 발명의 일 실시예에 따른 자연어 기반의 챗봇 및 영상분석 데이터 연동 사용자 반응형 매뉴얼 제공 방법은 상기 제1 매뉴얼을 상기 사용자가 사용하는 사용자단말(200)에게 송신할 수 있다(S107).

또한, 본 발명의 일 실시예에 따른 자연어 기반의 챗봇 및 영상분석 데이터 연동 사용자 반응형 매뉴얼 제공 방법은 도 1 내지 도 6에 개시된 자연어 기반의 챗봇 및 영상분석 데이터 연동 사용자 반응형 매뉴얼 제공 장치와 동일하게 구성될 수 있다.

또한, 본 발명은 해당 장비에 대하여 언제 누가 어떠한 운용 또는 정비를 하였는지 내역을 관리할 수 있다.

이를 위하여, 상기 프로세서(110)는 상기 사용자단말로부터 작업완료신호를 수신하는 경우, 상기 카메라로부터 상기 사용자영상을 수신한 시점부터 현재시점까지의 상기 상태정보, 상기 제1 매뉴얼 및 상기 제1 응답부분매뉴얼을 기반으로 기설정된 작업일지양식에 따라 작업일지를 생성할 수 있다.

이 때, 상기 작업일지양식은 해당 장비를 운용 또는 정비한 상기 제1 사용자에 대한 신상정보, 운용 또는 정비 시간, 운용 또는 정비 내용, 사용된 부분, 처리 결과 등에 대한 내용이 포함될 수 있다.

또한, 정확한 관리를 위하여, 상기 제1 사용자의 상위관리자에게 해당 작업일지를 송신하여 확인하도록 함이 바람직하다.

이를 위하여, 상기 프로세서(110)는, 상기 작업일지를 상기 제1 사용자의 상위관리자로 설정되어 있는 제2 사용자가 사용하는 관리자단말로 송신할 수 있다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (5)

1. 전자 장치에 있어서,
   메모리(memory); 및
   상기 메모리와 연결된 프로세서(processor); 를 포함하고,
   상기 프로세서는:
   카메라로부터 제1 장비와 제1 사용자를 촬영한 사용자영상을 수신하고,
   상기 사용자영상을 분석하여, 상기 제1 사용자가 상기 제1 장비를 운용하고 있는 운용상태인지 상기 제1 장비를 정비하고 있는 정비상태인지에 대한 상태정보를 판단하고,
   상기 상태정보에 기반하여 상기 사용자에게 필요한 것으로 판단되는 제1 매뉴얼을 매뉴얼DB에서 추출하고,
   상기 제1 매뉴얼을 상기 사용자가 사용하는 사용자단말에게 송신하되,
   상기 프로세서는,
   인공지능모듈을 통하여, 상기 사용자영상에 포함되어 있는 객체들을 분리하고,
   상기 객체 중에서 상기 제1 사용자에 해당하는 사용자객체와 상기 제1 장비에 해당하는 장비객체를 추출하고,
   상기 사용자객체에서 상기 제1 사용자의 손을 구분하여, 상기 장비객체가 차지하는 영역 중에서 상기 제1 사용자의 손와 중첩되는 영역을 중첩영역으로 추출하고,
   상기 중첩영역이,
   상기 장비객체에서, 해당 장비에 대하여 사용자가 해당 장비를 운용시에 손으로 접촉하는 부분으로 설정된 영역을 나타내는 운용영역과 해당 장비에 대하여 사용자가 해당 장비를 정비시에 손으로 접촉하는 부분으로 설정된 영역을 나타내는 정비영역 중 어느 영역에 해당하는지를 판단하고,
   상기 중첩영역이 상기 운용영역에 해당하는 경우, 상기 상태정보를 상기 제1 사용자가 상기 제1 장비를 운용하고 있는 운용상태로 판단하고, 상기 제1 장비의 운용매뉴얼에 해당하는 매뉴얼을 상기 제1 매뉴얼로 추출하고,
   상기 중첩영역이 상기 정비영역에 해당하는 경우, 상기 상태정보를 상기 제1 사용자가 상기 제1 장비를 정비하고 있는 정비상태로 판단하고, 상기 제1 장비의 정비매뉴얼에 해당하는 매뉴얼을 상기 제1 매뉴얼로 추출하되,
   상기 프로세서는,
   상기 사용자단말로부터 자연어기반의 문의정보를 수신하고,
   상기 문의정보를 분석하여, 상기 제1 매뉴얼에 포함되는 복수개의 부분매뉴얼 중에서 상기 문의정보에 대응하는 부분매뉴얼을 제1 응답부분매뉴얼로 추출하고,
   상기 제1 응답부분매뉴얼을 상기 사용자단말에게 송신하되,
   상기 프로세서는,
   상기 문의정보를 토큰화하여 복수개의 제1 키워드를 추출하고,
   상기 제1 키워드들을 기설정된 항목별로 분류하고,
   상기 항목별로 분류된 상기 제1 키워드를 기반으로 상기 제1 매뉴얼에 포함되는 복수개의 부분매뉴얼에 대하여 매칭점수를 도출하고, 상기 매칭점수가 기설정된 임계매칭점수를 초과하는 부분매뉴얼을 상기 제1 응답부분매뉴얼로 추출하되,
   상기 항목은,
   대상항목, 증상항목, 기능항목 및 방법항목을 포함하고,
   상기 부분매뉴얼은,
   상기 항목별로 제2 키워드가 할당되어 있고,
   상기 프로세서는,
   상기 항목별 상기 제1 키워드 및 상기 제2 키워드에 대하여 키워드간 단어유사도가 높을 수록 높게 설정되는 거리지수를 도출하고, 상기 거리지수를 기반으로 상기 부분매뉴얼에 대한 상기 매칭점수를 도출하되,
   상기 프로세서는,
   상기 제1 사용자가 사용하는 상기 사용자단말에게 과거에 송신한 제2 응답부분매뉴얼을 기반으로 상기 항목별 가중치를 도출하고, 상기 항목별 상기 가중치를 반영하여, 상기 부분매뉴얼에 대한 상기 매칭점수를 도출하되,
   상기 매칭점수는,
   아래 수학식에 의하여 도출되되,
   
   MS는 상기 매칭점수를 의미하고, k_i는 i번째 항목에 대한 가중치를 의미하고, a_i는 i번째 항목에 대한 상기 제1 키워드 및 상기 제2 키워드간의 상기 거리지수를 의미하고,
   상기 항목별 상기 가중치는,
   아래 수학식에 의하여 도출되되,
   
   b_i는 상기 제2 응답부분매뉴얼에 대하여 설정된 항목별 제3 키워드를 기반으로 i번째 항목에 해당하는 제3 키워드 및 상기 제2 키워드간의 상기 거리지수를 의미하고, c_i는 i번째 항목에 해당하는 상기 제3 키워드와 동일한 항목에 해당하는 전체 제4 키워드간의 거리지수의 평균을 의미하는 것으로 아래 수학식에 의하여 도출되되,
   
   n는 i번째 항목에 해당하는 전체키워드의 수를 의미하고, d_j는 상기 제3 키워드와 j번째 상기 제4 키워드 간의 거리지수를 의미하는 것을 특징으로 하는, 전자 장치.
   
2. 삭제
3. 삭제
4. 삭제
5. 청구항 1에 있어서,
   상기 프로세서는,
   상기 사용자단말로부터 작업완료신호를 수신하는 경우,
   상기 카메라로부터 상기 사용자영상을 수신한 시점부터 현재시점까지의 상기 상태정보, 상기 제1 매뉴얼 및 상기 제1 응답부분매뉴얼을 기반으로 기설정된 작업일지양식에 따라 작업일지를 생성하는 것을 특징으로 하는, 전자 장치.
   

Images