KR20200069806A - Method and apparatus for statistical data visualization through voice recognition - Google Patents

Method and apparatus for statistical data visualization through voice recognition Download PDF

Info

Publication number
KR20200069806A
KR20200069806A KR1020180157294A KR20180157294A KR20200069806A KR 20200069806 A KR20200069806 A KR 20200069806A KR 1020180157294 A KR1020180157294 A KR 1020180157294A KR 20180157294 A KR20180157294 A KR 20180157294A KR 20200069806 A KR20200069806 A KR 20200069806A
Authority
KR
South Korea
Prior art keywords
statistical
speech recognition
statistical data
function
voice
Prior art date
Application number
KR1020180157294A
Other languages
Korean (ko)
Inventor
윤종식
Original Assignee
동아대학교 산학협력단
윤종식
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동아대학교 산학협력단, 윤종식 filed Critical 동아대학교 산학협력단
Priority to KR1020180157294A priority Critical patent/KR20200069806A/en
Publication of KR20200069806A publication Critical patent/KR20200069806A/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • G05B23/02Electric testing or monitoring
    • G05B23/0205Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0221Preprocessing measurements, e.g. data collection rate adjustment; Standardization of measurements; Time series or signal analysis, e.g. frequency analysis or wavelets; Trustworthiness of measurements; Indexes therefor; Measurements using easily measured parameters to estimate parameters difficult to measure; Virtual sensor creation; De-noising; Sensor fusion; Unconventional preprocessing inherently present in specific fault detection methods like PCA-based methods
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/23Pc programming
    • G05B2219/23386Voice, vocal command or message

Abstract

Disclosed are a method and an apparatus for statistical data visualization through voice recognition. The statistical data visualization method through voice recognition includes the steps of: receiving, from a database, a mapping relationship between a control command of a statistical program for generating statistical data by performing statistical processing on data and a voice command from a user; recognizing a voice from the user based on the received mapping relationship, and extracting a function for visualizing the statistical data from the user′s voice and function-specific factors; generating a control command for visualizing the statistical data by combining the extracted function and the function-specific factors based on the received mapping relationship, and inputting the generated control command to the statistical program; and receiving a result of executing the control command from the statistical program and providing the result to the user. According to the present invention, a voice recognition technology is applied through a mobile device to check statistical information on outliers by using a graph, so that a smart factory is monitored in real time and abnormal behaviors are detected.

Description

음성 인식을 통한 통계 데이터 시각화 방법 및 장치{Method and apparatus for statistical data visualization through voice recognition}Method and apparatus for statistical data visualization through voice recognition}

본 발명은 통계 데이터 시각화 방법 및 장치에 관한 것으로서, 특히 사용자의 음성과 통계 그래프 생성 프로그램 명령어의 매핑 로직을 개발하고 개발된 로직에 기초하여 사용자가 통계 프로그램을 음성을 통해 제어하도록 함으로써, 통계 프로그램에 대한 전문 지식이 없는 사용자도 음성을 통해 빅데이터를 효율적으로 관리하고, 더 나아가 스마트 팩토리의 이상 동작 상황을 쉽게 모니터링하여 사전 조치를 할 수 있도록 허용하기 위한 음성 인식을 통한 통계 데이터 시각화 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for visualizing statistical data, and in particular, by developing a mapping logic of a user's voice and a statistical graph generating program command and allowing the user to control the statistical program through voice based on the developed logic, the statistical program To users who do not have expertise in managing big data efficiently through voice, and furthermore, it is possible to visualize statistical data through voice recognition method and device to allow smart factories to easily monitor the abnormal operation status and take precautions. It is about.

스마트 팩토리 분야에서 메인 이슈가 되는 결함 진단을 실시간으로 분석하고자 하는 요구가 국내뿐만이 아니라 전 세계적으로 존재한다. In the field of smart factories, there is a need to analyze defect diagnosis, which is a main issue in real time, not only in Korea but also worldwide.

IoT 기반의 스마트 팩토리 세계 시장 규모는 매년 6.8%씩 성장해 2020년에는 2,806억 달러의 경제적 가치를 창출할 것으로 보인다. 또한, 스마트 팩토리 공급시장을 구성하고 있는 디바이스 및 ICT 시장도 각각 연평균 7.8%, 8.1%의 성장률을 기록할 것으로 예상된다. 결과적으로 스마트 팩토리 및 관련 디바이스 시장에서 2018년 2,250억 달러에서 2020년까지 2,845억 달러의 경제적 가치가 창출될 것으로 기대할 수 있다. The global market for IoT-based smart factories is expected to grow by 6.8% annually, creating economic value of $287.8 billion in 2020. In addition, the device and ICT markets that make up the smart factory supply market are also expected to record annual growth rates of 7.8% and 8.1%, respectively. As a result, it can be expected that in the smart factory and related device markets, economic value of $250 billion from 2018 to $250 billion by 2020 will be created.

또한, 아시아의 경우 세계 주요기업들의 제조 공장이 낮은 인건비의 아시아내 개발 도상국에 위치하고 있어, 제조 공정의 생산성 향상을 위한 스마트 팩토리 도입이 타지역 대비 빠를 것으로 예상. 높은 ICT 시장 점유율은 대부분 중국에 기인한 것이며, 중국은 스마트 팩토리 확대 정책으로 2016년에는 유럽 시장을, 2019년에는 미주 시장을 추월할 것으로 보인다.In addition, in Asia, the manufacturing factories of major companies in the world are located in developing countries in Asia with low labor costs, so it is expected that the introduction of smart factories to improve the productivity of manufacturing processes will be faster than other regions. Most of the high ICT market share is attributed to China, and China is expected to overtake the European market in 2016 and the Americas in 2019 due to the expansion of the smart factory.

따라서, 이러한 사회 구조적인 변화에 따른 제조업의 경쟁력 확보를 위해 정부 차원의 지원 정책이 확대되고 있으며, 제조업 부문의 대기업도 자체적인 생산성 확보 및 효율성 증대를 위한 스마트 팩토리 도입이 가속화되는 추세이다.Therefore, the government-wide support policy is expanding to secure the competitiveness of the manufacturing industry due to this social structural change, and large enterprises in the manufacturing sector are also accelerating the introduction of smart factories to secure their own productivity and increase efficiency.

특히, 우리나라의 스마트 팩토리 시장은 2020년까지 연평균 11.2%의 고성장이 예상되고 있으며, 앞으로 국내 시장은 2018년 42.1억 달러에서 2020년까지 54.억 달러의 경제적 가치를 창출할 전망이다. 또한, 독일의 Acatech 보고서에 따르면 Industry 4.0 솔루션을 공급할 수 있는 규모와 환경을 갖추고 있는 국가 중 하나로 한국을 지목한 바 있고, 이것은 또한 제조업에 관한 전략 수립의 필요성을 역설한 것이라고 볼 수 있다.In particular, Korea's smart factory market is expected to grow at an annual average rate of 11.2% by 2020, and the domestic market is expected to generate economic value of $4.12 billion from 2018 to $5.4 billion by 2020. In addition, the German Acatech report pointed to Korea as one of the countries with the size and environment to supply Industry 4.0 solutions, which also emphasized the need to establish a strategy for manufacturing.

스마트 팩토리에는 다양한 디바이스로부터 나온 방대한 데이터를 관리할 시스템이 필수적으로 필요하며, 이러한 시스템은 모바일 디바이스를 통해서 언제 어디서나 스마트 팩토리를 모니터링하고 관리하는 것을 가능하게 한다. 즉, 모바일 디바이스로 편리한 데이터 분석이 가능하므로, 여러 언어와의 연동을 통해 세계 각국의 수요에 맞춰 해외 시장에의 적용될 수도 있다.Smart factories essentially require systems to manage vast amounts of data from various devices, and these systems enable monitoring and management of smart factories anytime, anywhere via mobile devices. That is, since convenient data analysis is possible with a mobile device, it can be applied to overseas markets according to the needs of countries around the world through interworking with various languages.

또한 빅데이터, IoT 시대를 맞아 다양한 데이터를 활용하여 보다 효과적인 의사 결정을 할 수 있도록 지원하는 분석 언어(R, Python 등)와 솔루션들이 계속해서 개발되고 있고 이러한 SW에 대한 학습이 계속적으로 이루어지면서 새로운 시대의 트렌드를 이끌어 가고 있다.In addition, in the era of big data and IoT, analytical languages (R, Python, etc.) and solutions are being developed to support more effective decision making by utilizing various data. Leading the trend of the times.

그런데, 모바일 기기에 적용되고 있는 협소한 입력 장치(가상 키보드)로는 다양한 기호들이 포함되어 있는 프로그래밍 언어들을 코딩을 통해 분석하기에는 한계가 있다. 따라서, 음성인식 기술을 활용한 자동화되는 프로그래밍 기술의 적용으로 세계 각국을 대상으로 한 스마트 팩토리 원천 기술이 새로운 시장으로 부상 될 수 있다.However, a narrow input device (virtual keyboard) applied to a mobile device has a limitation in analyzing programming languages including various symbols through coding. Therefore, the application of automated programming technology utilizing speech recognition technology can lead to the emergence of a new smart factory source technology for countries around the world.

대한민국 특허출원 제 1020000060732 호(공개 일자 2002년 4월 24일) "음성인식을 이용한 컴퓨터 프로그램의 제어방법"은, 음성인식을 이용한 컴퓨터 프로그램의 제어방법을 제공한다. 특히, 이 출원은 컴퓨터의 운영 시스템 및 각종 응용프로그램을 키보드 또는 마우스와 같은 손조작에 의한 입력 장치가 없이도 음성 인식 기술을 이용하여 사용자의 음성 명령만으로 제어할 수 있도록 함으로써 일반인은 물론 각종 장애인들도 간편하게 컴퓨터 시스템은 물론 각종 프로그램을 활용할 수 있는 음성 인식을 이용한 컴퓨터 프로그램의 제어 방법을 제공한다. Republic of Korea Patent Application No. 1020000060732 (published on April 24, 2002) "Method for controlling computer program using speech recognition" provides a method for controlling a computer program using speech recognition. Particularly, this application allows the user to control the computer's operating system and various application programs by using only voice commands of the user by using voice recognition technology without a hand-operated input device such as a keyboard or mouse. It provides a method of controlling a computer program using speech recognition that can conveniently utilize various programs as well as a computer system.

하지만, 이 출원은 음성인식을 통한 프로그래밍만을 다루고 있고, 스마트 팩토리의 빅데이터를 관리하고 제어하는 기술은 개시하지 못하고 있다.However, this application only deals with programming through voice recognition, and has not disclosed a technique for managing and controlling big data of a smart factory.

따라서, 모바일 디바이스(스마트폰, 태블릿 PC 등)를 통해 음성 인식 기술을 적용하여, 음성으로 말하면 이를 인식하여(자연어 처리 기술을 사용함) 데이터를 활용하여 이상치 등에 대한 통계 정보를 그래프로 확인할 수 있도록 하는 기술이 절실히 요구된다. Therefore, by applying voice recognition technology through a mobile device (smartphone, tablet PC, etc.), it is recognized by speaking speech (using natural language processing technology) to utilize data to check statistical information about outliers in a graph. Technology is desperately needed.

대한민국 특허출원 제 1020000060732 호Republic of Korea Patent Application No. 1020000060732

본 발명의 목적은 모바일 디바이스(스마트폰, 태블릿 PC 등)를 통해 음성 인식 기술을 적용하여, 음성으로 말하면 이를 인식하여 이상치 등에 대한 통계 정보를 그래프로 확인할 수 있도록 하는 음성 인식을 통한 통계 데이터 시각화 방법을 제공하는 것이다.The object of the present invention is to apply a voice recognition technology through a mobile device (smartphone, tablet PC, etc.), and if it is spoken by voice, it recognizes it and visualizes statistical information about outliers through voice recognition. Is to provide

또한, 본 발명의 다른 목적은, 음성 인식 기술(SRT : Speech Recognition Technology)과 자연어 처리 기술(NLP : Natural Language Processing)을 활용하여 음성으로 데이터 시각화를 통해 스마트 팩토리를 실시간으로 모니터링하고 이상 동작을 감지할 수 있는 음성 인식을 통한 통계 데이터 시각화 장치를 제공하는 것이다.In addition, another object of the present invention, using a speech recognition technology (SRT: Speech Recognition Technology) and natural language processing technology (NLP: Natural Language Processing) to monitor the smart factory in real time through data visualization with voice and detect abnormal behavior It is to provide a statistical data visualization device through speech recognition.

상기와 같은 목적들을 달성하기 위한 본 발명의 일면은, 음성 인식을 통한 통계 데이터 시각화 방법에 관한 것이다. 본 발명에 의한 음성 인식을 통한 통계 데이터 시각화 방법은, 데이터베이스로부터, 데이터에 대한 통계 처리를 실시하여 통계 데이터를 생성하는 통계 프로그램의 제어 명령과 사용자로부터의 음성 명령 사이의 매핑 관계를 수신하는 단계; 수신된 매핑 관계를 기초로 사용자로부터의 음성을 인식하여, 사용자의 음성으로부터 상기 통계 데이터를 시각화하기 위한 함수 및 상기 함수별 인자를 추출하는 단계; 수신된 매핑 관계를 기초로, 추출된 함수 및 함수별 인자를 조합하여 통계 데이터를 시각화하기 위한 제어 명령을 생성하고, 생성된 제어 명령을 상기 통계 프로그램에 입력하는 단계; 및 상기 통계 프로그램으로부터 상기 제어 명령을 수행한 결과를 수신하여 사용자에게 제공하는 단계를 포함한다. 특히, 상기 데이터베이스는, 사용자의 음성 명령과 복수 개의 통계 프로그램의 제어 명령을 표준화한 표준화 명령 사이의 일차 매핑 관계 및 상기 표준화 명령과 각 통계 프로그램의 제어 명령 사이의 이차 매핑 관계를 저장한다. 또한, 상기 추출하는 단계는, 상기 제어 명령을 구성하는 함수의 인자의 개수와 인자들 사이의 관계를 기초로 상기 제어 명령이 사용되는 상황을 분류하고, 분류된 상황에 따라 상기 함수의 인자를 추출한다. 더 나아가, 상기 음성 인식은 모바일 디바이스에 설치된 자연어 처리 기술을 사용하여 이루어진다. 특히, 상기 음성 인식은 네트워크를 통해 연결된 음성 인식 서버의 API(Application Programming Interface)를 활용하여 이루어질 수 있고, 상기 방법은 스마트 팩토리를 제어하기 위하여 사용된다. 또한, 본 발명에 의한 음성 인식을 통한 통계 데이터 시각화 방법은 상기 제어 명령을 수행한 결과로부터 상기 스마트 팩토리의 이상 동작을 감지하는 단계를 더 포함할 수 있다. One aspect of the present invention for achieving the above object, relates to a method of visualizing statistical data through speech recognition. A method of visualizing statistical data through speech recognition according to the present invention comprises: receiving a mapping relationship between a control command of a statistical program that generates statistical data by performing statistical processing on data from a database, and a voice command from a user; Recognizing a voice from a user based on the received mapping relationship, extracting a function for visualizing the statistical data from the user's voice and the function-specific factors; Generating a control command for visualizing statistical data by combining the extracted function and function-specific factors based on the received mapping relationship, and inputting the generated control command to the statistical program; And receiving a result of performing the control command from the statistical program and providing the result to the user. In particular, the database stores a primary mapping relationship between a user's voice command and a standardization command that standardized control commands of a plurality of statistical programs, and a secondary mapping relationship between the standardization command and control commands of each statistical program. In addition, the extracting step may classify a situation in which the control command is used based on the relationship between the number of arguments and arguments of a function constituting the control command, and extract the argument of the function according to the classified situation do. Furthermore, the speech recognition is performed using natural language processing technology installed in a mobile device. In particular, the voice recognition may be performed by utilizing an application programming interface (API) of a voice recognition server connected through a network, and the method is used to control a smart factory. In addition, the method for visualizing statistical data through speech recognition according to the present invention may further include detecting an abnormal operation of the smart factory from a result of performing the control command.

상기와 같은 목적들을 달성하기 위한 본 발명의 다른 면은, 음성 인식을 통한 통계 데이터 시각화 장치에 관한 것이다. 본 발명에 의한 음성 인식을 통한 통계 데이터 시각화 장치는, 데이터에 대한 통계 처리를 실시하는 통계 프로그램의 제어 명령과 사용자로부터의 음성 명령 사이의 매핑 관계를 저장하는 데이터베이스; 수신된 매핑 관계를 기초로 사용자로부터의 음성을 인식하여, 사용자의 음성으로부터 통계 데이터를 시각화하기 위한 함수 및 상기 함수별 인자를 추출하는 음성 인식부; 수신된 매핑 관계를 기초로, 추출된 함수 및 함수별 인자를 조합하여 통계 데이터를 시각화하기 위한 제어 명령을 생성하고, 생성된 제어 명령을 상기 통계 프로그램에 입력하는 시각화 제어 명령 생성부; 상기 통계 프로그램으로부터 상기 제어 명령을 수행한 결과를 수신하여 사용자에게 제공하는 인터페이스 모듈; 및 상기 구성 요소들을 제어하는 중앙 제어부를 포함한다. 특히, 상기 데이터베이스는, 사용자의 음성 명령과 복수 개의 통계 프로그램의 제어 명령을 표준화한 표준화 명령 사이의 일차 매핑 관계 및 상기 표준화 명령과 각 통계 프로그램의 제어 명령 사이의 이차 매핑 관계를 저장한다. 또한, 상기 음성 인식부는, 상기 제어 명령을 구성하는 함수의 인자의 개수와 인자들 사이의 관계를 기초로 상기 제어 명령이 사용되는 상황을 분류하고, 분류된 상황에 따라 상기 함수의 인자를 추출한다. 상기 음성 인식은 모바일 디바이스에 설치된 자연어 처리 기술을 사용하여 이루어지거나, 네트워크를 통해 연결된 음성 인식 서버의 API(Application Programming Interface)를 활용하여 이루어질 수 있다. 더 나아가, 음성 인식을 통한 통계 데이터 시각화 장치는 상기 제어 명령을 수행한 결과로부터 상기 스마트 팩토리의 이상 동작을 감지하는 이상 동작 감지부를 더 포함할 수 있고, 상기 통계 프로그램은 R 프로그램 및 파이톤(Python) 중 적어도 하나일 수 있다.Another aspect of the present invention for achieving the above object relates to a statistical data visualization apparatus through speech recognition. The apparatus for visualizing statistical data through voice recognition according to the present invention includes a database storing a mapping relationship between a control command of a statistical program that performs statistical processing on data and a voice command from a user; A voice recognition unit that recognizes a voice from a user based on the received mapping relationship and extracts a function for visualizing statistical data from the user's voice and the function-specific factors; A visualization control command generator for generating a control command for visualizing statistical data by combining the extracted function and function-specific factors based on the received mapping relationship, and inputting the generated control command to the statistical program; An interface module that receives a result of performing the control command from the statistical program and provides it to a user; And a central control unit controlling the components. In particular, the database stores a primary mapping relationship between a user's voice command and a standardization command that standardized control commands of a plurality of statistical programs, and a secondary mapping relationship between the standardization command and control commands of each statistical program. In addition, the speech recognition unit classifies a situation in which the control command is used based on the relationship between the number of factors of the function constituting the control command and factors, and extracts the function parameter according to the classified situation. . The speech recognition may be performed using a natural language processing technology installed in a mobile device, or may be performed using an application programming interface (API) of a speech recognition server connected through a network. Furthermore, the apparatus for visualizing statistical data through speech recognition may further include an abnormal operation detection unit that detects an abnormal operation of the smart factory from a result of performing the control command, and the statistical program includes an R program and a Python. It may be at least one of.

본 발명에 의하여, 모바일 디바이스를 통해 음성 인식 기술을 적용하여, 음성으로 말하면 이를 인식하여 이상치 등에 대한 통계 정보를 그래프로 확인할 수 있게 됨으로써, 스마트 팩토리를 실시간으로 모니터링하고 이상 동작을 감지할 수 있다. According to the present invention, by applying a voice recognition technology through a mobile device, it is possible to recognize the spoken words in speech and check statistical information on anomalies, so that the smart factory can be monitored in real time and abnormal behaviors can be detected.

또한, 본 발명에 따르면 모바일 장치에서 음성 인식이 적용된 통계 그래프를 만들어 주는 서비스가 가능해지고, 이러한 서비스가 스마트 팩토리 시장의 다양한 모바일 서비스에 적용될 수 있다.In addition, according to the present invention, a service for generating a statistical graph with speech recognition applied to a mobile device becomes possible, and the service can be applied to various mobile services in the smart factory market.

더 나아가, 본 발명에 따르면 음성 인식을 통해 데이터 분석의 미숙련자가 손쉽게 공장 데이터 분석을 할 수 있기 때문에 결함의 선제조치가 가능하며, 나아가 고급 데이터 분석 시나리오 개발과 각 나라 언어와의 조합을 통해 기술적 파급 효과가 크다.Furthermore, according to the present invention, it is possible to pre-defect defects because the inexperienced person in data analysis can easily analyze the factory data through voice recognition, and furthermore, it is possible to develop advanced data analysis scenarios and technical ripple through a combination of languages in each country. The effect is great.

도 1 은 본 발명의 일면에 따른 음성 인식을 통한 통계 데이터 시각화 방법을 개략적으로 나타내는 흐름도이다.
도 2 는 본 발명에 따른 음성 인식을 통한 통계 데이터 시각화 방법의 동작 환경을 설명하는 도면이다.
도 3 은 본 발명에 따른 음성 인식을 통한 통계 데이터 시각화 방법에서 사용되는 통계 프로그램의 시각화 함수를 예시한다.
도 4 는 본 발명에 따른 음성 인식을 통한 통계 데이터 시각화 방법에서 사용되는 통계 프로그램의 인자의 순서 체계를 예시한다.
도 5 는 본 발명에 따른 음성 인식을 통한 통계 데이터 시각화 방법에서 사용자가 표준화된 명령을 내릴 수 있게 하는, 함수와 음성 명령 사이의 매핑 관계를 예시한다.
도 6 은 도 5 에 예시된 매핑 관계를 더 상세히 표시하는 도면이다.
도 7 은 본 발명의 다른 면에 따른 음성 인식을 통한 통계 데이터 시각화 장치를 개략적으로 나타내는 블록도이다.
1 is a flowchart schematically showing a method of visualizing statistical data through speech recognition according to an aspect of the present invention.
2 is a view for explaining the operating environment of the statistical data visualization method through speech recognition according to the present invention.
3 illustrates a visualization function of a statistical program used in a method for visualizing statistical data through speech recognition according to the present invention.
4 illustrates an ordering system of factors of a statistical program used in a method of visualizing statistical data through speech recognition according to the present invention.
5 illustrates a mapping relationship between a function and a voice command that enables a user to issue a standardized command in a method for visualizing statistical data through voice recognition according to the present invention.
FIG. 6 is a view showing the mapping relationship illustrated in FIG. 5 in more detail.
7 is a block diagram schematically showing an apparatus for visualizing statistical data through speech recognition according to another aspect of the present invention.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다. In order to fully understand the present invention, the operational advantages of the present invention, and the objects achieved by the practice of the present invention, reference should be made to the accompanying drawings and the contents described in the accompanying drawings, which illustrate preferred embodiments of the present invention.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로서, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다. Hereinafter, the present invention will be described in detail by explaining preferred embodiments of the present invention with reference to the accompanying drawings. However, the present invention can be implemented in various different forms, and is not limited to the described embodiments. And, in order to clearly describe the present invention, parts irrelevant to the description are omitted, and the same reference numerals in the drawings indicate the same members.

도 1 은 본 발명의 일면에 따른 음성 인식을 통한 통계 데이터 시각화 방법을 개략적으로 나타내는 흐름도이다.1 is a flowchart schematically showing a method of visualizing statistical data through speech recognition according to an aspect of the present invention.

본 발명의 일면에 의한 음성 인식을 통한 통계 데이터 시각화 방법은 스마트 팩토리에서 메인 이슈가 되는 진단을 쉽게 분석할 수 있게 한다. 즉, 음성 인식을 통한 통계 데이터 시각화 방법은 음성과 통계 프로그램의 시각화 명령어를 매핑하고 그래프를 생성하는 시나리오별 매핑 로직을 활용한다. 본 발명의 동작 환경을 도 2 를 사용하여 간략히 설명한다.The method of visualizing statistical data through speech recognition according to an aspect of the present invention makes it easy to analyze a diagnosis that is a main issue in a smart factory. That is, the method of visualizing statistical data through speech recognition uses scenario-specific mapping logic that maps visualization commands of speech and statistical programs and generates graphs. The operating environment of the present invention will be briefly described with reference to FIG. 2.

도 2 는 본 발명에 따른 음성 인식을 통한 통계 데이터 시각화 방법의 동작 환경을 설명하는 도면이다.2 is a view for explaining the operating environment of the statistical data visualization method through speech recognition according to the present invention.

도 2를 참조하면, 우선 MES 시스템과 U-FPS 서버 사이에 송수신된 데이터가 모니터링 시스템에 전달된다. 음성 인식을 통한 통계 데이터 시각화 방법은 모니터링 시스템의 한 모듈로서 동작할 수 있다.Referring to FIG. 2, first, data transmitted and received between the MES system and the U-FPS server is transmitted to the monitoring system. The method of visualizing statistical data through speech recognition may operate as a module of the monitoring system.

MES(Manufacturing Execution System)는 통합 생산 관리 시스템이라고 불리며, 제품 주문에 의한 착수에서 완성품의 품질 검사까지 전 생산 활동을 관리하는 시스템이다. MES 시스템을 사용하면 생산 현장의 각종 정보, 즉 생산 실적, 작업자의 활동, 설비 가동, 제품 품질 정보 등을 실시간으로 수집하여, 집계, 분석할 수 있게 된다. MES (Manufacturing Execution System) is called an integrated production management system, and is a system that manages all production activities, from initiation by product order to quality inspection of finished products. Using the MES system, it is possible to collect, analyze, and collect in real time various types of information on production sites, such as production performance, worker activities, facility operation, and product quality information.

또한, MES는 아래로는 장비, 운송 설비, PLC, 각종 디바이스 등을 제어해 자동화를 가능하게 해주는 자동화 시스템과 인터페이스하고, 위로는 계획(Planning) 시스템 또는 전사적 자원관리(ERP) 시스템과 인터페이스하여 전사적인 자원 관리부터 최하위 생산 장비까지의 제어를 통합시켜주는 역할을 수행한다.In addition, MES interfaces with automation systems that enable automation by controlling equipment, transportation facilities, PLCs, and various devices below, and the top is an enterprise-wide interface with a planning system or an enterprise resource planning (ERP) system. It plays a role of integrating control from human resource management to the lowest production equipment.

HMI(Human-machine interface)는 운전자 인터페이스 시스템을 가리키며, 휴먼 머신 인터페이스를 통해 시각이나 청각과 관련 지어진 인간의 아날로그적인 인지의 세계와 컴퓨터나 통신의 디지털을 처리하는 기계의 세계를 연결하는 인터페이스의 역할을 한다. 도 2 의 HMI는 센서 데이터를 수집하는 역할을 수행할 수 있다.Human-machine interface (HMI) refers to the operator interface system, and acts as an interface that connects the world of human cognition associated with vision or hearing to the world of machines that process digital computers or communication through human machine interfaces. Do it. The HMI of FIG. 2 may serve to collect sensor data.

U-FPS 서버는 프로세스 프로그램, 데이터 마이닝 프로그램, 머신 러닝 모델 등으로 구성되며, 스마트 팩토리의 각종 설비의 운전 실적 데이터를 수집, 저장하고, 동작 레시피도 저장한다. 스마트 팩토리의 설비의 이상 동작 징후가 발견되면 U-FPS 서버는 스마트 팩토리에 경보 알람을 전송하는 역할도 수행한다. 이를 위하여 머신 러닝 모델을 적용할 수 있다. 머신 러닝 모델은 출력 파일을 생성하고 선택된 모델을 사용하여 머신 러닝을 수행, 진단 정확도를 높일 수 있다.The U-FPS server is composed of a process program, a data mining program, a machine learning model, and the like, and collects and stores operation performance data of various facilities of a smart factory, and also stores operation recipes. When signs of abnormal operation of the facilities of the smart factory are found, the U-FPS server also serves to send an alarm alarm to the smart factory. For this, a machine learning model can be applied. The machine learning model can generate an output file and perform machine learning using the selected model to increase diagnostic accuracy.

도 2에서 알 수 있는 바와 같이, 본 발명의 음성 인식을 통한 통계 데이터 시각화 방법은, 음성 인식을 통해 초보자도 쉽게 분석할 수 있는 시나리오를 작성하고 시각화한다. 또한, 통계 데이터를 음성 인식을 통해 쉽게 시각화할 수 있기 때문에, 통계 프로그램에 대한 전문적인 지식이 없는 사용자도 빅데이터를 쉽게 분석하여 이상치를 추출할 수 있다.As can be seen in FIG. 2, the method of visualizing statistical data through speech recognition of the present invention creates and visualizes a scenario that even a beginner can easily analyze through speech recognition. In addition, since the statistical data can be easily visualized through voice recognition, even users who do not have expert knowledge of the statistical program can easily analyze the big data and extract outliers.

일반적으로, R과 같이 빅데이터 관련 언어들을 학습할 때 실습이 반드시 필요하게 되는데 모바일로 학습할 경우, 키보드가 불편하여 프로그램을 실습하기가 힘들다. 이러한 단점을 극복하기 위해서는 음성을 통해 프로그램을 할 수 있는 기술이 필요하다. 대부분 고급 프로그래밍 언어(HighLevel Program Language)는 인간이 인식하기 쉽도록 개발되고 있고 특히, 함수형 언어(Functional Language)의 경우 말하는 것과 비슷하게 프로그램이 가능하도록 구조화 되어 있는 경우가 많다. 즉, 음성 인식을 통한 통계 데이터 시각화 방법은 자연어 처리 기술과 R 프로그램 시각화 함수와의 매핑을 위한 표준화 룰을 제작하고, 초보자도 활용할 수 있는 데이터 시각화 시나리오 DB를 구축한다.In general, when learning big data-related languages such as R, practice is essential, but when learning on mobile, it is difficult to practice the program because the keyboard is inconvenient. In order to overcome these shortcomings, a technology capable of programming through voice is required. Most of the high-level programming languages (HighLevel Program Language) are developed to be easily recognized by humans, and in particular, in the case of functional languages, they are often structured to be programmable similar to what is said. That is, the method of visualizing statistical data through speech recognition creates standardization rules for mapping between natural language processing technology and R program visualization function, and builds a data visualization scenario DB that even beginners can utilize.

다시 도 1 로 돌아와서, 본 발명의 음성 인식을 통한 통계 데이터 시각화 방법에 대해 상세히 설명한다.Returning to FIG. 1 again, the method of visualizing statistical data through speech recognition of the present invention will be described in detail.

우선, 데이터베이스로부터, 데이터에 대한 통계 처리를 실시하여 통계 데이터를 생성하는 통계 프로그램의 제어 명령과 사용자로부터의 음성 명령 사이의 매핑 관계를 수신한다(S110).First, a mapping relationship between a control command of a statistical program that generates statistical data by performing statistical processing on data and a voice command from a user is received from the database (S110).

본 발명에서 통계 프로그램으로서 R 프로그램 및 파이톤(Python)이 예시되지만, 이것은 오직 예를 들기 위한 것이며, 본 발명은 이들로 한정되는 것이 아니고 다양한 통계 프로그램에도 적용될 수 있음이 당업자에게 이해될 것이다. 특히, R은 오픈소스 프로그램으로 통계/데이터 마이닝 및 그래프를 위한 언어이다. R 프로그램은 주로 연구 및 산업별 응용 프로그램으로 많이 사용되고 있으며, 최근에는 기업들이 많이들 사용하기 시작했다. 특히, 빅데이터 분석을 목적으로 주목을 받고 있으며, 5000개가 넘는 패키지(일종의 애플리케이션)들이 다양한 기능을 지원하고 있으며 수시로 업데이트되고 있다.Although the R program and Python are exemplified as statistical programs in the present invention, it will be understood by those skilled in the art that this is for illustration only, and the present invention is not limited to them and can be applied to various statistical programs. In particular, R is an open source program and is a language for statistics/data mining and graphing. The R program is mainly used for research and industry-specific applications, and recently it has been used by many companies. In particular, it is receiving attention for the purpose of analyzing big data, and more than 5000 packages (sort of applications) support various functions and are updated frequently.

이러한 R 프로그램은 오픈소스 프로젝트로 진행되고 있는 R은 통계 프로그래밍 언어인 S 언어 기반으로 만들어졌으며, 통계 계산과 결과 생성 그래픽을 위해 적합하다. 또한, 개발자 입장에서는 R이 다른 개발 언어와의 연계 호환이 가능하고, 웹과 연동하여 실시간 처리가 가능하기 때문에 비용 절감에 따른 경제적 이익이 수반되는 새로운 애플리케이션을 개발하거나 웹 서비스로 제공하는 데 유용하다. This R program, which is being developed as an open source project, is based on the S language, a statistical programming language, and is suitable for statistical calculation and result generation graphics. In addition, as a developer, R is compatible with other development languages and can be processed in real time in conjunction with the web, so it is useful for developing new applications or providing them as web services, which are accompanied by economic benefits due to cost reduction. .

본 발명에서 분석 체계를 구축하기 위해서는, 우선 연구 및 DB화가 필요하고, 시나리오를 설계해야 한다. 그리고, 각 시나리오를 기반으로 순서 체계를 만들고, 이를 사용하여 표준화된 로직을 개발해야 한다. 각각의 단계에 대해서 상세히 설명하면 다음과 같다.In order to build an analysis system in the present invention, first of all, research and DBization are required, and scenarios must be designed. Then, based on each scenario, an ordering system must be created and standardized logic should be developed using it. Each step is described in detail as follows.

- 연구 및 DB화-Research and DB

이 단계에서는 데이터 시각화를 위한 R의 주요 함수와 인자를 조사 연구해야 한다. 그리고, 스마트 팩토리의 운용에 사용되기에 적합한 연구에 필요한 함수와 인자를 선정한다.At this stage, the main functions and factors of R for data visualization should be investigated and studied. In addition, functions and parameters necessary for research suitable for use in the operation of the smart factory are selected.

이를 위하여, 시각화 함수에 대한 설문조사가 실시될 수 있다. 예를 들어, R 프로그램을 사용하는 프로그래머 약 100명을 선정하여 시각화 함수 및 인자의 인식 범위를 확인하고자 제작한 스크립트를 제공할 수 있다. 그리고, 프로그래머가 스크립트를 직접 읽는 데이터를 수집하여 데이터베이스를 구축할 수 있다.To this end, a survey can be conducted on the visualization function. For example, about 100 programmers using R programs can be selected to provide a script created to check the recognition range of visualization functions and parameters. In addition, the programmer can build a database by collecting data that directly reads the script.

- 시나리오 설계-Scenario design

데이터베이스를 구축하기 위해서, R 프로그램에서 선정된 시각화 함수별로 필요한 인자의 개수를 파악하고, 이러한 인자의 개수에 따라서 사용자의 명령 시나리오를 설계한다. 예를 들어, 우선 시각화 함수의 명칭을 인식한 뒤, 필요한 인자의 개수만큼 순차적으로 사용자에게 음성 명령을 내리도록 지시할 수 있다. 이러한 시나리오 설계 과정은 양방향 인터페이스를 통해서 이루어지는 것이 바람직하다.In order to build a database, the number of required parameters for each visualization function selected in the R program is grasped, and a user's command scenario is designed according to the number of these parameters. For example, first, after recognizing the name of the visualization function, the user may be instructed to issue a voice command to the user sequentially as many as necessary factors. The scenario design process is preferably performed through a bidirectional interface.

도 3 은 본 발명에 따른 음성 인식을 통한 통계 데이터 시각화 방법에서 사용되는 통계 프로그램의 시각화 함수를 예시한다.3 illustrates a visualization function of a statistical program used in a method for visualizing statistical data through speech recognition according to the present invention.

도 3을 참조하면, 시각화 함수 plot, barplot, boxplot과 각 함수별로 필요한 인자를 예시하고 있다. 예를 들어, plot의 인자는 x, y이며, 설명을 통해 이러한 x, y는 그림에 대한 xy 좌표를 나타내는다는 것을 알 수 있다. 또한, barplot 함수의 인자인 height는 막대로 나타낼 대상 자료 객체를 표현하며, col이라는 인자는 막대의 색깔을 나타낸다는 것을 알 수 있다. 이와 같은 방식으로 bloxplot이라는 함수의 outline이라는 인자는 이상치를 점으로 출력하는 역할을 수행한다.Referring to FIG. 3, visualization functions plot, barplot, boxplot, and necessary parameters for each function are illustrated. For example, the argument of the plot is x, y, and the description shows that these x, y represent the xy coordinates for the picture. In addition, it can be seen that the height, which is an argument of the barplot function, represents a target data object to be represented by a bar, and the argument col is a color of a bar. In this way, the outline argument of the bloxplot function serves to print outliers as dots.

도 3 과 같이 R 프로그램에서 사용되는 시각화 함수 및 각 시각화 함수의 인자가 정리되면, 각 인자의 개수 및 성질에 따라 입력되는 시나리오를 다르게 구성할 수 있다. 또한, 차별화된 시나리오를 구축하기 위하여 시각화 함수에 대한 필수 인자와 선택 인자를 조사해야 한다. 따라서, 선택 인자의 경우 반드시 입력되지 않더라도 음성 인식을 통한 통계 데이터 시각화 방법에서 음성 명령을 더욱 재촉하지 않도록 할 수 있다. When the visualization functions used in the R program and the parameters of each visualization function are arranged as shown in FIG. 3, a scenario that is input according to the number and nature of each parameter may be configured differently. In addition, in order to construct a differentiated scenario, essential and optional factors for the visualization function must be investigated. Therefore, in the case of the selection factor, even if it is not necessarily input, it is possible to prevent further prompting of the voice command in the method of visualizing statistical data through voice recognition.

본 명세서에서는 총 18개 함수에 대한 입력 시나리오를 개시하고 있으며, 각 함수에 대한 설명(활용 가능한 데이터의 종류 및 예시, 함수의 기능, 인자 구분)과 함수 사용에 대한 시나리오를 알고리즘 체계도의 형태로 소개한다. 하지만, 이것은 오직 예시를 위한 것이고 본 발명을 한정하는 것이 아니다. In this specification, input scenarios for a total of 18 functions are disclosed, and descriptions of each function (types and examples of applicable data, function functions, and parameter classification) and scenarios for function use in the form of an algorithmic system diagram. Introduce. However, this is for illustration only and does not limit the invention.

- 순서 체계 DB 생성-Order system DB creation

시각화 함수의 입력 시나리오가 준비되면, 사용자 개개인의 특성에 따라 각 함수의 인자 사용 순서는 다르다고 판단하여 설계된 시나리오를 기반으로 상황별 시각화 함수의 주요 인자 순서 체계를 구축한다.When the input scenario of the visualization function is prepared, it is determined that the order of using the parameters of each function is different according to the characteristics of each user, and the main factor order system of the visualization function for each context is constructed based on the designed scenario.

도 4 는 본 발명에 따른 음성 인식을 통한 통계 데이터 시각화 방법에서 사용되는 통계 프로그램의 인자의 순서 체계를 예시한다.4 illustrates an ordering system of factors of a statistical program used in a method of visualizing statistical data through speech recognition according to the present invention.

도 4 를 참조하면, 선정된 시각화 함수별로 필수 인자와 선택 인자를 체계적으로 분류하고 있다. 예를 들어, pie 함수의 경우 필수 인자는 없고, 선택 인자로서 main, xlab, ylab이 존재한다는 것을 알 수 있다. 마찬가지로, dotchart 함수의 경우 선택 인자로서 main, xlab, ylab, color, pch의 5 개가 존재한다. 도 4에서 알 수 있는 바와 같이, 각각의 선택 인자는 반드시 순서대로 입력되는 것이 아니다. 그러므로, 입력된 인자를 순서와 무관하게 정확하게 구분하기 위해서 입력 시나리오가 적절하게 사용된다.Referring to FIG. 4, essential and optional factors are systematically classified for each selected visualization function. For example, in the case of the pie function, there are no required parameters, and it can be seen that main, xlab, and ylab are optional parameters. Similarly, in the case of the dotchart function, there are five main, xlab, ylab, color, and pch as optional arguments. As can be seen in Figure 4, each selection factor is not necessarily input in order. Therefore, an input scenario is appropriately used to accurately distinguish the inputted factors regardless of the order.

이러한 입력 시나리오에 따르면, pie 함수의 경우 입력을 위해 main, xlab, ylab의 선택 인자들을 순차적으로 음성 입력하도록 할 수 있다. 또한, dotchart 함수의 경우 선택 인자로서 main, xlab, ylab, color, pch의 선택 인자들을 음성 입력하도록 유도할 수 있다.According to this input scenario, in the case of the pie function, it is possible to sequentially input the selection factors of main, xlab, and ylab for input. In addition, in the case of the dotchart function, it is possible to induce to input the input parameters of main, xlab, ylab, color, and pch as a selection factor.

다시 도 1을 참조하면, 데이터베이스로부터 수신된 매핑 관계를 기초로 사용자로부터의 음성을 인식하여, 사용자의 음성으로부터 통계 데이터를 시각화하기 위한 함수 및 함수별 인자를 추출한다(S130).Referring back to FIG. 1, a voice from a user is recognized based on a mapping relationship received from a database, and functions and function-specific factors for visualizing statistical data are extracted from the user's voice (S130 ).

본 명세서에서는 총 18개의 함수와 약 50개의 인자에 대해서 총 343개의 순서 체계를 구축하였으나, 이것은 오직 예시를 위한 것이고 본 발명을 한정하는 것이 아니다.In this specification, a total of 343 ordering systems were constructed for a total of 18 functions and about 50 factors, but this is for illustration only and does not limit the present invention.

- 시각화 함수 표준화 로직-Visualization function standardization logic

입력 체계가 구축되면, 모바일 기기의 음성 인식률 상승을 위해 R 프로그램의 시각화 함수의 다양한 음성 표현 방식들을 가장 많이 표현되는 약 3가지 표현 방식으로 제한하여 함수의 음성 표준화 로직을 정의한다. 전술된 바와 같이, 본 발명에 따른 음성 인식을 통한 통계 데이터 시각화 방법에서는 사용자와의 양방향 인터페이스를 통하여 함수와 인자에 대한 음성 명령을 순차적으로 수신할 수 있다.When the input system is built, the voice standardization logic of the function is defined by limiting various speech expression methods of the visualization function of the R program to about three expression methods that are most expressed in order to increase the speech recognition rate of the mobile device. As described above, in the method of visualizing statistical data through voice recognition according to the present invention, voice commands for functions and parameters may be sequentially received through a two-way interface with a user.

도 5 는 본 발명에 따른 음성 인식을 통한 통계 데이터 시각화 방법에서 사용자가 표준화된 명령을 내릴 수 있게 하는, 함수와 음성 명령 사이의 매핑 관계를 예시하며, 도 6 은 도 5 에 예시된 매핑 관계를 더 상세히 표시하는 도면이다.5 illustrates a mapping relationship between a function and a voice command that enables a user to issue a standardized command in a method for visualizing statistical data through voice recognition according to the present invention, and FIG. 6 illustrates the mapping relationship illustrated in FIG. 5. It is a drawing to be displayed in more detail.

도 5 및 도 6 을 참조하면, 각각의 함수에 대한 표준화된 명령을 알 수 있다. 도 5 의 표준화된 명령 몇 가지를 나열하면 다음과 같다.5 and 6, it is possible to know the standardized command for each function. Some of the standardized commands in FIG. 5 are listed as follows.

함수 pie : '원그래프' 또는 '파이'Function pie:'one graph' or'pie'

함수 dotchart : '점그래프' 또는 '닷차트'Function dotchart:'dot graph' or'dot chart'

함수 hist : '히스토그램' 또는 '히스트'Function hist:'Histogram' or'Hist'

함수 plot3d : '쓰리디그래프' 또는 '동적인 쓰리디그래프'Function plot3d: '3D graph' or'Dynamic 3D graph'

도 5를 참조하면, 이러한 표준화된 명령이 없을 경우 함수 plot3d를 '플랏쓰리디'라고 읽을 수도 있는데, 그런 경우에는 원하는 함수가 제대로 호출되지 않을 수 있다. 따라서, 이러한 표준화 명령을 통하여 음성 명령에 대한 동작 정확도가 현저하게 향상된다.Referring to FIG. 5, in the absence of such a standardized command, the function plot3d may be read as'Plot Three-Dee', in which case the desired function may not be properly called. Therefore, the operation accuracy of the voice command is significantly improved through the standardization command.

음성 인식은 모바일 디바이스에 설치된 자연어 처리 기술을 사용하여 이루어지거나, 네트워크를 통해 연결된 음성 인식 서버의 API(Application Programming Interface)를 활용하여 이루어질 수 있다.Speech recognition may be performed using a natural language processing technology installed in a mobile device, or may be performed using an application programming interface (API) of a voice recognition server connected through a network.

도 6을 참조하여 많은 함수에서 공통적으로 사용되는 인자들에 대한 표준화된 명령을 더욱 상세히 설명한다.6, standardized commands for factors commonly used in many functions will be described in more detail.

도 6을 참조하면, 함수 pie, dotchart, heatmap, boxplot 등에서 사용되는 인자 x는 '데이터' 또는 '엑스'는 표준화 명령으로 읽는다는 것을 알 수 있다. 반면에, 함수 slpom, cloud, xyplot, densityplot에서 사용되는 인자 x는 '개별항목이름', '항목이름', 또는 '엑스'라고 읽는다는 것을 알 수 있다. 같은 인자라도 사용되는 함수에서의 용도가 다르기 때문에, 이러한 용도를 구별하기 위해서 전술된 입력 시나리오가 필요하다.Referring to FIG. 6, it can be seen that the argument x used in functions pie, dotchart, heatmap, boxplot, etc. is read as'data' or'x' as a standardization command. On the other hand, it can be seen that the argument x used in the functions slpom, cloud, xyplot, and densityplot reads as'individual item name','item name', or'x'. Since the use of the same argument is different in the function used, the input scenario described above is needed to distinguish this use.

데이터베이스는, 사용자의 음성 명령과 복수 개의 통계 프로그램의 제어 명령을 표준화한 표준화 명령 사이의 일차 매핑 관계 및 표준화 명령과 각 통계 프로그램의 제어 명령 사이의 이차 매핑 관계를 저장하여 음성 명령을 작동시킬 수도 있다.The database may operate the voice command by storing a primary mapping relationship between a user's voice command and a standardized command that standardized control commands of a plurality of statistical programs and a secondary mapping relationship between a standardized command and control commands of each statistical program. .

이와 같이 표준화된 명령이 인식되면, 데이터베이스로부터 수신된 매핑 관계를 기초로, 추출된 함수 및 함수별 인자를 조합하여 통계 데이터를 시각화하기 위한 제어 명령을 생성하고, 생성된 제어 명령을 통계 프로그램에 입력한다(S150)When such a standardized command is recognized, a control command for visualizing statistical data by combining the extracted function and function-specific arguments is generated based on the mapping relationship received from the database, and the generated control command is input to the statistical program (S150)

제어 명령은 전술된 바와 같은 입력 시나리오를 참조하여 구성된다. 즉, 함수 pie, dotchart, heatmap, boxplot 등에서 사용되는 인자 x와 함수 slpom, cloud, xyplot, densityplot에서 사용되는 인자 x는 다른 표준화된 명령을 통해 입력될 수 있다. 그러면, 입력 시나리오에 따라 각 인자를 구별하여, 사용하는 함수에 따른 제어 명령을 구성하여 통계 프로그램에 입력한다. 이제, R 프로그램과 같은 통계 프로그램은 각 표준화된 제어 명령을 수신하여 통상적인 통계 동작을 수행한다. 그리고, 통계 데이터를 사용자에게 제공한다.The control command is constructed with reference to the input scenario as described above. That is, the argument x used in functions pie, dotchart, heatmap, boxplot, etc. and the argument x used in functions slpom, cloud, xyplot, and densityplot can be input through other standardized commands. Then, each factor is distinguished according to the input scenario, and control commands according to the function to be used are constructed and input to the statistical program. Now, a statistical program, such as an R program, receives each standardized control command and performs normal statistical operations. Then, statistical data is provided to the user.

그러면, 통계 프로그램으로부터 제어 명령을 수행한 결과를 수신하여 사용자에게 제공한다(S170). Then, the result of performing the control command from the statistical program is received and provided to the user (S170).

이와 같이 수신된 결과는 스마트 팩토리를 제어하기 위하여 사용될 수 있다.The received result can be used to control the smart factory.

또한, 음성 인식을 통한 통계 데이터 시각화 방법은 제어 명령을 수행한 결과로부터 스마트 팩토리의 이상 동작을 감지하는 단계(S190)를 더 포함할 수도 있다. 전술된 바와 같이, 본 발명에 따르면 통계 프로그램마다 다른 명령어를 알 필요 없이 표준화된 명령을 통해 음성 인식을 하여 통계 프로그램을 제어할 수 있다. 그러므로, 전문화된 인력이 없이도 시각화된 정보를 통해서 스마트 팩토리의 이상 동작을 쉽게 파악하여 사전 조치를 취할 수 있다.In addition, the method of visualizing statistical data through speech recognition may further include a step (S190) of detecting an abnormal operation of the smart factory from a result of performing a control command. As described above, according to the present invention, it is possible to control the statistical program by performing speech recognition through standardized commands without having to know different commands for each statistical program. Therefore, it is possible to easily identify the abnormal operation of the smart factory through visualized information without specialized personnel and take precautions.

도 7 은 본 발명의 다른 면에 따른 음성 인식을 통한 통계 데이터 시각화 장치를 개략적으로 나타내는 블록도이다.7 is a block diagram schematically showing an apparatus for visualizing statistical data through speech recognition according to another aspect of the present invention.

도 7을 참조하면, 음성 인식을 통한 통계 데이터 시각화 장치(700)는 통계 프로그램 모듈(710), 인터페이스(720), 음성 인식부(730), 중앙 제어부(750), 시각화 명령어 생성부(760), 이상 동작 감지부(770), 및 데이터베이스(790)를 포함한다.Referring to FIG. 7, the statistical data visualization apparatus 700 through voice recognition includes a statistical program module 710, an interface 720, a voice recognition unit 730, a central control unit 750, and a visualization command generation unit 760. , An abnormal motion detection unit 770, and a database 790.

전술된 바와 같이, 데이터베이스(790)는 통계 프로그램 전문가에게 데이터 시각화를 위한 주요 함수 및 인자를 질의한 조사 연구를 통해서 구축될 수 있다. 이 과정에서 얻어진 결과를 통해 시각화 함수 및 인자가 데이터베이스(790)에 저장된다. 그러면, 통계 프로그램에서 시각화 함수별 인자 개수에 따른 입력 시나리오를 구별하고, 구별된 시나리오에 따라 함수와 인자를 입력하도록 유도하게 된다. 입력 시나리오가 준비되면, 설계된 시나리오를 기반으로 상황별 시각화 함수의 주요 인자를 순차적으로 입력할 수 있다. 따라서, 데이터베이스(790)는 함수별 입력 시나리오도 저장한다.As described above, the database 790 may be built through a research study in which a statistical program expert is queried for key functions and parameters for data visualization. Visualization functions and parameters are stored in the database 790 through the results obtained in this process. Then, the statistical program discriminates input scenarios according to the number of parameters for each visualization function, and induces input of functions and factors according to the differentiated scenarios. When the input scenario is prepared, it is possible to sequentially input the main factors of the contextual visualization function based on the designed scenario. Therefore, the database 790 also stores input scenarios for each function.

또한, 데이터베이스(790)는 음성과 통계 프로그램 명령어와의 매핑 표준화 로직도 구축하고 있다. 전술된 바와 같이 데이터베이스(790)는 사용자의 음성 명령과 복수 개의 통계 프로그램의 제어 명령을 표준화한 표준화 명령 사이의 일차 매핑 관계 및 상기 표준화 명령과 각 통계 프로그램의 제어 명령 사이의 이차 매핑 관계를 저장할 수 있다.In addition, the database 790 also constructs mapping standardization logic between voice and statistical program commands. As described above, the database 790 may store a primary mapping relationship between a user's voice command and a standardization command that standardizes control commands of a plurality of statistical programs, and a secondary mapping relationship between the standardization command and control commands of each statistical program. have.

음성 인식부(730)는 데이터베이스(790)로부터 수신된 매핑 관계를 기초로 사용자로부터의 음성을 인식한다. 음성 인식부(730)가 있기 때문에 모바일 기기에 적용되고 있는 협소한 입력 장치의 한계를 극복할 수 있다. 음성 인식부(730)는 음성 인식 기술(SRT : Speech Recognition Technology)과 자연어 처리 기술(NLP : Natural Language Processing)을 활용할 수 있다. 특히, 음성 인식부(730)는 네트워크를 통해 연결된 음성 인식 서버의 API(Application Programming Interface)를 활용할 수 있다. 예를 들어, 구글에서 제공하는 음성 인식 API를 활용하면 음성 인식 기능이 쉽게 구현될 수 있다. 이러한 경우, 사용자의 음성을 녹음하여 구글 클라우드 서버로 전송하고, 인식된 텍스트를 서버로부터 전송받아 사용할 수 있다. 특히, 외부 API를 활용하는 경우, 음성 인식부(730)에서 처리해야 하는 노이즈 처리, 음성 신호 처리, 음성 신호 모델링 등의 복잡한 음성 인식을 위한 과정들을 외부 API를 활용하여 쉽게 처리할 수 있게 된다. 이와 같이, 음성 인식부(730)는 사용자의 음성으로부터 통계 데이터를 시각화하기 위한 함수 및 상기 함수별 인자를 추출한다.The voice recognition unit 730 recognizes the voice from the user based on the mapping relationship received from the database 790. Since there is a voice recognition unit 730, it is possible to overcome the limitations of the narrow input device applied to the mobile device. The speech recognition unit 730 may utilize speech recognition technology (SRT) and natural language processing (NLP). In particular, the voice recognition unit 730 may utilize an application programming interface (API) of a voice recognition server connected through a network. For example, using the speech recognition API provided by Google, the speech recognition function can be easily implemented. In this case, the user's voice can be recorded and transmitted to the Google Cloud server, and the recognized text can be received from the server and used. In particular, when an external API is used, processes for complex speech recognition, such as noise processing, speech signal processing, and speech signal modeling, which the speech recognition unit 730 needs to process, can be easily processed using an external API. In this way, the voice recognition unit 730 extracts a function for visualizing statistical data from the user's voice and the function-specific factors.

그러면, 시각화 명령어 생성부(760)는 수신된 매핑 관계를 기초로, 추출된 함수 및 함수별 인자를 조합하여 통계 데이터를 시각화하기 위한 제어 명령을 생성하고, 생성된 제어 명령을 인터페이스(720)를 통해 통계 프로그램 모듈(710)로 전송한다.Then, the visualization command generation unit 760 generates a control command for visualizing statistical data by combining the extracted function and function-specific arguments based on the received mapping relationship, and generates the generated control command in the interface 720. And transmit it to the statistical program module 710.

통계 프로그램 모듈(710)이 지시된 명령을 수행하면, 그 결과가 중앙 제어부(750)로 전달된다. 중앙 제어부(750)는 결과를 인터페이스(720)를 통해 사용자의 디바이스로 전송하여 사용자가 시각화된 결과를 참조할 수 있게 할 수 있다. 즉, 인터페이스(720)은 통계 프로그램 모듈(710)이 제어 명령을 수행한 결과를 수신하여 사용자 디바이스로 제공하는 역할을 할 수 있다.When the statistical program module 710 executes the instruction, the result is transmitted to the central control unit 750. The central control unit 750 may transmit the result to the user's device through the interface 720 so that the user can refer to the visualized result. That is, the interface 720 may serve to receive a result of performing a control command by the statistical program module 710 and provide it to a user device.

또한, 음성 인식을 통한 통계 데이터 시각화 장치(700)의 이상 동작 감지부(770)는 시각화된 결과로부터 이상 동작을 조기에 감지할 수 있다. 이를 위하여, 머신 러닝 기반의 학습이 이상 동작 감지부(770)에서 이루어질 수도 있다.In addition, the abnormal motion detection unit 770 of the statistical data visualization apparatus 700 through voice recognition may detect an abnormal operation early from the visualized result. To this end, machine learning based learning may be performed in the abnormal motion detection unit 770.

이와 같이, 도 7 의 음성 인식을 통한 통계 데이터 시각화 장치(700)를 사용하면, 따라서, 초보자도 음성을 통해 스마트 팩토리의 동작 상황을 손쉽게 분석하고 확인할 수 있게 된다.As described above, when the statistical data visualization apparatus 700 through voice recognition of FIG. 7 is used, even a beginner can easily analyze and check the operation status of the smart factory through voice.

전술된 바와 같이, 음성 인식을 통한 통계 데이터 시각화 장치(700)는 4차 산업혁명에서 가장 핵심 기술인 빅데이터 분석용 소프트웨어(SW)와 음성을 활용한 프로그래밍 기술의 표준화 룰과 시나리오를 작성하여, 스마트 팩토리의 동작 상황을 실시간으로 분석하고 선제적 조치를 취할 수 있도록 할 수 있다.As described above, the statistical data visualization apparatus 700 through voice recognition creates standardization rules and scenarios of software for big data analysis (SW), which is the most important technology in the fourth industrial revolution, and programming technology using voice, and is smart. It is possible to analyze the factory operation status in real time and take preemptive action.

따라서, 음성 인식을 통한 통계 데이터 시각화 장치(700)는 스마트 팩토리를 활용한 IoT와 빅데이터 연구 사업의 중요한 핵심 기술로서, 고급 데이터 분석 시나리오 개발과 각 나라 언어와의 조합을 통해 기술적 파급 효과가 매우 크다.Therefore, the statistical data visualization apparatus 700 through voice recognition is an important core technology of IoT and big data research business using smart factories, and the technological ripple effect is very high through the combination of advanced data analysis scenario development and language of each country. Big.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 예를 들면, 데이터베이스가 저장하는 표준화 명령은 사용되는 통계 프로그램과 선정된 시각화 함수에 따라 달라질 수 있다.The present invention has been described with reference to the embodiments shown in the drawings, but these are merely exemplary, and those skilled in the art will understand that various modifications and other equivalent embodiments are possible therefrom. For example, the standardization commands stored in the database may vary depending on the statistical program used and the selected visualization function.

또한, 본 발명에 따르는 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함할 수 있다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 분산 컴퓨터 시스템에 의하여 분산 방식으로 실행될 수 있는 컴퓨터가 읽을 수 있는 코드를 저장할 수 있다. Further, the method according to the present invention can be embodied as computer readable codes on a computer readable recording medium. The computer-readable recording medium may include any kind of recording device in which data readable by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disks, optical data storage devices, etc., and also implemented in the form of carrier waves (for example, transmission via the Internet). Includes. In addition, the computer-readable recording medium may store computer-readable code that can be executed in a distributed manner by a networked distributed computer system.

본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다. 그리고, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. In the terminology used herein, a singular expression should be understood to include a plurality of expressions, unless the context clearly interprets otherwise, and terms such as “comprises” describe features, numbers, steps, operations, and components described. It is to be understood that it means that a part or a combination thereof is present, and does not exclude the presence or addition possibility of one or more other features or numbers, step operation components, parts or combinations thereof. In addition, terms such as "... unit", "... group", "module", and "block" described in the specification mean a unit that processes at least one function or operation, which is hardware, software, or hardware. And software.

따라서, 본 실시예 및 본 명세서에 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시예는 모두 본 발명의 권리범위에 포함되는 것이 자명하다고 할 것이다.Therefore, the drawings attached to the present embodiment and the present specification are merely a part of the technical spirit included in the present invention, and those skilled in the art within the scope of the technical spirit included in the specification and the drawings of the present invention can easily It will be apparent that all examples and specific examples that can be inferred are included in the scope of the present invention.

본 발명은 통계 프로그램에 대한 전문 지식이 없는 사용자도 음성을 통해 빅데이터를 효율적으로 관리하고, 더 나아가 스마트 팩토리의 이상 동작 상황을 쉽게 모니터링하여 사전 조치를 할 수 있도록 허용하기 위한 스마트 팩토리 모니터링 분야에 적용될 수 있다.The present invention is in the field of smart factory monitoring to allow users who do not have expertise in statistical programs to efficiently manage big data through voice, and to further monitor the abnormal operation conditions of the smart factory so that they can take precautions. Can be applied.

710 : 통계 프로그램 모듈 720 : 인터페이스
730 : 음성 인식부 750 : 중앙 제어부
760 : 시각화 명령어 생성부 770 : 이상 동작 감지부
790 : 데이터베이스
710: Statistical program module 720: Interface
730: speech recognition unit 750: central control unit
760: visualization command generation unit 770: abnormal motion detection unit
790: database

Claims (16)

음성 인식을 통한 통계 데이터 시각화 방법으로서,
데이터베이스로부터, 데이터에 대한 통계 처리를 실시하여 통계 데이터를 생성하는 통계 프로그램의 제어 명령과 사용자로부터의 음성 명령 사이의 매핑 관계를 수신하는 단계;
수신된 매핑 관계를 기초로 사용자로부터의 음성을 인식하여, 사용자의 음성으로부터 상기 통계 데이터를 시각화하기 위한 함수 및 상기 함수별 인자를 추출하는 단계;
수신된 매핑 관계를 기초로, 추출된 함수 및 함수별 인자를 조합하여 통계 데이터를 시각화하기 위한 제어 명령을 생성하고, 생성된 제어 명령을 상기 통계 프로그램에 입력하는 단계; 및
상기 통계 프로그램으로부터 상기 제어 명령을 수행한 결과를 수신하여 사용자에게 제공하는 단계를 포함하는, 음성 인식을 통한 통계 데이터 시각화 방법.
As a method of visualizing statistical data through speech recognition,
Receiving a mapping relationship between a control command of a statistical program that generates statistical data by performing statistical processing on data from a database, and a voice command from a user;
Recognizing a voice from a user based on the received mapping relationship, extracting a function for visualizing the statistical data from the user's voice and the function-specific factors;
Generating a control command for visualizing statistical data by combining the extracted function and function-specific factors based on the received mapping relationship, and inputting the generated control command to the statistical program; And
And receiving a result of performing the control command from the statistical program and providing it to a user.
제1항에 있어서,
상기 데이터베이스는, 사용자의 음성 명령과 복수 개의 통계 프로그램의 제어 명령을 표준화한 표준화 명령 사이의 일차 매핑 관계 및 상기 표준화 명령과 각 통계 프로그램의 제어 명령 사이의 이차 매핑 관계를 저장하는, 음성 인식을 통한 통계 데이터 시각화 방법.
According to claim 1,
The database stores a primary mapping relationship between a user's voice command and a standardized command that standardizes control commands of a plurality of statistical programs and a secondary mapping relationship between the standardized command and control commands of each statistical program, through voice recognition. How to visualize statistical data.
제2항에 있어서,
상기 추출하는 단계는, 상기 제어 명령을 구성하는 함수의 인자의 개수와 인자들 사이의 관계를 기초로 상기 제어 명령이 사용되는 상황을 분류하고, 분류된 상황에 따라 상기 함수의 인자를 추출하는, 음성 인식을 통한 통계 데이터 시각화 방법.
According to claim 2,
In the step of extracting, the situation in which the control command is used is classified based on the relationship between the number of factors of the function constituting the control command and factors, and the factor of the function is extracted according to the classified situation. How to visualize statistical data through speech recognition.
제1항에 있어서,
상기 음성 인식은 모바일 디바이스에 설치된 자연어 처리 기술을 사용하여 이루어지는, 음성 인식을 통한 통계 데이터 시각화 방법.
According to claim 1,
The speech recognition is performed using a natural language processing technology installed in a mobile device, a method of visualizing statistical data through speech recognition.
제1항에 있어서,
상기 음성 인식은 네트워크를 통해 연결된 음성 인식 서버의 API(Application Programming Interface)를 활용하여 이루어지는, 음성 인식을 통한 통계 데이터 시각화 방법.
According to claim 1,
The speech recognition is performed by utilizing an application programming interface (API) of a speech recognition server connected through a network, a method of visualizing statistical data through speech recognition.
제1항에 있어서,
상기 방법은 스마트 팩토리를 제어하기 위하여 사용되는, 음성 인식을 통한 통계 데이터 시각화 방법.
According to claim 1,
The method is used to control the smart factory, statistical data visualization method through speech recognition.
제6항에 있어서,
상기 방법은,
상기 제어 명령을 수행한 결과로부터 상기 스마트 팩토리의 이상 동작을 감지하는 단계를 더 포함하는, 음성 인식을 통한 통계 데이터 시각화 방법.
The method of claim 6,
The above method,
Further comprising the step of detecting the abnormal operation of the smart factory from the result of performing the control command, statistical data visualization method through speech recognition.
제1항에 있어서,
상기 통계 프로그램은 R 프로그램 및 파이톤(Python) 중 적어도 하나인, 음성 인식을 통한 통계 데이터 시각화 방법.
According to claim 1,
The statistical program is at least one of the R program and Python (Python), a method of visualizing statistical data through speech recognition.
음성 인식을 통한 통계 데이터 시각화 장치로서,
데이터에 대한 통계 처리를 실시하는 통계 프로그램의 제어 명령과 사용자로부터의 음성 명령 사이의 매핑 관계를 저장하는 데이터베이스;
수신된 매핑 관계를 기초로 사용자로부터의 음성을 인식하여, 사용자의 음성으로부터 통계 데이터를 시각화하기 위한 함수 및 상기 함수별 인자를 추출하는 음성 인식부;
수신된 매핑 관계를 기초로, 추출된 함수 및 함수별 인자를 조합하여 통계 데이터를 시각화하기 위한 제어 명령을 생성하고, 생성된 제어 명령을 상기 통계 프로그램에 입력하는 시각화 제어 명령 생성부;
상기 통계 프로그램으로부터 상기 제어 명령을 수행한 결과를 수신하여 사용자에게 제공하는 인터페이스 모듈; 및
구성 요소들을 제어하는 중앙 제어부를 포함하는, 음성 인식을 통한 통계 데이터 시각화 장치.
As a device for visualizing statistical data through speech recognition,
A database storing a mapping relationship between a control command of a statistical program that performs statistical processing on data and a voice command from a user;
A voice recognition unit that recognizes a voice from a user based on the received mapping relationship and extracts a function for visualizing statistical data from the user's voice and the function-specific factors;
A visualization control command generator for generating a control command for visualizing statistical data by combining the extracted function and function-specific factors based on the received mapping relationship, and inputting the generated control command to the statistical program;
An interface module that receives a result of performing the control command from the statistical program and provides it to a user; And
Statistical data visualization device through speech recognition, including a central control unit for controlling the components.
제9항에 있어서,
상기 데이터베이스는, 사용자의 음성 명령과 복수 개의 통계 프로그램의 제어 명령을 표준화한 표준화 명령 사이의 일차 매핑 관계 및 상기 표준화 명령과 각 통계 프로그램의 제어 명령 사이의 이차 매핑 관계를 저장하는, 음성 인식을 통한 통계 데이터 시각화 장치.
The method of claim 9,
The database stores a primary mapping relationship between a user's voice command and a standardized command that standardizes control commands of a plurality of statistical programs and a secondary mapping relationship between the standardized command and control commands of each statistical program, through voice recognition. Statistical data visualization device.
제10항에 있어서,
상기 음성 인식부는, 상기 제어 명령을 구성하는 함수의 인자의 개수와 인자들 사이의 관계를 기초로 상기 제어 명령이 사용되는 상황을 분류하고, 분류된 상황에 따라 상기 함수의 인자를 추출하는, 음성 인식을 통한 통계 데이터 시각화 장치.
The method of claim 10,
The speech recognition unit classifies a situation in which the control command is used based on the relationship between the number of factors of the function constituting the control command and factors, and extracts the function parameter according to the classified situation. Statistical data visualization device through recognition.
제9항에 있어서,
상기 음성 인식은 모바일 디바이스에 설치된 자연어 처리 기술을 사용하여 이루어지는, 음성 인식을 통한 통계 데이터 시각화 장치.
The method of claim 9,
The speech recognition is performed using a natural language processing technology installed in a mobile device, a statistical data visualization apparatus through speech recognition.
제9항에 있어서,
상기 음성 인식은 네트워크를 통해 연결된 음성 인식 서버의 API(Application Programming Interface)를 활용하여 이루어지는, 음성 인식을 통한 통계 데이터 시각화 장치.
The method of claim 9,
The speech recognition is performed by utilizing an application programming interface (API) of a speech recognition server connected through a network, and a statistical data visualization device through speech recognition.
제9항에 있어서,
상기 장치는 스마트 팩토리를 제어하기 위하여 사용되는, 음성 인식을 통한 통계 데이터 시각화 장치.
The method of claim 9,
The device is used to control the smart factory, statistical data visualization device through speech recognition.
제14항에 있어서,
상기 장치는,
상기 제어 명령을 수행한 결과로부터 상기 스마트 팩토리의 이상 동작을 감지하는 이상 동작 감지부를 더 포함하는, 음성 인식을 통한 통계 데이터 시각화 장치.
The method of claim 14,
The device,
A statistical data visualization device through speech recognition, further comprising an abnormal motion detection unit that detects an abnormal operation of the smart factory from a result of performing the control command.
제9항에 있어서,
상기 통계 프로그램은 R 프로그램 및 파이톤(Python) 중 적어도 하나인, 음성 인식을 통한 통계 데이터 시각화 장치.
The method of claim 9,
The statistical program is at least one of the R program and Python (Python), statistical data visualization apparatus through speech recognition.
KR1020180157294A 2018-12-07 2018-12-07 Method and apparatus for statistical data visualization through voice recognition KR20200069806A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180157294A KR20200069806A (en) 2018-12-07 2018-12-07 Method and apparatus for statistical data visualization through voice recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180157294A KR20200069806A (en) 2018-12-07 2018-12-07 Method and apparatus for statistical data visualization through voice recognition

Publications (1)

Publication Number Publication Date
KR20200069806A true KR20200069806A (en) 2020-06-17

Family

ID=71405914

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180157294A KR20200069806A (en) 2018-12-07 2018-12-07 Method and apparatus for statistical data visualization through voice recognition

Country Status (1)

Country Link
KR (1) KR20200069806A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000060732A (en) 1999-03-18 2000-10-16 신종서 round section rail fixing method using of concrete sleeper

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000060732A (en) 1999-03-18 2000-10-16 신종서 round section rail fixing method using of concrete sleeper

Similar Documents

Publication Publication Date Title
US11822906B2 (en) Industrial programming development with a converted industrial control program
CN107085415B (en) Rule builder in a process control network
CN108351636B (en) Engineering design tool, system and module
US20190258747A1 (en) Interactive digital twin
EP3314340B1 (en) Control contextualization and reasoning about control
CA2421611C (en) Custom rule system and method for expert systems
US11163536B2 (en) Maintenance and commissioning
KR101825881B1 (en) Method of managing a manufacturing process and system using the same
US20170371311A1 (en) Using soft-sensors in a programmable logic controller
CN113820993A (en) Method, system, and non-transitory computer readable medium for generating industrial control programming
EP3285182A1 (en) Multimodal search input for an industrial search platform
José Álvares et al. Development of a cyber-physical framework for monitoring and teleoperation of a CNC lathe based on MTconnect and OPC protocols
JP2018206362A (en) Process analyzer, process analysis method, and process analysis program
EP3125172A1 (en) Data reliability analysis
US11853794B2 (en) Pipeline task verification for a data processing platform
CN111176642B (en) Interactive visualization processing system based on plane graph and application method
Gorski et al. Towards a smart workflow in CMMS/EAM systems: An approach based on ML and MCDM
US11556837B2 (en) Cross-domain featuring engineering
US11846933B2 (en) Apparatus, system and method for developing industrial process solutions using artificial intelligence
KR20200069806A (en) Method and apparatus for statistical data visualization through voice recognition
US20220147039A1 (en) Event analytics in modular industrial plants
US9002809B2 (en) Method and apparatus for generating a data repository
CN111399827B (en) Descriptive object code automatic generation method for sensor data processing
Sharma et al. Edge Computing: A Powerful and Agile Platform for Digital Transformation in Oilfield Management
CN110928761A (en) System and method for demand chain and application thereof

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application