KR101600826B1 - real time on-site monitoring and information offering system and its operational method thereof - Google Patents

real time on-site monitoring and information offering system and its operational method thereof Download PDF

Info

Publication number
KR101600826B1
KR101600826B1 KR1020140010580A KR20140010580A KR101600826B1 KR 101600826 B1 KR101600826 B1 KR 101600826B1 KR 1020140010580 A KR1020140010580 A KR 1020140010580A KR 20140010580 A KR20140010580 A KR 20140010580A KR 101600826 B1 KR101600826 B1 KR 101600826B1
Authority
KR
South Korea
Prior art keywords
information
data
smart
client computer
field worker
Prior art date
Application number
KR1020140010580A
Other languages
Korean (ko)
Other versions
KR20150090366A (en
Inventor
이병관
권순웅
Original Assignee
주식회사 누리정보기술
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 누리정보기술 filed Critical 주식회사 누리정보기술
Priority to KR1020140010580A priority Critical patent/KR101600826B1/en
Publication of KR20150090366A publication Critical patent/KR20150090366A/en
Application granted granted Critical
Publication of KR101600826B1 publication Critical patent/KR101600826B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01Social networking

Abstract

본 발명은 실시간 현장 모니터링 및 정보제공 시스템 그리고 그 운용방법에 관한 것이다.
본 발명은 이를 위해 현장의 정지영상과 동영상 그리고 문자와 음성 정보를 카메라와 마이크를 통해 확보한 후 네트워크를 통해 클라이언트 컴퓨터에 제공하는 현장 작업자 장치(10); 웹/스트리밍 서버 및 네트워크를 통해 현장 작업자 장치가 요청한 정보를 제공하는 클라이언트 컴퓨터(30); 및 데이터베이스에 자료를 저장하고, 현장 작업자 장치 및 클라이언트 컴퓨터에 양방향 상호 자료를 실시간 제공하는 웹/스트리밍 서버(20);가 포함됨을 특징으로 하는 실시간 현장 모니터링 및 정보제공 시스템을 제공한다.
상기와 같이 구성된 본 발명은 각종 현장의 정지영상과 동영상 그리고 문자와 음성 등의 정보를 클라이언트(예: 관리자 또는 운영자)와 양방향 상호 교환하여 커뮤니케이션이 가능하도록 한 것이고, 이로 인해 시스템의 품질과 신뢰성을 대폭 향상시키므로 사용자인 소비자들의 다양한 욕구(니즈)를 충족시켜 좋은 이미지를 심어줄 수 있도록 한 것이다.
The present invention relates to a real-time field monitoring and information providing system and a method of operating the same.
To this end, the present invention provides a field worker apparatus (10) for securing a still image, a moving image, a text and voice information on a site through a camera and a microphone, and then providing the same to a client computer via a network; A client computer 30 for providing the web / streaming server and the information requested by the field worker device via the network; And a web / streaming server (20) for storing data in a database and realizing bidirectional mutual data in real time on a field worker device and a client computer.
The present invention having the above-described structure enables interactive communication between a client (e.g., an administrator or an operator) and information such as still images, moving images, and text and audio in various fields, thereby improving system quality and reliability It is possible to satisfy a variety of needs of users as a user and to provide a good image.

Figure R1020140010580
Figure R1020140010580

Description

실시간 현장 모니터링 및 정보제공 시스템의 운용방법{real time on-site monitoring and information offering system and its operational method thereof}The present invention relates to a real-time on-site monitoring and information providing system,

본 발명은 실시간 현장 모니터링 및 정보제공 시스템 그리고 그 운용방법에 관한 것으로, 보다 상세하게는 각종 현장의 정지영상과 동영상 그리고 문자와 음성 등의 정보를 클라이언트(예: 관리자 또는 운영자)와 양방향 상호 교환하여 커뮤니케이션이 가능하도록 한 것이고, 이로 인해 시스템의 품질과 신뢰성을 대폭 향상시키므로 사용자인 소비자들의 다양한 욕구(니즈)를 충족시켜 좋은 이미지를 심어줄 수 있도록 한 것이다.
The present invention relates to a real-time field monitoring and information providing system and a method of operating the same, and more particularly, to a real-time field monitoring and information providing system for real- Communication, which greatly improves the quality and reliability of the system, thereby satisfying the various needs of the user as a user and providing a good image.

주지하다시피 작업자가 각종 현장(예: 선박, 차량, 항공기, 공장, 재난지역 등)에서 작업중에 제품의 이상 발견시 무엇이 문제이고, 어떻게 해결해야 하는지 이를 쉽게 알 수 있는 방법이 쉽지 않았다.As we all know, it was not easy to find out what the problem was and how to solve it when working in various fields (eg, ship, vehicle, aircraft, factory, disaster area, etc.).

상기한 문제점을 해결하기 위해 종래에는 아래와 같은 선행기술문헌이 출원된바 있으나, 현장 작업자와 클라이언트의 실시간 양방향 상호 커뮤니케이션과 도면 등이 교환되지 않기 때문에 작업능률이 저하되는 커다란 문제점으로 지적되었다.
In order to solve the above-mentioned problems, the prior art documents have been filed, but real-time two-way communication and drawings of the field worker and the client are not exchanged.

대한민국 공개특허 제2009-0000767호(명칭: 현장 모니터링 시스템)이 출원된바 있다.Korean Patent Publication No. 2009-0000767 (name: on-site monitoring system) has been filed.

본 발명은 상기와 같은 종래 기술의 제반 문제점을 해소하기 위하여 안출한 것으로, 현장 작업자 장치와 웹/스트리밍 서버 그리고 클라이언트 컴퓨터가 구비됨을 제1목적으로 한 것이고, 상기한 기술적 구성에 의한 본 발명의 제2목적은 각종 현장의 정지영상과 동영상 그리고 문자와 음성 등의 정보를 관리자 또는 운영자와 양방향 상호 교환하여 커뮤니케이션이 가능하도록 한 것이고, 따라서 본 발명의 제2목적은 현장과 클라이언트(예: 관리자 또는 운영자) 간에 유,무선 통신을 통해 실시간 정보 이용이 가능함에 따라 현장 제품의 유지보수의 효율성을 극대화시킬 수 있도록 한 것이고, 그리고 본 발명의 제3목적은 영상정보처리와 문자/음성정보처리, 스트리밍전송/수신 및 사용자인터페이스와 회의록처리 등을 수행할 수 있도록 한 것이며, 또한 제4목적은 모니터링의 경우 전송된 정보 및 전송한 정보를 저장하여 회의록으로 작성가능토록 하여 사용의 편리성 및 전송 정보에 대한 확인을 가능하도록 한 것이고, 특히 제5목적은 모니터링 및 정보제공 시스템과의 연계를 통해 제품(예: 선박 등)에 대한 3D 데이터와 제품 명세정보를 가져와 스마트 환경에서 활용 가능한 형태의 레이어드 구조(Layered structure)로 변환된 데이터를 기반으로 현장의 스마트 테블릿에서 각종 제품에 대한 모델링 정보와 명세정보를 활용하여 제품 유지보수의 효율성을 증대시키고자 한 것이고, 제6목적은 이로 인해 시스템의 품질과 신뢰성을 대폭 향상시키므로 사용자인 소비자들의 다양한 욕구(니즈)를 충족시켜 좋은 이미지를 심어줄 수 있도록 한 실시간 현장 모니터링 및 정보제공 시스템 그리고 그 운용방법을 제공한다.
It is a first object of the present invention to provide a field worker apparatus, a web / streaming server, and a client computer. The present invention has been made in view of the above problems, The second object of the present invention is to enable interactive communication of still images, moving images, and text and voice information of various sites with a manager or an operator so that the second object of the present invention is to provide a system and a method The third object of the present invention is to provide a system and method for processing video information, processing of text / audio information, streaming transmission, and the like, in order to maximize the efficiency of maintenance of a field product, / Reception and user interface, processing of minutes, and so on. In addition, The purpose of the monitoring is to enable the convenience of use and confirmation of the transmission information to be able to save the transmitted information and the transmitted information so that it can be written in the minutes. Particularly, the fifth purpose is to link with the monitoring and information providing system 3D modeling and product specification information for products (eg ships), and modeling of various products in the field of smart tablets based on data converted into a layered structure that can be used in a smart environment It is aimed to increase the efficiency of product maintenance by utilizing information and specification information. The sixth purpose is to improve the quality and reliability of the system, thereby satisfying the various needs of users, Time monitoring and information providing system and its operation method.

이러한 목적 달성을 위하여 본 발명은 현장의 정지영상과 동영상 그리고 문자와 음성 정보를 카메라와 마이크를 통해 확보한 후 네트워크를 통해 클라이언트 컴퓨터에 제공하는 현장 작업자 장치; 웹/스트리밍 서버 및 네트워크를 통해 현장 작업자 장치가 요청한 정보를 제공하는 적어도 하나 이상의 복수의 클라이언트 컴퓨터; 및 데이터베이스에 자료를 저장하고, 현장 작업자 장치 및 클라이언트 컴퓨터에 양방향 상호 자료를 실시간 제공하는 웹/스트리밍 서버;가 포함됨을 특징으로 하는 실시간 현장 모니터링 및 정보제공 시스템을 제공한다.In order to achieve the above object, the present invention provides a field worker apparatus for securing a still image, a moving image, text and voice information on a site through a camera and a microphone, and then providing the same to a client computer through a network; At least one or more client computers providing web / streaming servers and information requested by field worker devices via the network; And a web / streaming server for storing data in a database, and for providing bi-directional mutual data to a field worker apparatus and a client computer in real time.

또한 본 발명은 현장 작업자 장치가 현장의 정지영상과 동영상 그리고 문자와 음성 정보를 카메라와 마이크를 통해 확보한 후 네트워크를 통해 클라이언트 컴퓨터에 제공하되, 상기 영상에 대한 정보는 초당 수프레임씩 읽어 들여 영상열 정보로 변환하여 스트리밍 서비스 모듈로 전달함과 아울러 스트리밍 서비스는 연결된 클라이언트 컴퓨터로 영상열 정보를 전송하는 단계; 클라이언트 컴퓨터가 웹/스트리밍 서버 및 네트워크를 통해 현장 작업자 장치가 요청한 정보를 제공 및 모니터링 함과 아울러 수신된 영상열 정보를 인코딩하여 클라이언트 컴퓨터로 디스플레이하는 단계; 및 웹/스트리밍 서버가 데이터베이스에 자료를 저장함과 아울러 현장 작업자 장치 및 클라이언트 컴퓨터에 양방향 상호 자료를 실시간 제공하는 단계;가 포함됨을 특징으로 하는 실시간 현장 모니터링 및 정보제공 시스템의 운용방법을 제공한다.
In addition, the present invention provides a field worker apparatus to a client computer via a network after securing a still image, a moving image, and text and voice information of a scene through a camera and a microphone, and the information about the image is read by several frames per second Converting the stream information into stream information, and transmitting the stream information to the streaming service module; The client computer providing and monitoring the information requested by the field worker apparatus through the web / streaming server and the network, encoding the received image sequence information and displaying it on the client computer; And a web / streaming server storing data in a database and providing bi-directional mutual data to the field worker apparatus and the client computer in real time. The present invention also provides a method of operating a real-time field monitoring and information providing system.

상기에서 상세히 살펴본 바와 같이 본 발명은 현장 작업자 장치와 웹/스트리밍 서버 그리고 클라이언트 컴퓨터가 구비되도록 한 것이다.As described in detail above, the present invention includes a field worker apparatus, a web / streaming server, and a client computer.

상기한 기술적 구성에 의한 본 발명은 각종 현장의 정지영상과 동영상 그리고 문자와 음성 등의 정보를 관리자 또는 운영자와 양방향 상호 교환하여 커뮤니케이션이 가능하도록 한 것이다.The present invention according to the above-described technical structure enables interactive communication between a manager and an operator in a bidirectional manner by exchanging information such as still images, moving images, and texts and sounds on various sites.

특히 본 발명은 현장과 클라이언트(예: 관리자 또는 운영자) 간에 유,무선 통신을 통해 실시간 정보 이용이 가능함에 따라 현장 제품의 유지보수의 효율성을 극대화시킬 수 있도록 한 것이다.In particular, the present invention maximizes the efficiency of maintenance of on-site products as real-time information can be used between a site and a client (for example, an administrator or an operator) via wired or wireless communication.

그리고 본 발명은 영상정보처리와 문자/음성정보처리, 스트리밍전송/수신 및 사용자인터페이스와 회의록처리 등을 수행할 수 있도록 한 것이다.In addition, the present invention is capable of performing image information processing, text / audio information processing, streaming transmission / reception, user interface, and meeting record processing.

아울러 본 발명은 모니터링의 경우 전송된 정보 및 전송한 정보를 저장하여 회의록으로 작성가능토록 하여 사용의 편리성 및 전송 정보에 대한 확인을 가능하도록 한 것이다.In addition, in the case of monitoring, the present invention stores the transmitted information and the transmitted information so that it can be created in minutes, thereby enabling usability and confirmation of transmission information.

더하여 본 발명은 모니터링 및 정보제공 시스템과의 연계를 통해 제품(예: 선박 등)에 대한 3D 데이터와 제품 명세정보를 가져와 스마트 환경에서 활용 가능한 형태의 레이어드 구조(Layered structure)로 변환된 데이터를 기반으로 현장의 스마트 테블릿에서 각종 제품에 대한 모델링 정보와 명세정보를 활용하여 제품 유지보수의 효율성을 증대시키고자 한 것이다.In addition, the present invention provides 3D data and product specification information for a product (e.g., a ship) through linkage with a monitoring and information providing system, and converts the converted data into a layered structure that can be utilized in a smart environment , Which aims to increase the efficiency of product maintenance by using modeling information and specification information for various products on the smart tablet in the field.

본 발명은 상기한 효과로 인해 시스템의 품질과 신뢰성을 대폭 향상시키므로 사용자인 소비자들의 다양한 욕구(니즈)를 충족시켜 좋은 이미지를 심어줄 수 있도록 한 매우 유용한 발명인 것이다.
The present invention greatly improves the quality and reliability of the system due to the above-described effects, and thus is a very useful invention that can provide a good image by satisfying various needs of users as users.

이하에서는 이러한 효과 달성을 위한 본 발명의 바람직한 실시 예를 첨부된 도면에 따라 상세히 설명하면 다음과 같다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1 은 본 발명에 적용된 실시간 현장 모니터링 및 정보제공 시스템의 블럭
구성도.
도 2 는 본 발명에 적용된 모니터링 데이터 흐름도.
도 3 은 본 발명에 적용된 스트리밍 시스템의 화면창.
도 4 는 본 발명에 적용된 메뉴에 따른 인터페이스 화면창.
도 5 는 본 발명에 적용된 스마트 스트리밍 시스템의 실제 화면창.
도 6 은 본 발명에 적용된 모니터링 관리 시스템의 화면창.
도 7 은 본 발명에 적용된 모니터링 연결 화면창.
도 8 은 본 발명에 적용된 모니터링 정보 관리 화면창.
도 9 는 본 발명에 적용된 스마트 3D 시각화 시스템 테이터 흐름도.
도 10 은 본 발명에 적용된 스마트 3D 뷰어 UI 화면창.
도 11 은 본 발명에 적용된 스마트 3D 뷰어 화면창.
도 12 는 본 발명에 적용된 스마트 3D 뷰어 디자인 화면창.
도 13 은 본 발명에 적용된 스마트 3D 뷰어 실행 화면창.
1 is a block diagram of a real-time field monitoring and information providing system applied to the present invention;
Diagram.
2 is a flow chart of monitoring data applied to the present invention;
3 is a screen window of a streaming system applied to the present invention;
4 is a view showing an interface window according to a menu applied to the present invention;
5 is an actual screen window of a smart streaming system applied to the present invention.
6 is a screen window of the monitoring management system applied to the present invention;
7 is a monitoring connection screen window applied to the present invention;
8 is a monitoring information management screen window applied to the present invention;
9 is a flowchart of a smart 3D visualization system data applied to the present invention.
10 is a smart 3D viewer UI window screen applied to the present invention.
11 is a smart 3D viewer screen window applied to the present invention.
Figure 12 is a smart 3D viewer design window window applied to the present invention.
13 is a view of an execution window of a smart 3D viewer applied to the present invention;

본 발명에 적용된 실시간 현장 모니터링 및 정보제공 시스템 그리고 그 운용방법은 도 1 내지 도 13 에 도시된 바와 같이 구성되는 것이다.The real-time field monitoring and information providing system and the operation method applied to the present invention are configured as shown in FIGS. 1 to 13.

하기에서 본 발명을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 것이다.In the following description of the present invention, detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 설정된 용어들로서 이는 생산자의 의도 또는 관례에 따라 달라질 수 있으므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.It is to be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are intended to provide further explanation of the invention as claimed.

먼저, 본 발명은 도 1 에 도시된 바와 같이 현장의 정지영상과 동영상 그리고 문자와 음성 정보를 카메라와 마이크를 통해 확보한 후 네트워크를 통해 클라이언트 컴퓨터에 제공하는 현장 작업자 장치(10)가 구비된다.First, as shown in FIG. 1, the present invention includes a field worker apparatus 10 for securing a still image, a moving image, and text and voice information on a scene through a camera and a microphone, and then providing the same to a client computer via a network.

이때 상기 현장 작업자 장치(10)에 구비된 카메라와 마이크는 단말기, 헬멧, 가슴, 어깨 등에 설치되어 사용되는 것이다.At this time, the camera and the microphone provided in the field worker apparatus 10 are installed in a terminal, a helmet, a chest, a shoulder, or the like.

또한 본 발명은 웹/스트리밍 서버 및 네트워크를 통해 현장 작업자 장치가 요청한 정보를 제공하는 적어도 하나 이상의 복수의 클라이언트 컴퓨터(30)가 구비된다.In addition, the present invention includes at least one or more client computers 30 for providing information requested by a field worker apparatus through a web / streaming server and a network.

그리고 본 발명은 데이터베이스에 자료를 저장하고, 현장 작업자 장치 및 클라이언트 컴퓨터에 양방향 상호 자료를 실시간 제공하는 웹/스트리밍 서버(20)가 구비된 실시간 현장 모니터링 및 정보제공 시스템을 제공한다.The present invention provides a real-time field monitoring and information providing system equipped with a web / streaming server (20) for storing data in a database and realizing bi-directional mutual data in real time on a field worker apparatus and a client computer.

그리고 상기 카메라 및 마이크(10)는 휴대폰 단말기, PDA, 노트북, MP3, 헬멧, 작업자 가슴, 작업자 어깨 중에서 선택된 어느 한 곳에 설치되어 사용됨을 특징으로 구성된다.The camera and the microphone 10 are installed at any one selected from a mobile phone terminal, a PDA, a notebook, MP3, a helmet, a worker's chest, and a worker's shoulder.

또한 상기 데이터베이스에는 영상정보처리와 문자/음성정보처리 그리고 스트리밍전송/수신 아울러 사용자인터페이스와 회의록처리 더하여 3D 뷰어 도면 데이터가 저장됨을 특징으로 하는 실시간 현장 모니터링 및 정보제공 시스템을 제공한다.In addition, the database stores 3D viewer drawing data in addition to image information processing, text / audio information processing, streaming transmission / reception, user interface and minute recording processing, and provides a real time field monitoring and information providing system.

본 발명에 적용된 현장 작업자 장치(10)는 선박을 예로 들어 설명하였으나, 이는 설명의 편의상 예를 들어 설명한 것이고, 자동차, 선박 각종 재난지역 등을 모두 포함할 수 있음은 물론이다.
Although the field worker apparatus 10 applied to the present invention has been described by taking a ship as an example, the present invention has been described by way of example for convenience of description and may include all kinds of disaster areas such as automobiles, ships and the like.

한편 본 발명은 상기의 구성부를 적용함에 있어 다양하게 변형될 수 있고 여러 가지 형태를 취할 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments.

그리고 본 발명은 상기의 상세한 설명에서 언급되는 특별한 형태로 한정되는 것이 아닌 것으로 이해되어야 하며, 오히려 첨부된 청구범위에 의해 정의되는 본 발명의 정신과 범위 내에 있는 모든 변형물과 균등물 및 대체물을 포함하는 것으로 이해되어야 한다.
It is to be understood that the invention is not to be limited to the specific forms thereof which are to be described in the foregoing description, but on the contrary, the intention is to cover all modifications, equivalents, and alternatives falling within the spirit and scope of the invention as defined by the appended claims. .

상기와 같이 구성된 본 발명 실시간 현장 모니터링 및 정보제공 시스템 그리고 그 운용방법의 작용효과를 설명하면 다음과 같다.The operation and effect of the real-time on-site monitoring and information providing system and the operation method of the present invention will be described as follows.

우선, 본 발명은 각종 현장의 정지영상과 동영상 그리고 문자와 음성 등의 정보를 클라이언트(예: 관리자 또는 운영자)와 양방향 상호 교환하여 커뮤니케이션이 가능하도록 한 것이다.First, the present invention enables interactive communication between a client (e.g., an administrator or an operator) in a bidirectional manner with information such as still images, moving images, and texts and voices of various fields.

이를 위해 본 발명은 현장 작업자 장치(10)가 현장의 정지영상과 동영상 그리고 문자와 음성 정보를 카메라와 마이크를 통해 확보한 후 네트워크를 통해 클라이언트 컴퓨터에 제공하되, 상기 영상에 대한 정보는 초당 수프레임씩 읽어 들여 영상열 정보로 변환하여 스트리밍 서비스 모듈로 전달함과 아울러 스트리밍 서비스는 연결된 클라이언트 컴퓨터로 영상열 정보를 전송하는 단계를 거친다.To this end, the field worker apparatus 10 obtains still images, moving images, and text and audio information of the field through a camera and a microphone, and then provides the generated information to the client computer through a network. And transmits the converted image sequence information to the streaming service module. In addition, the streaming service transmits image sequence information to the connected client computer.

이후 본 발명은 클라이언트 컴퓨터(30)가 웹/스트리밍 서버 및 네트워크를 통해 현장 작업자 장치가 요청한 정보를 제공 및 모니터링 함과 아울러 수신된 영상열 정보를 인코딩하여 클라이언트 컴퓨터로 디스플레이하는 단계를 거친다.In the present invention, the client computer 30 provides and monitors information requested by the field worker apparatus via the web / streaming server and the network, encodes the received image sequence information, and displays the encoded image sequence information on the client computer.

이어서 본 발명은 웹/스트리밍 서버(20)가 데이터베이스에 자료를 저장함과 아울러 현장 작업자 장치 및 클라이언트 컴퓨터에 양방향 상호 자료를 실시간 제공하는 단계를 거쳐 실시간 현장 모니터링 및 정보제공 시스템을 운용하게 된다.In the following, the web / streaming server 20 stores data in a database, and provides bi-directional mutual data to the field worker apparatus and the client computer in real time to operate a real-time field monitoring and information providing system.

이를 보다 상세히 설명하면 다음과 같다.This will be described in more detail as follows.

본 발명의 상기 실시간 현장 모니터링 및 정보제공 시스템의 운용방법에는 현장 작업자 장치(10)와 클라이언트 컴퓨터(30) 양방간에 송수신되는 정보에 날짜 정보를 덧붙여 웹/스트리밍서버(20)의 데이터베이스에 저장함과 아울러 전송된 정보 및 전송한 정보를 데이터베이스에 저장한 후 회의록으로 작성가능토록 하여 사용의 편리성 및 전송정보에 대한 확인을 가능하도록 하게 된다.In the method of operating the real-time field monitoring and information providing system of the present invention, the date information is added to the information transmitted and received between the field worker apparatus 10 and the client computer 30 and is stored in the database of the web / streaming server 20 The transmitted information and the transmitted information can be stored in the database and then written in the minutes. Thus, it is possible to check the convenience of use and the transmission information.

또한 본 발명에 적용된 상기 스트리밍 서비스는 카메라로부터 영상정보를 영상열로 변환하고, 음성 및 텍스트 데이터를 클라이언트 컴퓨터로 스트리밍하는 기능을 제공하는 단계를 거친다.Also, the streaming service applied to the present invention is a step of converting the video information from the camera into an image stream, and providing the function of streaming voice and text data to a client computer.

그리고 상기 모니터링은 스트리밍된 영상열 정보와 음성 및 텍스트 데이터를 수신하여 디스플레이하고 관리하는 기능을 제공하게 된다.The monitoring provides a function of receiving, displaying, and managing streamed video stream information and voice and text data.

아울러 본 발명에 적용된 상기 스트리밍 서비스 영상은 H.264로 인코딩되고, 음성은 AAC(Advanced Audio Coding])로 인코딩되어 스트리밍 데이터로 변환한 후 스트리밍 서버로 전송하여 HTML(Hypertext Markup Language)5 기반의 웹서버를 통해 브로드케스팅되어 1:N 서비스를 가능하게 하고, 스트리밍되는 영상을 보는 클라이언트 컴퓨터는 웹브라우저를 통해 접근 가능하므로 사용자에게 인터페이스와 편리성을 제공하게 된다.In addition, the streaming service image applied to the present invention is encoded into H.264, the audio is encoded into AAC (Advanced Audio Coding), and then converted into streaming data, and then transmitted to a streaming server to generate a Hypertext Markup Language The client computer that broadcasts through the server to enable the 1: N service and view the streamed video is accessible through a web browser, thereby providing the user with an interface and convenience.

더하여 본 발명에 적용된 상기 현장 작업자 장치가 요청한 정보는 제품에 대한 3D 데이터와 제품 명세 정보를 가져와 레이어드 구조(Layered structure)로 변환된 데이터를 기반으로 현장 작업자 장치에서 제품에 대한 모델링 정보와 명세 정보를 활용하여 제품 유지 보수의 효율성을 증대시킬 수 있게 된다.In addition, the information requested by the field worker apparatus applied to the present invention may include 3D data and product specification information about the product, and modeling information and specification information about the product in the field worker apparatus based on data converted into a layered structure So that the efficiency of product maintenance can be increased.

또한 상기 3D 데이터는 경량화 3D 데이터를 스마트용으로 변환하는 스마트 현장 작업자 장치를 거쳐 스마트용 3D 데이터를 생성하고, 생성된 스마트용 3D 데이터는 현장 어디서나 활용 가능한 현장 작업자 장치를 이용하여 모델링 정보 및 제품에 대한 명세 정보를 볼 수 있도록 함과 아울러 3D 데이터는 3D 모델링을 통해 디스플레이가 가능하도록 하게 된다.In addition, the 3D data generates 3D data for smart through a smart field worker device for converting lightweight 3D data into smart data, and the generated 3D data for smart data is used for modeling information and products And 3D data can be displayed through 3D modeling.

그리고 상기 3D 데이터는 스마트 3D 데이터로 변환되고, 변환된 스마트용 데이터는 현장 작업자 장치 3D 모델링 데이터와 현장 작업자 장치 명세서 데이터로 나누어지고, 각각의 데이터는 스마트 3D 모델링과 스마트 3D 정보처리 모듈을 통해 사용자 인터페이스로 전달된 후 화면에 디스플레이되고, 사용자 인터페이스는 사용자의 요구를 받아 다시 스마트 3D 모델링 모듈과 스마트 3D 정보처리 모듈로 전해지고, 이를 기반으로 스마트 3D 정보는 다시 같은 흐름을 반복하도록 하게 된다.The 3D data is converted into smart 3D data, and the converted smart data is divided into field worker 3D modeling data and field worker device specification data, and each data is converted into smart 3D data by smart 3D modeling and smart 3D data processing module Interface and displayed on the screen, and the user interface is transmitted to the smart 3D modeling module and the smart 3D information processing module again at the request of the user, and based on this, the smart 3D information is repeated again.

또한 본 발명에 적용된 상기 스마트 3D로 보여지는 뷰어 화면창은 도 11 에 도시된 바와 같이 좌측 속성창에는 실제 우측 뷰잉창에서 보여지는 제품에 대한 정보가 보여지게 되고, 속성창에서 선택된 정보만이 우측 뷰잉창에서 디스플레이되도록 하게 된다.In addition, as shown in FIG. 11, in the viewer screen window shown in the smart 3D applied to the present invention, information on a product displayed in an actual right viewing window is displayed in the left property window, And displayed in the viewing window.

한편, 본 발명은 상기한 각 단계로 인해 다음과 같은 작용 효과를 나타나게 된다.Meanwhile, the present invention has the following operational effects due to the above steps.

즉, 도 2 는 본 발명에 적용된 모니터링 데이터 흐름도로, 현장에서 사용 가능한 스마트 태블릿 기반의 스트리밍 서비스와, 영상열 및 음성/문자 스트리밍 서비스 그리고 스트리밍 데이터의 송수신을 수행하는 스마트 스트리밍 서비스와 또한 데스크탑 환경에서의 모니터링 기능과 스마트 태블릿과의 스트리밍 송수신 그리고 영상열 및 음성/문자 데이터에 대한 회의록 기능을 수행하는 모니터링 관리 서비스를 제공하게 된다.That is, FIG. 2 is a flow chart of a monitoring data applied to the present invention, which includes a smart tablet-based streaming service that can be used in the field, a smart streaming service that performs transmission and reception of video stream, voice / text streaming service, and streaming data, Monitoring and management service that performs streaming transmission / reception with smart tablet and meeting record function for image column and voice / text data.

또한 도 3 은 본 발명에 적용된 스트리밍 시스템의 화면창으로 카메라뷰창과 코멘트창 그리고 메뉴창이 구비되고, 도 4 는 본 발명에 적용된 메뉴에 따른 인터페이스 화면창을 보인 것이고, 도 5 는 본 발명에 적용된 스마트 스트리밍 시스템의 실제 화면창을 보인 것이다.FIG. 3 shows a screen window of a streaming system according to the present invention, which includes a camera view window, a comment window, and a menu window, FIG. 4 shows an interface window according to a menu applied to the present invention, It shows the actual screen window of the streaming system.

또한 도 6 은 본 발명에 적용된 모니터링 관리 시스템의 화면창으로, 상단 메뉴바에 모니터링 리스트, 사진폴더 메뉴바가 표시됨과 아울러 로그인 유저의 정보가 표시된다. 그리고 모니터링 연결 시스템에는 모니터링 연결 가능 리스트가 표시되고, 리스트 선택시 해당 모니터링 화면으로 전환된다. 따라서 모니터링 연결 가능 리스트에서 해당되는 리스트를 선택하면 다음과 같은 기능을 수행하는 화면이 디스플레이된다.Also, FIG. 6 is a screen window of the monitoring management system applied to the present invention, wherein a monitoring list and a photo folder menu bar are displayed on an upper menu bar, and information of a login user is displayed. And monitoring connection system displays the list of possible monitoring connections, and switches to the corresponding monitoring screen when selecting the list. Therefore, when the corresponding list is selected from the monitoring connectable list, a screen for performing the following functions is displayed.

즉, 도 7 은 본 발명에 적용된 모니터링 연결 화면창으로, 상단메뉴바에는 모니터링 연결을 종료하고 모니터링 리스트로 화면이 전환되는 연결종료와, 모니터링 연결을 종료하고 사진폴더화면으로 이동하는 사진폴더와, 현재 접속된 모니터링의 서버 정보를 표시하는 서버연결정보가 표시된다.That is, FIG. 7 is a monitoring connection screen window applied to the present invention. In the upper menu bar, a connection termination for terminating the monitoring connection and switching the screen to the monitoring list, a photo folder for terminating the monitoring connection, Server connection information indicating the server information of the currently connected monitoring is displayed.

그리고 모니터링 화면에는 현재 연결된 테블릿의 화면을 표시하고, 메시지창에는 현재 연결된 유저들의 메시지를 표시하게 된다.The monitoring screen displays the screen of the currently connected tablet, and the message window displays the messages of the currently connected users.

또한 도 8 은 본 발명에 적용된 모니터링 정보 관리 화면창으로 스마트 스트리밍 시스템과의 연결 정보를 회의록으로 저장하고, 이를 다운로드할 수 있도록 하게 된다.8 is a monitoring information management screen window according to the present invention, which stores connection information with the smart streaming system as minutes and downloads the information.

그리고 도 9 는 본 발명에 적용된 스마트 3D 시각화 시스템 테이터 흐름도로, 스마트 3D 데이터로 변환되고, 변환된 스마트용 데이터는 현장 작업자 장치 3D 모델링 데이터와 현장 작업자 장치 명세서 데이터로 나누어지고, 각각의 데이터는 스마트 3D 모델링과 스마트 3D 정보처리 모듈을 통해 사용자 인터페이스로 전달된 후 화면에 디스플레이되고, 사용자 인터페이스는 사용자의 요구를 받아 다시 스마트 3D 모델링 모듈과 스마트 3D 정보처리 모듈로 전해지고, 이를 기반으로 스마트 3D 정보는 다시 같은 흐름을 반복하게 된다.FIG. 9 is a flowchart of a smart 3D visualization system data applied to the present invention. The smart 3D data is converted into smart 3D data, and the converted smart data is divided into field worker 3D modeling data and field worker device specification data, 3D modeling and smart 3D information processing module, the user interface is displayed on the screen, and the user interface is transmitted to the smart 3D modeling module and the smart 3D information processing module at the request of the user. Based on this, It repeats the same flow again.

또한 도 10 은 본 발명에 적용된 스마트 3D 뷰어 UI 화면창으로, 기본주메뉴구성과 기본부메뉴구성 그리고 속성창과 3D 뷰어창이 구비된다.10 is a smart 3D viewer UI screen window applied to the present invention, which includes a basic main menu configuration, a basic sub menu configuration, an attribute window, and a 3D viewer window.

또한 도 11 은 본 발명에 적용된 스마트 3D 뷰어 화면창으로, 여기서 좌측 속성창에는 실제 우측 뷰잉창에서 보여지는 제품에 대한 정보가 보여지게 되고, 속성창에서 선택된 정보만이 우측 뷰잉창에서 디스플레이된다.Also, FIG. 11 shows a smart 3D viewer screen window applied to the present invention, wherein information on the product displayed in the real right viewing window is displayed in the left property window, and only information selected in the property window is displayed in the right viewing window.

아울러 도 12 는 본 발명에 적용된 스마트 3D 뷰어 디자인 화면창이고, 도 13 은 본 발명에 적용된 스마트 3D 뷰어 실행 화면창으로, 본 발명 스마트 3D 뷰어에서 실제 보여지는 화면을 나타낸 것이다.
FIG. 12 is a smart 3D viewer design window applied to the present invention, and FIG. 13 is a smart 3D viewer execution window applied to the present invention. FIG. 13 shows a screen actually displayed in the smart 3D viewer of the present invention.

본 발명 실시간 현장 모니터링 및 정보제공 시스템 그리고 그 운용방법의 기술적 사상은 실제로 동일결과를 반복 실시 가능한 것으로, 특히 이와 같은 본원발명을 실시함으로써 기술발전을 촉진하여 산업발전에 이바지할 수 있어 보호할 가치가 충분히 있다.
The technical idea of the real-time on-site monitoring and information providing system of the present invention and the operation method thereof can actually repeat the same results. Particularly, by carrying out the present invention, it is possible to contribute to industrial development by promoting technological development, There is enough.

<도면의 주요 부분에 대한 부호의 설명>
10: 현장 작업자
20: 웹/스트리밍 서버
30: 클라이언트
Description of the Related Art
10: field worker
20: Web / Streaming Server
30: Client

Claims (11)

삭제delete 삭제delete 삭제delete 현장 작업자 장치(10)가 현장의 정지영상과 동영상 그리고 문자와 음성 정보를 카메라와 마이크를 통해 확보한 후 네트워크를 통해 클라이언트 컴퓨터에 제공하되, 상기 정지영상과 동영상에 대한 정보는 초당 수프레임씩 읽어 들여 영상열 정보로 변환하여 스트리밍 서비스 모듈로 전달함과 아울러 스트리밍 서비스는 연결된 클라이언트 컴퓨터로 영상열 정보를 전송하는 단계; 클라이언트 컴퓨터(30)가 웹/스트리밍 서버 및 네트워크를 통해 현장 작업자 장치가 요청한 정보를 제공 및 모니터링 함과 아울러 수신된 영상열 정보를 인코딩하여 클라이언트 컴퓨터로 디스플레이하는 단계; 웹/스트리밍 서버(20)가 데이터베이스에 자료를 저장함과 아울러 현장 작업자 장치 및 클라이언트 컴퓨터에 양방향 상호 자료를 실시간 제공하는 단계; 및 현장 작업자 장치와 클라이언트 컴퓨터 양방간에 송수신되는 정보에 날짜 정보를 덧붙여 데이터베이스에 저장함과 아울러 전송된 정보 및 전송한 정보를 데이터베이스에 저장한 후 회의록으로 작성가능토록 하여 사용의 편리성 및 전송정보에 대한 확인을 가능하도록 하는 단계;가 포함된 실시간 현장 모니터링 및 정보제공 시스템의 운용방법에 있어서,
상기 스트리밍 서비스는 카메라로부터 영상정보를 영상열로 변환하고, 음성 및 텍스트 데이터를 클라이언트 컴퓨터로 스트리밍하는 기능을 제공하는 단계;
상기 모니터링은 스트리밍된 영상열 정보와 음성 및 텍스트 데이터를 수신하여 디스플레이하고 관리하는 기능을 제공하는 단계;가 포함되되,
상기 스트리밍 서비스는 H.264로 인코딩되고, 음성은 AAC(Advanced Audio Coding)로 인코딩되어 스트리밍 데이터로 변환한 후 스트리밍 서버로 전송하여 HTML(Hypertext Markup Language)5 기반의 웹서버를 통해 브로드케스팅되어 1:N 서비스를 가능하게 하고,
스트리밍되는 영상을 보는 클라이언트 컴퓨터는 웹브라우저를 통해 접근 가능하므로 사용자에게 인터페이스와 편리성을 제공하도록 하고,
상기 현장 작업자 장치가 요청한 정보는, 제품에 대한 3D 데이터와 제품 명세 정보를 가져와 레이어드 구조(Layered structure)로 변환된 데이터를 기반으로 현장 작업자 장치에서 제품에 대한 모델링 정보와 명세 정보를 활용하여 제품 유지 보수의 효율성을 증대시키고,
상기 3D 데이터는, 경량화 3D 데이터를 스마트용으로 변환하는 스마트 현장 작업자 장치를 거쳐 스마트용 3D 데이터를 생성하고, 생성된 스마트용 3D 데이터는 현장 어디서나 활용 가능한 현장 작업자 장치를 이용하여 모델링 정보 및 제품에 대한 명세 정보를 볼 수 있도록 함과 아울러 3D 데이터는 3D 모델링을 통해 디스플레이가 가능하도록 하고, 아울러 상기 3D 데이터는, 스마트용 3D 데이터로 변환되고, 변환된 스마트용 3D 데이터는 현장 작업자 장치 3D 모델링 데이터와 현장 작업자 장치 명세서 데이터로 나누어지고, 각각의 데이터는 스마트 3D 모델링과 스마트 3D 레이어드 정보처리 모듈을 통해 사용자 인터페이스로 전달된 후 화면에 디스플레이되고, 사용자 인터페이스는 사용자의 요구를 받아 다시 스마트 3D 모델링 모듈과 스마트 3D 레이어드 정보처리 모듈로 전해지도록 하고,
상기 스마트 3D로 보여지는 뷰어 화면창은, 좌측 속성창에는 실제 우측 뷰잉창에서 보여지는 제품에 대한 정보가 보여지게 되고, 속성창에서 선택된 정보만이 우측 뷰잉창에서 디스플레이되도록 함을 특징으로 하는 실시간 현장 모니터링 및 정보제공 시스템의 운용방법.
The field worker apparatus 10 obtains still images, moving images, and text and audio information of the scene through a camera and a microphone, and provides the same to the client computer via a network. The information about the still image and the moving image is read several frames per second And transmitting the image sequence information to the client computer connected to the streaming service; The client computer 30 provides and monitors the information requested by the field worker apparatus through the web / streaming server and the network, encodes the received image sequence information and displays the information on the client computer; The web / streaming server 20 stores data in a database and provides bidirectional mutual data in real time to a field worker device and a client computer; And the date and time information is added to the information transmitted and received between both the field worker apparatus and the client computer, the information is transmitted to the database, and the transmitted information and the transmitted information are stored in the database, The method comprising the steps of: (a)
Wherein the streaming service comprises the steps of: converting video information from the camera into video sequences and streaming audio and text data to a client computer;
The monitoring includes receiving and displaying the streamed video sequence information and voice and text data, and managing the received video sequence information,
The streaming service is encoded in H.264, the audio is encoded in AAC (Advanced Audio Coding), converted into streaming data, and then transmitted to a streaming server, broadcasted through a web server based on HTML (Hypertext Markup Language) : N enable services,
Since the client computer viewing the streamed video can be accessed through a web browser, the user is provided with an interface and convenience,
The information requested by the field worker device is obtained by taking 3D data and product specification information of the product and using the modeling information and specification information of the product in the field worker apparatus based on the data converted into a layered structure, Increase the efficiency of maintenance,
The 3D data generates 3D data for smart through a smart field worker apparatus for converting lightweight 3D data into smart data, and the generated 3D data for smart data is transmitted to modeling information and products The 3D data is converted into 3D data for smart, and the converted 3D data for smart is converted into 3D model data of the field worker apparatus And field worker device specification data, and each data is transmitted to the user interface through the smart 3D modeling module and the smart 3D layered information processing module and displayed on the screen, and the user interface receives the user's request, And Smart 3D layered information So it passes to the re-module,
In the viewer screen window displayed in the Smart 3D, information on the product displayed in the actual right viewing window is displayed in the left property window, and only information selected in the property window is displayed in the right viewing window. How to operate a site monitoring and information system.
삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete
KR1020140010580A 2014-01-28 2014-01-28 real time on-site monitoring and information offering system and its operational method thereof KR101600826B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140010580A KR101600826B1 (en) 2014-01-28 2014-01-28 real time on-site monitoring and information offering system and its operational method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140010580A KR101600826B1 (en) 2014-01-28 2014-01-28 real time on-site monitoring and information offering system and its operational method thereof

Publications (2)

Publication Number Publication Date
KR20150090366A KR20150090366A (en) 2015-08-06
KR101600826B1 true KR101600826B1 (en) 2016-03-09

Family

ID=53885091

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140010580A KR101600826B1 (en) 2014-01-28 2014-01-28 real time on-site monitoring and information offering system and its operational method thereof

Country Status (1)

Country Link
KR (1) KR101600826B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180082856A (en) 2017-01-11 2018-07-19 금오공과대학교 산학협력단 A safety helmet to prevent accidents and send information of the wearer in real time
KR102578017B1 (en) 2022-11-02 2023-09-12 김민호 Information providing system for customers and method for processing thereof

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109413375A (en) * 2018-06-13 2019-03-01 中核第四研究设计工程有限公司 A kind of intelligent patrol detection and emergency set in radioactivity place
CN113949847A (en) * 2021-09-30 2022-01-18 合肥佳讯科技有限公司 Three-dimensional model-based station intelligent monitoring system
CN113992833A (en) * 2021-11-16 2022-01-28 浙江黄氏建设工程有限公司 Camera data acquisition system applied to future community

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090000767A (en) 2007-03-30 2009-01-08 최형락 Monitoring system for the spot
KR20110055122A (en) * 2009-11-19 2011-05-25 현대중공업 주식회사 Three dimentional drawing monitoring system for fittingout work and work drwing offer method thereof
KR101188536B1 (en) * 2010-01-08 2012-10-05 (주)넥스챌 Monitoring system and method for electric power facility

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
문성우 외 2인. 3D 그래픽 모델을 활용한 교량 시설물 유지관리 시스템. 한국건설관리학회 논문집. 2011년 3월, 제12권, 제2호, pp.64-71 (2011.03.)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180082856A (en) 2017-01-11 2018-07-19 금오공과대학교 산학협력단 A safety helmet to prevent accidents and send information of the wearer in real time
KR102578017B1 (en) 2022-11-02 2023-09-12 김민호 Information providing system for customers and method for processing thereof

Also Published As

Publication number Publication date
KR20150090366A (en) 2015-08-06

Similar Documents

Publication Publication Date Title
KR101600826B1 (en) real time on-site monitoring and information offering system and its operational method thereof
AU2014289922B2 (en) Systems and methods for transmission of data streams
CN101150803B (en) Method for micro-browser to process network data, micro-browser and its server
CN101677397B (en) Method for checking monitoring media through videoconference terminal and videoconference terminal
JP2002351644A5 (en)
KR102385338B1 (en) virtual device, rendering device, WoT device and system for processing web-based content
EP2790383B1 (en) Distribution control system, distribution system, distribution control method, and computer-readable storage medium
EP2793476A1 (en) Distribution control system, distribution system, distribution control method, and computer-readable storage medium
EP2779661A1 (en) Distribution control system, distribution system, distribution control method, and computer-readable storage medium
EP2779570A1 (en) Distribution control system, distribution system, distribution control method, and computer-readable storage medium
CN103685433A (en) Virtual document transmission system and virtual document transmission method thereof
CN106354462B (en) A kind of the document method of simultaneous display, equipment and system in multiple equipment
CN102770827B (en) Method for showing multimedia content on the screen of terminal
US10628500B2 (en) Providing hyperlinks in presentations viewed remotely
CN2882157Y (en) Fluid media browsing system at server/customer terminal
ITPN20100067A1 (en) PROCEDURE FOR SELECTIVE AND CUSTOMIZED DATA TRANSMISSION TO A MOBILE DEVICE AND CLIENT / SERVER SYSTEM THAT IMPLEMENTS THE PROCEDURE
CN103795760A (en) Method and system for processing document through network and system for processing data through network
CN202496025U (en) Cell phone information transmission command system
US20140137148A1 (en) System for Managing the Streaming and Recording of Audiovisual Data
KR101676396B1 (en) System and method for telescreen service using user terminals in public place
CN104767667A (en) Method for sharing WEB page by multiple screens, terminal equipment and web server
CN103179163A (en) System and method for remote monitoring
CN117119216B (en) Live broadcast explanation method and system and use method of live broadcast system
KR20160070576A (en) real-time information System for maintenance of work site and its operation method
KR20110108119A (en) System for lecture service

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee