KR101903072B1 - Apparatus and method for visually checking result of control - Google Patents

Apparatus and method for visually checking result of control Download PDF

Info

Publication number
KR101903072B1
KR101903072B1 KR1020160138643A KR20160138643A KR101903072B1 KR 101903072 B1 KR101903072 B1 KR 101903072B1 KR 1020160138643 A KR1020160138643 A KR 1020160138643A KR 20160138643 A KR20160138643 A KR 20160138643A KR 101903072 B1 KR101903072 B1 KR 101903072B1
Authority
KR
South Korea
Prior art keywords
image
control
screen
control command
transmission
Prior art date
Application number
KR1020160138643A
Other languages
Korean (ko)
Other versions
KR20180044748A (en
Inventor
김기령
강성일
박희숙
권영모
Original Assignee
주식회사 헤리트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 헤리트 filed Critical 주식회사 헤리트
Priority to KR1020160138643A priority Critical patent/KR101903072B1/en
Publication of KR20180044748A publication Critical patent/KR20180044748A/en
Application granted granted Critical
Publication of KR101903072B1 publication Critical patent/KR101903072B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/141—Beam current control means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection

Abstract

제어결과 시각적 확인 방법 및 그 장치가 개시된다. 제어장치는 서버의 제어명령을 상기 저전력광역통신망을 통해 수신하면, 제어명령의 수행 후 제어장치의 화면을 촬영하여 저전력광역통신망의 유효 전송률 이하의 비트율로 전송한다. A control result visual confirmation method and apparatus thereof are disclosed. After receiving the control command of the server through the low power wide area network, the control device captures the screen of the control device after the execution of the control command and transmits the captured image at a bit rate less than or equal to the effective data rate of the low power wide area network.

Description

제어결과 시각적 확인 방법 및 그 장치{Apparatus and method for visually checking result of control}[0001] The present invention relates to a method and a device for visually checking result of control,

본 발명은 원격 제어된 결과를 시각적으로 확인할 수 있는 방법 및 그 장치에 관한 것이다. The present invention relates to a method and apparatus for visually confirming a remotely controlled result.

사물인터넷(IoT, Internet of Things)의 발전으로 다양한 제품에 대해 원거리에서 제어 및 감시가 가능하게 되었다. 특히 SigFox, LoRa, Ingenu, Weightless 등과 같은 저전력광역통신망(LPWAN, Low Power Wide Area Network)의 무선전송 기술이 빠르게 발전하고 있어 광역 IoT 시스템 구축시 종래에 비해 저비용으로 손쉽게 구축이 가능하게 되어 IoT 서비스 시스템이 확대되는 추세이다. With the development of IoT (Internet of Things), it has become possible to control and monitor various products from a distance. Especially, wireless transmission technology of LPWAN (Low Power Wide Area Network) such as SigFox, LoRa, Ingenu, and Weightless is rapidly developing, so it is possible to construct a wide area IoT system easily and at low cost compared with the conventional one. .

그러나 LPWAN 기반의 IoT 시스템은 장거리와 저전력으로 넓은 지역에서 많은 수의 기기를 동시에 연결하는 이점이 있으나, 통신 대역폭이 협소하여 많은 정보를 전송하는데 한계가 있다. 따라서 종래 CCTV와 같은 카메라 장치의 영상정보를 LPWAN 환경에서 전송하는데 어려움이 있다.However, the LPWAN-based IoT system has the advantage of connecting a large number of devices at the same time in a large area at a long distance and a low power, but the communication bandwidth is narrow and there is a limit to transmit a lot of information. Therefore, it is difficult to transfer image information of camera devices such as CCTV in the LPWAN environment.

등록특허공보 제10-1659361호Patent Registration No. 10-1659361

본 발명이 이루고자 하는 기술적 과제는, 저대역의 저전력광역통신망 환경에서 각종 IoT 기기 또는 제어장치의 제어 결과를 시각적으로 확인할 수 있는 방법 및 그 장치를 제공하는데 있다. SUMMARY OF THE INVENTION It is an object of the present invention to provide a method and apparatus for visually confirming control results of various IoT devices or control devices in a low-band low-power wide area network environment.

상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 제어결과 시각적 확인 방법의 일 예는, 저전력광역통신망와 연결된 제어장치의 제어결과 확인 방법에 있어서, 상기 제어장치는, 서버의 제어명령을 상기 저전력광역통신망을 통해 수신하는 단계; 상기 제어명령의 수행 후 상기 제어장치의 화면을 촬영하는 단계; 및 상기 화면을 상기 저전력광역통신망의 유효 전송률 이하의 비트율로 전송하는 단계;를 포함한다.According to another aspect of the present invention, there is provided a method of verifying a control result of a controller connected to a low power wide area network, the method comprising: Receiving via a communication network; Capturing a screen of the control device after executing the control command; And transmitting the screen at a bit rate less than or equal to an effective data rate of the low power wide area network.

상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 제어장치의 일 예는, 서버의 제어명령을 상기 저전력광역통신망을 통해 수신하는 수신부; 상기 제어명령의 수행 후 상기 제어장치의 화면을 촬영하여 전송 이미지를 생성하는 제어부; 및 상기 전송 이미지를 상기 저전력광역통신망의 유효 전송률 이하의 비트율로 전송하는 전송부;를 포함한다.According to an aspect of the present invention, there is provided a control apparatus including: a receiver for receiving a control command of a server through the low power wide area network; A controller for capturing a screen of the control device after the execution of the control command to generate a transmission image; And a transmission unit transmitting the transmission image at a bit rate less than or equal to an effective transmission rate of the low power wide area network.

본 발명에 따르면, 저전력광역통신망 환경에서 IoT 기기들의 제어 결과를 시각적으로 확인할 수 있다. According to the present invention, control results of IoT devices can be visually confirmed in a low power wide area network environment.

도 1은 본 발명이 적용되는 저전력광역통신망 환경의 일 예를 도시한 도면,
도 2는 본 발명에 따른 제어장치의 일 실시 예의 구성을 도시한 도면,
도 3은 본 발명의 일 실시 예에 따른 제어장치의 제어상태 표시 화면의 일 예를 도시한 도면,
도 4는 본 발명에 따른 제어결과 시각적 확인 방법의 일 실시 예의 흐름을 도시한 도면, 그리고,
도 5는 본 발명에 따른 제어결과 시각적 확인 방법의 다른 실시 예의 흐름을 도시한 도면이다.FIG. 1 illustrates an example of a low power wide area network environment to which the present invention is applied; FIG.
2 is a diagram showing the configuration of an embodiment of a control apparatus according to the present invention,
3 is a view showing an example of a control status display screen of a control apparatus according to an embodiment of the present invention;
4 is a flowchart illustrating a method of visually confirming a control result according to an embodiment of the present invention,
5 is a flowchart showing another embodiment of the control result visual confirmation method according to the present invention.

이하에서, 첨부된 도면들을 참조하여 본 발명에 따른 제어결과 시각적 확인 방법 및 그 장치에 대해 상세히 설명한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, a control result visual confirmation method and apparatus according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명이 적용되는 저전력광역통신망 환경의 일 예를 도시한 도면이다.1 is a diagram illustrating an example of a low power wide area network environment to which the present invention is applied.

도 1을 참조하면, 적어도 하나 이상의 제어장치(100,102,104)는 저전력광역통신망(110)을 통해 게이트웨이(120)와 연결되며, 게이트웨이(120)는 종래의 다양한 유무선 통신망(130)을 통해 서버(140)와 연결된다.1, at least one controller 100, 102 and 104 is connected to a gateway 120 through a low power wide area network 110 and a gateway 120 is connected to a server 140 through a variety of conventional wired / wireless communication networks 130. [ Lt; / RTI >

게이트웨이(120,122)는 저전력광역통신망(110)과 고속통신망(130) 사이에 위치하여 서버(140)의 제어명령을 포함한 각종 메시지를 제어장치(100,102,104)로 전송하고, 각 제어장치(100,102,104)의 제어결과를 포함하는 각종 메시지를 서버(140)로 전송한다. 게이트웨이(120)는 제어장치(100,102,104)로 제어명령을 전달할 때 저전력광역통신망(110)의 전송상태에 관한 정보도 함께 전송할 수 있다. The gateways 120 and 122 are located between the low power wide area network 110 and the high speed communication network 130 and transmit various messages including control commands of the server 140 to the control devices 100 and 102 and 104, And transmits various messages including the result to the server 140. The gateway 120 may also transmit information about the transmission status of the low power wide area network 110 when transmitting control commands to the control devices 100, 102,

제어장치(100,102,104)는 다양한 종류의 IoT 기기일 수 있으며, 서버(140)로부터 제어명령을 수신하면, 그에 따른 동작을 수행하고 그 결과를 서버로 전송한다. 또한, 제어장치(100,102,104)는 제어명령의 수행 결과를 나타내는 메시지와 더불어 제어결과를 시각적으로 확인할 수 있는 이미지 정보를 서버(140)로 전송한다.The control devices 100, 102, and 104 may be various types of IoT devices. When the control device 100 receives a control command from the server 140, the control devices 100, 102 and 104 perform an operation according to the control command and transmit the result to the server. In addition, the control apparatuses 100, 102, and 104 transmit to the server 140 image information that can visually confirm the control result, in addition to a message indicating a result of execution of the control command.

제어장치(100,102,104)는 저전력광역통신망(110)의 전송 비트율에 맞는 이미지 정보를 생성하여 전송한다. 예를 들어, 저전력광역통신망(110)의 전송 비트율이 100kbps 이상인 경우에, 제어장치(100,102,104)는 제어결과를 확인할 수 있는 부분에 대한 동영상 또는 고화질의 정지영상을 촬영하여 서버(140)로 전송할 수 있다.The control devices 100, 102 and 104 generate and transmit image information corresponding to the transmission bit rate of the low power wide area network 110. For example, when the transmission bit rate of the low-power wide area network 110 is 100 kbps or more, the control apparatuses 100, 102, and 104 can capture moving images or high-quality still images for the portion where the control results can be confirmed and transmit them to the server 140 have.

그러나 저전력광역통신망(110)의 전송 비트율이 낮은 경우에는 고화질의 이미지 정보를 그대로 전송하기 부적합하므로, 제어장치(100,102,104)는 저전력광역통신망(110)의 전송 비트율에 맞도록 이미지 용량을 적절히 줄여 전송한다. 만약 전송실패시, 더 적은 용량의 이미지를 코드화하여 전송한다. 저전력광역통신망의 유효 전송률에 따른 이미지 코드화 방안의 일 예는 다음 표 1과 같다.However, when the transmission bit rate of the low-power wide area network 110 is low, it is not suitable to transmit high-quality image information as it is. Therefore, the control apparatuses 100, 102 and 104 reduce the image capacity appropriately according to the transmission bit rate of the low- . If transmission fails, a smaller capacity image is coded and transmitted. Table 1 shows an example of the image encoding scheme according to the effective data rate of the low power wide area network.

코드화 방안Coding scheme 추가조절 적용 예Examples of Additional Controls 코드화Coded 고비트율(100kbps이상)High bit rate (over 100kbps) 동영상video 크기조절, 비트율 조정, 프레임율 조정Resize, adjust bit rate, adjust frame rate H.264H.264 이미지(칼라)Image (color) 크기조절, 압축율 조정, 팔렛트 조절Adjust size, adjust compression ratio, adjust palette JPEGJPEG 중비트율(10kbps)Medium bit rate (10kbps) 이미지(흑백)Image (black and white) 압축 기법 선택, 명암도 조절Compression technique selection, intensity control JBIGJBIG 이미지(영역)Image (area) 영역크기 조절Resize area JBIGJBIG 이미지(윤곽선)Image (contour) 변경 부분 확인, 단순화(코드화)Identify changes, simplify (code) JBIGJBIG 저비트율(1kbps 이하)Low bit rate (1kbps or less) 변화감지 여부Whether the change is detected 시각적 변경 확인만 통보Notice of visual change confirmation only bytebyte

표 1을 살펴보면, 제어장치(100,102,104)는 저전력광역통신망(110)의 유효 전송률이 고비트율이면, H.264 등으로 동영상 이미지를 코드화하여 전송한다. 만약 전송이 실패하면, 제어장치(100,102,104)는 동영상 이미지의 크기 조절, 비트율 조절 또는 프레임율 조정 등을 통해 이미지 용량을 전송율에 맞춰 줄여 다시 전송한다. 저전력광역통신망(110)이 여러 요인으로 인해 유효 전송율이 저비트율인 경우라면, 제어결과를 확인할 수 있는 부분에 대한 변화만을 감지하여 그 부분에 대한 윤곽선 이미지만을 전송하거나, 아니면 변화에 대한 정보를 코드화하여 전송한다. Referring to Table 1, when the effective bit rate of the low-power wide area network 110 is a high bit rate, the control apparatuses 100, 102, and 104 encode the moving image using H.264 or the like. If the transmission fails, the control devices 100, 102, 104 reduce the image capacity to the transmission rate by adjusting the size of the moving image, adjusting the bit rate, or adjusting the frame rate. If the low-power wide area network 110 has a low bit rate at the effective bit rate due to various factors, only the change in the portion where the control result can be confirmed is detected, and only the outline image for the portion is transmitted. Alternatively, .

서버(140)는 제어장치(100,102,104)에 제어명령을 전달하고 그 결과를 수신하는 장치로서, 스마트폰 등과 같은 사용자 단말로 구현될 수도 있다. The server 140 is a device for transmitting control commands to the control devices 100, 102 and 104 and receiving the results of the control commands, and may be implemented as a user terminal such as a smart phone.

도 2는 본 발명에 따른 제어장치의 일 실시 예의 구성을 도시한 도면이다.2 is a diagram showing a configuration of an embodiment of a control apparatus according to the present invention.

도 2를 참조하면, 제어장치(100)는 디스플레이부(200), 카메라(210), 수신부(220), 전송부(230) 및 제어부(240)를 포함한다.2, the controller 100 includes a display unit 200, a camera 210, a receiver 220, a transmitter 230, and a controller 240.

디스플레이부(200)는 제어장치의 제어상태를 화면(예를 들어, 도 3)에 표시한다. 예를 들어, 제어장치의 제어 대상이 에어컨 등과 같은 냉방기라면, 디스플레이부(200)는 현재 온도, 설정 온도, 바람세기, 풍향 등의 제어상태를 화면에 표시한다. 제어장치가 제어하는 대상에 따라 디스플레이부(200)가 생략될 수 있다. 예를 들어, 제어장치가 댐이나 강 등의 수문을 제어하는 경우에, 제어결과는 수문의 개방 여부를 통해 시각적으로 확인할 수 있으므로 디스플레이부(200)를 통한 제어상태의 화면 출력이 존재하지 않을 수 있다.The display unit 200 displays a control state of the control device on a screen (e.g., Fig. 3). For example, if the control target of the control device is a cooler such as an air conditioner, the display unit 200 displays control states such as the current temperature, the set temperature, the wind strength, and the wind direction on the screen. The display unit 200 may be omitted depending on the object to be controlled by the controller. For example, in the case where the control device controls the hydromess such as a dam or a river, since the control result can be visually confirmed through the opening of the water gate, the screen output of the control state through the display unit 200 may not exist have.

카메라(210)는 디스플레이부(200)에 의해 표시되는 화면 또는 제어결과를 확인할 수 있는 주변 환경(예를 들어, 수문의 개방 여부)을 촬영한다. 본 실시 예에서 제어장치는 저전력광역통신망(110)에 연결되어 있어 대용량의 데이터 전송이 어려우므로, 카메라(210)는 동영상보다는 정지영상을 촬영하는 것이 바람직하다. 실시 예에 따라, 카메라는 서버의 제어를 통해 촬영 방향이 변경될 수 있다.The camera 210 photographs a screen displayed by the display unit 200 or a surrounding environment (for example, whether or not the water can be opened) in which the control result can be confirmed. In this embodiment, since the control device is connected to the low-power wide area network 110, it is difficult to transmit a large amount of data, so that the camera 210 preferably photographs a still image rather than a moving image. According to the embodiment, the camera can change the shooting direction through the control of the server.

수신부(220)는 서버로부터 제어명령을 수신한다. 제어명령은 제어장치의 종류에 따라 다양할 수 있다. 전송부(230)는 제어명령의 수행 결과를 서버로 전송한다. The receiving unit 220 receives a control command from the server. The control command may vary according to the type of control device. The transmission unit 230 transmits the result of the execution of the control command to the server.

제어부(240)는 서버의 제어명령을 수행한다. 예를 들어, 제어장치의 제어 대상이 냉난방 온도 장치이고, 서버로부터 온도 제어 명령을 수신하면, 제어부(240)는 온도 제어 명령에 따라 냉난방 장치의 온도를 제어한다. 제어부(240)는 제어명령 수행 후 디스플레이부에 의해 표시되는 화면을 카메라로 촬영하여 제어결과 이미지를 획득하고, 획득한 이미지를 저용량의 이미지로 변환한 후 저전력광역통신망의 유효 전송률 이하의 비트율로 전송한다. The control unit 240 executes a control command of the server. For example, when the control target of the control device is the cooling / heating temperature device and the temperature control command is received from the server, the control unit 240 controls the temperature of the cooling / heating device in accordance with the temperature control command. After executing the control command, the control unit 240 captures the screen displayed by the display unit with the camera to obtain a control result image, converts the acquired image into a low capacity image, and transmits the image at a bit rate lower than the effective transmission rate of the low- do.

제어부(240)는 저전력광역통신망의 유효 전송률에 따라 촬영 이미지를 그대로 전송하거나 H.264, JPEG, JBIG 등의 다양한 압축 코덱을 이용하여 압축하거나 E또는 촬영 이미지를 흑백 이미지 등으로 변경하여 저용량으로 변환하여 전송한다. 즉, 제어부(240)는 표 1과 같이 저전력광역통신망의 유효 전송률에 맞는 적절한 코드화 방법을 선택하여 최상의 품질을 갖는 촬영 이미지를 서버로 전송한다. The control unit 240 transmits the captured image as it is according to the effective transmission rate of the low power wide area network, compresses it using various compression codecs such as H.264, JPEG, JBIG, or converts the E or the captured image into a black and white image, . That is, as shown in Table 1, the control unit 240 selects a proper encoding method suitable for the effective data rate of the low-power wide area network and transmits the best quality image to the server.

예를 들어, 저전력광역통신망의 유효 전송률이 표 1의 중비트율에 해당하면, 제어부(240)는 촬영 이미지를 흑백 이미지로 변환하고 이를 JBIG으로 코드화하여 전송한다. 만약 전송이 실패하면, 제어부(240)는 다른 압축기법을 적용하거나 흑백 이미지의 명암도 등을 조정하여 이미지 용량을 더 낮추어 다시 전송을 수행한다. 그럼에도 다시 전송이 실패하면, 제어부(240)는 촬영 이미지의 일부 영역만을 선택하여 크기를 조절한 후 다시 전송한다. 저전력광역통신망의 유효 전송율이 표 1의 저비트율이하가 되면, 일반적인 이미지의 전송이 어려우므로, 제어부(240)는 윤곽선을 검출하여, 윤곽선으로 이루어진 윤곽선 이미지를 서버로 전송한다. For example, if the effective bit rate of the low-power wide area network corresponds to the bit rate in Table 1, the control unit 240 converts the shot image into a monochrome image, encodes it into JBIG, and transmits the image. If the transmission fails, the controller 240 applies another compression technique or adjusts the contrast of the monochrome image to lower the image capacity and perform the transmission again. However, if the transmission fails again, the control unit 240 selects only a part of the photographed image, adjusts its size, and transmits it again. If the effective bit rate of the low power wide area network is less than the low bit rate shown in Table 1, it is difficult to transmit a general image, so that the controller 240 detects the contour line and transmits the outline contour line image to the server.

실시 예에 따라, 제어부(240)는 저전력광역통신망의 유효 전송률을 측정하거나 또는 게이트웨이로부터 유효 전송률에 대한 정보를 수신한 후 이를 기초로 적절한 이미지 코드화 방법 등을 파악할 수 있다. 또는 제어부(240)는 실시간 저전력광역통신망의 유효 전송률을 파악하지 않고, 초기 설정된 코드화 방법으로 전송을 수행하며 실패시에 더 낮은 코드화 방법으로 촬영 이미지를 변환하여 전송할 수 있다. According to the embodiment, the control unit 240 can measure the effective data rate of the low power wide area network or receive the information on the effective data rate from the gateway, and determine an appropriate image coding method based on the information. Alternatively, the control unit 240 may perform transmission using an initial setting coding method without grasping the effective transmission rate of the real-time low-power wide area communication network, and may convert and transmit the captured image using a lower coding method in case of failure.

다른 예로, 제어부(240)는 제어명령을 수신하면 카메라를 통해 디스플레이부(200)에 의해 표시되는 화면 또는 제어결과의 확인이 가능한 외부 환경(예를 들어, 수문 등)을 촬영하여 제1 이미지를 획득한다. 그리고 제어부(240)는 제어명령의 수행 후 화면 또는 외부 환경을 다시 촬영하여 제2 이미지를 획득한다. 제어부(240)는 제1 이미지와 제2 이미지를 비교하여 변화된 부분만을 추출하여 서버로 전송한다. 예를 들어, 디스플레이부(200)에 의해 표시된 화면이 도 3과 같다면, 제어부(240)는 카메라를 통해 도 3의 화면을 제어명령의 수행 전후로 촬영하여 변화된 부분을 파악하고, 변화된 영역에 대한 이미지만을 추출하여 서버로 전송한다. In another example, when the control unit 240 receives the control command, the control unit 240 photographs an external environment (for example, a water gate or the like) capable of confirming the screen displayed by the display unit 200 or the control result through the camera, . After the control command is executed, the control unit 240 photographs the screen or the external environment again to acquire the second image. The control unit 240 compares the first image and the second image, extracts only the changed portion, and transmits the extracted portion to the server. For example, if the screen displayed by the display unit 200 is the same as that in FIG. 3, the control unit 240 captures the changed portion by capturing the screen of FIG. 3 before and after the execution of the control command through the camera, Extracts only the image and transmits it to the server.

도 3은 본 발명의 일 실시 예에 따른 제어장치의 제어상태 표시 화면의 일 예를 도시한 도면이다.3 is a view showing an example of a control status display screen of the control apparatus according to an embodiment of the present invention.

도 3을 참조하면, 제어장치가 제어하는 대상의 상태를 나타내는 각종 아이콘이나 숫자 등이 화면(300)에 표시된다. 제어장치가 제어하는 대상에 따라 화면(300)에 표시되는 내용 또한 상이하다. 제어장치가 제어하는 대상에 따라 제어 상태 표시 화면이 존재하지 아니할 수 있다. 이 경우에, 제어장치가 촬영하는 대상은 도 3과 같은 화면이 아니라 제어 결과를 알 수 있는 주변 환경이다. 예를 들어, 수문 개방을 제어하는 제어장치인 경우에, 제어장치는 카메라를 통해 수문을 촬영한다. Referring to FIG. 3, various icons, numerals, and the like are displayed on the screen 300 indicating the status of the object controlled by the control device. The content displayed on the screen 300 differs depending on the object controlled by the control device. The control status display screen may not exist depending on the object controlled by the control device. In this case, the object to be photographed by the control device is not the screen as shown in FIG. 3 but the surrounding environment in which the control result can be known. For example, in the case of a control device that controls the opening of the water gate, the control device shoots the water gate through the camera.

도 4는 본 발명에 따른 제어결과 시각적 확인 방법의 일 실시 예의 흐름을 도시한 도면이다.FIG. 4 is a flowchart illustrating a control result visual confirmation method according to an embodiment of the present invention.

도 4를 참조하면, 제어장치는 서버로부터 제어명령을 수신한다(S400). 제어장치는 제어명령을 수행하고(S410), 제어결과가 나타나는 도 3과 같은 화면 또는 주변환경을 촬영한다(S420). 그리고 제어장치는 저전력광역통신망의 전송률에 따라 촬영한 이미지를 그대로 전송하거나 저용량의 데이터로 변환하여 서버로 전송한다(S430). 촬영 이미지를 저용량의 데이터로 변환하기 위하여, 촬영 이미지를 흑백 이미지로 변환하고, 흑백 이미지로부터 윤곽선을 추출한 후, 윤곽선만으로 이루어진 윤곽선 이미지를 서버로 전송할 수 있다. 또는 제어상태가 표시된 도 3과 같은 화면에서 변경된 부분만을 추출하여 전송할 수 있다. 다른 예로, 제어장치는 센서정보 수준의 데이터량으로 시각확인정보를 처리할 수 있도록 이미지 변경 확인 및 위치를 코드화하여 전송할 수 있다. 이 경우, 서버는 수신한 코드화 정보를 시각적으로 표시할 수 있다. Referring to FIG. 4, the control device receives a control command from the server (S400). The control device executes a control command (S410), and captures the screen or the surrounding environment as shown in FIG. 3 where the control result is displayed (S420). Then, the control device transmits the photographed image as it is according to the transmission rate of the low-power wide-area network, or converts it into low-capacity data and transmits it to the server (S430). In order to convert the captured image into low capacity data, the captured image is converted into a monochrome image, the outline is extracted from the monochrome image, and then the outline image composed of only the outline is transmitted to the server. Alternatively, it is possible to extract and transmit only the changed portion on the screen as shown in Fig. 3 in which the control status is displayed. As another example, the control device may encode and transmit image change acknowledgments and locations so as to process the time confirmation information with the amount of data at the sensor information level. In this case, the server can visually display the received coded information.

도 5는 본 발명에 따른 제어결과 시각적 확인 방법의 다른 실시 예의 흐름을 도시한 도면이다.5 is a flowchart showing another embodiment of the control result visual confirmation method according to the present invention.

도 5를 참조하면, 제어장치는 서버로부터 제어명령을 수신한다(S500). 제어장치는 제어명령의 수행 전에 제어상태를 나타내는 화면 또는 주변 환경을 카메라를 통해 촬영하여 제1 이미지를 획득한다(S510). 그리고 제어장치는 제어명령을 수행한 후(S520), 제어상태를 나타내는 화면 또는 주변 환경을 카메라를 통해 촬영하여 제2 이미지를 획득한다(S530).Referring to FIG. 5, the control device receives a control command from the server (S500). The controller acquires the first image by photographing the screen or the surrounding environment showing the control state through the camera before executing the control command (S510). After the control unit executes the control command (S520), the control unit acquires the second image by photographing the screen or the surrounding environment indicating the control state through the camera (S530).

제어장치는 제1 이미지와 제2 이미지의 비교를 통해 변경 부분을 추출한다(S540). 제어장치가 촬영한 대상이 도 3과 같은 화면이고, 제어명령의 수행 전후로 숫자 부분만 변경되었다면 제어장치는 이미지 비교를 통해 변경된 부분이 숫자 부분임을 용이하게 파악할 수 있다. The controller extracts the changed portion by comparing the first image and the second image (S540). If the object photographed by the control device is a screen as shown in FIG. 3 and only the numerical portion is changed before and after the execution of the control command, the control device can easily understand that the changed portion is the numeric portion through image comparison.

제어장치는 제2 이미지에서 변경 부분만을 추출한 이미지를 서버로 전송한다(S550). 다른 예로, 제어장치는 변경 부분만을 추출한 이미지에 대한 윤곽선 이미지를 생성하여 전송할 수도 있다. The controller transmits an image obtained by extracting only the changed portion from the second image to the server (S550). As another example, the control device may generate and transmit an outline image for the extracted image of only the changed portion.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The present invention can also be embodied as computer-readable codes on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like. The computer-readable recording medium may also be distributed over a networked computer system so that computer readable code can be stored and executed in a distributed manner.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.The present invention has been described with reference to the preferred embodiments. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.

Claims (7)

통신 대역폭이 협소한 저전력광역통신망에 연결된 제어장치의 제어결과 확인 방법에 있어서,
상기 제어장치는,
서버의 제어명령을 상기 저전력광역통신망을 통해 수신하는 단계;
상기 제어명령의 수행 결과를 상기 서버로 전송하는 단계;를 포함하고,
상기 수행 결과를 서버로 전송하는 단계는,
상기 제어명령의 수행 후 제어결과가 나타나는 상기 제어장치의 화면을 촬영하는 단계; 및
상기 저전력광역통신망을 통해 상기 화면의 이미지를 상기 서버로 전송하되, 전송이 실패하면 상기 화면의 이미지 용량을 기 설정된 방법에 따라 순차적으로 줄여 재전송하는 과정을 전송이 성공할 때까지 반복하는 단계;를 포함하는 것을 특징으로 하는 제어결과 시각적 확인 방법. A method for checking a control result of a control device connected to a low power wide area network having a narrow communication bandwidth,
The control device includes:
Receiving a control command of the server through the low power wide area network;
And transmitting the result of the execution of the control command to the server,
Wherein the step of transmitting the execution result to the server comprises:
Capturing a screen of the control device in which a control result is displayed after the execution of the control command; And
And transmitting the image of the screen to the server through the low-power wide area network, wherein if the transmission fails, the image capacity of the screen is sequentially reduced according to a predetermined method and the retransmission is repeated until the transmission is successful And a control result visual confirmation method. 제 1항에 있어서, 상기 촬영하는 단계는,
상기 화면을 흑백 이미지로 변환하는 단계;
상기 흑백 이미지의 윤곽선을 검출하는 단계; 및
상기 윤곽선으로 이루어진 윤곽선 이미지를 생성하는 단계;를 포함하고,
상기 전송하는 단계는, 상기 윤곽선 이미지를 전송하는 단계를 포함하는 것을 특징으로 하는 제어결과 시각적 확인 방법.2. The method according to claim 1,
Converting the screen into a monochrome image;
Detecting an outline of the monochrome image; And
And generating an outline image of the outline,
Wherein the transmitting comprises transmitting the outline image. ≪ RTI ID = 0.0 > 31. < / RTI > 제 1항에 있어서, 상기 촬영하는 단계는,
상기 제어명령의 수행 전 상기 제어장치의 제1 화면을 촬영하여 제1 이미지를 획득하는 단계;
상기 제어명령의 수행 후 상기 제어장치의 제2 화면을 촬영하여 제2 이미지를 획득하는 단계; 및
상기 제1 이미지와 상기 제2 이미지를 비교하여 변화부분을 파악하는 단계;를 포함하고,
상기 전송하는 단계는, 상기 변화부분에 대한 이미지를 추출하여 전송하는 단계를 포함하는 것을 특징으로 하는 제어결과 시각적 확인 방법.2. The method according to claim 1,
Capturing a first screen of the control device before execution of the control command to obtain a first image;
Capturing a second screen of the controller after the execution of the control command to obtain a second image; And
Comparing the first image and the second image to determine a changed portion,
Wherein the transmitting comprises extracting and transmitting an image for the changed portion. 서버의 제어명령을 통신 대역폭이 협소한 저전력광역통신망을 통해 수신하는 수신부;
상기 제어명령의 수행 후 제어결과가 나타나는 제어장치의 화면을 촬영하여 전송 이미지를 생성하는 제어부; 및
상기 전송 이미지를 상기 저전력광역통신망의 유효 전송률 이하의 비트율로 전송하는 전송부;를 포함하고,
상기 제어부는, 상기 저전력광역통신망을 통해 상기 화면의 이미지를 상기 제어명령의 수행 결과로 상기 서버에게 전송하되, 전송이 실패하면 상기 화면의 이미지 용량을 기 설정된 방법에 따라 순차적으로 줄여 재전송하는 과정을 전송이 성공할 때까지 반복하는 것을 특징으로 하는 제어장치.A receiving unit for receiving a control command of the server through a low power wide area network having a narrow communication bandwidth;
A control unit for photographing a screen of a control device showing a control result after performing the control command and generating a transmission image; And
And a transmission unit for transmitting the transmission image at a bit rate less than or equal to an effective transmission rate of the low power wide area network,
Wherein the control unit transmits the image of the screen to the server as a result of execution of the control command through the low-power wide-area communication network, and when the transmission fails, the image capacity of the screen is sequentially reduced according to a predetermined method, And repeats until the transfer is successful. 제 4항에 있어서, 상기 제어부는,
상기 화면을 흑백 이미지로 변환하여 윤곽선을 검출하고, 상기 윤곽선으로 이루어진 윤곽선 이미지를 상기 전송 이미지로 생성하는 것을 특징으로 하는 제어장치.5. The apparatus of claim 4,
Wherein the control unit converts the screen into a monochrome image to detect an outline and generates an outline image of the outline as the transmission image. 제 4항에 있어서, 상기 제어부는,
상기 제어명령의 수행 전 상기 제어장치의 화면을 촬영하여 제1 이미지를 획득하고, 상기 제어명령의 수행 후 상기 제어장치의 화면을 촬영하여 제2 이미지를 획득하고, 상기 제1 이미지와 상기 제2 이미지를 비교하여 변화부분을 파악하고, 상기 제2 이미지에서 상기 변화부분을 포함하는 부분을 추출하여 상기 전송 이미지를 생성하는 것을 특징으로 하는 제어장치.5. The apparatus of claim 4,
Capturing a screen of the control device before the execution of the control command to obtain a first image, capturing a screen of the control device after performing the control command to acquire a second image, Wherein the control unit compares the image to identify the changed portion, and extracts the portion including the changed portion from the second image to generate the transmission image. 제 1항 내지 제 3항 중 어느 한 항에 기재된 방법을 수행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.A computer-readable recording medium on which a program for performing the method according to any one of claims 1 to 3 is recorded.
KR1020160138643A 2016-10-24 2016-10-24 Apparatus and method for visually checking result of control KR101903072B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160138643A KR101903072B1 (en) 2016-10-24 2016-10-24 Apparatus and method for visually checking result of control

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160138643A KR101903072B1 (en) 2016-10-24 2016-10-24 Apparatus and method for visually checking result of control

Publications (2)

Publication Number Publication Date
KR20180044748A KR20180044748A (en) 2018-05-03
KR101903072B1 true KR101903072B1 (en) 2018-10-01

Family

ID=62244860

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160138643A KR101903072B1 (en) 2016-10-24 2016-10-24 Apparatus and method for visually checking result of control

Country Status (1)

Country Link
KR (1) KR101903072B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000083239A (en) * 1998-07-08 2000-03-21 Victor Co Of Japan Ltd Monitor system
JP2002218439A (en) * 2001-01-19 2002-08-02 Fujitsu General Ltd Image monitor system
KR101237524B1 (en) * 2012-07-30 2013-02-26 (주) 휴스 Output expression system for multi-input of facility water management system

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090030494A (en) * 2007-09-20 2009-03-25 삼성테크윈 주식회사 Control method of digital camera providing profile of image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000083239A (en) * 1998-07-08 2000-03-21 Victor Co Of Japan Ltd Monitor system
JP2002218439A (en) * 2001-01-19 2002-08-02 Fujitsu General Ltd Image monitor system
KR101237524B1 (en) * 2012-07-30 2013-02-26 (주) 휴스 Output expression system for multi-input of facility water management system

Also Published As

Publication number Publication date
KR20180044748A (en) 2018-05-03

Similar Documents

Publication Publication Date Title
KR101725888B1 (en) Method and apparatus for providing image in camera or remote-controller for camera
US20050213793A1 (en) Monitoring system and setting method for the same
US20090234919A1 (en) Method of Transmitting Data in a Communication System
CN103856758A (en) Method and system for generating real-time motion video
EP2152004A2 (en) Image providing apparatus, image displaying apparatus, image transmitting system and image transmitting method using the same
JP2015088784A (en) Imaging device
EP3499880A1 (en) Systems and methods for transmitting a high quality video image from a low power sensor
KR20050105630A (en) Systems and methods for measurement of video quality
US10306173B2 (en) Imaging apparatus, imaging method, and program
JP2014161000A (en) Imaging apparatus, client device, imaging system, control method of imaging apparatus, control method of client device and control method of imaging system
US20140118478A1 (en) Transmission device and transmission method
KR101903072B1 (en) Apparatus and method for visually checking result of control
JP2004179997A (en) Interactive communication system, video image communication device, and image data distribution method for the same
KR20120046509A (en) Method and for apparatus for adjusting camera focus
CN109391769A (en) Control equipment, control method and storage medium
KR101676484B1 (en) Method for Providing Advertisement Relating Service
KR101592731B1 (en) Image sensing system
CN105959647A (en) Big data image processing system
CN209881936U (en) Data transmission system
KR101997085B1 (en) Image transmission apparatus
KR101908491B1 (en) Apparatus and method for object identification in narrowband radio communications
US20160227174A1 (en) Communication device
JP5988725B2 (en) Imaging device and developing device
CN111343209A (en) Picture processing method with temperature information
CN111083529A (en) Data processing method, image acquisition device and electronic equipment

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant