KR20230016352A - Image-based deep learning inference system - Google Patents

Image-based deep learning inference system Download PDF

Info

Publication number
KR20230016352A
KR20230016352A KR1020210097732A KR20210097732A KR20230016352A KR 20230016352 A KR20230016352 A KR 20230016352A KR 1020210097732 A KR1020210097732 A KR 1020210097732A KR 20210097732 A KR20210097732 A KR 20210097732A KR 20230016352 A KR20230016352 A KR 20230016352A
Authority
KR
South Korea
Prior art keywords
image
deep learning
display
inference system
unit
Prior art date
Application number
KR1020210097732A
Other languages
Korean (ko)
Inventor
유영준
최장희
Original Assignee
한국생산기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국생산기술연구원 filed Critical 한국생산기술연구원
Priority to KR1020210097732A priority Critical patent/KR20230016352A/en
Publication of KR20230016352A publication Critical patent/KR20230016352A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

The present invention relates to a deep learning inference system based on an image, wherein the deep learning inference system based on the image may comprise: a device that acquires at least an image, processes the image, and transmits a screenshot or streaming data for a screen wherein a display is displayed; a deep learning edge module part that receives the screenshot or streaming data from the device, and processes the image using a deep learning model; and a display part that displays a processing result of the deep learning edge module part. Therefore, the present invention is capable of having an effect of improving a convenience of system construction.

Description

이미지 기반 딥러닝 추론 시스템{Image-based deep learning inference system}Image-based deep learning inference system}

본 발명은 이미지 기반 딥러닝 추론 시스템에 관한 것으로, 더 상세하게는 머신비전을 확장한 이미지 기반 딥러닝 추론 시스템에 관한 것이다.The present invention relates to an image-based deep learning inference system, and more particularly, to an image-based deep learning inference system that extends machine vision.

일반적으로 산업 현장에서는 광학기술을 이용한 다양한 제품 진단 시스템을 사용하고 있다.In general, industrial sites use various product diagnosis systems using optical technology.

머신 비전은 고성능 카메라, 그래픽 처리장치(GPU)를 포함하는 시스템으로 통상 광학 모듈을 포함하는 영상 취득부와, 영상 취득부의 이미지를 기준 영상 등과 비교하여 결함을 검출하는 결함검출부를 포함한다.Machine vision is a system including a high-performance camera and a graphic processing unit (GPU), and typically includes an image acquisition unit including an optical module and a defect detection unit that compares an image of the image acquisition unit with a reference image and the like to detect defects.

통상 결함검출부는 PC 등의 연산장치를 사용하거나, 그래픽 처리장치(GPU)를 사용하는 별도의 하드웨어를 개발하여 사용하고 있다.In general, the defect detection unit uses an arithmetic device such as a PC or develops and uses separate hardware using a graphics processing unit (GPU).

최근 비전 검사의 정확도를 더욱 증가시키기 위한 방법으로, 인공지능을 이용한 딥러닝을 비전 검사에 적용하려는 노력이 있었다.Recently, as a way to further increase the accuracy of vision inspection, efforts have been made to apply deep learning using artificial intelligence to vision inspection.

등록특허 10-2171491호(2020년 10월 23일 등록, 딥러닝을 이용한 양품 선별 방법)에는 공정라인에 설치된 카메라의 영상을 양품 영상 DB와 불량품 영상 DB에 저장된 영상들과의 비교를 심층 신경망을 이용하여 수행할 수 있는 구성이 기재되어 있다.Registered Patent No. 10-2171491 (registered on October 23, 2020, method for selecting good products using deep learning) compares the images of cameras installed in the process line with the images stored in the good product image DB and the defective product image DB using a deep neural network. A configuration that can be performed using is described.

그러나 기존의 머신 비전의 결함검출부는 그래픽 처리장치(GPU)를 기반으로 이미지를 단순 하는 것이며, 이미지 기반 심층 신경망을 구동하기에는 하드웨어 사양이 낮은 것이 대부분이다.However, the defect detection unit of existing machine vision simplifies images based on a graphic processing unit (GPU), and most of them have low hardware specifications to drive image-based deep neural networks.

따라서, 기존의 머신 비전의 결함검출부를 딥러닝 학습 및 추론이 가능한 수준의 장치로 교체할 필요가 있지만, 머신 비전에 사용되는 영상 취득부와의 인터페이스 차이 및 통신 규격의 차이가 발생할 수 있다.Therefore, although it is necessary to replace the defect detection unit of the existing machine vision with a device capable of deep learning learning and inference, differences in interface and communication standards with the image acquisition unit used in machine vision may occur.

구체적으로 머신 비전에서 사용하는 카메라를 포함하는 영상 취득부는 제조업체마다 다른 통신 규격을 사용하거나, 인터페이스를 사용하기 때문에 기존의 머신 비전 카메라를 그대로 사용하면서 결함검출부를 교체하는 것은 쉽지 않다.Specifically, since the image acquisition unit including the camera used in machine vision uses different communication standards or interfaces for each manufacturer, it is not easy to replace the defect detection unit while using the existing machine vision camera as it is.

또한, 딥러닝 추론이 가능한 수준의 결함검출부를 개발 및 설계할 때에도 머신 비전 카메라들의 다양한 규격을 고려해야 하기 때문에 개발비용이 증가하고, 개발에 필요한 고려 사항도 증가하게 되는 문제점이 있었다.In addition, even when developing and designing a defect detection unit capable of deep learning reasoning, since various specifications of machine vision cameras must be considered, development costs increase and considerations necessary for development also increase.

상기와 같은 문제점을 감안한 본 발명이 해결하고자 하는 과제는, 이미 설치 운영되는 머신 비전을 그대로 사용하면서 딥러닝 추론을 수행할 수 있는 이미지 기반 딥러닝 추론 시스템을 제공함에 있다.In view of the above problems, an object of the present invention to be solved is to provide an image-based deep learning inference system capable of performing deep learning inference while using already installed and operated machine vision.

상기와 같은 기술적 과제를 해결하기 위한 본 발명 이미지 기반 딥러닝 추론 시스템은, 적어도 이미지를 획득하고, 이미지를 처리하되, 디스플레이 표시되는 화면에 대한 스크린샷 또는 스트리밍 데이터를 송신하는 장치와, 상기 장치로부터 스크린샷 또는 스트리밍 데이터를 수신하고, 딥러닝 모델을 이용하여 이미지를 처리하는 딥러닝 에지 모듈부와, 상기 딥러닝 에지 모듈부의 처리 결과를 표시하는 표시부를 포함할 수 있다.The image-based deep learning inference system of the present invention for solving the above technical problem is a device for acquiring at least an image, processing the image, and transmitting a screen shot or streaming data for a displayed screen, and from the device It may include a deep learning edge module unit that receives screenshots or streaming data and processes images using a deep learning model, and a display unit that displays processing results of the deep learning edge module unit.

본 발명의 실시예에서, 상기 장치는, 디스플레이에 표시되는 화면의 일부 또는 전부에 대한 스크린샷 또는 스트리밍 데이터를 추출하여 송신하며, 상기 디스플레이 표시되는 화면의 일부는 획득된 상기 이미지인 것으로 할 수 있다.In an embodiment of the present invention, the device extracts and transmits a screenshot or streaming data for part or all of a screen displayed on a display, and the part of the screen displayed on the display may be the obtained image. .

본 발명의 실시예에서, 상기 딥러닝 에지 모듈부는, 상기 장치에서 송신된 스크린샷 또는 스트리밍 데이터가 상기 디스플레이에 표시되는 화면의 전부에 대한 것일 때, 일부 픽셀 영역인 상기 이미지에 대한 데이터를 추출하여 딥러닝 모델에 적용할 수 있다.In an embodiment of the present invention, the deep learning edge module unit extracts data for the image, which is a partial pixel area, when the screenshot or streaming data transmitted from the device is for all of the screen displayed on the display, It can be applied to deep learning models.

본 발명의 실시예에서, 상기 장치는, 근거리 유선 또는 무선통신을 사용하거나, 인터넷망 또는 광역 데이터망을 통해 스크린샷 또는 스트리밍 데이터를 송신할 수 있다.In an embodiment of the present invention, the device may transmit screenshots or streaming data using short-distance wired or wireless communication, or through an Internet network or a wide area data network.

본 발명의 실시예에서, 상기 표시부는, 모니터링 장치이거나, 모바일 장치일 수 있다.In an embodiment of the present invention, the display unit may be a monitoring device or a mobile device.

본 발명은 기존 설치된 머신 비전의 하드웨어를 그대로 사용하면서 딥러닝 추론을 이용하여 이미지의 판별, 제품의 불량 여부에 대한 이미지 처리를 수행할 수 있어, 다양한 인터페이스에 대한 고려 없이 딥러닝 추론 시스템을 개발하고, 현장에 적용할 수 있어 비용을 절감하며, 시스템 구축의 편의성을 향상시킬 수 있는 효과가 있다.The present invention develops a deep learning inference system without considering various interfaces because it can perform image discrimination and image processing on whether a product is defective or not using deep learning inference while using existing machine vision hardware as it is. , it can be applied to the field, reducing costs and improving the convenience of system construction.

도 1은 본 발명의 바람직한 실시예에 따른 이미지 기반 딥러닝 추론 시스템의 블록 구성도이다.
도 2는 도 1에서 이미지 처리부의 블록 구성도이다.1 is a block diagram of an image-based deep learning inference system according to a preferred embodiment of the present invention.
FIG. 2 is a block diagram of an image processing unit in FIG. 1 .

본 발명의 구성 및 효과를 충분히 이해하기 위하여, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예들을 설명한다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라, 여러가지 형태로 구현될 수 있고 다양한 변경을 가할 수 있다. 단지, 본 실시예에 대한 설명은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위하여 제공되는 것이다. 첨부된 도면에서 구성요소는 설명의 편의를 위하여 그 크기를 실제보다 확대하여 도시한 것이며, 각 구성요소의 비율은 과장되거나 축소될 수 있다.In order to fully understand the configuration and effects of the present invention, preferred embodiments of the present invention will be described with reference to the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, and may be implemented in various forms and various changes may be made. However, the description of the present embodiment is provided to complete the disclosure of the present invention and to completely inform those skilled in the art of the scope of the invention to which the present invention belongs. In the accompanying drawings, the size of the components is enlarged from the actual size for convenience of description, and the ratio of each component may be exaggerated or reduced.

'제1', '제2' 등의 용어는 다양한 구성요소를 설명하는데 사용될 수 있지만, 상기 구성요소는 위 용어에 의해 한정되어서는 안 된다. 위 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 수 있다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 '제1구성요소'는 '제2구성요소'로 명명될 수 있고, 유사하게 '제2구성요소'도 '제1구성요소'로 명명될 수 있다. 또한, 단수의 표현은 문맥상 명백하게 다르게 표현하지 않는 한, 복수의 표현을 포함한다. 본 발명의 실시예에서 사용되는 용어는 다르게 정의되지 않는 한, 해당 기술분야에서 통상의 지식을 가진 자에게 통상적으로 알려진 의미로 해석될 수 있다.Terms such as 'first' and 'second' may be used to describe various elements, but the elements should not be limited by the above terms. The above terms may only be used for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, a 'first element' may be named a 'second element', and similarly, a 'second element' may also be named a 'first element'. can Also, singular expressions include plural expressions unless the context clearly indicates otherwise. Terms used in the embodiments of the present invention may be interpreted as meanings commonly known to those skilled in the art unless otherwise defined.

도 1은 본 발명의 바람직한 실시예에 따른 이미지 기반 딥러닝 추론 시스템의 블록 구성도이다.1 is a block diagram of an image-based deep learning inference system according to a preferred embodiment of the present invention.

도 1을 참조하면, 본 발명은 이미지를 취득하고 저장된 기준 이미지들과 비교를 수행하여 이미지를 처리하되, 화면의 스크린샷 또는 화면의 스트리밍을 출력하는 머신 비전(100)과, 상기 머신 비전(100)의 화면 스크린샷 또는 화면 스트리밍을 수신하여, 탑재된 딥러닝 모델을 이용하여 추론하는 딥러닝 에지 모듈부(200)와, 상기 딥러닝 에지 모듈부(200)의 추론 결과를 표시하는 표시부(300)를 포함한다.Referring to FIG. 1 , the present invention includes a machine vision 100 that acquires an image, compares it with stored reference images, processes the image, and outputs a screen shot or screen streaming, and the machine vision 100 The deep learning edge module unit 200 receives a screen shot or screen streaming of ) and infers using the loaded deep learning model, and the display unit 300 displays the inference result of the deep learning edge module unit 200 ).

이하, 상기와 같이 구성되는 본 발명의 바람직한 실시예에 따른 이미지 기반 딥러닝 추론 시스템의 구성과 작용에 대하여 보다 상세히 설명한다.Hereinafter, the configuration and operation of the image-based deep learning inference system according to a preferred embodiment of the present invention configured as described above will be described in more detail.

먼저, 머신 비전(100)은 산업 현장의 생산 라인 등에 설치된 기존의 설비인 것으로 한다. 다른 예로서 머신 비전(100)은 영상을 취득하고, 저장하는 장치일 수 있으며 예를 들어 CCTV일 수 있다.First, it is assumed that the machine vision 100 is an existing facility installed in a production line at an industrial site. As another example, the machine vision 100 may be a device that acquires and stores images, and may be, for example, a CCTV.

머신 비전(100)은 적어도 이미지 취득부(110)와, 결함 검출 또는 이미지의 판단을 수행하는 이미지 처리부(120)를 포함한다.The machine vision 100 includes at least an image acquisition unit 110 and an image processing unit 120 that performs defect detection or image determination.

이미지 취득부(110)는 이미지를 획득하기 위한 광학적 장치로서, 카메라와 조명을 포함할 수 있으며, 카메라는 다양한 배율의 렌즈를 포함할 수 있다.The image acquiring unit 110 is an optical device for acquiring an image, and may include a camera and lighting, and the camera may include lenses of various magnifications.

또한, 카메라는 가시광, 적외선, 열화상 카메라등 다양한 광학적 카메라일 수 있다.In addition, the camera may be a variety of optical cameras such as visible light, infrared, and thermal imaging cameras.

이미지 처리부(120)는 통상의 PC를 사용할 수 있으며, 적어도 이미지 취득부(110)와 통신하여 이미지를 수신할 수 있는 통신모듈, 다양한 기준이미지를 저장하는 데이터베이스, 이미지 취득부(110)에서 취득된 이미지와 데이터베이스의 기준이미지를 비교 처리하는 그래픽 프로세서를 포함할 수 있으며, 특히 처리 과정을 모니터링 할 수 있는 디스플레이 화면을 포함하는 것으로 한다.The image processing unit 120 may use a normal PC, at least a communication module capable of communicating with the image acquisition unit 110 to receive an image, a database for storing various reference images, and acquired from the image acquisition unit 110. It may include a graphic processor that compares and processes the image and the reference image of the database, and in particular, includes a display screen capable of monitoring the processing process.

또한, 그래픽 프로세서 외에 운영 시스템의 수행 및 하드웨어의 인식 및 구동을 위한 프로세서를 포함할 수 있다.In addition, it may include a processor for executing an operating system and recognizing and driving hardware in addition to a graphic processor.

또한, 이미지 처리부(120)는 운영을 위한 운영 시스템(OS)이 탑재되는 저장장치 및 이미지 프로세서의 이미지 처리를 위한 메모리를 포함하는 것으로 한다.In addition, the image processing unit 120 shall include a memory for image processing of a storage device and an image processor mounted with an operating system (OS) for operation.

상기 이미지 처리부(120)의 저장장치 또는 메모리에는 본 발명의 딥러닝 에지 모듈부(20)에서 추론할 이미지를 제공하기 위한 디스플레이 화면 스크린샷을 설정된 주기에 따라 획득하고 송신하거나 디스플레이 화면을 스트리밍 방식으로 송신하는 소프트웨어가 저장되고, 프로세서에서 수행되는 것으로 할 수 있다.In the storage device or memory of the image processing unit 120, a screen shot of the display screen for providing an image to be inferred by the deep learning edge module unit 20 of the present invention is acquired and transmitted according to a set cycle or the display screen is streamed. Software to transmit may be stored and executed in a processor.

도 2는 이미지 처리부(120)의 일실시 블록 구성도이다.2 is a block diagram of an implementation of the image processing unit 120 .

도 2를 참조하면, 앞서 언급한 바와 같이 이미지 처리부(120)는 이미지 취득부(110)의 이미지를 수신하기 위한 제1통신부(121)와, 그래픽 프로세서(123), 메모리(122), 데이터베이스(124)를 포함할 수 있으며, 디스플레이(126)에 이미지 및 처리 결과를 표 시하기 위한 디스플레이 제어부(125)를 포함 할 수 있다.Referring to FIG. 2, as mentioned above, the image processing unit 120 includes a first communication unit 121 for receiving an image of the image acquiring unit 110, a graphic processor 123, a memory 122, and a database ( 124), and a display controller 125 for displaying images and processing results on the display 126.

본 발명에서는 이미지 처리부(120)가 그래픽 프로세서(123)와는 별도의 프로세서(127)를 포함하는 것으로 하며, 프로세서(127)는 디스플레이 제어부(125)에 의해 디스플레이(126)에 표시되는 화면의 일부 또는 전부의 스크릿샷을 획득하거나, 디스플레이(126)에 표시되는 화면의 일부 또는 전부의 스트리밍 데이터를 획득하는 것으로 한다.In the present invention, the image processing unit 120 includes a processor 127 separate from the graphic processor 123, and the processor 127 is part of the screen displayed on the display 126 by the display control unit 125 or It is assumed that all screen shots are acquired or streaming data of part or all of the screen displayed on the display 126 is obtained.

이처럼 획득한 스크린샷 또는 스트리밍 데이터는 제2통신부(128)를 통해 딥러닝 에지 모듈부(200)로 제공된다.The screen shot or streaming data obtained in this way is provided to the deep learning edge module unit 200 through the second communication unit 128 .

제2통신부(128)는 유선 통신, 무선 통신일 수 있으며, 유선 통신의 경우 직렬 또는 병렬 통신을 사용할 수 있다. 또한 인터넷망 또는 광역데이터망을 사용하여 스크린샷 또는 스트리밍 데이터를 송신할 수 있다.The second communication unit 128 may be wired communication or wireless communication, and in the case of wired communication, serial or parallel communication may be used. In addition, screen shots or streaming data can be transmitted using an Internet network or a wide area data network.

위에서 디스플레이(126)의 일부 스크린샷은 디스플레이(126)에 표시되는 전체 화면에서 상기 이미지 취득부(110)에서 취득된 이미지가 표시되는 영역인 것으로 하며, 스트리밍 데이터 역시 화면 전체의 스트리밍 데이터 또는 취득된 이미지가 표시되는 픽셀 영역의 데이터인 것으로 한다.Above, some screenshots of the display 126 assume that the entire screen displayed on the display 126 is an area where the image acquired by the image acquisition unit 110 is displayed, and streaming data is also streaming data of the entire screen or the acquired It is assumed that the data is the data of the pixel area where the image is displayed.

즉, 이미지 처리부(120)는 디스플레이(126)에 표시되는 화면에서 이미지 취득부(110)에서 취득된 이미지를 포함하는 이미지 또는 연속적인 이미지 데이터를 추출하여 제2통신부(128)를 통해 딥러닝 에지 모듈부(200)로 제공하게 된다.That is, the image processing unit 120 extracts an image including the image acquired by the image acquisition unit 110 or continuous image data from the screen displayed on the display 126 and uses the second communication unit 128 to extract deep learning edge data. It is provided to the module unit 200.

이미지 취득부(110)에서 취득된 이미지를 직접 딥러딩 에지 모듈부(200)로 제공하기 위해서는 이미지 처리부(120)를 포함하는 머신 비전(100)의 하드웨어 구성을 변경해야 하며, 이미지 취득부(110)의 통신 인터페이스 또는 프로토콜을 확인해야 하기 때문에 범용적 설계가 불가능하다.In order to directly provide the image acquired by the image acquisition unit 110 to the deep learning edge module unit 200, the hardware configuration of the machine vision 100 including the image processing unit 120 must be changed, and the image acquisition unit 110 ), universal design is impossible because the communication interface or protocol must be checked.

본 발명에서는 이미지 취득부(110)의 이미지를 딥러딩 에지 모듈부(200)에 직접 입력하지 않고, 이미지 처리부(120)의 디스플레이(126)에 표시되는 이미지를 다시 획득하여 이를 딥러닝 에지 모듈부(200)로 제공함으로써, 범용성을 확보하고, 설계 및 설치를 용이하게 할 수 있는 효과가 있다.In the present invention, the image displayed on the display 126 of the image processing unit 120 is reacquired without directly inputting the image of the image acquisition unit 110 to the deep learning edge module unit 200, and the deep learning edge module unit By providing as (200), there is an effect of ensuring versatility and facilitating design and installation.

그 다음, 딥러닝 에지 모듈부(200)는 상기 머신 비전(100)으로부터 수신한 이미지를 이용하여 주어진 딥러닝 모델을 이용하여 학습 및 추론하여 이미지 처리를 수행한다.Next, the deep learning edge module unit 200 performs image processing by learning and reasoning using a given deep learning model using the image received from the machine vision 100 .

여기서 이미지 처리는 제품의 오류, 이상을 검출하는 것일 수 있고, 특정한 객체를 포함하는 이미지인지 판단하는 것일 수 있으며, 이외에 이미지를 해석하고 소정의 판단을 수행하는 것이면 모두 본 발명에 속할 수 있다.Here, the image processing may be detecting errors or abnormalities of the product, determining whether the image includes a specific object, or interpreting the image and performing a predetermined determination, all of which may belong to the present invention.

딥러닝 에지 모듈부(200)는 적어도 머신 비전(100)의 스크린샷 또는 스트리밍 데이터를 수신하는 통신부와, 딥러닝 프로세스를 수행하는 프로세서, 데이터를 저장하는 메모리를 포함하며, 표시부(300)에 추론 결과를 제공하기 위한 통신부를 포함한다.The deep learning edge module unit 200 includes at least a communication unit for receiving screenshots or streaming data of the machine vision 100, a processor for performing a deep learning process, and a memory for storing data, and the display unit 300 includes reasoning Includes a communication unit for providing results.

딥러닝 에지 모듈부(200)에서 사용하는 딥러닝 모델은 적어도 분류(Classification), 오브젝트 검출(object detection), 이미지 분할(image segmentation), 활성화 맵(activation map) 가시화를 포함하는 모델을 사용하는 것으로 한다.The deep learning model used by the deep learning edge module unit 200 is to use a model including at least classification, object detection, image segmentation, and activation map visualization. do.

특히 딥러닝 에지 모듈부(200)의 프로세서는 스크린샷 또는 스트리밍 데이터에서 특정 픽셀 영역만을 분할하는 것으로 할 수 있다. 이는 스크린샷 또는 스트리밍이 디스플레이(126)의 전체 영역에 표시되는 데이터일 때, 원하는 이미지 영역만을 추출하기 위한 것으로 이해될 수 있다.In particular, the processor of the deep learning edge module unit 200 may divide only a specific pixel area from a screenshot or streaming data. This may be understood as extracting only a desired image area when the screenshot or streaming is data displayed on the entire area of the display 126 .

딥러닝 에지 모듈부(200)를 통해 처리된 결과는 표시부(300)에 표시되어 모니터링된다.Results processed through the deep learning edge module unit 200 are displayed on the display unit 300 and monitored.

이때 표시부(300)는 딥러닝 에지 모듈부(200)에 유선 또는 무선으로 연결된 모니터링 장치이거나, 원격지의 모니터링 장치일 수 있다.In this case, the display unit 300 may be a monitoring device wired or wirelessly connected to the deep learning edge module unit 200 or a remote monitoring device.

특히 표시부(300)는 작업자의 스마트폰, 태블릿 등 모바일 기기일 수 있다.In particular, the display unit 300 may be a mobile device such as a smart phone or a tablet of an operator.

이상에서 본 발명에 따른 실시예들이 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 범위의 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 다음의 청구범위에 의해서 정해져야 할 것이다.Embodiments according to the present invention have been described above, but these are merely examples, and those skilled in the art will understand that various modifications and embodiments of equivalent range are possible therefrom. Therefore, the true technical protection scope of the present invention should be defined by the following claims.

100:머신 비전 200:딥러닝 에지 모듈부
300:표시부100: machine vision 200: deep learning edge module
300: display unit

Claims (5)

적어도 이미지를 획득하고, 이미지를 처리하되, 디스플레이 표시되는 화면에 대한 스크린샷 또는 스트리밍 데이터를 송신하는 장치;
상기 장치로부터 스크린샷 또는 스트리밍 데이터를 수신하고, 딥러닝 모델을 이용하여 이미지를 처리하는 딥러닝 에지 모듈부; 및
상기 딥러닝 에지 모듈부의 처리 결과를 표시하는 표시부를 포함하는 이미지 기반 딥러닝 추론 시스템.a device that acquires at least an image, processes the image, and transmits a screen shot or streaming data for a displayed screen;
a deep learning edge module unit for receiving screenshots or streaming data from the device and processing images using a deep learning model; and
An image-based deep learning inference system comprising a display unit displaying a processing result of the deep learning edge module unit. 제1항에 있어서,
상기 장치는,
디스플레이에 표시되는 화면의 일부 또는 전부에 대한 스크린샷 또는 스트리밍 데이터를 추출하여 송신하며,
상기 디스플레이 표시되는 화면의 일부는 획득된 상기 이미지인 것을 특징으로 하는 이미지 기반 딥러닝 추론 시스템.According to claim 1,
The device,
Extracts and transmits screenshots or streaming data for part or all of the screen displayed on the display,
Image-based deep learning inference system, characterized in that part of the screen displayed on the display is the acquired image. 제1항에 있어서,
상기 딥러닝 에지 모듈부는,
상기 장치에서 송신된 스크린샷 또는 스트리밍 데이터가 상기 디스플레이에 표시되는 화면의 전부에 대한 것일 때,
일부 픽셀 영역인 상기 이미지에 대한 데이터를 추출하여 딥러닝 모델에 적용하는 것을 특징으로 하는 이미지 기반 딥러닝 추론 시스템.According to claim 1,
The deep learning edge module unit,
When the screenshot or streaming data transmitted from the device is for all of the screens displayed on the display,
An image-based deep learning inference system, characterized in that for extracting data on the image, which is a partial pixel area, and applying it to a deep learning model. 제1항에 있어서,
상기 장치는,
근거리 유선 또는 무선통신을 사용하거나, 인터넷망 또는 광역 데이터망을 통해 스크린샷 또는 스트리밍 데이터를 송신하는 이미지 기반 딥러닝 추론 시스템.According to claim 1,
The device,
An image-based deep learning inference system that uses short-distance wired or wireless communication, or transmits screenshots or streaming data through the Internet or wide-area data network. 제1항에 있어서,
상기 표시부는,
모니터링 장치이거나, 모바일 장치인 것을 특징으로 하는 이미지 기반 딥러닝 추론 시스템.According to claim 1,
the display unit,
An image-based deep learning inference system, characterized in that it is a monitoring device or a mobile device.
KR1020210097732A 2021-07-26 2021-07-26 Image-based deep learning inference system KR20230016352A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210097732A KR20230016352A (en) 2021-07-26 2021-07-26 Image-based deep learning inference system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210097732A KR20230016352A (en) 2021-07-26 2021-07-26 Image-based deep learning inference system

Publications (1)

Publication Number Publication Date
KR20230016352A true KR20230016352A (en) 2023-02-02

Family

ID=85225580

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210097732A KR20230016352A (en) 2021-07-26 2021-07-26 Image-based deep learning inference system

Country Status (1)

Country Link
KR (1) KR20230016352A (en)

Similar Documents

Publication Publication Date Title
EP3693312A1 (en) Elevator system component analysis
CN116841262A (en) Intelligent factory production on-line monitoring analysis system based on machine vision
CN111351789B (en) Method, system and electronic device for detecting/maintaining equipment
JP2020128877A (en) Linear object abnormality detection device and abnormality detection method
KR20220027739A (en) Object detection method and apparatus, computer system, and readable storage medium
KR101778054B1 (en) Guide providing method and apparatus for machine vision
Lyu et al. Automated visual inspection expert system for multivariate statistical process control chart
KR102366396B1 (en) RGB-D Data and Deep Learning Based 3D Instance Segmentation Method and System
CN116659518B (en) Autonomous navigation method, device, terminal and medium for intelligent wheelchair
KR20230016352A (en) Image-based deep learning inference system
JP2019148940A (en) Learning processing method, server device, and reflection detection system
CN117037059A (en) Equipment management method and device based on inspection monitoring and electronic equipment
JPWO2021199230A5 (en) REMOTE MONITORING AND CONTROLLER, SYSTEM, METHOD AND PROGRAM
JP2017175789A (en) Pantograph inspection device, inspection method and inspection system
US11961218B2 (en) Machine vision systems and methods for automatically generating one or more machine vision jobs based on region of interests (ROIs) of digital images
CN113838015B (en) Electrical product appearance defect detection method based on network cooperation
US20230037647A1 (en) Image processing device, image sensor, and image processing device control method
KR102603276B1 (en) Device, method and program for assisting supevision based on XR
CN113008470B (en) Gas leakage detection device and gas leakage detection method
CN113108919B (en) Human body temperature detection method, device and storage medium
CN115027904A (en) Belt tearing detection method based on example segmentation
Stankov et al. An application of deep neural networks in industrial robotics for detection of humans
CN110544230A (en) LED screen inspection method and system based on 5G
US20230245433A1 (en) Systems and Methods for Implementing a Hybrid Machine Vision Model to Optimize Performance of a Machine Vision Job
CN117013703B (en) Electric control cabinet switch monitoring method and device based on machine vision

Legal Events

Date Code Title Description
E902 Notification of reason for refusal