KR20190143536A - Number cognition system and method by using artificial intelligence - Google Patents

Number cognition system and method by using artificial intelligence Download PDF

Info

Publication number
KR20190143536A
KR20190143536A KR1020180067136A KR20180067136A KR20190143536A KR 20190143536 A KR20190143536 A KR 20190143536A KR 1020180067136 A KR1020180067136 A KR 1020180067136A KR 20180067136 A KR20180067136 A KR 20180067136A KR 20190143536 A KR20190143536 A KR 20190143536A
Authority
KR
South Korea
Prior art keywords
hanger frame
artificial intelligence
image data
reference value
interest
Prior art date
Application number
KR1020180067136A
Other languages
Korean (ko)
Other versions
KR102066146B1 (en
Inventor
홍기태
김연교
Original Assignee
홍기태
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 홍기태 filed Critical 홍기태
Priority to KR1020180067136A priority Critical patent/KR102066146B1/en
Publication of KR20190143536A publication Critical patent/KR20190143536A/en
Application granted granted Critical
Publication of KR102066146B1 publication Critical patent/KR102066146B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G06K9/3258—
    • G06K9/6201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06K2209/19—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to a number recognition system, which can reduce the maintenance time and costs. The number recognition system includes a control unit, which receives reference image data including a hanger frame number table to use model data generated through machine learning, extracts a region of interest (ROI) which is predicted that the hanger frame number table positioned in newly inputted image data based on the model data and the prediction rate, and compares the prediction rate with a first reference value.

Description

인공지능을 이용한 번호인식 시스템 및 방법{Number cognition system and method by using artificial intelligence}Number recognition system and method by using artificial intelligence

본 발명은 인공지능을 이용한 번호인식 시스템 및 방법에 관한 것이다. 보다 상세하게는, 자동차 생산라인에 사용되는 행거프레임의 번호를 인식하여 정비 필요여부를 자동으로 알려주는 인공지능을 이용한 번호인식 시스템 및 방법에 관한 것이다. The present invention relates to a number recognition system and method using artificial intelligence. More specifically, the present invention relates to a number recognition system and method using artificial intelligence that automatically recognizes a need for maintenance by recognizing the number of a hanger frame used in an automobile production line.

일반적으로, 완성차를 생산하기 위한 도장 공정 과정에서는, 자동차 차체가 행거프레임에 거치되어 이동된다.In general, in the painting process for producing a finished car, the vehicle body is mounted on a hanger frame and moved.

행거프레임에는 도장사양과 연관된 번호표가 포함되어 있는데, 종래에는 작업자가 번호표를 확인하여 생산관리시스템(MES)의 도장 사양정보와 일치하는 지를 확인하는 작업을 수행하였다.The hanger frame includes a number table associated with the paint specification. In the related art, a worker checks the number table to check whether the clothes match the paint specification information of the production management system (MES).

그러나, 이러한 확인작업을 위해 도장 공정라인에 행거프레임 번호와 도장 사양정보를 확인하는 작업자가 상주해야할 뿐만 아니라 작업자가 잘못 확인할 경우 잘못된 사양으로 도장될 수도 있어 작업 효율성이 낮아지는 문제점이 있었다.However, not only the worker who checks the hanger frame number and the painting specification information in the painting process line has to reside in the painting process line for this checking, but there is a problem that the working efficiency may be lowered because the worker may be painted with the wrong specification.

또한, 행거프레임 번호표는 지속적으로 오염여부를 확인함으로써 오염된 경우 청소 정비작업을 신속히 진행하여야 하는데, 이를 위해서도 작업자가 상주하여 모니터링해야 하는 문제점이 있었다. In addition, the hanger frame number table is to check whether the contamination continuously, if the contamination should be carried out cleaning maintenance work quickly, for this purpose there was a problem that the operator should be resident to monitor.

한국 공개특허 제10-2007-0090321호Korean Patent Publication No. 10-2007-0090321

본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 특히 딥러닝 기술 기반의 객체인식 방식을 적용하여 행거프레임 번호를 인식하고, 정비 필요여부를 자동으로 알려줄 수 있도록 하는 인공지능을 이용한 번호인식 시스템 및 방법을 제공하는 데 그 목적이 있다.The present invention has been made to solve the above problems, in particular, by applying the object recognition method based on deep learning technology to recognize the hanger frame number, the number recognition using artificial intelligence to automatically notify whether the need for maintenance Its purpose is to provide a system and method.

상기 목적을 달성하기 위해 안출된 본 발명의 일관점에 따른 인공지능을 이용한 번호인식 시스템은, 행거프레임 번호표가 포함된 기준 영상데이터를 입력받아 기계학습(machine learning)을 통해 생성된 모델데이터(model data)를 사용하고, 모델데이터를 기반으로 신규로 입력된 영상데이터에서 행거프레임 번호표가 위치된 것으로 예측되는 관심영역(ROI)과 예측율을 추출하고, 예측율과 제1기준값을 비교하는 제어부를 포함한다.In order to achieve the above object, a number recognition system using artificial intelligence according to the consistent point of the present invention, model data generated through machine learning by receiving reference image data including a hanger frame number table and a control unit for extracting a region of interest (ROI) and a prediction rate predicted to have a hanger frame number table from the newly input image data based on the model data, and comparing the prediction rate with the first reference value. .

여기서, 인공지능을 이용한 번호인식 시스템은, 제어부에서 추출된 예측율이 제1기준값보다 작아지는 경우, 행거프레임 번호표의 정비가 필요하다는 알람을 발생시키는 알람부;를 더 포함할 수 있다.The number recognition system using artificial intelligence may further include an alarm unit configured to generate an alarm indicating that maintenance of the hanger frame number table is required when the predicted rate extracted by the control unit is smaller than the first reference value.

또한, 제어부는, 복수개의 관심영역을 추출하되, 관심영역들간의 이격거리를 계산한 다음, 이격거리가 제2기준값보다 큰 관심영역은 관심영역에서 제거하도록 구성될 수 있다.The controller may be configured to extract a plurality of ROIs, calculate a separation distance between the ROIs, and then remove the ROI having a separation distance greater than the second reference value from the ROI.

또한, 제어부는, 관심영역들의 y축방향 좌표를 근거로 관심영역에서 제거하도록 구성될 수 있다.The controller may be configured to be removed from the ROI based on the y-axis coordinates of the ROIs.

한편, 본 발명의 다른 관점에 따른 인공지능을 이용한 번호인식 방법은, (a) 행거프레임 번호표가 포함된 영상데이터를 수집하는 단계; (b) 수집된 영상데이터를 기계학습(machine learning)하여 모델데이터(model data)를 생성하는 단계; (c) 생성된 모델데이터를 기반으로 신규로 입력된 영상데이터에서 행거프레임 번호표가 위치된 것으로 예측된 관심영역(ROI)과 예측율을 추출하는 단계; 및 (d) 예측율과 제1기준값을 비교하는 단계;를 포함한다.On the other hand, number recognition method using artificial intelligence according to another aspect of the present invention, (a) collecting the image data including the hanger frame number table; (b) generating model data by machine learning the collected image data; (c) extracting a region of interest (ROI) and a prediction rate predicted to have a hanger frame number table from the newly input image data based on the generated model data; And (d) comparing the prediction rate with the first reference value.

여기서, (d)단계는, 예측율이 제1기준값보다 작아지는 경우, 행거프레임 번호표의 정비가 필요하다는 알람을 발생시키는 단계;를 더 포함할 수 있다.Here, step (d) may further include generating an alarm indicating that maintenance of the hanger frame number table is necessary when the prediction rate is smaller than the first reference value.

또한, (c)단계는, 복수개의 관심영역을 추출하고, 관심영역들간의 이격거리를 계산한 다음, 이격거리가 제2기준값보다 큰 관심영역은 관심영역에서 제거하는 단계;를 포함할 수 있다.In addition, step (c) may include extracting a plurality of ROIs, calculating separation distances between ROIs, and removing ROIs having a separation distance greater than a second reference value from the ROI. .

또한, (c)단계는, 관심영역들의 y축방향 좌표를 근거로 관심영역에서 제거하는 단계;를 더 포함할 수 있다.In addition, step (c) may further include removing from the ROI based on the y-axis coordinates of the ROIs.

본 발명에 의하면 기계학습을 이용한 인공지능 번호인식 방식을 통해 행거프레임 번호를 인식하고, 정비 필요여부를 자동으로 알려줄 수 있도록 구성됨으로써 정비시간 및 비용을 절약할 수 있는 효과가 있다.According to the present invention is configured to recognize the hanger frame number through the artificial intelligence number recognition method using the machine learning, it can be automatically informed whether maintenance is required, thereby reducing the maintenance time and cost.

또한, 본 발명에 의한 인공지능을 이용한 번호인식 시스템 및 방법은 자동으로 행거프레임 번호표의 정비가 필요하다는 알람을 발생시킴으로써 작업자가 상주하지 않고도 필요한 시기에 정비를 수행할 수 있게 되는 효과가 있다.In addition, the number recognition system and method using the artificial intelligence according to the present invention has the effect that it is possible to perform the maintenance at the necessary time without the operator resident by automatically generating an alarm that the maintenance of the hanger frame number table.

도 1은 본 발명의 일실시예에 따른 인공지능을 이용한 번호인식 시스템의 구성도이고,
도 2는 본 발명의 일실시예에 따른 인공지능을 이용한 번호인식 방법을 개괄적으로 도시한 것이고,
도 3은 본 발명의 일실시예에 따른 인공지능을 이용한 번호인식 방법의 순서도이고,
도 4는 본 발명의 일실시예에 따른 인공지능을 이용한 번호인식 방법에서 입력데이터를 도시한 것이고,
도 5는 본 발명의 일실시예에 따른 인공지능을 이용한 번호인식 방법에서 출력데이터를 도시한 것이고,
도 6은 본 발명의 일실시예에 따른 인공지능을 이용한 번호인식 방법에서 관심영역간의 이격거리를 계산하는 단계를 도시한 것이고,
도 7은 본 발명의 일실시예에 따른 인공지능을 이용한 번호인식 방법에서 출력되는 화면을 도시한 것이다.1 is a block diagram of a number recognition system using artificial intelligence according to an embodiment of the present invention,
2 schematically illustrates a number recognition method using artificial intelligence according to an embodiment of the present invention.
3 is a flowchart of a number recognition method using artificial intelligence according to an embodiment of the present invention,
4 illustrates input data in a number recognition method using artificial intelligence according to an embodiment of the present invention,
5 illustrates output data in a number recognition method using artificial intelligence according to an embodiment of the present invention,
FIG. 6 illustrates a step of calculating a separation distance between regions of interest in a number recognition method using artificial intelligence according to an embodiment of the present invention.
7 illustrates a screen output in the number recognition method using artificial intelligence according to an embodiment of the present invention.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. First of all, in adding reference numerals to the components of each drawing, it should be noted that the same reference numerals have the same reference numerals as much as possible even if displayed on different drawings. In addition, in describing the present invention, when it is determined that the detailed description of the related well-known configuration or function may obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, the following will describe a preferred embodiment of the present invention, but the technical idea of the present invention is not limited thereto and may be variously modified and modified by those skilled in the art.

도 1은 본 발명의 일실시예에 따른 인공지능을 이용한 번호인식 시스템의 구성도이고, 도 2는 본 발명의 일실시예에 따른 인공지능을 이용한 번호인식 방법을 개괄적으로 도시한 것이다.1 is a block diagram of a number recognition system using artificial intelligence according to an embodiment of the present invention, Figure 2 schematically shows a number recognition method using artificial intelligence according to an embodiment of the present invention.

먼저, 도 1을 참조하면, 본 발명의 일실시예에 따른 인공지능을 이용한 번호인식 시스템(100)은, 자동차 프레임(150)을 거치하는 행거프레임(140)에 포함된 번호표(141)를 인식하도록 영상을 촬영하는 카메라(110)와, 카메라(110)로부터 영상데이터를 입력받아 분석을 수행하는 제어부(130)를 포함한다.First, referring to FIG. 1, the number recognition system 100 using artificial intelligence according to an embodiment of the present invention recognizes a number table 141 included in a hanger frame 140 mounted on an automobile frame 150. It includes a camera 110 for capturing an image so as to receive an image data from the camera 110, and a controller 130 for performing analysis.

본 발명의 일실시예에 따른 제어부(130)는, 행거프레임 번호표(141)가 포함된 기준 영상데이터를 미리 입력받아 기계학습(machine learning)을 통해 생성된 모델데이터(model data)를 사용한다.The control unit 130 according to an embodiment of the present invention receives model image data including the hanger frame number table 141 in advance and uses model data generated through machine learning.

여기서, 모델데이터는, 제어부(130)에서 카메라(110)를 통해 입력된 기준 영상데이터를 기계학습하여 생성하고, 제어부(130)에 포함된 저장부(미도시)에 저장할 수도 있고, 제어부(130)와는 별도의 서버(미도시)에서 모델데이터를 보관하고 제어부(130)에서는 서버(미도시)의 모델데이터를 사용하도록 구성할 수도 있다. Here, the model data may be generated by machine learning the reference image data input through the camera 110 from the controller 130, and stored in the storage unit (not shown) included in the controller 130, the controller 130 ) May be configured to store model data in a separate server (not shown) and to use model data of the server (not shown).

제어부(130)는, 모델데이터를 근거로 카메라(110)에서 신규로 입력되는 영상테이터를 인공지능을 이용하여 입력 영상을 분석하게 되는데, 개괄적인 과정은 도 1 및 도 2를 참조하여 설명한다.The controller 130 analyzes the input image using the artificial intelligence of the image data newly input from the camera 110 based on the model data. A general process will be described with reference to FIGS. 1 and 2.

먼저, 카메라(110)를 통해 행거프레임 번호표(141)가 포함된 신규 영상데이터를 입력받는다(a).First, new image data including the hanger frame number table 141 is received through the camera 110 (a).

제어부(130)로 입력된 신규 영상데이터는, 기계학습(또는 딥러닝)하여 생성된 모델데이터를 사용하여 분석된다(b). 자세한 영상 분석과정은 후술한다.The new image data input to the controller 130 is analyzed using model data generated by machine learning (or deep learning) (b). Detailed image analysis will be described later.

분석된 결과, 예측하여 인식된 행거프레임 번호(211)와, 예측율(213)을 출력한다(c).As a result of the analysis, the predicted and recognized hanger frame number 211 and the prediction rate 213 are output (c).

본 발명의 일실시예에 따른 인공지능을 이용한 번호인식 시스템(100)은, 제어부(130)에서 추출된 예측율이 제1기준값보다 작아지는 경우, 행거프레임 번호표(141)의 정비가 필요하다는 알람을 발생시키는 알람부(170)를 더 포함함으로써 정비를 적절한 시기에 수행하여 제품의 품질을 향상시킬 수 있도록 구성된다.Number recognition system 100 using artificial intelligence according to an embodiment of the present invention, when the predicted ratio extracted from the control unit 130 is less than the first reference value, the alarm that the maintenance of the hanger frame number table 141 is required It is configured to further include an alarm unit for generating the maintenance to perform the maintenance at an appropriate time to improve the quality of the product.

도 3은 본 발명의 일실시예에 따른 인공지능을 이용한 번호인식 방법의 순서도이고, 도 4는 본 발명의 일실시예에 따른 인공지능을 이용한 번호인식 방법에서 입력데이터를 도시한 것이고, 도 5는 본 발명의 일실시예에 따른 인공지능을 이용한 번호인식 방법에서 출력데이터를 도시한 것이고, 도 6은 본 발명의 일실시예에 따른 인공지능을 이용한 번호인식 방법에서 관심영역간의 이격거리를 계산하는 단계를 도시한 것이고, 도 7은 본 발명의 일실시예에 따른 인공지능을 이용한 번호인식 방법에서 출력되는 화면을 도시한 것이다.3 is a flow chart of a number recognition method using artificial intelligence according to an embodiment of the present invention, Figure 4 shows the input data in the number recognition method using artificial intelligence according to an embodiment of the present invention, Figure 5 FIG. 6 illustrates output data in a number recognition method using artificial intelligence according to an embodiment of the present invention, and FIG. 6 illustrates a separation distance between regions of interest in the number recognition method using artificial intelligence according to an embodiment of the present invention. 7 illustrates a screen output from the number recognition method using artificial intelligence according to an embodiment of the present invention.

도 1 및 도 3 내지 도 7을 참조하여 보다 상세히 영상 분석과정을 설명한다. An image analysis process will be described in more detail with reference to FIGS. 1 and 3 to 7.

먼저, 제어부(130)는 카메라(110)를 통해 영상데이터를 신규로 입력받는다(S110).First, the controller 130 receives new image data through the camera 110 (S110).

여기서, 신규 입력 영상데이터는, 도 4와 같이 행거프레임 번호표(141)가 포함된다.Here, the new input video data includes a hanger frame number table 141 as shown in FIG.

다음으로, 제어부(130)는, 기계학습(또는 딥러닝)하여 기생성된 모델데이터를 사용하여 입력된 영상데이터의 객체인식과정을 수행한다(S120).Next, the controller 130 performs an object recognition process of the input image data using the model data generated by machine learning (or deep learning) (S120).

여기서, 모델데이터는, 행거프레임 번호표가 포함된 기준 영상데이터를 수집하고, 수집된 기준 영상데이터를 기계학습(machine learning)하여 생성된다.Here, the model data is generated by collecting reference image data including a hanger frame number table, and by machine learning the collected reference image data.

영상데이터가 딥러닝모델을 거친후, 객체인식이 완료된 영상데이터가 출력된다(S130).After the image data passes through the deep learning model, image data on which object recognition is completed is output (S130).

여기서, 출력 영상데이터에는, 도 5와 같이 행거프레임 번호표가 위치된 것으로 예측되는 영역을 박스로 표시한 관심영역(ROI)과, 행거프레임 번호표가 맞을 확율인 예측율(prediction value)이 표시된다.Here, as shown in FIG. 5, the region of interest ROI in which the area where the hanger frame number table is predicted to be located is indicated by a box, and a prediction value that is a probability that the hanger frame number table will fit.

OCR생성과정OCR Generation Process

이후에는 행거프레임 번호표를 인식하는 OCR생성과정을 수행한다.After that, the OCR generation process for recognizing the hanger frame number table is performed.

먼저, 영상데이터에서 추출된 관심영역들의 위치정보를 획득한다(S140). First, position information of the ROIs extracted from the image data is acquired (S140).

다음으로, 관심영역들을 위치에 따라 순서대로 배열(sorting)한다(S150). 영상데이터에서 추출된 관심영역들은 좌우방향, 또는 상하방향으로 순서대로 추출되는 것이 아니라 랜덤하게 추출되기 때문에 좌측에서 우측방향으로, 상측에서 하측방향으로 순서대로 배열시키는 본 과정을 수행하게 된다.Next, the regions of interest are arranged in order according to the position (S150). Since the ROIs extracted from the image data are randomly extracted in the left-right direction or the up-down direction, they are randomly extracted, so that the present process may be performed in order from left to right and from top to bottom.

다음으로, 추출된 복수개의 관심영역들간의 이격거리를 계산한 다음, 이격거리와 제2기준값과 비교한다(S160).Next, after calculating the separation distance between the extracted plurality of regions of interest, and compares the separation distance and the second reference value (S160).

도 6의 영상데이터에서는, 총 5개의 관심영역들(A1,A2,A3,A4,A5)이 추출되었고, 관심영역들의 위치정보를 바탕으로 관심영역들간의 이격거리를 계산할 수 있게 된다. 예를 들면, 관심영역 A1의 위치는 (x1, y1)으로 표시될 수 있고, 관심영역 A2의 위치는 (x2, y2)으로 표시될 수 있는데, 이때 x축방향 이격거리는 (x2-x1)이고, y축방향 이격거리는 (y2-y1)가 된다.In the image data of FIG. 6, a total of five ROIs A1, A2, A3, A4, and A5 have been extracted, and the separation distance between the ROIs can be calculated based on the location information of the ROIs. For example, the location of the region of interest A1 may be represented by (x1, y1), and the location of the region of interest A2 may be represented by (x2, y2), where the x-axis spacing is (x2-x1). , y-axis spacing is (y2-y1).

본 발명에서 행거프레임의 번호는, 수평으로 연속되도록 배치되기 때문에 x축방향 이격거리와 제2기준값을 비교할 수 있다. In the present invention, since the numbers of the hanger frames are arranged to be horizontally continuous, the x-axis separation distance and the second reference value can be compared.

이격거리와 제2기준값을 비교한 결과, 이격거리가 제2기준값보다 작은 경우에는 해당하는 관심영역을 제거한다(S170).As a result of comparing the separation distance with the second reference value, when the separation distance is smaller than the second reference value, the corresponding ROI is removed (S170).

이격거리와 제2기준값을 비교한 결과, 이격거리가 제2기준값보다 큰 경우에는 해당하는 관심영역을 유지한다(S180). As a result of comparing the separation distance with the second reference value, if the separation distance is larger than the second reference value, the corresponding region of interest is maintained (S180).

한편, 본 발명의 실시예에서 관심영역을 제거하는 단계(S170)에서는, 행거프레임의 번호가 수평으로 배치되는 특성을 고려하여 y축방향으로 이격된 관심영역은 제거하도록 구성될 수 있다.Meanwhile, in the step S170 of removing the region of interest in an embodiment of the present disclosure, the region of interest spaced apart in the y-axis direction may be removed in consideration of a characteristic in which the numbers of the hanger frames are horizontally disposed.

전술된 이격거리와 제2기준값을 비교하는 단계(S160)와, 비교결과에 따라 관심영역을 제거하는 단계(S170) 및 관심영역을 유지하는 단계(S180)는, 각 관심영역들 상호간에 모두 수행되도록 반복한다(S190).Comparing the aforementioned separation distance with the second reference value (S160), removing the region of interest according to the comparison result (S170), and maintaining the region of interest (S180), are performed on each of the regions of interest. Repeat as possible (S190).

정비 알림 과정Maintenance reminder process

전술된 OCR생성과정에서 행거프레임의 번호로 인식된 관심영역이 모두 확정된 다음, 정비가 필요한지를 알려주는 정비 알림과정을 진행하게 된다.In the above-described OCR generation process, all areas of interest recognized as the number of hanger frames are determined, and then a maintenance notification process for informing whether maintenance is necessary is performed.

먼저, 카테고리(category) 정보를 획득하고(S210), 획득된 카테고리 정보에 따라 생산관리시스템(MES) 데이터와 비교한다(S220).First, category information is acquired (S210) and compared with production management system (MES) data according to the obtained category information (S220).

다음으로, OCR생성 데이터를 디스플레이하고(S230), 예측율(prediction value)을 획득한다(S240).Next, the OCR generation data is displayed (S230), and a prediction value is obtained (S240).

이후, 예측율과 제1기준값과 비교한다(S250).Thereafter, the prediction rate is compared with the first reference value (S250).

여기서, 예측율은 행거프레임의 번호로 인식된 관심영역별로 각각 획득되기 때문에 복수개가 존재하게 되는데, 복수개의 예측율들 중에 가장 낮은 값을 제1기준값과 비교하도록 함으로써 번호판의 정비를 효과적으로 진행할 수 있게 된다.Here, a plurality of prediction rates are obtained for each ROI recognized as the number of the hanger frame, and thus a plurality of prediction rates exist. By comparing the lowest value among the plurality of prediction rates with the first reference value, it is possible to effectively maintain the license plate.

비교한 결과, 예측율이 제1기준값보다 작은 경우에는, 행거프레임 번호표의 정비가 필요하다는 알람을 발생시킨다(S260).As a result of the comparison, when the predicted rate is smaller than the first reference value, an alarm is generated that the hanger frame number table needs maintenance (S260).

비교한 결과, 예측율이 제1기준값보다 큰 경우에는, 알람을 발생시키지 않는다(S270).As a result of the comparison, if the predicted rate is larger than the first reference value, no alarm is generated (S270).

한편, 본 발명의 일실시예에 따른 인공지능을 이용한 번호인식 시스템(100)는, 도 7과 같이 분석결과를 디스플레이할 수 있다.Meanwhile, the number recognition system 100 using artificial intelligence according to an embodiment of the present invention may display an analysis result as shown in FIG. 7.

도 7를 참조하면, 디스플레이되는 결과는, 실시간 촬영되는 현장영상과, 번호인식 결과값(MES값 및 OCR값), 정비상태에 대한 정보(양호 또는 불량)를 포함하도록 구성되어, 작업자가 한번에 필요한 정보를 손쉽게 입수할 수 있도록 한다. Referring to FIG. 7, the displayed result is configured to include a real-time image captured in real time, a number recognition result value (MES value and OCR value), and information on maintenance status (good or bad), so that an operator needs one at a time. Make information easily available.

전술된 바와 같이, 본 발명의 일실시예에 따른 인공지능을 이용한 번호인식 시스템 및 방법은 행거프레임이 오염되는 경우에 신속하게 알람을 발생시켜 정비작업을 적절한 시기에 수행하도록 함으로써 번호 인식율이 높을 뿐만 아니라 제품의 품질을 향상시킬 수 있게 된다.As described above, the number recognition system and method using the artificial intelligence according to an embodiment of the present invention not only has a high number recognition rate by quickly generating an alarm when a hanger frame is contaminated to perform maintenance at an appropriate time. In addition, the quality of the product can be improved.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and various modifications, changes, and substitutions may be made by those skilled in the art without departing from the essential characteristics of the present invention. will be. Accordingly, the embodiments disclosed in the present invention and the accompanying drawings are not intended to limit the technical spirit of the present invention but to describe the present invention, and the scope of the technical idea of the present invention is not limited by the embodiments and the accompanying drawings. . The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of the present invention.

100: 인공지능을 이용한 번호인식 시스템
110: 카메라
130: 제어부
140: 행거프레임
141: 행거프레임 번호표
150: 자동차 프레임
170: 알람부100: number recognition system using artificial intelligence
110: camera
130: control unit
140: hanger frame
141: hanger frame number table
150: car frame
170: alarm unit

Claims (8)

행거프레임 번호표가 포함된 기준 영상데이터를 입력받아 기계학습(machine learning)을 통해 생성된 모델데이터(model data)를 사용하고, 모델데이터를 기반으로 신규로 입력된 영상데이터에서 행거프레임 번호표가 위치된 것으로 예측되는 관심영역(ROI)과 예측율을 추출하고, 예측율과 제1기준값을 비교하는 제어부;를 포함하는, 인공지능을 이용한 번호인식 시스템.
The model data generated through machine learning is received by receiving reference image data including a hanger frame number table, and the hanger frame number table is positioned in the newly input image data based on the model data. And a control unit for extracting a region of interest (ROI) and a predicted rate predicted to be predicted, and comparing the predicted rate with a first reference value.
청구항 1에 있어서,
인공지능을 이용한 번호인식 시스템은,
제어부에서 추출된 예측율이 제1기준값보다 작아지는 경우,
행거프레임 번호표의 정비가 필요하다는 알람을 발생시키는 알람부;를 더 포함하는, 인공지능을 이용한 번호인식 시스템.
The method according to claim 1,
Number recognition system using artificial intelligence,
When the predicted rate extracted by the controller is smaller than the first reference value,
And an alarm unit for generating an alarm indicating that maintenance of the hanger frame number table is necessary.
청구항 2에 있어서,
제어부는,
복수개의 관심영역을 추출하되,
관심영역들간의 이격거리를 계산한 다음, 이격거리가 제2기준값보다 큰 관심영역은 관심영역에서 제거하도록 구성되는, 인공지능을 이용한 번호인식 시스템.
The method according to claim 2,
The control unit,
Extract a plurality of ROIs,
Calculating a separation distance between the ROIs, and then removing the ROI having a separation distance greater than the second reference value from the ROI.
청구항 3에 있어서,
제어부는,
관심영역들의 y축방향 좌표를 근거로 관심영역에서 제거하도록 구성되는, 인공지능을 이용한 번호인식 시스템.
The method according to claim 3,
The control unit,
A number recognition system using artificial intelligence, configured to remove from the region of interest based on the y-axis coordinates of the regions of interest.
(a) 행거프레임 번호표가 포함된 영상데이터를 수집하는 단계;
(b) 수집된 영상데이터를 기계학습(machine learning)하여 모델데이터(model data)를 생성하는 단계;
(c) 생성된 모델데이터를 기반으로 신규로 입력된 영상데이터에서 행거프레임 번호표가 위치된 것으로 예측된 관심영역(ROI)과 예측율을 추출하는 단계; 및
(d) 예측율과 제1기준값을 비교하는 단계;를 포함하는, 인공지능을 이용한 번호인식 방법.
(a) collecting image data including a hanger frame number table;
(b) generating model data by machine learning the collected image data;
(c) extracting a region of interest (ROI) and a prediction rate predicted to have a hanger frame number table from the newly input image data based on the generated model data; And
and (d) comparing the predicted rate with the first reference value.
청구항 5에 있어서
(d)단계는,
예측율이 제1기준값보다 작아지는 경우, 행거프레임 번호표의 정비가 필요하다는 알람을 발생시키는 단계;를 더 포함하는, 인공지능을 이용한 번호인식 방법.
The method according to claim 5
step (d),
If the prediction rate is smaller than the first reference value, generating an alarm indicating that the maintenance of the hanger frame number table further comprises; Number recognition method using artificial intelligence.
청구항 6에 있어서,
(c)단계는,
복수개의 관심영역을 추출하고, 관심영역들간의 이격거리를 계산한 다음, 이격거리가 제2기준값보다 큰 관심영역은 관심영역에서 제거하는 단계;를 포함하는, 인공지능을 이용한 번호인식 방법.
The method according to claim 6,
Step (c) is
Extracting a plurality of ROIs, calculating a separation distance between the ROIs, and then removing a ROI having a separation distance greater than a second reference value from the ROI. 2.
청구항 7에 있어서,
(c)단계는,
관심영역들의 y축방향 좌표를 근거로 관심영역에서 제거하는 단계;를 더 포함하는, 인공지능을 이용한 번호인식 방법.



The method according to claim 7,
Step (c) is
Removing from the region of interest based on the y-axis coordinates of the region of interest; The number recognition method using artificial intelligence.



KR1020180067136A 2018-06-12 2018-06-12 Number cognition system and method by using artificial intelligence KR102066146B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180067136A KR102066146B1 (en) 2018-06-12 2018-06-12 Number cognition system and method by using artificial intelligence

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180067136A KR102066146B1 (en) 2018-06-12 2018-06-12 Number cognition system and method by using artificial intelligence

Publications (2)

Publication Number Publication Date
KR20190143536A true KR20190143536A (en) 2019-12-31
KR102066146B1 KR102066146B1 (en) 2020-01-14

Family

ID=69051756

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180067136A KR102066146B1 (en) 2018-06-12 2018-06-12 Number cognition system and method by using artificial intelligence

Country Status (1)

Country Link
KR (1) KR102066146B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070090321A (en) 2006-03-02 2007-09-06 (주)윕스 System for extracting information from document, method thereof and recording medium thereof
KR101399309B1 (en) * 2013-03-14 2014-05-28 임경묵 Blackbox for vehicle and controlling method for the same
KR101523740B1 (en) * 2014-01-03 2015-05-28 (주)유디피 Apparatus and method for tracking object using space mapping

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070090321A (en) 2006-03-02 2007-09-06 (주)윕스 System for extracting information from document, method thereof and recording medium thereof
KR101399309B1 (en) * 2013-03-14 2014-05-28 임경묵 Blackbox for vehicle and controlling method for the same
KR101523740B1 (en) * 2014-01-03 2015-05-28 (주)유디피 Apparatus and method for tracking object using space mapping

Also Published As

Publication number Publication date
KR102066146B1 (en) 2020-01-14

Similar Documents

Publication Publication Date Title
US9208675B2 (en) Loitering detection in a video surveillance system
CN107784294B (en) Face detection and tracking method based on deep learning
CN111564015B (en) Method and device for monitoring perimeter intrusion of rail transit
CN107403156B (en) Intelligent supervision method and system for rail transit
CN108090429A (en) Face bayonet model recognizing method before a kind of classification
CN110738135A (en) worker work step specification visual identification judgment and guidance method and system
RU2009133474A (en) BEHAVIOR RECOGNITION SYSTEM
JP2008250908A (en) Picture discriminating method and device
Li et al. Rotation correction for license plate recognition
CN109117702B (en) Target vehicle detection, tracking and counting method and system
CN105117737A (en) Method and apparatus for determining real direction of vehicle on basis of locus vector of vehicle
Quiros et al. A genetic algorithm and artificial neural network-based approach for the machine vision of plate segmentation and character recognition
CN109550614A (en) A kind of control system and its workflow of automatic automobile spray painting
CN110287888A (en) A kind of TV station symbol recognition method and system
CN107093186A (en) The strenuous exercise's detection method matched based on edge projection
CN113989787A (en) Detection method and system for dangerous driving behaviors
CN116958880A (en) Video flame foreground segmentation preprocessing method, device, equipment and storage medium
KR102066146B1 (en) Number cognition system and method by using artificial intelligence
CN104657721A (en) Video OSD (on-screen display) time recognition method based on adaptive templates
KR20210136502A (en) RGB-D Data and Deep Learning Based 3D Instance Segmentation Method and System
JP2008293446A (en) Apparatus and program for identifying moving object
KR101899993B1 (en) Object recognition method based on restricted region on image using disparity map
CN115272284A (en) Power transmission line defect identification method based on image quality evaluation
CN112927197B (en) Method, device, equipment and storage medium for detecting rust of air conditioner outdoor unit bracket
CN103971376A (en) Application program execution method and device

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant