KR102361444B1 - System and method of quality adjustment of object detection based on polyggon - Google Patents

System and method of quality adjustment of object detection based on polyggon Download PDF

Info

Publication number
KR102361444B1
KR102361444B1 KR1020200106126A KR20200106126A KR102361444B1 KR 102361444 B1 KR102361444 B1 KR 102361444B1 KR 1020200106126 A KR1020200106126 A KR 1020200106126A KR 20200106126 A KR20200106126 A KR 20200106126A KR 102361444 B1 KR102361444 B1 KR 102361444B1
Authority
KR
South Korea
Prior art keywords
image
mask
binarized
gray scale
outline
Prior art date
Application number
KR1020200106126A
Other languages
Korean (ko)
Other versions
KR102361444B9 (en
KR20210112992A (en
Inventor
이진석
이승원
김범진
김형복
윤석원
Original Assignee
주식회사 테스트웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 테스트웍스 filed Critical 주식회사 테스트웍스
Publication of KR20210112992A publication Critical patent/KR20210112992A/en
Application granted granted Critical
Publication of KR102361444B1 publication Critical patent/KR102361444B1/en
Publication of KR102361444B9 publication Critical patent/KR102361444B9/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752—Contour matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

다각형 기반의 객체 인식 성능 보정 장치 및 방법을 개시한다. 본 발명은 이미지에 포함된 객체의 이진화 기반 윤곽선 추출 방법에 인공 지능 (AI)에 기반한 추출 방법에 의해 얻어진 윤곽선을 참조함으로써 보다 향상된 윤곽선의 추출이 가능하다.Disclosed are a polygon-based object recognition performance correction apparatus and method. In the present invention, more improved outline extraction is possible by referring to the outline obtained by the extraction method based on artificial intelligence (AI) in the outline extraction method based on the binarization of the object included in the image.

Description

다각형 기반의 객체 인식 성능 보정 장치 및 방법{SYSTEM AND METHOD OF QUALITY ADJUSTMENT OF OBJECT DETECTION BASED ON POLYGGON} Polygon-based object recognition performance correction apparatus and method {SYSTEM AND METHOD OF QUALITY ADJUSTMENT OF OBJECT DETECTION BASED ON POLYGGON}

본 발명은 다각형 기반의 객체 인식 성능 보정 장치 및 방법에 관한 발명으로서, 더욱 상세하게는 이미지에 포함된 객체의 이진화 기반 윤곽선 추출 방법에 인공 지능 (AI)에 기반한 추출 방법에 의해 얻어진 윤곽선을 참조함으로써 보다 향상된 윤곽선의 추출이 가능한 다각형 기반의 객체 인식 성능 보정 장치 및 방법에 관한 것이다.The present invention relates to a polygon-based object recognition performance correction apparatus and method, and more particularly, by referring to the outline obtained by the extraction method based on artificial intelligence (AI) in the outline extraction method based on the binarization of the object included in the image. The present invention relates to a polygon-based object recognition performance correction apparatus and method capable of more improved outline extraction.

기계 학습, 딥 러닝, 뉴럴 네트워크 등 인공지능 관련 기술이 새롭게 조명되면서 이를 다양한 분야에 적용하기 위한 시도들이 진행되고 있다. As artificial intelligence-related technologies such as machine learning, deep learning, and neural networks are newly highlighted, attempts are being made to apply them to various fields.

인공지능 기술은 뉴럴 네트워크를 비롯한 다양한 처리기법의 진화뿐만 아니라 IT 기술의 발전에 힘입어 가능해진 빅데이터에 의해 더욱 개량될 수 있었다고 해도 과언이 아니다. It is not an exaggeration to say that artificial intelligence technology could be further improved by big data made possible by the evolution of various processing techniques including neural networks as well as the development of IT technology.

CCTV 등 이미 사회 곳곳에 설치된 감지 수단들이 이미 엄청난 양의 데이터를 실시간으로 생산하고 있는바, 이들을 인공지능의 학습을 위한 데이터로 활용함으로써 우리의 안전과 일상의 편리를 위한 솔루션을 만들어낼 수 있을 것으로 기대된다.Detecting means installed in various parts of society, such as CCTV, are already producing a huge amount of data in real time. It is expected.

이러한 인공지능의 학습을 위한 데이터 생성은 다각형을 기반으로 하는 객체 인식 방법이 사용된다.Object recognition method based on polygons is used to generate data for such artificial intelligence learning.

다각형 기반의 객체 인식 방법은 원본 이미지를 이진화한 다음, 픽셀마다 이진화된 데이터에 대하여 그레이 스케일 임계값(Greyscale threshold)이 적용된다.In the polygon-based object recognition method, after binarizing an original image, a grayscale threshold is applied to the binarized data for each pixel.

그러나, 이진화된 이미지 데이터에 대하여 그레이 스케일 임계값을 적용하는 방법은 적용된 그레이 스케일 임계값에 따라 윤곽선 추출이 달라지는데, 정확한 그레이 스케일 임계값을 정하는 것이 쉽지 않은 경우가 많이 있다.However, in the method of applying the gray scale threshold value to the binarized image data, the outline extraction varies according to the applied gray scale threshold value, and it is not easy to determine an accurate gray scale threshold value in many cases.

정확한 그레이 스케일 임계값이 정해지지 않으면, 실제 학습 과정에서 정확한 경계선을 찾지 못하여 오차가 발생하는 문제점이 있다.If an accurate gray scale threshold is not determined, there is a problem in that an accurate boundary line cannot be found during an actual learning process, resulting in an error.

한국 공개특허공보 공개번호 제10-2019-0039383호(발명의 명칭: 이미지 세그멘테이션을 위한 학습 방법 및 학습 장치, 그리고 이를 이용한 이미지 세그멘테이션 방법 및 이미지 세그멘테이션 장치)Korean Patent Laid-Open Publication No. 10-2019-0039383 (Title of the invention: Learning method and learning apparatus for image segmentation, and image segmentation method and image segmentation apparatus using the same)

이러한 문제점을 해결하기 위하여, 본 발명은 이미지에 포함된 객체의 이진화 기반 윤곽선 추출 방법에 인공 지능 (AI)에 기반한 추출 방법에 의해 얻어진 윤곽선을 참조함으로써 보다 향상된 윤곽선의 추출이 가능한 다각형 기반의 객체 인식 성능 보정 장치 및 방법을 제공하는 것을 목적으로 한다.In order to solve this problem, the present invention provides a polygon-based object recognition that enables more improved outline extraction by referring to the outline obtained by the extraction method based on artificial intelligence (AI) in the outline extraction method based on the binarization of the object included in the image. An object of the present invention is to provide an apparatus and method for compensating for performance.

상기한 목적을 달성하기 위하여 본 발명의 일 실시 예는 다각형 기반의 객체 인식 성능 보정 장치로서, 원본 이미지로부터 인공 지능(AI)을 이용하여 객체를 인식한 객체의 마스크(Mask) 이미지를 추출하고, 상기 원본 이미지의 이진화를 통해 이진화 이미지를 추출하되, 그레이 스케일 임계값(Gray scale threshold)을 변경하여 적어도 하나 이상의 이진화 이미지를 추출하며, 상기 추출된 이진화 이미지 중에서 상기 객체의 마스크 이미지와의 비교 결과, 일치도가 가장 높은 그레이 스케일 임계값을 갖는 이진화 이미지를 최종 이미지로 결정하고, 상기 객체 인식한 마스크의 이미지와 최종 이미지의 윤곽선을 기반으로 인식된 객체의 윤곽선을 보정하는 것을 특징으로 한다.In order to achieve the above object, an embodiment of the present invention is a polygon-based object recognition performance correction apparatus, extracting a mask image of an object recognizing an object using artificial intelligence (AI) from an original image, Extracting a binarized image through binarization of the original image, extracting at least one binarized image by changing a gray scale threshold, and comparing the extracted binarized image with the mask image of the object, It is characterized in that the binarized image having the highest gray scale threshold is determined as the final image, and the contour of the recognized object is corrected based on the image of the mask image and the contour of the final image.

또한, 상기 실시 예에 따른 인공 지능은 Mask R-CNN(Region Convolutional Neural Network)을 이용하여 객체를 인식하는 것을 특징으로 한다.In addition, the artificial intelligence according to the embodiment is characterized in that the object is recognized using a Mask R-CNN (Region Convolutional Neural Network).

또한, 상기 실시 예에 따른 추출된 이진화 이미지와 객체의 마스크 이미지의 일치도는 IoU(Intersection over Union) 비교를 통해 결정되는 것을 특징으로 한다.In addition, the degree of correspondence between the extracted binarized image according to the embodiment and the mask image of the object is characterized in that it is determined through IoU (Intersection over Union) comparison.

또한, 상기 실시 예에 따른 인식된 객체의 윤곽선은 상기 객체 인식한 마스크의 좌표값과 최종 이미지의 윤곽선 좌표값을 기반으로 두 좌표값의 평균값으로 결정되는 것을 특징으로 한다.In addition, the contour of the recognized object according to the embodiment is characterized in that it is determined as an average value of the two coordinate values based on the coordinate value of the object-recognized mask and the contour coordinate value of the final image.

또한, 상기 실시 예에 따른 성능 보정 장치는 원본 이미지를 수신하는 이미지 입력부; 상기 원본 이미지로부터 Mask R-CNN(Region Convolutional Neural Network)을 이용하여 객체를 인식한 객체의 마스크(Mask) 이미지를 추출하는 인공지능 객체 인식부; 상기 원본 이미지의 이진화를 통해 이진화 이미지를 추출하는 객체 이진화부; 및 상기 객체 이진화부가 그레이 스케일 임계값(Gray scale threshold)을 변경하면서 적어도 하나 이상의 이진화 이미지가 추출되도록 하고, 상기 추출된 이진화 이미지 중에서 상기 객체의 마스크 이미지와의 IoU(Intersection over Union) 비교 결과가 가장 높은 그레이 스케일 임계값을 갖는 이진화 이미지를 최종 이미지로 결정하며, 상기 객체 인식한 마스크의 좌표값과, 최종 이미지의 윤곽선 좌표값을 기반으로 한 두 좌표값의 평균값을 인식된 객체의 윤곽선으로 보정하는 객체 보정부;를 포함하는 것을 특징으로 한다.In addition, the performance compensating apparatus according to the embodiment includes an image input unit for receiving an original image; an artificial intelligence object recognition unit for extracting a mask image of an object recognizing an object from the original image using a Mask R-CNN (Region Convolutional Neural Network); an object binarization unit for extracting a binarized image through binarization of the original image; and the object binarization unit extracts at least one binarized image while changing a gray scale threshold, and among the extracted binarized images, the IoU (Intersection over Union) comparison result with the mask image of the object is the most A binarized image having a high gray scale threshold is determined as the final image, and the average value of the two coordinate values based on the coordinate value of the object recognized mask and the outline coordinate value of the final image is corrected to the outline of the recognized object. It characterized in that it includes; an object correction unit.

또한, 본 발명의 일 실시 예는 다각형 기반의 객체 인식 성능 보정 방법으로서, a) 성능 보정 장치가 수신된 원본 이미지로부터 인공 지능(AI)을 이용하여 객체를 인식한 객체의 마스크(Mask) 이미지를 추출하는 단계; b) 상기 성능 보정 장치(100)가 원본 이미지의 이진화를 통해 이진화 이미지를 추출하는 단계; 및 c) 상기 성능 보정 장치(100)가 그레이 스케일 임계값(Gray scale threshold)을 변경하면서 적어도 하나 이상의 이진화 이미지를 추출하고, 상기 추출된 이진화 이미지 중에서 상기 객체의 마스크 이미지와의 비교 결과, 일치도가 가장 높은 그레이 스케일 임계값을 갖는 이진화 이미지를 최종 이미지로 결정하며, 상기 객체 인식한 마스크의 이미지와 최종 이미지의 윤곽선을 기반으로 인식된 객체의 윤곽선을 보정하는 단계;를 포함한다.In addition, an embodiment of the present invention is a polygon-based object recognition performance correction method, a) from the original image received by the performance correction device using artificial intelligence (AI) to recognize the object mask (Mask) image of the object extracting; b) extracting, by the performance compensating device 100, a binarized image through binarization of the original image; and c) the performance compensating apparatus 100 extracts at least one binarized image while changing a gray scale threshold, and compares the extracted binarized image with the mask image of the object. determining the binarized image having the highest gray scale threshold as the final image, and correcting the contour of the recognized object based on the image of the object-recognized mask and the contour of the final image.

또한, 상기 실시 예에 따른 a) 단계의 인공 지능은 Mask R-CNN(Region Convolutional Neural Network)을 이용하여 객체를 인식하는 것을 특징으로 한다.In addition, the artificial intelligence of step a) according to the above embodiment is characterized in that the object is recognized using a Mask R-CNN (Region Convolutional Neural Network).

또한, 상기 실시 예에 따른 c) 단계는 추출된 이진화 이미지와 객체의 마스크 이미지의 일치도를 IoU(Intersection over Union) 비교를 통해 결정하는 것을 특징으로 한다.In addition, step c) according to the above embodiment is characterized in that the degree of correspondence between the extracted binarized image and the mask image of the object is determined through IoU (Intersection over Union) comparison.

또한, 상기 실시 예에 따른 c) 단계는 인식된 객체의 윤곽선을 상기 객체 인식한 마스크의 좌표값과 최종 이미지의 윤곽선 좌표값을 기반으로 두 좌표값의 평균값으로 결정하는 것을 특징으로 한다.In addition, step c) according to the above embodiment is characterized in that the outline of the recognized object is determined as an average value of the two coordinate values based on the coordinate value of the mask for which the object is recognized and the coordinate value of the outline of the final image.

본 발명은 이미지에 포함된 객체의 이진화 기반 윤곽선 추출 방법에 인공 지능 (AI)에 기반한 추출 방법에 의해 얻어진 윤곽선을 참조함으로써 보다 향상된 윤곽선의 추출이 가능한 장점이 있다.The present invention has an advantage in that more improved outline extraction is possible by referring to the outline obtained by the extraction method based on artificial intelligence (AI) in the outline extraction method based on the binarization of the object included in the image.

도1은 본 발명의 일 실시 예에 따른 다각형 기반의 객체 인식 성능 보정 장치의 구성을 나타낸 블록도.
도2는 본 발명의 일 실시 예에 따른 다각형 기반의 객체 인식 성능 보정 방법을 나타낸 흐름도.
도3은 도2의 실시 예에 따른 다각형 기반의 객체 인식 성능 보정 방법의 윤곽선 보정 과정을 나타낸 흐름도.
도4는 도2의 실시 예에 따른 다각형 기반의 객체 인식 성능 보정 방법의 인식 성능 보정 과정을 설명하기 위한 예시도.
도5는 도2의 실시 예에 따른 다각형 기반의 객체 인식 성능 보정 방법의 인식 성능 보정 과정을 설명하기 위한 다른 예시도.
도6은 도2의 실시 예에 따른 다각형 기반의 객체 인식 성능 보정 방법의 이진화한 데이터를 나타낸 예시도.
도7은 도2의 실시 예에 따른 다각형 기반의 객체 인식 성능 보정 방법의 이진화한 데이터를 나타낸 다른 예시도.
도8은 도2의 실시 예에 따른 다각형 기반의 객체 인식 성능 보정 방법의 이진화한 데이터를 나타낸 또 다른 예시도.1 is a block diagram showing the configuration of a polygon-based object recognition performance calibrating apparatus according to an embodiment of the present invention.
2 is a flowchart illustrating a polygon-based object recognition performance correction method according to an embodiment of the present invention.
3 is a flowchart illustrating an outline correction process of a polygon-based object recognition performance correction method according to the embodiment of FIG. 2 .
4 is an exemplary view for explaining a recognition performance correction process of the polygon-based object recognition performance correction method according to the embodiment of FIG.
5 is another exemplary view for explaining a recognition performance correction process of the polygon-based object recognition performance correction method according to the embodiment of FIG.
FIG. 6 is an exemplary diagram illustrating binarized data of a polygon-based object recognition performance correction method according to the embodiment of FIG. 2 .
FIG. 7 is another exemplary diagram illustrating binarized data of a polygon-based object recognition performance correction method according to the embodiment of FIG. 2 .
FIG. 8 is another exemplary diagram illustrating binarized data of a polygon-based object recognition performance correction method according to the embodiment of FIG. 2 .

이하에서는 본 발명의 바람직한 실시 예 및 첨부하는 도면을 참조하여 본 발명을 상세히 설명하되, 도면의 동일한 참조부호는 동일한 구성요소를 지칭함을 전제하여 설명하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to preferred embodiments of the present invention and the accompanying drawings.

본 발명의 실시를 위한 구체적인 내용을 설명하기에 앞서, 본 발명의 기술적 요지와 직접적 관련이 없는 구성에 대해서는 본 발명의 기술적 요지를 흩뜨리지 않는 범위 내에서 생략하였음에 유의하여야 할 것이다. Prior to describing the specific content for carrying out the present invention, it should be noted that components not directly related to the technical gist of the present invention are omitted within the scope of not disturbing the technical gist of the present invention.

또한, 본 명세서 및 청구범위에 사용된 용어 또는 단어는 발명자가 자신의 발명을 최선의 방법으로 설명하기 위해 적절한 용어의 개념을 정의할 수 있다는 원칙에 입각하여 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 할 것이다.In addition, the terms or words used in the present specification and claims have meanings and concepts consistent with the technical idea of the invention based on the principle that the inventor can define the concept of an appropriate term to best describe his invention. should be interpreted as

본 명세서에서 어떤 부분이 어떤 구성요소를 "포함"한다는 표현은 다른 구성요소를 배제하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.In the present specification, the expression that a part "includes" a certain element does not exclude other elements, but means that other elements may be further included.

또한, "‥부", "‥기", "‥모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어, 또는 그 둘의 결합으로 구분될 수 있다.Also, terms such as “… unit”, “… group”, and “… module” mean a unit that processes at least one function or operation, which may be divided into hardware, software, or a combination of the two.

또한, "적어도 하나의" 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. In addition, the term "at least one" is defined as a term including the singular and the plural, and even if the term at least one does not exist, each element may exist in the singular or plural, and may mean the singular or plural. will be self-evident.

또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시 예에 따라 변경가능하다 할 것이다.In addition, that each component is provided in singular or plural may be changed according to an embodiment.

이하, 첨부된 도면을 참조하여 본 발명의 일 실시 예에 따른 다각형 기반의 객체 인식 성능 보정 장치 및 방법의 바람직한 실시예를 상세하게 설명한다.Hereinafter, a preferred embodiment of a polygon-based object recognition performance correction apparatus and method according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도1은 본 발명의 일 실시 예에 따른 다각형 기반의 객체 인식 성능 보정 장치의 구성을 나타낸 블록도이다.1 is a block diagram showing the configuration of a polygon-based object recognition performance calibrating apparatus according to an embodiment of the present invention.

도1을 참조하면, 본 발명의 일 실시 예에 따른 다각형 기반의 객체 인식 성능 보정 장치(100)는 원본 이미지로부터 인공 지능(AI)을 이용하여 객체를 인식한 객체의 마스크(Mask) 이미지를 추출하고, 상기 원본 이미지의 이진화를 통해 이진화 이미지를 추출한다.Referring to FIG. 1 , the polygon-based object recognition performance calibrating apparatus 100 according to an embodiment of the present invention extracts a mask image of an object recognized by using artificial intelligence (AI) from an original image and extracts a binarized image through binarization of the original image.

또한, 상기 성능 보정 장치(100)는 그레이 스케일 임계값(Gray scale threshold)을 변경하여 적어도 하나 이상의 이진화 이미지를 추출하며, 상기 추출된 이진화 이미지 중에서 상기 객체의 마스크 이미지와의 비교 결과, 일치도가 가장 높은 그레이 스케일 임계값을 갖는 이진화 이미지를 최종 이미지로 결정하고, 상기 객체 인식한 마스크의 이미지와 최종 이미지의 윤곽선을 기반으로 인식된 객체의 윤곽선을 보정하는 구성으로서, 이미지 입력부(110)와, 인공 지능 객체 인식부(120)와, 객체 이진화부(130)와, 객체 보정부(140)를 포함하여 구성된다.In addition, the performance compensating apparatus 100 extracts at least one binarized image by changing a gray scale threshold, and as a result of comparison with the mask image of the object among the extracted binarized images, the degree of matching is the most A configuration for determining a binarized image having a high gray scale threshold as a final image, and correcting the contour of the recognized object based on the image of the object-recognized mask and the contour of the final image, the image input unit 110 and the artificial It is configured to include an intelligent object recognition unit 120 , an object binarization unit 130 , and an object correcting unit 140 .

또한, 상기 성능 보정 장치(100)는 서버 시스템, 데스크탑 PC, 노트북 PC, 태블릿 PC, 모바일 단말기 등 이미지의 작성, 편집, 뷰잉(viewing) 또는 저장 등의 기능을 수행할 수 있는 마이크로프로세서 기반의 장치를 기반으로 구현될 수 있다.In addition, the performance compensating device 100 is a microprocessor-based device capable of performing functions such as creation, editing, viewing, or storage of images such as a server system, a desktop PC, a notebook PC, a tablet PC, and a mobile terminal. can be implemented based on

상기 이미지 입력부(110)는 사용자로부터 원본 이미지를 포함한 디지털 전자문서를 입력받는 구성으로서, 내부 저장장치 또는 외부 저장장치 등에 저장된 원본 이미지 정보를 수신하거나, CCD 센서, CMOS 센서 또는 광전변환수단을 구비한 디지털 촬영장치로부터 출력되는 원본 이미지 정보를 수신한다.The image input unit 110 is configured to receive a digital electronic document including an original image from a user, and receives original image information stored in an internal storage device or an external storage device, or includes a CCD sensor, a CMOS sensor, or a photoelectric conversion means. Receives original image information output from the digital photographing device.

상기 인공지능 객체 인식부(120)는 인공 지능(AI)을 이용하여 객체를 인식한 객체의 마스크(Mask) 이미지를 추출하는 구성으로서, 바람직하게는 원본 이미지로부터 Mask R-CNN(Region Convolutional Neural Network)을 이용하여 객체를 인식하고, 상기 인식된 객체의 마스크(Mask) 이미지를 추출할 수도 있다.The artificial intelligence object recognition unit 120 is configured to extract a mask image of an object that has recognized an object using artificial intelligence (AI), and preferably, Mask R-CNN (Region Convolutional Neural Network (R-CNN)) from the original image. ) to recognize an object and extract a mask image of the recognized object.

또한, 상기 인공지능 객체 인식부(120)는 이미지들 각각을 Mask R-CNN을 이용하여 자동차, 사람, 개 등의 위치와 종류를 학습할 수 있다.In addition, the AI object recognition unit 120 may learn the location and type of a car, a person, a dog, etc. using Mask R-CNN for each of the images.

예를 들어, 자동차, 사람, 개 등을 무작위로 촬영한 다수(예컨대, 수만장)의 이미지들 각각을 Mask R-CNN 프레임워크를 통해 자동차, 사람, 개 등의 객체별로 서로 상이한 색상으로 마스킹한 후, 마스킹된 영역을 기초로 자동차, 사람, 개 등 각 객체 별 위치 및 종류를 학습하게 된다.For example, each of multiple (eg, tens of thousands) images of cars, people, and dogs taken randomly are masked with different colors for each object such as a car, person, or dog through the Mask R-CNN framework. Then, based on the masked area, the location and type of each object such as a car, a person, and a dog are learned.

또한, 마스킹 영역은 자동차, 사람, 개 등의 각 객체 별 크기에 일치하는 것이 아닌, 각 객체 별 크기 보다 넓은 면적을 마스킹할 수도 있다.In addition, the masking area may mask an area larger than the size of each object rather than matching the size of each object, such as a car, a person, or a dog.

또한, Mask R-CNN 프레임워크를 통해 파악되는 객체는 각 객체의 종류 별로 적어도 수만장 이상의 샘플 이미지를 통해 기 학습된 부품을 토대로 마스킹이 이루어진다는 점에서, 학습된 객체 외에 다른 객체에 대해서는 인식(또는 검출)하지 않을 수도 있다.In addition, in that the objects identified through the Mask R-CNN framework are masked based on pre-learned parts through at least tens of thousands of sample images for each type of object, recognition ( or detection) may not be detected.

한편, Mask R-CNN 프레임워크는 페이스북 사의 인공지능 연구소에서 개발된 프레임워크로써, 이를 이용하여 각 객체 별 서로 상이한 색상을 마스킹하여 객체별 종류를 파악할 수도 있다.On the other hand, the Mask R-CNN framework is a framework developed by Facebook's artificial intelligence research institute, and by using it, it is possible to identify the type of each object by masking different colors for each object.

상기 객체 이진화부(130)는 원본 이미지의 이진화를 통해 이진화 이미지를 추출하는 구성으로서, 그레이 스케일 임계값(Gray scale threshold)에 따라 서로 다른 이진화 이미지(binarzation image)가 제공될 수 있도록 한다.The object binarization unit 130 is configured to extract a binarized image through binarization of an original image, and allows different binarization images to be provided according to a gray scale threshold.

즉, 상기 객체 이진화부(130)는 원본 이미지의 모든 픽셀들을 '0'(흑)과 '1'(백)으로만 밝기를 표현한 이진화 이미지를 제공한다.That is, the object binarization unit 130 provides a binarized image in which the brightness of all pixels of the original image is expressed only with '0' (black) and '1' (white).

또한, 상기 객체 이진화부(130)에서 제공되는 이미지의 이진화는 임의의 임계값(threshold)을 기준으로 낮은 값을 갖는 픽셀은 '0'으로 만들고, 높은 값을 갖는 픽셀은 '255'로 만드는 과정을 말한다.In addition, the binarization of the image provided by the object binarization unit 130 is a process of making a pixel having a low value as '0' and a pixel having a high value as '255' based on an arbitrary threshold. say

또한, 상기 객체 이진화부(130)는 임의의 임계값을 기준으로 작으면(어두으면) '0'으로, 크면(밝으면) 255로 설정한다.In addition, the object binarization unit 130 sets the value to '0' if it is small (dark) and to 255 if it is large (bright) based on an arbitrary threshold value.

본 실시 예에서는 원본 이미지의 그레이 스케일 임계값(Gray scale threshold)은 '255'이고, 상기 그레이 스케일 임계값(Gray scale threshold)은 '0' ~ '255' 범위에서 조정된 이진화 이미지를 제공한다.In this embodiment, the gray scale threshold of the original image is '255', and the gray scale threshold is adjusted in the range of '0' to '255' to provide a binarized image.

여기서, 그레이 스케일 임계값을 어떤 값으로 설정하는지에 따라서 결과 이미지가 매우 달라질 수 있기 때문에, 임계값이 너무 크면 이미지중의 많은 픽셀들이 '255'로 설정될 것이고, 너무 작으면 '0'으로 설정될 수 있다.Here, since the resulting image can be very different depending on what value the gray scale threshold is set to, if the threshold is too large, many pixels in the image will be set to '255', and if it is too small, set it to '0'. can be

상기 객체 보정부(140)는 인공지능 객체 인식부(120)에서 객체 인식된 결과와 객체 이진화부(130)에서 그레이 스케일 임계값에 따른 이진화 이미지를 비교하고, 상기 비교 결과 일치도가 가능 높은 이진화 이미지를 이용하여 객체 인식된 결과의 윤곽선을 보정하여 최종 윤곽선을 결정한다.The object correction unit 140 compares the object recognition result by the artificial intelligence object recognition unit 120 with the binarized image according to the gray scale threshold in the object binarization unit 130, and the comparison result is a binarized image with a high degree of agreement. The final outline is determined by correcting the outline of the object recognition result using

즉, 상기 객체 보정부(140)는 객체 이진화부(130)가 그레이 스케일 임계값(Gray scale threshold)을 '10' ~ '256' 범위에서 변경하면서 조정된 이진화 이미지가 추출되도록 한다.That is, the object corrector 140 extracts the adjusted binarized image while the object binarizer 130 changes the gray scale threshold in the range of '10' to '256'.

또한, 상기 객체 보정부(140)는 추출된 복수의 이진화 이미지 중에서 인공 지능 객체 인식부(120)에서 인식된 객체의 마스크 이미지와의 IoU(Intersection over Union) 비교 결과를 수행하고, 상기 비교 결과 IoU가 가장 높은 그레이 스케일 임계값을 갖는 이진화 이미지를 최종 이미지로 결정한다.In addition, the object correcting unit 140 performs an IoU (Intersection over Union) comparison result with the mask image of the object recognized by the artificial intelligence object recognition unit 120 among the plurality of extracted binarized images, and the comparison result IoU Determines the binarized image with the highest gray scale threshold as the final image.

또한, 상기 객체 보정부(140)는 객체 인식한 마스크의 좌표값과, 최종 이미지로 결정된 이진화 이미지의 윤곽선 좌표값을 기반으로 두 좌표값의 평균값을 산출한다.In addition, the object correcting unit 140 calculates an average value of the two coordinate values based on the coordinate values of the object-recognized mask and the outline coordinate values of the binarized image determined as the final image.

또한, 상기 객체 보정부(140)는 산출된 좌표값의 평균값에 기반하여 인식된 객체의 윤곽선으로 보정하여 최종 윤곽선을 결정함으로써, 최적화된 윤곽선이 제공될 수 있도록 한다.In addition, the object correcting unit 140 determines the final outline by correcting the recognized object outline based on the average value of the calculated coordinate values to provide an optimized outline.

다음은 본 발명의 일 실시 예에 따른 다각형 기반의 객체 인식 성능 보정 방법을 설명한다.The following describes a polygon-based object recognition performance correction method according to an embodiment of the present invention.

도2는 본 발명의 일 실시 예에 따른 다각형 기반의 객체 인식 성능 보정 방법을 나타낸 흐름도이고, 도3은 도2의 실시 예에 따른 다각형 기반의 객체 인식 성능 보정 방법의 윤곽선 보정 과정을 나타낸 흐름도이다.2 is a flowchart illustrating a polygon-based object recognition performance correction method according to an embodiment of the present invention, and FIG. 3 is a flowchart illustrating an outline correction process of the polygon-based object recognition performance correction method according to the embodiment of FIG. .

도1 내지 도3을 참조하면, 성능 보정 장치(100)는 이미지 입력부(110)를 통해 도4와 같이 원본 이미지(200)를 수신(S100)한다.1 to 3 , the performance compensating apparatus 100 receives ( S100 ) an original image 200 as shown in FIG. 4 through the image input unit 110 .

상기 원본 이미지(200)는 설명의 편의를 위해 예를 들어, 자동차 형상의 제1 객체(210)와, 사람 형상의 제2 객체(220)와, 개 형상의 제3 객체(230)를 포함된 것을 실시 예로 설명하지만, 이에 한정되는 것은 아니고, 다양한 형상을 객체로 포함한 이미지로 변경 실시할 수도 있다.The original image 200 includes, for example, a first object 210 in the shape of a car, a second object 220 in the shape of a person, and a third object 230 in the shape of a dog for convenience of explanation. Although it is described as an embodiment, the present invention is not limited thereto, and may be changed to an image including various shapes as objects.

또한, 상기 원본 이미지(200)는 객체를 검은색, 배경은 백색으로 설정한 그레이 스케일 임계값이 '255'인 이진화된 이미지일 수 있다.Also, the original image 200 may be a binarized image having a gray scale threshold of '255' in which the object is set to black and the background is set to white.

계속해서, 상기 성능 보정 장치(100)는 수신된 원본 이미지(200)로부터 인공 지능(AI), 즉 Mask R-CNN(Region Convolutional Neural Network)을 이용하여 도5와 같이 객체 인식 이미지(300)와, 제1 감지 객체(310)와, 제2 감지 객체(320)와, 제3 감지 객체(330)에 대하여 인식한 객체 마스크(Mask) 이미지를 추출(S200)한다.Subsequently, the performance compensating apparatus 100 uses artificial intelligence (AI), that is, Mask R-CNN (Region Convolutional Neural Network) from the received original image 200, as shown in FIG. , an object mask image recognized for the first sensing object 310 , the second sensing object 320 , and the third sensing object 330 is extracted ( S200 ).

또한, 상기 성능 보정 장치(100)는 원본 이미지의 이진화를 통해 그레이 스케일 임계값에 따른 이진화 이미지를 추출(S300)한다.Also, the performance compensating apparatus 100 extracts a binarized image according to a gray scale threshold through binarization of the original image ( S300 ).

이때, 상기 성능 보정 장치(100)는 원본 이미지에 대하여 그레이 스케일 임계값(Gray scale threshold)을 예를 들면, '0' ~ '255' 범위에서 변경하면서 이진화 이미지를 추출하고, 추출된 이진화 이미지 중에서 상기 객체의 마스크 이미지와의 비교 결과, 일치도가 가장 높은 그레이 스케일 임계값을 갖는 이진화 이미지를 최종 이미지로 결정하여 상기 객체 인식한 마스크의 이미지와 최종 이미지의 윤곽선을 기반으로 인식된 객체가 최적의 윤곽선을 갖도록 보정(S400)한다.In this case, the performance compensating apparatus 100 extracts a binarized image while changing a gray scale threshold of the original image in a range of, for example, '0' to '255', and from among the extracted binarized images As a result of comparison with the mask image of the object, a binarized image having the highest gray scale threshold value is determined as the final image, and the object recognized based on the image of the object recognized mask and the outline of the final image is the optimal contour is corrected (S400) to have .

상기 S400 단계를 더욱 상세하게 설명하면, 상기 성능 보정 장치(100)는 S200 단계에서 객체 인식된 객체의 윤곽선과 S300 단계에서 그레이 스케일 임계값(Gray scale threshold)을 변경하면서 획득한 이진화 이미지의 윤곽선을 비교(S410)한다.If the step S400 is described in more detail, the performance compensating apparatus 100 determines the outline of the object recognized in step S200 and the outline of the binarized image obtained while changing the gray scale threshold in step S300. Compare (S410).

즉, S410 단계에서는 도6과 같이 그레이 스케일 임계값을 예를 들어, '56', 으로 변경한 이진화 이미지(400)와, 도7과 같이 그레이 스케일 임계값을 '100'으로 변경한 이진화 이미지 1(400a)와, 도8과 같이 그레이 스케일 임계값을 '128로 변경한 이진화 이미지 2(400b)를 추출하여 비교한다. That is, in step S410, the binarized image 400 in which the gray scale threshold is changed to '56', for example, as shown in FIG. 6, and the binarized image 1 in which the gray scale threshold is changed to '100' as shown in FIG. 7 . (400a) and the binarized image 2 (400b) in which the gray scale threshold is changed to '128 as shown in FIG. 8 are extracted and compared.

계속해서, 상기 성능 보정 장치(100)는 추출된 다수의 이진화 이미지(400, 400a, 400b)와 R-CNN을 통해 인식한 객체의 마스크 RLE(Run Length Encoding)의 결과를 비교하면서 이미지의 일치, 즉 IoU(Intersection over Union)를 산출(S420)한다.Subsequently, the performance correction device 100 compares the extracted multiple binarized images 400, 400a, 400b with the results of the mask RLE (Run Length Encoding) of the object recognized through R-CNN, matching the images, That is, IoU (Intersection over Union) is calculated (S420).

여기서 IoU = 교집합 영역의 넓이(area of overlap)/합집합 영역의 넓이(area of union)이다.Here, IoU = area of overlap/area of union.

즉, 제1 오버랩 영역(410), 제1 오버랩 영역 1(410a), 제1 오버랩 영역 2(410b), 제2 오버랩 영역(420), 제2 오버랩 영역 2(420a), 제2 오버랩 영역 2(420b), 제3 오버랩 영역(430), 제3 오버랩 영역 1(430a), 제3 오버랩 영역 2(430b)과, 제1 객체(210), 제2 객체(220) 및 제3 객체(230) 간의 겹쳐지는 영역의 비를 산출한다.That is, the first overlap area 410 , the first overlap area 1 410a , the first overlap area 2 410b , the second overlap area 420 , the second overlap area 2 420a , and the second overlap area 2 420b , a third overlap area 430 , a third overlap area 1 430a , a third overlap area 2430b , a first object 210 , a second object 220 , and a third object 230 . ) to calculate the ratio of overlapping areas between

또한, 상기 성능 보정 장치(100)는 비교 결과, IoU가 최대인 그레이 스케일 임계값, 예를 들어 도8과 같이 그레이 스케일 임계값으로 '128'을 갖는 이진화 이미지의 IoU가 최대이면, 그레이 스케일 임계값으로 '128'을 갖는 이진화 이미지를 최종 이진화 이미지로 결정(S430)한다.In addition, as a result of the comparison, the performance compensating apparatus 100 determines that the gray scale threshold at which the IoU is the maximum, for example, the IoU of the binarized image having '128' as the gray scale threshold as shown in FIG. 8 is the maximum, the gray scale threshold A binarized image having '128' as a value is determined as the final binarized image (S430).

계속해서, 상기 성능 보정 장치(100)는 객체 인식한 마스크의 좌표값과 최종 이미지로 결정한 이진화 이미지의 윤곽선에 대한 좌표값을 기반으로 두 좌표값의 평균값을 산출하고, 산출된 평균값을 이용하여 객체 인식된 객체가 최적의 윤곽선을 갖도록 보정(S440)한다.Subsequently, the performance compensation apparatus 100 calculates an average value of the two coordinate values based on the coordinate values of the object-recognized mask and the coordinate values for the outline of the binarized image determined as the final image, and uses the calculated average value to calculate the object Correction is performed so that the recognized object has an optimal outline (S440).

따라서, 이미지에 포함된 객체의 이진화 기반 윤곽선 추출 방법에 인공 지능 (AI)에 기반한 추출 방법에 의해 얻어진 윤곽선을 참조함으로써 보다 향상된 최적의 윤곽선 추출이 가능하게 된다.Therefore, by referring to the outline obtained by the extraction method based on artificial intelligence (AI) in the outline extraction method based on the binarization of the object included in the image, more improved optimal outline extraction is possible.

상기와 같이, 본 발명의 바람직한 실시 예를 참조하여 설명하였지만 해당 기술 분야의 숙련된 당업자라면 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.As described above, although described with reference to preferred embodiments of the present invention, those skilled in the art can variously modify and change the present invention within the scope without departing from the spirit and scope of the present invention described in the claims below. You will understand that it can be done.

또한, 본 발명의 특허청구범위에 기재된 도면번호는 설명의 명료성과 편의를 위해 기재한 것일 뿐 이에 한정되는 것은 아니며, 실시예를 설명하는 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.In addition, the reference numbers described in the claims of the present invention are provided only for clarity and convenience of explanation, and are not limited thereto, and in the process of describing the embodiment, the thickness of the lines shown in the drawings or the size of components, etc. may be exaggerated for clarity and convenience of explanation.

또한, 상술된 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있으므로, 이러한 용어들에 대한 해석은 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In addition, the above-mentioned terms are terms defined in consideration of functions in the present invention, which may vary depending on the intention or custom of the user or operator, so the interpretation of these terms should be made based on the content throughout this specification. .

또한, 명시적으로 도시되거나 설명되지 아니하였다 하여도 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기재사항으로부터 본 발명에 의한 기술적 사상을 포함하는 다양한 형태의 변형을 할 수 있음은 자명하며, 이는 여전히 본 발명의 권리범위에 속한다. In addition, even if it is not explicitly shown or described, a person of ordinary skill in the art to which the present invention pertains can make various types of modifications including the technical idea according to the present invention from the description of the present invention. Obviously, this still falls within the scope of the present invention.

또한, 첨부하는 도면을 참조하여 설명된 상기의 실시예들은 본 발명을 설명하기 위한 목적으로 기술된 것이며 본 발명의 권리범위는 이러한 실시예에 국한되지 아니한다.In addition, the above embodiments described with reference to the accompanying drawings have been described for the purpose of explaining the present invention, and the scope of the present invention is not limited to these embodiments.

100 : 성능 보정 장치 110 : 이미지 입력부
120 : 인공지능 객체 인식부 130 : 객체 이진화부
140 : 객체 보정부 200 : 원본 이미지
210 : 제1 객체 220 : 제2 객체
230 : 제3 객체 300 : 객체 인식 이미지
310 : 제1 감지 객체 320 : 제2 감지 객체
330 : 제3 감지 객체 400 : 이진화 이미지
400a : 이진화 이미지 1 400b : 이진화 이미지 2
410 : 제1 오버랩 영역 410a : 제1 오버랩 영역 1
410b : 제1 오버랩 영역 2 420 : 제2 오버랩 영역
420a : 제2 오버랩 영역 1 420b : 제2 오버랩 영역 2
430 : 제3 오버랩 영역 430a : 제3 오버랩 영역 1
430b : 제3 오버랩 영역 2100: performance compensation device 110: image input unit
120: artificial intelligence object recognition unit 130: object binarization unit
140: object correction unit 200: original image
210: first object 220: second object
230: third object 300: object recognition image
310: first sensing object 320: second sensing object
330: third sensing object 400: binarized image
400a: binarized image 1 400b: binarized image 2
410: first overlap area 410a: first overlap area 1
410b: first overlap area 2 420: second overlap area
420a: second overlap area 1 420b: second overlap area 2
430: third overlap area 430a: third overlap area 1
430b: third overlap area 2

Claims (9)

원본 이미지를 수신하는 이미지 입력부(110);
상기 원본 이미지로부터 Mask R-CNN(Region Convolutional Neural Network)을 이용하여 객체를 인식한 객체의 마스크(Mask) 이미지를 추출하는 인공지능 객체 인식부(120);
상기 원본 이미지의 이진화를 통해 이진화 이미지를 추출하는 객체 이진화부(130); 및
상기 객체 이진화부(130)가 그레이 스케일 임계값(Gray scale threshold)을 변경하면서 적어도 하나 이상의 이진화 이미지가 추출되도록 하고,
상기 추출된 이진화 이미지 중에서 상기 객체의 마스크 이미지와의 IoU(Intersection over Union) 비교 결과가 가장 높은 그레이 스케일 임계값을 갖는 이진화 이미지를 최종 이미지로 결정하며,
상기 객체의 마스크 좌표값과, 최종 이미지의 윤곽선 좌표값을 기반으로 한 두 좌표값의 평균값을 인식된 객체의 윤곽선으로 보정하는 객체 보정부(140);를 포함하는 것을 특징으로 하는 다각형 기반의 객체 인식 성능 보정 장치.an image input unit 110 for receiving an original image;
an artificial intelligence object recognition unit 120 for extracting a mask image of an object recognizing an object using a Mask R-CNN (Region Convolutional Neural Network) from the original image;
an object binarization unit 130 for extracting a binarized image through binarization of the original image; and
The object binarization unit 130 extracts at least one binarized image while changing a gray scale threshold,
Among the extracted binarized images, an IoU (Intersection over Union) comparison result with the mask image of the object determines a binarized image having the highest gray scale threshold as a final image,
A polygon-based object comprising a; recognition performance correction device. 삭제delete 삭제delete 삭제delete 삭제delete a) 성능 보정 장치(100)가 수신된 원본 이미지로부터 Mask R-CNN(Region Convolutional Neural Network)을 이용하여 객체를 인식한 객체의 마스크(Mask) 이미지를 추출하는 단계;
b) 상기 성능 보정 장치(100)가 원본 이미지의 이진화를 통해 이진화 이미지를 추출하는 단계; 및
c) 상기 성능 보정 장치(100)가 그레이 스케일 임계값(Gray scale threshold)을 변경하면서 적어도 하나 이상의 이진화 이미지를 추출하고,
상기 추출된 이진화 이미지 중에서 상기 객체의 마스크 이미지와의 IoU(Intersection over Union) 비교 결과, 일치도가 가장 높은 그레이 스케일 임계값을 갖는 이진화 이미지를 최종 이미지로 결정하며,
상기 객체의 마스크 좌표값과, 최종 이미지의 윤곽선 좌표값을 기반으로 한 두 좌표값의 평균값을 인식된 객체의 윤곽선으로 보정하는 단계;를 포함하는 다각형 기반의 객체 인식 성능 보정 방법.a) extracting, by the performance compensating apparatus 100, a mask image of an object recognizing an object by using a Mask R-CNN (Region Convolutional Neural Network) from the received original image;
b) extracting the binarized image through the binarization of the original image by the performance compensating device 100; and
c) extracting at least one or more binarized images while the performance compensating device 100 changes a gray scale threshold,
As a result of the IoU (Intersection over Union) comparison with the mask image of the object among the extracted binarized images, the binarized image with the highest gray scale threshold is determined as the final image,
Compensating the mask coordinate value of the object and the average value of the two coordinate values based on the outline coordinate value of the final image as the outline of the recognized object; 삭제delete 삭제delete 삭제delete
KR1020200106126A 2020-03-06 2020-08-24 System and method of quality adjustment of object detection based on polyggon KR102361444B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200028523 2020-03-06
KR20200028523 2020-03-06

Publications (3)

Publication Number Publication Date
KR20210112992A KR20210112992A (en) 2021-09-15
KR102361444B1 true KR102361444B1 (en) 2022-02-11
KR102361444B9 KR102361444B9 (en) 2022-06-10

Family

ID=77793444

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200106126A KR102361444B1 (en) 2020-03-06 2020-08-24 System and method of quality adjustment of object detection based on polyggon

Country Status (1)

Country Link
KR (1) KR102361444B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114418869A (en) * 2021-12-22 2022-04-29 华南理工大学 Method, system, device and medium for geometric correction of document image

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102338372B1 (en) * 2015-09-30 2021-12-13 삼성전자주식회사 Device and method to segment object from image
US10460231B2 (en) * 2015-12-29 2019-10-29 Samsung Electronics Co., Ltd. Method and apparatus of neural network based image signal processor
US10679351B2 (en) * 2017-08-18 2020-06-09 Samsung Electronics Co., Ltd. System and method for semantic segmentation of images
US9947103B1 (en) 2017-10-03 2018-04-17 StradVision, Inc. Learning method and learning device for improving image segmentation and testing method and testing device using the same
US10007865B1 (en) * 2017-10-16 2018-06-26 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN by using multi-scale feature maps and testing method and testing device using the same

Also Published As

Publication number Publication date
KR102361444B9 (en) 2022-06-10
KR20210112992A (en) 2021-09-15

Similar Documents

Publication Publication Date Title
US11087447B2 (en) Systems and methods for quality assurance of image recognition model
KR101179497B1 (en) Apparatus and method for detecting face image
US6757426B2 (en) System and method for image processing by automatic color dropout
EP1269394B1 (en) Improved method for image binarization
US20140286527A1 (en) Systems and methods for accelerated face detection
US11151402B2 (en) Method of character recognition in written document
CN111985465A (en) Text recognition method, device, equipment and storage medium
US10885326B2 (en) Character recognition method
CN110210467B (en) Formula positioning method of text image, image processing device and storage medium
KR102361444B1 (en) System and method of quality adjustment of object detection based on polyggon
Fernández-Caballero et al. Display text segmentation after learning best-fitted OCR binarization parameters
CN111738272A (en) Target feature extraction method and device and electronic equipment
CN112749696B (en) Text detection method and device
KR20040069869A (en) Device and method for blurring decision of image
JP3906221B2 (en) Image processing method and image processing apparatus
CN113014914B (en) Neural network-based single face-changing short video identification method and system
Chen et al. Color image splicing localization algorithm by quaternion fully convolutional networks and superpixel-enhanced pairwise conditional random field
CN112070771B (en) Adaptive threshold segmentation method and device based on HS channel and storage medium
CN115393748A (en) Method for detecting infringement trademark based on Logo recognition
KR101467256B1 (en) Method and apparatus for fast image binarization for industrial robots
Lan et al. Recognition of Vehicle License Plate Based on Hopfield Artificial Neural Network.
CN109711328B (en) Face recognition method and device and electronic equipment
CN109948463B (en) Method for realizing face and lip recognition function based on color and mathematical model
KR101034189B1 (en) Adult image detection method using object analysis and multi resizing scan
JPH08138025A (en) Method for determining picture discrimination parameter and picture recognition method

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]