KR102210250B1 - Method for visualizing result of prediction using AI(Artificial Intelligence) prediction model - Google Patents

Method for visualizing result of prediction using AI(Artificial Intelligence) prediction model Download PDF

Info

Publication number
KR102210250B1
KR102210250B1 KR1020200131580A KR20200131580A KR102210250B1 KR 102210250 B1 KR102210250 B1 KR 102210250B1 KR 1020200131580 A KR1020200131580 A KR 1020200131580A KR 20200131580 A KR20200131580 A KR 20200131580A KR 102210250 B1 KR102210250 B1 KR 102210250B1
Authority
KR
South Korea
Prior art keywords
prediction
prediction result
result
value
prediction model
Prior art date
Application number
KR1020200131580A
Other languages
Korean (ko)
Inventor
금지수
이호석
Original Assignee
주식회사 웨이센
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 웨이센 filed Critical 주식회사 웨이센
Priority to KR1020200131580A priority Critical patent/KR102210250B1/en
Application granted granted Critical
Publication of KR102210250B1 publication Critical patent/KR102210250B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Abstract

The present invention relates to a method for visualizing a prediction result using an artificial intelligence (AI) prediction model. According to the present invention, the method for visualizing the prediction result using the AI prediction model comprises the following steps of: arranging an image having first opposing attributes A and B in an actual photographed image of an object on a two-dimensional (2D) plane to allow the properties A and B to face each other based on a specific point on the 2D plane; arranging an image having a second opposing attribute in an image of an arbitrary object on the 2D plane to be orthogonal to an image having the first opposing attributes based on the specific point; using the AI prediction model to start displaying a prediction result on the 2D plane in the form of a point or another form when the same target is detected on the 2D plane and storing the prediction result and initializing the plane when the same target disappears; and finally displaying and visualizing a prediction result value by the AI prediction model for each discovered object or the same object on a 2D screen. Accordingly, the method provides advantages of displaying a real-time prediction result to be conveniently analyzed and used, and displaying a plurality of results such as cumulative distribution, an average value, a number of frames, and the like, simultaneously on a plane.

Description

AI 예측 모델을 이용한 예측 결과의 시각화 방법{Method for visualizing result of prediction using AI(Artificial Intelligence) prediction model}Method for visualizing result of prediction using AI (Artificial Intelligence) prediction model}

본 발명은 AI(Artificial Intelligence) 예측 모델을 이용한 예측 결과의 시각화 방법에 관한 것으로서, 더 상세하게는 2(two) 클래스로 분류되는 AI 예측 결과를 동일 대상(target) 단위로 화면에 시각화하는 AI 예측 모델을 이용한 예측 결과의 시각화 방법에 관한 것이다.The present invention relates to a method for visualizing prediction results using an AI (Artificial Intelligence) prediction model, and more specifically, AI prediction that visualizes the AI prediction results classified into 2 (two) classes on a screen in the same target unit. It relates to a visualization method of prediction results using a model.

최근 프로세서 및 메모리 등의 반도체 기술이 급속히 발전함에 따라, 인공지능(AI) 기술도 발전하고 있다. 이에 따라 AI 기술을 이용한 서비스도 광범위하게 여러 분야에서 개발되고 있다. 예를 들면, 딥러닝 기술이 인공지능 기술 분야에서 주목받고 있으며, 데이터 분석, 영상 인식, 자연어 처리 등과 같은 다양한 분야에서 뛰어난 결과를 보이고 있다.Recently, as semiconductor technologies such as processors and memories are rapidly developing, artificial intelligence (AI) technologies are also developing. Accordingly, services using AI technology are also being widely developed in various fields. For example, deep learning technology is attracting attention in the field of artificial intelligence technology, and it is showing excellent results in various fields such as data analysis, image recognition, and natural language processing.

어떤 객체(사물)에 대한 영상의 예측 결과를 수치로 표시하는 경우, 다음 영상으로 지나가면 이전 영상 결과값을 확인하기 어려운 문제가 있다. 그리고 영상의 예측 결과를 평균 값으로 표시하는 경우에는 최대/최소 등 관련성을 확인하기 어렵고, 추가적인 결과 산출 방법이 필요하다. 또한, 영상의 예측 결과를 시계열 데이터로 가정하고 그래프 형태로 표시하면, 형태만 알 수 있어 2가지 속성(복합 특성)을 함께 보기에는 적합하지 않다. 또한, 영상의 예측 결과를 테이블 형태로 표시하는 경우, 수치 데이터가 많아 관련성을 시각적으로 확인하기 어려운 문제가 있다.When a prediction result of an image for a certain object (object) is displayed as a number, it is difficult to check the result value of the previous image when passing to the next image. In addition, when the prediction result of the image is displayed as an average value, it is difficult to check the relevance such as maximum/minimum, and an additional result calculation method is required. In addition, if the prediction result of an image is assumed to be time series data and displayed in a graph form, only the form can be known, so it is not suitable to view two attributes (complex characteristics) together. In addition, when the prediction result of an image is displayed in the form of a table, there is a problem that it is difficult to visually check the relationship due to the large number of numerical data.

한편, 한국 공개특허공보 제10-2018-0108210호(특허문헌 1)에는 "의료 영상 표시 방법 및 의료 영상 표시 장치"가 개시되어 있는바, 이에 따른 의료 영상 표시 방법은, 실시간으로 촬영되는 대상체의 의료 영상 및 상기 의료 영상에 정합되는 상기 대상체의 제1 참조 영상을 표시하는 단계; 상기 의료 영상 내에서, 상기 대상체의 형태가 왜곡된 제1 영역의 인접 영역의 영상 정보를 획득하는 단계; 상기 제1 영역의 인접 영역의 영상 정보에 기초하여, 상기 제1 영역의 영상 정보를 예측하는 단계; 및 상기 예측 결과에 기초하여, 상기 제1 참조 영상에서 상기 대상체에 대응되는 영역을 재구성하여 표시하는 단계를 포함하는 것을 특징으로 한다.Meanwhile, Korean Patent Laid-Open Publication No. 10-2018-0108210 (Patent Document 1) discloses a "medical image display method and medical image display device". Accordingly, the medical image display method includes: Displaying a medical image and a first reference image of the object matched with the medical image; Obtaining image information of an area adjacent to the first area in which the shape of the object is distorted in the medical image; Predicting image information of the first region based on image information of an adjacent region of the first region; And reconstructing and displaying a region corresponding to the object in the first reference image based on the prediction result.

이상과 같은 특허문헌 1의 경우, 실시간 의료 영상 내에서 왜곡되거나 유실된 대상체의 영역을 예측하고, 예측 결과에 기초하여 대상체의 영역을 재구성할 수 있고, 재구성된 대상체의 영상 정보에 기초하여 대상체의 참조 영상을 재구성하여 표시할 수 있는 장점이 있으나, 이는 실시간으로 촬영되는 대상체의 의료 영상을 바탕으로 대상체의 형태가 왜곡된 제1 영역의 인접 영역의 영상 정보를 획득하고, 획득된 제1 영역의 인접 영역의 영상 정보에 기초하여 제1 영역의 영상 정보를 예측하고, 예측 결과에 기초하여 대상체에 대응되는 영역을 재구성하여 표시하도록 되어 있어, 대상체의 실제 의료 영상과 가까운 영상을 표시할 수 있을지는 몰라도 대상체의 2가지 속성(복합 특성)을 표시하기는 어려운 단점이 있다.In the case of Patent Document 1 as described above, a region of an object that is distorted or lost in a real-time medical image can be predicted, the region of the object can be reconstructed based on the prediction result, and based on the reconstructed image information of the object, There is an advantage in that the reference image can be reconstructed and displayed, but this is based on the medical image of the object photographed in real time, and the image information of the area adjacent to the first area in which the shape of the object is distorted is acquired, and the acquired first area Since the image information of the first area is predicted based on the image information of the adjacent area, and the area corresponding to the object is reconstructed and displayed based on the prediction result, it is possible to display an image close to the actual medical image of the object. Without knowing, it is difficult to display two properties (complex characteristics) of an object.

한국 공개특허공보 제10-2018-0108210호(2018.10.04.)Korean Patent Application Publication No. 10-2018-0108210 (2018.10.04.)

본 발명은 상기와 같은 사항을 종합적으로 감안하여 창출된 것으로서, 2 클래스로 분류되는 AI 예측 결과를 동일 대상(target) 단위로 확인하기 쉽도록 화면에 시각화하는 AI 예측 모델을 이용한 예측 결과의 시각화 방법을 제공함에 그 목적이 있다.The present invention was created in consideration of the above matters comprehensively, and a visualization method of prediction results using an AI prediction model that visualizes the AI prediction results classified into two classes on the screen so that it is easy to check them in the same target unit. Its purpose is to provide.

상기의 목적을 달성하기 위하여 본 발명에 따른 AI 예측 모델을 이용한 예측 결과의 시각화 방법은,In order to achieve the above object, a visualization method of prediction results using an AI prediction model according to the present invention,

컴퓨터 시스템을 이용하여 시각화 방법의 구현을 위해 미리 제작된 AI 예측 모델을 학습시키고, 상기 AI 예측 모델을 이용하여 대상을 촬영한 영상에 대한 결과를 예측하여, 그 예측 결과를 시각화하는 방법으로서,As a method of learning an AI prediction model prepared in advance to implement a visualization method using a computer system, predicting a result of an image photographed by using the AI prediction model, and visualizing the prediction result,

a) 임의의 객체의 실제 촬영 영상에서 제1 대립이 되는 속성 A, B를 갖는 영상을 2차원 평면상의 특정 지점을 기준으로 상기 속성 A, B가 서로 대면하도록 2차원 평면상에 배치하는 단계와;a) arranging an image having attributes A and B, which are the first confrontation in the actual photographed image of an arbitrary object, on a two-dimensional plane so that the attributes A and B face each other based on a specific point on the two-dimensional plane; and ;

b) 상기 임의의 객체의 영상에서 제2 대립이 되는 속성을 갖는 영상을 상기 제1 대립의 속성을 갖는 영상과 상기 특정 지점을 기준으로 직교하도록 상기 2차원 평면상에 배치하는 단계와;b) arranging an image having a property corresponding to a second conflict in the image of the arbitrary object on the 2D plane so that the image having the property of the first conflict and the specific point are orthogonal to each other;

c) 상기 2차원 평면상에서 동일 대상(target)이 검출되면, 상기 AI 예측 모델을 이용하여 점(point)의 형태 또는 원의 형태, 대응하는 클래스를 각각 반대편에 배치하는 형태, 4분면을 각각 다른 색상으로 표시하는 형태, 4분면의 일정 영역을 그레이 존으로 표시하는 형태, 프레임수에 따른 히트맵 형태 중의 어느 하나의 형태로 예측 결과를 2차원 평면상에 표시를 시작하고, 동일 대상이 사라지면 예측 결과를 저장하고 평면을 초기화(reset)하는 단계; 및c) When the same target is detected on the 2D plane, using the AI prediction model, the shape of a point or a shape of a circle, a shape of placing a corresponding class on the opposite side, and a quadrant are different. Prediction results are displayed on a two-dimensional plane in any one of a color display, a certain area of the quadrant as a gray zone, and a heat map according to the number of frames, and prediction when the same object disappears. Storing the result and resetting the plane; And

d) 발견된 각 대상 또는 상기 동일 대상에 대한 AI 예측 모델에 의한 예측 결과값을 최종적으로 2차원 평면의 화면에 표시하여 시각화하는 단계를 포함하는 점에 그 특징이 있다.d) It is characterized in that it includes the step of visualizing by finally displaying a predicted result value by an AI prediction model for each discovered object or the same object on a screen on a two-dimensional plane.

여기서, 상기 단계 a) 및 b)에서 상기 특정 지점은 중심값과 상하좌우 최대값을 가지며, 상기 중심값은 50% 또는 0.5로 설정되고, 상기 상하좌우 최대값은 100% 또는 1로 설정될 수 있다.Here, in steps a) and b), the specific point has a center value and a maximum value of the top, bottom, left and right, the center value is set to 50% or 0.5, and the maximum value of the top, bottom, left and right may be set to 100% or 1. have.

또한, 상기 단계 c)에서 상기 AI 예측 모델에 의한 예측 결과를 분석을 위해 X, Y 좌표값으로 변환하여 누적 저장할 수 있다.In addition, in step c), the prediction result by the AI prediction model may be converted into X and Y coordinate values for analysis and accumulated and stored.

이때, 상기 X, Y 좌표값은 0∼100의 값을 가질 수 있다.In this case, the X and Y coordinate values may have a value of 0 to 100.

또한, 상기 단계 c)에서 상기 저장한 예측 결과는 추후에 "동일 대상"에 대해 예측 결과를 분석할 때 불러와서 동일 대상이 여러 번 나타난 것에 대해 다시 분석할 수 있다.In addition, the prediction result stored in step c) may be retrieved later when analyzing the prediction result for the "same target" and re-analyze the occurrence of the same target multiple times.

또한, 상기 단계 d)에서 상기 발견된 각 대상에 대한 AI 예측 모델에 의한 예측 결과값을 화면에 표시함에 있어서, 예측 결과값의 평균값을 화면에 표시하거나, 동일 대상에 대한 AI 예측 결과값들을 수집하여 평균값으로 화면에 표시할 수 있다.In addition, in displaying the prediction result value by the AI prediction model for each object found in step d) on the screen, the average value of the prediction result value is displayed on the screen, or AI prediction result values for the same object are collected. Thus, the average value can be displayed on the screen.

이때, 상기 AI 예측 결과값에 대한 평균값 또는 프레임 개수나 프레임 개수를 정규화한 프레임 비율로 화면에 표시할 수 있다.In this case, the average value of the AI prediction result value, or the number of frames or a frame rate normalized to the number of frames may be displayed on the screen.

또한, 상기 단계 d)에서 AI 예측 결과값을 화면에 표시함에 있어서, AI 예측 결과값에서 노이즈(noise)를 제외하고 응집도(신뢰도) 높은 최종 예측 결과를 표시할 수 있다.In addition, in displaying the AI prediction result value on the screen in step d), the final prediction result having high cohesion (reliability) may be displayed by excluding noise from the AI prediction result value.

또한, 상기 단계 d)에서 AI 예측 결과값을 화면에 표시함에 있어서, 누적 저장된 예측 결과에 분석을 적용하여 아웃라이어(outlier)를 찾아내고, 그 아웃라이어를 예측 결과에서 제외하여 최종 예측 결과를 표시할 수 있다.In addition, in displaying the AI prediction result value on the screen in step d), an outlier is found by applying analysis to the accumulated and stored prediction result, and the final prediction result is displayed by excluding the outlier from the prediction result. can do.

이때, 동일 대상의 예측 값들에 LOF(Local Outlier Factor) 분석을 적용하여 아웃라이어(outlier)를 찾아낼 수 있다.In this case, an outlier may be found by applying a LOF (Local Outlier Factor) analysis to predicted values of the same target.

이때, 또한 상기 아웃라이어를 제외한 예측 결과값에 대한 평균값 또는 프레임 개수나 프레임 개수를 정규화한 프레임 비율로 표시할 수 있다.In this case, the average value of the prediction result value excluding the outliers, or the number of frames or the number of frames may be displayed as a normalized frame rate.

이와 같은 본 발명에 의하면, 실시간 예측 결과를 분석하기 편리하게 나타내어 사용할 수 있고, 평면상에 누적 분포와 평균값, 프레임 수 등의 여러 결과를 한꺼번에 나타낼 수 있는 장점이 있다.According to the present invention, there is an advantage in that it is possible to conveniently display and use real-time prediction results for analysis, and to display multiple results such as cumulative distribution, average value, and number of frames on a plane at once.

또한, 실시간 검사 후 추가 학습데이터로 포함할 수 있는 대상들을 수집하는데 적용할 수 있는 장점이 있다.In addition, there is an advantage that can be applied to collect objects that can be included as additional learning data after real-time inspection.

도 1은 신경망 모델의 일대일 분류 모델, 2개의 일대일 분류 모델을 사용한 경우 및 일대다 분류 모델을 나타낸 도면이다.
도 2는 본 발명에 따른 AI 예측 모델을 이용한 예측 결과의 시각화 방법의 실행 과정을 나타낸 흐름도이다.
도 3은 본 발명에 따른 AI 예측 모델을 이용한 예측 결과의 시각화 방법에 따라, 제1, 제2 대립이 되는 속성을 평면상에 각각 배치한 것을 나타낸 도면이다.
도 4는 동일 대상이 검출되면 점의 형태로 예측 결과를 평면상에 표시를 시작하고, 사라지면 리셋하는 것을 나타낸 도면이다.
도 5는 발견된 각 대상에 대한 예측값의 평균과, 동일 대상에 대한 예측값들을 수집하여 평균값으로 나타낸 도면이다.
도 6은 발견된 각 대상에 대한 예측 결과값을 프레임 개수로 나타낸 도면이다.
도 7은 예측 결과에서 노이즈와 같은 결과를 제외하고 응집도(신뢰도) 높은 최종 예측 결과를 표시하는 것을 나타낸 도면이다.
도 8은 대상에 대한 예측 결과에 LOF 분석을 적용하여 아웃라이어를 찾아내고, 그것을 제외하고 응집도가 높은 예측 결과를 표시하는 것을 나타낸 도면이다.
도 9는 동일 대상의 예측 값들에 LOF 분석을 적용하여 아웃라이어를 찾아내고, 그것을 제외하고 응집도가 높은 예측 결과를 표시하는 것을 나타낸 도면이다.
도 10은 아웃라이어를 제외한 예측 결과값에 대한 평균을 표시하는 것을 나타낸 도면이다.
도 11은 아웃라이어를 제외한 예측 결과값에 대한 프레임 개수를 표시하는 것을 나타낸 도면이다.
도 12∼도 14는 본 발명에 따른 AI 예측 모델을 이용한 예측 결과의 시각화 방법에 있어서, 예측 결과를 점(point)이 아닌 다른 형태로 표시한 예를 나타낸 도면이다.1 is a diagram showing a one-to-one classification model of a neural network model, a case of using two one-to-one classification models, and a one-to-many classification model.
2 is a flowchart showing an execution process of a method for visualizing prediction results using an AI prediction model according to the present invention.
3 is a diagram illustrating that first and second opposing attributes are arranged on a plane, respectively, according to a visualization method of a prediction result using an AI prediction model according to the present invention.
4 is a diagram illustrating that when the same object is detected, a prediction result is started in the form of a point on a plane, and when the same object disappears, the prediction result is reset.
FIG. 5 is a diagram showing an average of predicted values for each discovered object and an average value obtained by collecting predicted values for the same object.
6 is a diagram showing prediction result values for each discovered object in terms of the number of frames.
7 is a diagram showing the display of the final prediction result with high degree of aggregation (reliability) excluding a result such as noise from the prediction result.
FIG. 8 is a diagram showing that an outlier is found by applying an LOF analysis to a prediction result for an object, and a prediction result having a high degree of aggregation is displayed except for it.
FIG. 9 is a diagram illustrating that an outlier is found by applying an LOF analysis to predicted values of the same target, and a prediction result having a high degree of aggregation is displayed, excluding it.
10 is a diagram illustrating displaying an average of predicted result values excluding outliers.
11 is a diagram illustrating a display of the number of frames for a prediction result value excluding an outlier.
12 to 14 are diagrams showing examples in which prediction results are displayed in a form other than points in a method for visualizing prediction results using an AI prediction model according to the present invention.

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정되어 해석되지 말아야 하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.Terms or words used in this specification and claims are limited to their usual or dictionary meanings and should not be interpreted, and that the inventor can appropriately define the concept of terms in order to describe his own invention in the best way. Based on the principle, it should be interpreted as a meaning and concept consistent with the technical idea of the present invention.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈", "장치" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Throughout the specification, when a part "includes" a certain component, it means that other components may be further included rather than excluding other components unless specifically stated to the contrary. In addition, terms such as "...unit", "...group", "module", and "device" described in the specification mean units that process at least one function or operation, which is a combination of hardware or software or hardware and software. It can be implemented as

이하 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

여기서, 본 발명의 실시예에 대해 본격적으로 설명하기에 앞서 본 발명에 대한 이해를 돕기 위해 본 발명에 도입되는 클래스 및 복합 특성 개념과 관련하여 먼저 설명해 보기로 한다.Here, prior to the full description of the embodiments of the present invention, the concepts of classes and complex characteristics introduced in the present invention will be described first to aid understanding of the present invention.

도 1은 신경망 모델의 일대일 분류 모델, 2개의 일대일 분류 모델을 사용한 경우 및 일대다 분류 모델을 나타낸 도면이다.1 is a diagram showing a one-to-one classification model of a neural network model, a case of using two one-to-one classification models, and a one-to-many classification model.

도 1을 참조하면, (a)는 종래의 신경망 모델의 일대일 분류 모델을 나타낸 것으로서, 신경망 모델은 입력층(101), 하나 이상의 컨볼루션층(102), 풀링층(103) 및 완전결합층(104)을 포함한다. 이러한 신경망 모델을 이용하여, 어떠한 입력이 있을 때, A, B, C, D의 네 가지 특성 중 하나의 결과값, 또는 각 특성에 해당하는 확률을 출력할 수 있다. 이때 결과값의 총 합은 100퍼센트일 수 있다.Referring to FIG. 1, (a) shows a one-to-one classification model of a conventional neural network model. The neural network model includes an input layer 101, one or more convolutional layers 102, a pooling layer 103, and a fully coupled layer ( 104). Using such a neural network model, when there is any input, a result value of one of four characteristics of A, B, C, and D, or a probability corresponding to each characteristic can be output. In this case, the total sum of the result values may be 100%.

그러나 어떠한 입력은 복수의 결과가 가능한 복합 특성을 가질 수 있다. 예를 들면, A는 남성, B는 여성의 특성이고, C는 동양인, D는 비동양인의 특성인 경우, 결과값으로서 A와 C가 동시에 가능할 수 있다.However, some inputs can have complex properties that allow multiple results. For example, when A is a male, B is a female characteristic, C is an Asian, and D is a non-Asian characteristic, A and C may be simultaneously possible as result values.

그러나 종래의 신경망 모델의 경우에는 결과값의 총 합이 100퍼센트가 되도록 판단하기 때문에, 이러한 복합 특성이 제대로 반영되기 어렵다.However, in the case of a conventional neural network model, it is difficult to properly reflect such complex characteristics because the total sum of the result values is determined to be 100%.

도 1의 (b)는 비교예에 따른 2개의 일대일 분류 모델을 사용한 경우를 나타낸 것이고, 도 1의 (c)는 본 발명에 채용되는 일대다 모델을 나타낸 것이다.FIG. 1(b) shows a case where two one-to-one classification models according to a comparative example are used, and FIG. 1(c) shows a one-to-many model employed in the present invention.

도 1에서 A와 B는 클래스 Ⅰ에 속하는 특성들을 나타내고, C와 D는 클래스 Ⅱ에 속하는 특성들을 나타낸다. 클래스 Ⅰ의 분류 기준과 클래스 Ⅱ의 분류 기준은 상이할 수 있다. 이와 같이 복수의 클래스에 속하는 특성들을 본 발명에서는 "복합 특성"이라 칭한다. 복합 특성을 갖는 입력은 복수의 특성, 즉 각 클래스별로 특성을 가질 수 있다.In FIG. 1, A and B indicate characteristics belonging to class I, and C and D indicate characteristics belonging to class II. The classification criteria for Class I and Class II may be different. Such characteristics belonging to a plurality of classes are referred to as "complex characteristics" in the present invention. Inputs with complex characteristics may have multiple characteristics, that is, characteristics for each class.

도 1의 (b)를 참조하면, 2개의 일대일 분류 모델이 사용되는 경우, 특성 A와 B의 예측 확률의 합은 100퍼센트이고, 마찬가지로 특성 C와 D의 예측 확률의 합은 100퍼센트이다. 이 경우, 예측 결과는 정확할 수 있지만 2개의 모델을 학습해야 하므로 계산량이 증가할 수 있다. 또한, 2개의 모델이 독립적으로 학습되기 때문에 클래스 간의 연관성이 반영되기 어렵다.Referring to FIG. 1B, when two one-to-one classification models are used, the sum of the predicted probabilities of the features A and B is 100%, and similarly, the sum of the predicted probabilities of the features C and D is 100%. In this case, the prediction result may be accurate, but since two models must be trained, the amount of computation may increase. Also, since the two models are trained independently, it is difficult to reflect the association between classes.

도 1의 (c)를 참조하면, 일대다 모델에서는 일부의 층, 즉 컨볼루션층(102)과 풀링층(103)이 클래스 간에 공유되고, 완전결합층(104)은 클래스별로 제공된다. 이때, 완전결합층(104)이 클래스별로 제공되기 때문에, 특성 A와 B의 예측 확률의 합은 100퍼센트이고, 특성 C와 D의 예측 확률의 합도 100퍼센트이다. 따라서, 클래스 Ⅰ에서의 예측 결과와 클래스 Ⅱ에서의 예측 결과가 각각 제공되기 때문에 도 1의 (a)에 비해 정확한 예측 결과를 얻을 수 있다. 또한, 컨볼루션층(102)이 클래스 간에 공유되기 때문에 도 1의 (b)의 모델에 비해 계산량을 감소시키면서도 클래스 간의 연관성을 반영시킬 수 있다.Referring to (c) of FIG. 1, in the one-to-many model, some layers, that is, the convolutional layer 102 and the pooling layer 103 are shared between classes, and the complete coupling layer 104 is provided for each class. At this time, since the fully coupled layer 104 is provided for each class, the sum of the predicted probabilities of the features A and B is 100%, and the sum of the predicted probabilities of the features C and D is also 100%. Therefore, since the prediction result in class I and the prediction result in class II are provided respectively, it is possible to obtain an accurate prediction result compared to FIG. 1A. In addition, since the convolution layer 102 is shared between classes, the correlation between classes can be reflected while reducing the amount of computation compared to the model of FIG. 1B.

그러면, 이하에서는 이상의 사항을 바탕으로 본 발명의 실시예에 대하여 설명해 보기로 한다.Then, hereinafter, an embodiment of the present invention will be described based on the above matters.

도 2는 본 발명의 실시예에 따른 AI 예측 모델을 이용한 예측 결과의 시각화 방법의 실행 과정을 나타낸 흐름도이다.2 is a flowchart illustrating an execution process of a method for visualizing prediction results using an AI prediction model according to an embodiment of the present invention.

도 2를 참조하면, 본 발명에 따른 AI 예측 모델을 이용한 예측 결과의 시각화 방법은, 컴퓨터 시스템(또는 프로세서)을 이용하여 본 발명의 시각화 방법의 구현을 위해 미리 제작된 AI 예측 모델(미도시)을 학습시키고, 상기 AI 예측 모델을 이용하여 대상을 촬영한 영상에 대한 결과를 예측하여, 그 예측 결과를 시각화하는 방법으로서, 먼저 도 3에 도시된 바와 같이, 임의의 객체의 실제 촬영 영상에서 제1 대립이 되는 속성(예를 들면, A-B)을 갖는 영상을 2차원 평면상의 특정 지점을 기준으로 상기 속성 A, B가 서로 대면하도록 2차원 평면상에 배치한다(단계 S201).Referring to FIG. 2, a method for visualizing a prediction result using an AI prediction model according to the present invention is an AI prediction model (not shown) prepared in advance for implementing the visualization method of the present invention using a computer system (or processor). As a method of learning, and predicting a result of an image photographed by using the AI prediction model, and visualizing the prediction result, first, as shown in FIG. 1 An image having an opposing attribute (eg, AB) is placed on a two-dimensional plane so that the attributes A and B face each other based on a specific point on the two-dimensional plane (step S201).

그리고 상기 임의의 객체의 영상에서 제2 대립이 되는 속성(예를 들면, C-D)을 갖는 영상을 상기 제1 대립의 속성을 갖는 영상과 상기 특정 지점을 기준으로 직교하도록 상기 2차원 평면상에 배치한다(단계 S202). 여기서, 상기 단계 S201 및 S202에서 상기 특정 지점은 중심값과 상하좌우 최대값을 가지며, 상기 중심값은 50% 또는 0.5로 설정되고, 상기 상하좌우 최대값은 100% 또는 1로 설정될 수 있다. 이때, 2 클래스 분류 결과를 사용하므로 중심값은 50보다 큰 값이 결과 값이 된다. 50% 또는 0.5를 중심값으로 하면, 분류의 모호함 분석에도 도움이 될 수 있다.And an image having a second opposing property (eg, CD) in the image of the arbitrary object is arranged on the 2D plane so that the image having the property of the first opposition is orthogonal to the specific point. (Step S202). Here, in the steps S201 and S202, the specific point has a center value and a maximum value of the top, bottom, left and right, the center value is set to 50% or 0.5, and the maximum value of the top, bottom, left and right may be set to 100% or 1. At this time, since the result of class 2 classification is used, a value greater than 50 becomes the result value. A central value of 50% or 0.5 can also be helpful in analyzing the ambiguity of the classification.

이상과 같이 제1, 제2 대립이 되는 속성 영상을 2차원 평면상에 배치한 후, 상기 2차원 평면상에서 동일 대상(target)(예를 들면, 동일 객체 (object), 영상(image), 병변(lesion))이 검출되면, 도 4에 도시된 바와 같이, 상기 AI 예측 모델을 이용하여 점(point)의 형태 또는 원의 형태, 대응하는 클래스를 각각 반대편에 배치하는 형태, 4분면을 각각 다른 색상으로 표시하는 형태, 4분면의 일정 영역을 그레이 존으로 표시하는 형태, 프레임수에 따른 히트맵 형태 중의 어느 하나의 형태로 예측 결과를 2차원 평면상에 표시를 시작하고, 동일 대상이 사라지면 예측 결과를 저장하고 평면을 초기화(reset)한다(단계 S203). 여기서, 상기 AI 예측 모델에 의한 예측 결과를 분석을 위해 X, Y 좌표값으로 변환하여 누적 저장할 수 있다. 이때, 상기 X, Y 좌표값은 0∼100의 값을 가질 수 있다. 또한, 상기 저장한 예측 결과는 추후에 "동일 대상"에 대해 예측 결과를 분석할 때 불러와서 동일 대상이 여러 번 나타난 것에 대해 다시 분석할 수 있다. As described above, after arranging the first and second opposing attribute images on a two-dimensional plane, the same target (e.g., the same object, image, lesion) on the two-dimensional plane (lesion)) is detected, as shown in FIG. 4, using the AI prediction model, a shape of a point or a shape of a circle, a shape of placing a corresponding class on the opposite side, and a quadrant are different Any one of a color display, a gray zone for a certain area of the quadrant, and a heat map according to the number of frames. The prediction result is started to be displayed on the two-dimensional plane in the form, and when the same object disappears, the prediction result is stored and the plane is reset (step S203). Here, the prediction result by the AI prediction model may be converted into X and Y coordinate values for analysis and accumulated and stored. In this case, the X and Y coordinate values may have a value of 0 to 100. In addition, the stored prediction result can be retrieved later when analyzing the prediction result for the "same object" and re-analyze the occurrence of the same object multiple times.

이후, 발견된 각 대상 또는 상기 동일 대상에 대한 AI 예측 모델에 의한 예측 결과값을 최종적으로 2차원 평면의 화면에 표시하여 시각화한다(단계 S204).Thereafter, the result of prediction by the AI prediction model for each discovered object or the same object is finally displayed on a screen of a two-dimensional plane to be visualized (step S204).

여기서, 상기 단계 S204에서 상기 발견된 각 대상에 대한 AI 예측 모델에 의한 예측 결과값을 화면에 표시함에 있어서, 도 5에 도시된 바와 같이, 예측 결과값의 평균값을 화면에 표시하거나, 동일 대상에 대한 AI 예측 값들을 수집하여 평균값으로 화면에 표시할 수 있다. 도 5에서 (A)는 1번 대상에 대해 예측 결과값의 평균값을 나타낸 것이고, (B)는 1번과 같은 n번 대상에 대해 예측 결과값의 평균값을 나타낸 것이며, (C)는 동일 대상에 대한 AI 예측 값들을 수집하여 평균값으로 나타낸 것이다.Here, in displaying the prediction result value by the AI prediction model for each object found in step S204 on the screen, as shown in FIG. 5, the average value of the prediction result value is displayed on the screen or the same object AI prediction values can be collected and displayed on the screen as an average value. In FIG. 5, (A) shows the average value of the predicted result values for the object #1, (B) shows the average value of the predicted result values for the object n, such as #1, and (C) shows the same object. The AI prediction values are collected and expressed as an average value.

이때, 상기 도 5와 같이 상기 AI 예측 결과값에 대한 평균값 또는 도 6에 도시된 바와 같이, 프레임 개수나 프레임 개수를 정규화하여 프레임의 비율로(예를 들면, 1∼100으로) 화면에 나타낼 수 있다. 도 6에서 (A)는 1번 대상에 대해 예측 결과값의 프레임 개수를 나타낸 것이고, (B)는 1번과 같은 n번 대상에 대해 예측 결과값의 프레임 개수를 나타낸 것이며, (C)는 1번과 n번 대상에 대해 예측 결과값의 프레임 개수를 나타낸 것이다.At this time, the average value of the AI prediction result value as shown in FIG. 5 or the number of frames or the number of frames as shown in FIG. 6 can be normalized and displayed on the screen at a ratio of frames (for example, 1 to 100). have. In FIG. 6, (A) represents the number of frames of the prediction result value for object 1, (B) represents the number of frames of the prediction result value for object n, such as 1, and (C) represents 1 It shows the number of frames of the predicted result value for targets No. and n.

또한, 상기 단계 S204에서 AI 예측 결과값을 화면에 표시함에 있어서, AI 예측 결과값에서 노이즈(noise)를 제외하고 응집도(신뢰도) 높은 최종 예측 결과를 표시할 수 있다. 즉, 도 7의 (A)에 도시된 바와 같이, 각 클래스의 예측 결과를 계산할 수 있으나, 예측 결과에는 노이즈(noise) 같은 결과가 포함될 수 있다. 따라서 도 7의 (B)와 같이, 노이즈 같은 결과를 제외한, 응집도(신뢰도) 높은 최종 예측 결과를 표시(제공)하는 것이다.In addition, in displaying the AI prediction result value on the screen in step S204, a final prediction result having a high degree of aggregation (reliability) may be displayed by excluding noise from the AI prediction result value. That is, as shown in (A) of FIG. 7, the prediction result of each class may be calculated, but the prediction result may include a result such as noise. Therefore, as shown in (B) of FIG. 7, the final prediction result having a high degree of aggregation (reliability) is displayed (provided), excluding results such as noise.

또한, 상기 단계 S204에서 AI 예측 결과값을 화면에 표시함에 있어서, 누적 저장된 예측 결과에 분석을 적용하여 아웃라이어(outlier)를 찾아내고, 그 아웃라이어를 예측 결과에서 제외하여 최종 예측 결과를 표시할 수 있다. 이때, 동일 대상의 예측 값들에 LOF(Local Outlier Factor) 분석을 적용하여 아웃라이어(outlier)를 찾아낼 수 있다. 즉, 도 8의 (A)와 같은 대상에 대한 예측 결과에 대해 LOF(Local Outlier Factor) 분석을 적용하여, 도 8의 (B)와 같이 아웃라이어(outlier)("x"로 표시)를 찾아내고, 이와 같은 아웃라이어를 예측 결과에서 제외하여 최종적으로 응집도가 높은 예측 결과(검은 점 표시)를 표시(제공)하는 것이다. In addition, in displaying the AI prediction result value on the screen in step S204, an outlier is found by applying analysis to the accumulated and stored prediction result, and the final prediction result is displayed by excluding the outlier from the prediction result. I can. In this case, an outlier may be found by applying a LOF (Local Outlier Factor) analysis to predicted values of the same target. That is, by applying LOF (Local Outlier Factor) analysis to the prediction result for the target as shown in (A) of FIG. 8, outliers (indicated by "x") as shown in (B) of FIG. 8 are found. The outlier is excluded from the prediction result, and the prediction result (black dot mark) with a high degree of aggregation is displayed (provided).

도 9는 동일 대상의 예측 값들에 LOF 분석을 적용하여 아웃라이어(outlier)를 찾아내고 응집도가 높은 예측 결과를 표시하는 일 예를 나타낸 도면이다.9 is a diagram illustrating an example in which an outlier is found by applying an LOF analysis to predicted values of the same object and a prediction result having a high degree of aggregation is displayed.

도 9를 참조하면, (A)와 같이 1번 대상 및 1번과 같은 n번 대상에 대해 각각 예측 값들에 LOF 분석을 적용하여 아웃라이어(outlier)를 찾아내고, 최종적으로 (B)와 같이 1번과 n번 대상에 대한 결과로서 응집도가 높은 예측 결과를 표시할 수 있다. 여기서, 이와 관련하여 조금 더 보충 설명을 해보기로 한다. Referring to FIG. 9, an outlier is found by applying an LOF analysis to each predicted value for an object 1 and an object n such as 1 as shown in (A), and finally 1 as shown in (B). As a result of targets #1 and #n, prediction results with a high degree of aggregation can be displayed. Here, a little more supplementary explanation will be given in this regard.

상기 1번, n번 대상 각각 LOF 분석이 가능하며, 1번과 n번 대상에 대한 결과는 위의 LOF 결과를 합치는 것이 아니고, 1번과 n번의 포인트 값들을 합친 후, 새롭게 LOF를 적용하게 된다. 이는 1번과 n번의 결과가 합쳐졌을 때, LOF를 적용하면 응집도가 바뀌게 되어 있기 때문이다.LOF analysis is possible for each of the 1st and nth targets, and the results for the 1st and nth targets are not combined with the above LOF results, but after adding the 1st and nth point values, a new LOF is applied. do. This is because when the results of No. 1 and No. n are combined, the degree of cohesion is changed by applying LOF.

이때, 도 10과 같이, 상기 아웃라이어를 제외한 예측 결과값에 대한 평균값을 표시하거나, 도 11과 같이 아웃라이어를 제외한 예측 결과값에 대한 프레임 개수나 프레임 개수를 정규화하여 프레임의 비율로(예를 들면, 1∼100으로) 나타낼 수 있다.At this time, as shown in FIG. 10, the average value of the prediction result values excluding the outliers is displayed, or as shown in FIG. 11, the number of frames or the number of frames for the prediction result values excluding the outliers is normalized and For example, it can be represented by 1-100).

한편, 도 12∼도 14는 본 발명에 따른 AI 예측 모델을 이용한 예측 결과의 시각화 방법에 있어서, 예측 결과를 점(point)이 아닌 다른 형태로 표시한 예를 나타낸 도면이다.Meanwhile, FIGS. 12 to 14 are diagrams showing examples in which prediction results are displayed in a form other than points in a method for visualizing prediction results using an AI prediction model according to the present invention.

도 12를 참조하면, 이는 본 발명에 따른 AI 예측 모델을 이용한 예측 결과의 시각화 방법에서 예측 결과를 전술한 바와 같이 점(point)으로 표시하는 것이 아닌 다른 형태로 표시하는 것으로서, 확률이 높을수록 바깥쪽으로(0.5∼1, 50∼100%) 표시되고, 프레임 수가 클수록 원의 크기도 커지며, 중요한 부분을 시각적으로 빨리 확인할 수 있도록 4분면의 색상을 달리해서 표시할 수 있다. 도 12의 (A)와 같이 두 개의 대상이 발견된 경우, 하나는 A 75%/D 75%이고 24 프레임이 나오고, 또 다른 하나는 B 62%/ D 65%이고 3 프레임이 나오는 것으로 표시될 수 있다. (B)는 (A)와 같은 표시 형태를 누적해서 표시할 경우를 나타낸 것이다.Referring to FIG. 12, this is to display the prediction result in a form other than the point as described above in the visualization method of the prediction result using the AI prediction model according to the present invention. It is displayed to the side (0.5 to 1, 50 to 100%), and the larger the number of frames, the larger the size of the circle, and the color of the quadrant can be changed so that important parts can be visually identified quickly. As shown in (A) of FIG. 12, when two objects are found, one is A 75%/D 75% and 24 frames come out, the other is B 62%/D 65% and 3 frames are displayed. I can. (B) shows the case where the same display type as (A) is accumulated and displayed.

도 13은 대응하는 클래스를 각각 반대편에 배치하는 형태로 예측 결과를 표시한 예를 나타낸 도면이다.13 is a diagram showing an example in which prediction results are displayed in a form in which corresponding classes are arranged on opposite sides.

도 13에 도시된 바와 같이, 대응하는 클래스(A-B, C-D, E-F)를 각각 반대편에 배치하고, 처음 대상이 검출된 구간부터 1 프레임으로 시작하여 확률을 누적한다. 그리고 정규화를 위해 "(각 클래스별 누적 확률)/(해당 대상이 검출된 누적 프레임수)"를 적용한다.As shown in FIG. 13, corresponding classes (A-B, C-D, E-F) are arranged on opposite sides, and the probability is accumulated starting with one frame from the section where the first object is detected. And for normalization, "(accumulative probability for each class)/(accumulated number of frames in which the target is detected)" is applied.

예를 들어, 하나의 대상에서 10 프레임이 진행된 경우, F의 누적 확률은 8.6일 때, F는 0.86만큼 확장하고, C의 누적 확률은 7.6일 때, C는 0.76만큼 확장하며, B의 누적 확률은 5.3일 때, B는 0.53만큼 확장하는 것으로 표시될 수 있다.For example, if 10 frames have progressed in one object, when the cumulative probability of F is 8.6, F expands by 0.86, the cumulative probability of C is 7.6, and C expands by 0.76, and the cumulative probability of B When is 5.3, B can be expressed as expanding by 0.53.

도 14는 예측 결과를 4분면 색상 표시, 그레이 존 표시 및 프레임수에 따른 히트맵 표시를 각각 나타낸 도면이다.FIG. 14 is a diagram showing a prediction result of a quadrant color display, a gray zone display, and a heat map display according to the number of frames.

도 14를 참조하면, (A)와 같이 예측 결과에 대해 4분면을 각각 다른 색상으로 표시할 수도 있고, (B)와 같이 4분면의 일정 영역을 그레이 존(gray zone)으로 표시할 수도 있으며, 그레이 존의 면적은 1 또는 100%의 값이 되도록 표시할 수 있다. 그리고 (C)와 같이 프레임수에 따른 히트맵으로 표시할 수도 있다.Referring to FIG. 14, as shown in (A), the four quadrants for the prediction results may be displayed in different colors, or as shown in (B), a certain area of the quadrant may be displayed as a gray zone. The area of the gray zone can be displayed to be a value of 1 or 100%. And, as shown in (C), it can also be displayed as a heat map according to the number of frames.

이상의 설명과 같이, 본 발명에 따른 AI 예측 모델을 이용한 예측 결과의 시각화 방법은, 2가지 속성을 갖는 대상에 대한 예측 결과를 분석하기 쉽게 화면에 표시함으로써 실시간 예측 결과를 분석하기 편리하게 나타내어 사용할 수 있는 장점이 있다.As described above, the visualization method of prediction results using an AI prediction model according to the present invention can be used to conveniently analyze real-time prediction results by displaying prediction results for objects having two attributes on the screen in an easy to analyze. There is an advantage.

또한, 예측된 결과에서 노이즈와 같은 결과를 제외하여 응집도(신뢰도) 높은 예측 결과를 제공할 수 있는 장점이 있다.In addition, there is an advantage of providing a prediction result with high degree of aggregation (reliability) by excluding a result such as noise from the predicted result.

또한, 중심값을 0.5, 50%로 시작하도록 하여 결과값의 모호함을 쉽게 분석할 수 있는 장점이 있다. In addition, there is an advantage that it is possible to easily analyze the ambiguity of the result value by starting the center value with 0.5 and 50%.

또한, 평면상에 누적 분포와 평균값, 프레임 수 등의 여러 결과를 한꺼번에 나타낼 수 있는 장점이 있다.In addition, there is an advantage in that multiple results such as cumulative distribution, average value, and number of frames can be displayed on a plane at once.

또한, 실시간 검사 후 추가 학습데이터로 포함할 수 있는 대상들을 수집하는데 적용할 수 있는 장점이 있다.In addition, there is an advantage that can be applied to collect objects that can be included as additional learning data after real-time inspection.

이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양하게 변경, 응용될 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다. 따라서, 본 발명의 진정한 보호 범위는 다음의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.As described above, the present invention has been described in detail through preferred embodiments, but the present invention is not limited thereto, and various modifications and applications can be made within the scope of the technical spirit of the present invention. It is self-explanatory to the technician. Therefore, the true scope of protection of the present invention should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be interpreted as being included in the scope of the present invention.

101: 입력층 102: 컨볼루션층
103: 풀링층 104: 완전결합층101: input layer 102: convolution layer
103: pooling layer 104: complete bonding layer

Claims (11)

컴퓨터 시스템을 이용하여 시각화 방법의 구현을 위해 미리 제작된 AI 예측 모델을 학습시키고, 상기 AI 예측 모델을 이용하여 대상을 촬영한 영상에 대한 결과를 예측하여, 그 예측 결과를 시각화하는 방법으로서,
a) 임의의 객체의 실제 촬영 영상에서 제1 대립이 되는 속성 A, B를 갖는 영상을 2차원 평면상의 특정 지점을 기준으로 상기 속성 A, B가 서로 대면하도록 2차원 평면상에 배치하는 단계와;
b) 상기 임의의 객체의 영상에서 제2 대립이 되는 속성을 갖는 영상을 상기 제1 대립의 속성을 갖는 영상과 상기 특정 지점을 기준으로 직교하도록 상기 2차원 평면상에 배치하는 단계와;
c) 상기 2차원 평면상에서 동일 대상(target)이 검출되면, 상기 AI 예측 모델을 이용하여 점(point)의 형태 또는 원의 형태, 대응하는 클래스를 각각 반대편에 배치하는 형태, 4분면을 각각 다른 색상으로 표시하는 형태, 4분면의 일정 영역을 그레이 존으로 표시하는 형태, 프레임수에 따른 히트맵 형태 중의 어느 하나의 형태로 예측 결과를 2차원 평면상에 표시를 시작하고, 동일 대상이 사라지면 예측 결과를 저장하고 평면을 초기화(reset)하는 단계; 및
d) 발견된 각 대상 또는 상기 동일 대상에 대한 AI 예측 모델에 의한 예측 결과값을 최종적으로 2차원 평면의 화면에 표시하여 시각화하는 단계를 포함하고,
상기 단계 d)에서 상기 발견된 각 대상에 대한 AI 예측 모델에 의한 예측 결과값을 화면에 표시함에 있어서, 예측 결과값의 평균값을 화면에 표시하거나, 동일 대상에 대한 AI 예측 결과값들을 수집하여 평균값으로 화면에 표시하는 것을 특징으로 하는 AI 예측 모델을 이용한 예측 결과의 시각화 방법.
As a method of learning an AI prediction model prepared in advance to implement a visualization method using a computer system, predicting a result of an image photographed by using the AI prediction model, and visualizing the prediction result,
a) An image having attributes A and B that are the first confrontation in the actual photographed image of an arbitrary object, based on a specific point on the 2D plane, is Arranging on a two-dimensional plane to face each other;
b) arranging an image having a property corresponding to a second conflict in the image of the arbitrary object on the 2D plane so that the image having the property of the first conflict and the specific point are orthogonal to each other;
c) When the same target is detected on the 2D plane, using the AI prediction model, the shape of a point or a shape of a circle, a shape of placing a corresponding class on the opposite side, and a quadrant are different. Prediction results are displayed on a two-dimensional plane in any one of a color display, a certain area of the quadrant as a gray zone, and a heat map according to the number of frames, and prediction when the same object disappears. Storing the result and resetting the plane; And
d) visualizing by finally displaying a prediction result value by an AI prediction model for each discovered object or the same object on a screen of a two-dimensional plane,
In displaying the prediction result value by the AI prediction model for each object found in step d) on the screen, the average value of the prediction result value is displayed on the screen, or the average value by collecting AI prediction result values for the same object Visualization method of prediction results using an AI prediction model, characterized in that displayed on the screen.
 제1항에 있어서,
상기 단계 a) 및 b)에서 상기 특정 지점은 중심값과 상하좌우 최대값을 가지며, 상기 중심값은 50% 또는 0.5로 설정되고, 상기 상하좌우 최대값은 100% 또는 1로 설정되는 것을 특징으로 하는 AI 예측 모델을 이용한 예측 결과의 시각화 방법.
The method of claim 1,
In the steps a) and b), the specific point has a center value and a maximum value of the top, bottom, left and right, the center value is set to 50% or 0.5, and the maximum value of the top, bottom, left and right is set to 100% or 1. Visualization of prediction results using an AI prediction model.
 제1항에 있어서,
상기 단계 c)에서 상기 AI 예측 모델에 의한 예측 결과를 분석을 위해 X, Y 좌표값으로 변환하여 누적 저장하는 것을 특징으로 하는 AI 예측 모델을 이용한 예측 결과의 시각화 방법.
The method of claim 1,
In the step c), the prediction result by the AI prediction model is converted into X and Y coordinate values for analysis and accumulated and stored.
 제3항에 있어서,
상기 X, Y 좌표값은 0∼100의 값을 가지는 것을 특징으로 하는 AI 예측 모델을 이용한 예측 결과의 시각화 방법.
The method of claim 3,
The X and Y coordinate values have a value ranging from 0 to 100. A method of visualizing a prediction result using an AI prediction model.
 제1항에 있어서,
상기 단계 c)에서 상기 저장한 예측 결과는 추후에 동일 대상에 대해 예측 결과를 분석할 때 불러와서 동일 대상이 여러 번 나타난 것에 대해 다시 분석하는 것을 특징으로 하는 AI 예측 모델을 이용한 예측 결과의 시각화 방법.
The method of claim 1,
The prediction result stored in step c) is called when a prediction result is analyzed for the same object at a later time, and the prediction result is visualized using an AI prediction model, characterized in that the same object is re-analyzed for appearances several times. .
 삭제delete 제1항에 있어서,
상기 AI 예측 결과값에 대한 평균값 또는 프레임 개수나 프레임 개수를 정규화한 프레임 비율로 화면에 표시하는 것을 특징으로 하는 AI 예측 모델을 이용한 예측 결과의 시각화 방법.
The method of claim 1,
A method of visualizing a prediction result using an AI prediction model, characterized in that the average value of the AI prediction result value or the number of frames or the number of frames are displayed on a screen at a normalized frame rate.
 제1항에 있어서,
상기 단계 d)에서 AI 예측 결과값을 화면에 표시함에 있어서, AI 예측 결과값에서 노이즈(noise)를 제외하고 응집도(신뢰도) 높은 최종 예측 결과를 표시하는 것을 특징으로 하는 AI 예측 모델을 이용한 예측 결과의 시각화 방법.
The method of claim 1,
When displaying the AI prediction result value on the screen in step d), the prediction result using an AI prediction model, characterized in that the final prediction result with high cohesion (reliability) is displayed except for noise from the AI prediction result value. Visualization method.
 제1항에 있어서,
상기 단계 d)에서 AI 예측 결과값을 화면에 표시함에 있어서, 누적 저장된 예측 결과에 분석을 적용하여 아웃라이어(outlier)를 찾아내고, 그 아웃라이어를 예측 결과에서 제외하여 최종 예측 결과를 표시하는 것을 특징으로 하는 AI 예측 모델을 이용한 예측 결과의 시각화 방법.
The method of claim 1,
In displaying the AI prediction result value on the screen in step d), an outlier is found by applying analysis to the accumulated and stored prediction result, and the final prediction result is displayed by excluding the outlier from the prediction result. Visualization method of prediction results using the characterized AI prediction model.
 제9항에 있어서,
동일 대상의 예측 값들에 LOF(Local Outlier Factor) 분석을 적용하여 아웃라이어(outlier)를 찾아내는 것을 특징으로 하는 AI 예측 모델을 이용한 예측 결과의 시각화 방법.
The method of claim 9,
A method for visualizing prediction results using an AI prediction model, characterized in that an outlier is found by applying a LOF (Local Outlier Factor) analysis to prediction values of the same target.
 제9항에 있어서,
상기 아웃라이어를 제외한 예측 결과값에 대한 평균값 또는 프레임 개수나 프레임 개수를 정규화한 프레임 비율로 표시하는 것을 특징으로 하는 AI 예측 모델을 이용한 예측 결과의 시각화 방법.The method of claim 9,
A method of visualizing a prediction result using an AI prediction model, characterized in that the average value of the prediction result excluding the outliers, or the number of frames or the number of frames are displayed as a normalized frame rate.
KR1020200131580A 2020-10-13 2020-10-13 Method for visualizing result of prediction using AI(Artificial Intelligence) prediction model KR102210250B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200131580A KR102210250B1 (en) 2020-10-13 2020-10-13 Method for visualizing result of prediction using AI(Artificial Intelligence) prediction model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200131580A KR102210250B1 (en) 2020-10-13 2020-10-13 Method for visualizing result of prediction using AI(Artificial Intelligence) prediction model

Publications (1)

Publication Number Publication Date
KR102210250B1 true KR102210250B1 (en) 2021-02-01

Family

ID=74571655

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200131580A KR102210250B1 (en) 2020-10-13 2020-10-13 Method for visualizing result of prediction using AI(Artificial Intelligence) prediction model

Country Status (1)

Country Link
KR (1) KR102210250B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116580127A (en) * 2023-07-13 2023-08-11 科大讯飞股份有限公司 Image generation method, device, electronic equipment and computer readable storage medium

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009289093A (en) * 2008-05-30 2009-12-10 Sound-F Co Ltd Investment trust-analyzing method, device, and program
KR20120040429A (en) * 2010-10-19 2012-04-27 주식회사 라이프사이언스테크놀로지 System and control method for feedback of user emotion by robot
JP2013524984A (en) * 2010-04-28 2013-06-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Visualization of myocardial infarct size in diagnostic ECG
KR101484263B1 (en) * 2013-10-24 2015-01-16 주식회사 에스원 System and method for detecting violence
KR20180049648A (en) * 2016-11-03 2018-05-11 홍익대학교 산학협력단 Prediction method of object's next position using classification model and a device for the same
KR20180108210A (en) 2017-03-24 2018-10-04 삼성메디슨 주식회사 Method and apparatus for displaying medical images
KR20190050145A (en) * 2017-11-02 2019-05-10 주식회사 씨티아이랩 Waste Metal Scrap Classification Method and Apparatus Based on Deep Learning
KR20200018227A (en) * 2018-08-10 2020-02-19 오로라 플라이트 사이언시스 코퍼레이션 Object-Tracking System
KR102141781B1 (en) * 2020-04-06 2020-08-06 주식회사 넥스파시스템 Object Re-IdentificatioApparatus Using Locally Matching Method and Its Method
CN111693658A (en) * 2020-06-11 2020-09-22 上海交通大学 Food quality identification method based on fusion of multiple intelligent sensory data

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009289093A (en) * 2008-05-30 2009-12-10 Sound-F Co Ltd Investment trust-analyzing method, device, and program
JP2013524984A (en) * 2010-04-28 2013-06-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Visualization of myocardial infarct size in diagnostic ECG
KR20120040429A (en) * 2010-10-19 2012-04-27 주식회사 라이프사이언스테크놀로지 System and control method for feedback of user emotion by robot
KR101484263B1 (en) * 2013-10-24 2015-01-16 주식회사 에스원 System and method for detecting violence
KR20180049648A (en) * 2016-11-03 2018-05-11 홍익대학교 산학협력단 Prediction method of object's next position using classification model and a device for the same
KR20180108210A (en) 2017-03-24 2018-10-04 삼성메디슨 주식회사 Method and apparatus for displaying medical images
KR20190050145A (en) * 2017-11-02 2019-05-10 주식회사 씨티아이랩 Waste Metal Scrap Classification Method and Apparatus Based on Deep Learning
KR20200018227A (en) * 2018-08-10 2020-02-19 오로라 플라이트 사이언시스 코퍼레이션 Object-Tracking System
KR102141781B1 (en) * 2020-04-06 2020-08-06 주식회사 넥스파시스템 Object Re-IdentificatioApparatus Using Locally Matching Method and Its Method
CN111693658A (en) * 2020-06-11 2020-09-22 上海交通大学 Food quality identification method based on fusion of multiple intelligent sensory data

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116580127A (en) * 2023-07-13 2023-08-11 科大讯飞股份有限公司 Image generation method, device, electronic equipment and computer readable storage medium
CN116580127B (en) * 2023-07-13 2023-12-01 科大讯飞股份有限公司 Image generation method, device, electronic equipment and computer readable storage medium

Similar Documents

Publication Publication Date Title
US10733431B2 (en) Systems and methods for optimizing pose estimation
US10796452B2 (en) Optimizations for structure mapping and up-sampling
Zhang et al. Joint learning of image detail and transmission map for single image dehazing
US20190311223A1 (en) Image processing methods and apparatus, and electronic devices
Molnár et al. Illumination-robust variational optical flow using cross-correlation
CN111881804B (en) Posture estimation model training method, system, medium and terminal based on joint training
CN111753698A (en) Multi-mode three-dimensional point cloud segmentation system and method
KR101618996B1 (en) Sampling method and image processing apparatus for estimating homography
Liu et al. Single-view 3D scene reconstruction and parsing by attribute grammar
CN110659664A (en) SSD-based method for high-precision identification of small objects
CN111914938B (en) Image attribute classification and identification method based on full convolution two-branch network
KR102210250B1 (en) Method for visualizing result of prediction using AI(Artificial Intelligence) prediction model
CN114612902A (en) Image semantic segmentation method, device, equipment, storage medium and program product
CN116596846A (en) Image segmentation method, image segmentation model construction method, device and medium
KR102249623B1 (en) Method for visualizing two results of prediction using AI(Artificial Intelligence) prediction model
Yar et al. An Effective Attention-based CNN Model for Fire Detection in Adverse Weather Conditions
Amer et al. Monocular Extraction of 2.1 D Sketch.
Filipic et al. People counting using visible and infrared images
KR102229381B1 (en) Method for adding training data using the prediction results of AI(Artificial Intelligence) prediction model
Gao et al. CI-Net: A joint depth estimation and semantic segmentation network using contextual information
Mohan et al. Room layout estimation in indoor environment: a review
Chithra et al. 3D LiDAR point cloud image codec based on Tensor
Hyun et al. Hardware-friendly architecture for a pseudo 2D weighted median filter based on sparse-window approach
CN113610856B (en) Method and device for training image segmentation model and image segmentation
Lu et al. Learning to complete partial observations from unpaired prior knowledge

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant