KR102249623B1 - Ai 예측 모델을 이용한 2개의 예측 결과의 시각화 방법 - Google Patents

Ai 예측 모델을 이용한 2개의 예측 결과의 시각화 방법 Download PDF

Info

Publication number
KR102249623B1
KR102249623B1 KR1020200145677A KR20200145677A KR102249623B1 KR 102249623 B1 KR102249623 B1 KR 102249623B1 KR 1020200145677 A KR1020200145677 A KR 1020200145677A KR 20200145677 A KR20200145677 A KR 20200145677A KR 102249623 B1 KR102249623 B1 KR 102249623B1
Authority
KR
South Korea
Prior art keywords
prediction
results
prediction model
result
model
Prior art date
Application number
KR1020200145677A
Other languages
English (en)
Inventor
금지수
Original Assignee
주식회사 웨이센
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 웨이센 filed Critical 주식회사 웨이센
Priority to KR1020200145677A priority Critical patent/KR102249623B1/ko
Application granted granted Critical
Publication of KR102249623B1 publication Critical patent/KR102249623B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 AI 예측 모델을 이용한 2개의 예측 결과의 시각화 방법에 관한 것이다.
본 발명에 따른 AI 예측 모델을 이용한 2개의 예측 결과의 시각화 방법은, 컴퓨터 시스템에 의해 임의의 객체의 실제 촬영 영상 데이터를 입력받는 단계와; 한 개의 AI 예측 모델에 의해 상기 입력받은 영상 데이터를 추론하여 입력받은 영상 데이터에 대한 2개의 결과를 각각 예측하는 단계와; 한 개의 AI 예측 모델에 의한 2개의 예측 결과가 서로 동일한지를 판별하는 단계와; 한 개의 AI 예측 모델의 2개의 예측 결과가 서로 동일하지 않으면, 한 개의 AI 예측 모델의 2개의 예측 결과를 좌표로 각각 변환하여 누적 저장하는 단계와; 한 개의 AI 예측 모델의 2개의 예측 결과가 서로 동일하면, 한 개의 AI 예측 모델의 2개의 예측 결과를 좌표로 각각 변환하여 화면에 표시 및 누적 저장하는 단계와; 한 개의 AI 예측 모델의 2개의 예측 결과가 서로 동일한 경우, 예측 결과에 대한 분석 여부를 판별하는 단계와; 예측 결과에 대한 분석이 필요한 경우, 예측 결과에 대하여 분석하고, 분석 결과를 화면(평면)에 표시하여 시각화 하는 단계를 포함한다.

Description

AI 예측 모델을 이용한 2개의 예측 결과의 시각화 방법{Method for visualizing two results of prediction using AI(Artificial Intelligence) prediction model}
본 발명은 AI(Artificial Intelligence) 예측 모델을 이용한 2개의 예측 결과의 시각화 방법에 관한 것으로서, 더 상세하게는 실시간으로 동작하는 AI 예측 모델의 2개의 예측 결과를 평면에 시각화 하는 AI 예측 모델을 이용한 2개의 예측 결과의 시각화 방법에 관한 것이다.
최근 프로세서 및 메모리 등의 반도체 기술이 급속히 발전함에 따라, 인공지능(AI) 기술도 발전하고 있다. 이에 따라 AI 기술을 이용한 서비스도 광범위하게 여러 분야에서 개발되고 있다. 예를 들면, 딥러닝 기술이 인공지능 기술 분야에서 주목받고 있으며, 데이터 분석, 영상 인식, 자연어 처리 등과 같은 다양한 분야에서 뛰어난 결과를 보이고 있다.
어떤 객체(사물)에 대한 영상의 예측 결과를 수치로 표시하는 경우, 다음 영상으로 지나가면 이전 영상 결과값을 확인하기 어려운 문제가 있다. 그리고 영상의 예측 결과를 평균 값으로 표시하는 경우에는 최대/최소 등 관련성을 확인하기 어렵고, 추가적인 결과 산출 방법이 필요하다. 또한, 영상의 예측 결과를 시계열 데이터로 가정하고 그래프 형태로 표시하면, 형태만 알 수 있어 2가지 속성(복합 특성)을 함께 보기에는 적합하지 않다. 또한, 영상의 예측 결과를 테이블 형태로 표시하는 경우, 수치 데이터가 많아 관련성을 시각적으로 확인하기 어려운 문제가 있다.
한편, 한국 공개특허공보 제10-2018-0108210호(특허문헌 1)에는 "의료 영상 표시 방법 및 의료 영상 표시 장치"가 개시되어 있는바, 이에 따른 의료 영상 표시 방법은, 실시간으로 촬영되는 대상체의 의료 영상 및 상기 의료 영상에 정합되는 상기 대상체의 제1 참조 영상을 표시하는 단계; 상기 의료 영상 내에서, 상기 대상체의 형태가 왜곡된 제1 영역의 인접 영역의 영상 정보를 획득하는 단계; 상기 제1 영역의 인접 영역의 영상 정보에 기초하여, 상기 제1 영역의 영상 정보를 예측하는 단계; 및 상기 예측 결과에 기초하여, 상기 제1 참조 영상에서 상기 대상체에 대응되는 영역을 재구성하여 표시하는 단계를 포함하는 것을 특징으로 한다.
이상과 같은 특허문헌 1의 경우, 실시간 의료 영상 내에서 왜곡되거나 유실된 대상체의 영역을 예측하고, 예측 결과에 기초하여 대상체의 영역을 재구성할 수 있고, 재구성된 대상체의 영상 정보에 기초하여 대상체의 참조 영상을 재구성하여 표시할 수 있는 장점이 있으나, 이는 실시간으로 촬영되는 대상체의 의료 영상을 바탕으로 대상체의 형태가 왜곡된 제1 영역의 인접 영역의 영상 정보를 획득하고, 획득된 제1 영역의 인접 영역의 영상 정보에 기초하여 제1 영역의 영상 정보를 예측하고, 예측 결과에 기초하여 대상체에 대응되는 영역을 재구성하여 표시하도록 되어 있어, 대상체의 실제 의료 영상과 가까운 영상을 표시할 수 있을지는 몰라도 대상체에 대한 AI 모델의 2개의 예측 결과를 표시하기는 어려운 단점이 있다.
한국 공개특허공보 제10-2018-0108210호(2018.10.04.)
본 발명은 상기와 같은 사항을 종합적으로 감안하여 창출된 것으로서, 2 클래스로 분류되는 AI 예측 결과를 화면에 시각화 함에 있어서 동일 대상(target) 단위로 확인하기 쉽도록 AI 예측 모델의 2개의 예측 결과를 평면에 시각화 하는 AI 예측 모델을 이용한 2개의 예측 결과의 시각화 방법을 제공함에 그 목적이 있다.
상기의 목적을 달성하기 위하여 본 발명에 따른 AI 예측 모델을 이용한 2개의 예측 결과의 시각화 방법은,
컴퓨터 시스템을 이용하여 시각화 방법의 구현을 위해 미리 제작된 AI 예측 모델을 학습시키고, 상기 AI 예측 모델을 이용하여 대상으로 하는 객체의 촬영 영상에 대한 2개의 결과를 예측하여, 그 2개의 예측 결과를 시각화 하는 방법으로서,
a) 컴퓨터 시스템에 의해 임의의 객체의 실제 촬영 영상 데이터를 입력받는 단계와;
b) 한 개의 AI 예측 모델에 의해 상기 입력받은 영상 데이터를 추론(inference)하여 입력받은 영상 데이터에 대한 2개의 결과를 각각 예측하는 단계와;
c) 상기 한 개의 AI 예측 모델에 의한 2개의 예측 결과가 서로 동일한지를 판별하는 단계와;
d) 상기 판별에서 한 개의 AI 예측 모델의 2개의 예측 결과가 서로 동일하지 않으면, 한 개의 AI 예측 모델의 2개의 예측 결과를 좌표로 각각 변환하여 누적 저장하는 단계와;
e) 상기 판별에서 한 개의 AI 예측 모델의 2개의 예측 결과가 서로 동일하면, 한 개의 AI 예측 모델의 2개의 예측 결과를 좌표로 각각 변환하여 화면에 표시 및 누적 저장하는 단계와;
f) 상기 한 개의 AI 예측 모델의 2개의 예측 결과가 서로 동일한 경우, 예측 결과에 대한 분석 여부를 판별하는 단계; 및
g) 상기 판별에서 예측 결과에 대한 분석이 필요한 경우, 예측 결과에 대하여 분석하고, 분석 결과를 화면(평면)에 표시하여 시각화 하는 단계를 포함하는 점에 그 특징이 있다.
여기서, 상기 한 개의 AI 예측 모델을 이용하여 2개의 결과를 예측할 경우에 이용되는 AI 예측 모델은 신경망 모델의 컨볼루션층(convolution layer)은 공유하고, 완전 결합층(fully connected layer)은 브랜치(branch)로 구성할 수 있다.
삭제
이때, 또한 상기 브랜치로 구성한 완전 결합층은 랜덤하게 연결강도를 초기화하고, 드롭아웃(dropout) 비율도 다르게 적용할 수 있다.
또한, 상기 단계 e)에서 상기 한 개의 AI 예측 모델의 2개의 예측 결과를 화면에 표시함에 있어서, 상기 2개의 예측 결과 중 하나의 예측 결과를 화면의 2차원 평면상의 x축에 나타내고, 상기 2개의 예측 결과 중 다른 하나의 예측 결과를 2차원 평면상의 y축에 나타낼 수 있다.
이때, 상기 2차원 평면의 중심점은 50% 또는 0.5로 설정되고, 상하좌우 최대값은 100% 또는 1로 설정될 수 있다.
또한, 상기 단계 e)에서 상기 한 개의 AI 예측 모델의 2개의 예측 결과를 화면에 표시함에 있어서, 동일 대상이 검출되면 점(point)의 형태로 예측 결과를 평면상에 표시를 시작하고, 대상이 사라지면 예측 결과를 저장하고, 평면을 초기화(리셋)할 수 있다.
이때, 상기 저장한 예측 결과는 동일 대상에 대해 예측 결과를 분석할 때, 불러와서 동일 대상이 여러 번 나타난 것에 대해 다시 분석할 수 있다.
또한, 상기 단계 e)에서 상기 한 개의 AI 예측 모델의 2개의 예측 결과를 화면에 표시함에 있어서, 많이 분류된 결과에 대해, 상기 영상 데이터의 한 프레임(frame)에 대한 상기 한 개의 AI 예측 모델의 2개의 예측값의 평균값을 구하고, 상기 영상 데이터의 전체 프레임에 대한 평균값으로 최종 결과를 표시할 수 있다.
또한, 상기 단계 e)에서 상기 한 개의 AI 예측 모델의 2개의 예측 결과를 화면에 표시함에 있어서, 많이 분류된 결과에 대해, 상기 한 개의 AI 예측 모델의 2개의 예측 결과값의 최대값들에 대한 평균값을 표시할 수 있다.
또한, 상기 단계 e)에서 상기 한 개의 AI 예측 모델의 2개의 예측 결과를 화면에 표시함에 있어서, 예측 결과값에 대한 상기 영상 데이터의 프레임 개수를 표시할 수 있다.
또한, 상기 단계 f)의 판별에서 예측 결과에 대한 분석이 필요하지 않은 경우, 상기 단계 a)로 프로세스를 회귀하는 단계를 더 포함할 수 있다.
또한, 상기 단계 g)에서 예측 결과에 대하여 분석함에 있어서, LOF(Local Outlier Factor) 분석을 적용하여 예측 결과를 분석할 수 있다.
또한, 상기 단계 g)에서 분석 결과를 화면(평면)에 표시함에 있어서, 예측 결과에 LOF(Local Outlier Factor) 분석을 적용하여 아웃라이어(outlier)를 찾아내고, 예측 결과에서 아웃라이어(outlier)를 제외하고 응집도가 높은 예측 결과를 표시할 수 있다.
또한, 상기 단계 g)에서 분석 결과를 화면(평면)에 표시함에 있어서, 아웃라이어(outlier)를 제외한 상기 한 개의 AI 예측 모델의 2개의 예측 결과값에 대한 평균값을 표시할 수 있다.
또한, 상기 단계 g)에서 분석 결과를 화면(평면)에 표시함에 있어서, 아웃라이어(outlier)를 제외한 상기 한 개의 AI 예측 모델의 2개의 예측 결과값의 최대값들에 대한 평균값을 표시할 수 있다.
또한, 상기 단계 g)에서 분석 결과를 화면(평면)에 표시함에 있어서, 아웃라이어(outlier)를 제외한 상기 한 개의 AI 예측 모델의 2개의 예측 결과값에 대한 상기 영상 데이터의 프레임 개수를 표시할 수 있다.
이와 같은 본 발명에 의하면, 2개의 AI 예측 모델의 실시간 예측 결과를 분석하기 편리하게 나타내어 사용할 수 있고, 평면상에 누적 분포와 평균값, 프레임 수 등의 여러 결과를 한꺼번에 나타낼 수 있는 장점이 있다.
또한, 실시간 검사 후 추가 학습데이터로 포함할 수 있는 대상들을 수집하는데 적용할 수 있는 장점이 있다.
도 1은 신경망 모델의 일대일 분류 모델, 2개의 일대일 분류 모델을 사용한 경우 및 일대다 분류 모델을 나타낸 도면이다.
도 2는 본 발명에 따른 AI 예측 모델을 이용한 2개의 예측 결과의 시각화 방법의 실행 과정을 나타낸 흐름도이다.
도 3은 본 발명에 따른 AI 예측 모델을 이용한 2개의 예측 결과의 시각화 방법에 도입되는 AI 예측 모델의 구성을 도식적으로 나타낸 도면이다.
도 4는 2개의 AI 예측 모델의 예측 결과가 동일한 경우, 예측 결과를 좌표로 변환하여 화면에 표시한 것을 나타낸 도면이다.
도 5는 동일 대상이 검출되면 점의 형태로 예측 결과를 평면상에 표시를 시작하고, 대상이 사라지면 평면을 초기화(리셋)하는 것을 나타낸 도면이다.
도 6은 한 프레임에 대한 두 모델의 예측값의 평균을 구하고, 전체 프레임에 대한 평균으로 최종 결과를 표시한 것을 나타낸 도면이다.
도 7은 많이 분류된 결과에 대해 두 모델의 예측 결과값의 최대값들에 대한 평균값을 표시한 것을 나타낸 도면이다.
도 8은 예측 결과값에 대한 프레임(frame) 개수를 표시한 것을 나타낸 도면이다.
도 9는 예측 결과에 노이즈 같은 결과가 포함된 것과, 노이즈 같은 결과를 제외한 예측 결과의 제공을 나타낸 도면이다.
도 10은 예측 결과에 LOF 분석을 적용하여 아웃라이어(outlier)를 찾아내고, 결과에서 아웃라이어(outlier)를 제외하고 응집도가 높은 예측 결과를 표시한 것을 나타낸 도면이다.
도 11은 동일 대상의 예측 결과값들에 LOF 분석을 적용하여 아웃라이어 (outlier)를 찾아내는 것을 나타낸 도면이다.
도 12는 아웃라이어(outlier)를 제외한 두 모델의 예측 결과값에 대한 평균값을 표시한 것을 나타낸 도면이다.
도 13은 아웃라이어(outlier)를 제외한 두 모델의 예측 결과값의 최대값들에 대한 평균값을 표시한 것을 나타낸 도면이다.
도 14는 아웃라이어(outlier)를 제외한 두 모델의 예측 결과값에 대한 프레임 개수를 표시한 것을 나타낸 도면이다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정되어 해석되지 말아야 하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈", "장치" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이하 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.
여기서, 본 발명의 실시예에 대해 본격적으로 설명하기에 앞서 본 발명에 대한 이해를 돕기 위해 본 발명에 도입되는 클래스 및 복합 특성 개념과 관련하여 먼저 설명해 보기로 한다.
도 1은 신경망 모델의 일대일 분류 모델, 2개의 일대일 분류 모델을 사용한 경우 및 일대다 분류 모델을 나타낸 도면이다.
도 1을 참조하면, (a)는 종래의 신경망 모델의 일대일 분류 모델을 나타낸 것으로서, 신경망 모델은 입력층(101), 하나 이상의 컨볼루션층(102), 풀링층(103) 및 완전 결합층(104)을 포함한다. 이러한 신경망 모델을 이용하여, 어떠한 입력이 있을 때, A, B, C, D의 네 가지 특성 중 하나의 결과값, 또는 각 특성에 해당하는 확률을 출력할 수 있다. 이때 결과값의 총 합은 100퍼센트일 수 있다.
그러나 어떠한 입력은 복수의 결과가 가능한 복합 특성을 가질 수 있다. 예를 들면, A는 남성, B는 여성의 특성이고, C는 동양인, D는 비동양인의 특성인 경우, 결과값으로서 A와 C가 동시에 가능할 수 있다.
그러나 종래의 신경망 모델의 경우에는 결과값의 총 합이 100퍼센트가 되도록 판단하기 때문에, 이러한 복합 특성이 제대로 반영되기 어렵다.
도 1의 (b)는 비교예에 따른 2개의 일대일 분류 모델을 사용한 경우를 나타낸 것이고, 도 1의 (c)는 본 발명에 채용되는 일대다 모델을 나타낸 것이다.
도 1에서 A와 B는 클래스 Ⅰ에 속하는 특성들을 나타내고, C와 D는 클래스 Ⅱ에 속하는 특성들을 나타낸다. 클래스 Ⅰ의 분류 기준과 클래스 Ⅱ의 분류 기준은 상이할 수 있다. 이와 같이 복수의 클래스에 속하는 특성들을 본 발명에서는 "복합 특성"이라 칭한다. 복합 특성을 갖는 입력은 복수의 특성, 즉 각 클래스별로 특성을 가질 수 있다.
도 1의 (b)를 참조하면, 2개의 일대일 분류 모델이 사용되는 경우, 특성 A와 B의 예측 확률의 합은 100퍼센트이고, 마찬가지로 특성 C와 D의 예측 확률의 합은 100퍼센트이다. 이 경우, 예측 결과는 정확할 수 있지만 2개의 모델을 학습해야 하므로 계산량이 증가할 수 있다. 또한, 2개의 모델이 독립적으로 학습되기 때문에 클래스 간의 연관성이 반영되기 어렵다.
도 1의 (c)를 참조하면, 일대다 모델에서는 일부의 층, 즉 컨볼루션층(102)과 풀링층(103)이 클래스 간에 공유되고, 완전 결합층(104)은 클래스별로 제공된다. 이때, 완전 결합층(104)이 클래스별로 제공되기 때문에, 특성 A와 B의 예측 확률의 합은 100퍼센트이고, 특성 C와 D의 예측 확률의 합도 100퍼센트이다. 따라서, 클래스 Ⅰ에서의 예측 결과와 클래스 Ⅱ에서의 예측 결과가 각각 제공되기 때문에 도 1의 (a)에 비해 정확한 예측 결과를 얻을 수 있다. 또한, 컨볼루션층(102)이 클래스 간에 공유되기 때문에 도 1의 (b)의 모델에 비해 계산량을 감소시키면서도 클래스 간의 연관성을 반영시킬 수 있다.
그러면, 이하에서는 이상의 사항을 바탕으로 본 발명의 실시예에 대하여 설명해 보기로 한다.
도 2는 본 발명의 실시예에 따른 AI 예측 모델을 이용한 2개의 예측 결과의 시각화 방법의 실행 과정을 나타낸 흐름도이다.
도 2를 참조하면, 본 발명에 따른 AI 예측 모델을 이용한 2개의 예측 결과의 시각화 방법은, 컴퓨터 시스템을 이용하여 시각화 방법의 구현을 위해 미리 제작된 AI 예측 모델을 학습시키고, 상기 AI 예측 모델을 이용하여 대상으로 하는 객체의 촬영 영상에 대한 2개의 결과를 예측하여, 그 2개의 예측 결과를 시각화 하는 방법으로서, 먼저 컴퓨터 시스템에 의해 임의의 객체의 실제 촬영 영상 데이터를 입력받는다(단계 S201).
여기서, 상기 AI 예측 모델을 이용하여 대상으로 하는 객체의 촬영 영상에 대한 2개의 결과를 예측함에 있어서, 도 3의 (A)에 도시된 바와 같이, 2개의 AI 예측 모델을 이용하여 2개의 결과를 예측하거나, 도 3의 (B)와 같이 한 개의 AI 예측 모델을 이용하여 2개의 결과를 예측할 수 있다.
이때, 상기 도 3의 (B)와 같이 한 개의 AI 예측 모델을 이용하여 2개의 결과를 예측할 경우에 이용되는 AI 예측 모델은 신경망 모델의 컨볼루션층 (convolution layer)(102)은 공유하고, 완전 결합층(fully connected layer)(104)은 브랜치(branch)로 구성할 수 있다.
이때, 또한 상기 브랜치로 구성한 완전 결합층(104)은 랜덤하게 연결강도를 초기화하고, 드롭아웃(dropout) 비율도 다르게 적용할 수 있다. 이때 또한, 컨볼루션층(102)은 공유하고, 필요에 따라서는 공통국소화를 시킬 수 있도록 구성할 수도 있다.
또한, 이상과 같은 예측 모델은 전이학습(transfer learning)을 적용하여 컨볼루션층(102)의 연결 강도(weight)를 사용할 수 있고, 랜덤으로 초기화하여 사용할 수 있다.
또한, 동일 분류 목적의 복수의 모델을 학습시킴에 있어서, 완전 결합층(104)에서 층의 개수나 뉴런(신경망)의 개수를 다르게 적용하고, 드롭아웃 (dropout) 비율을 다르게 적용할 수 있다. 그리고 브랜치의 공통 손실을 에러로 정의하여 최적화할 수 있다. 이때, 브랜치 1의 A, B의 예측 확률 합이 100, 브랜치 2의 A, B의 예측 확률 합이 100으로 각각 구성될 수 있다.
한편, 이상과 같이 임의의 객체의 실제 촬영 영상 데이터가 입력되면, 한 개의 AI 예측 모델에 의해 상기 입력받은 영상 데이터를 추론(inference)하여 입력받은 영상 데이터에 대한 2개의 결과를 예측한다(단계 S202, S203).
그런 후, 상기 한 개의 AI 예측 모델에 의한 2개의 예측 결과가 서로 동일한지를 판별한다(단계 S204). 이 판별에서 한 개의 AI 예측 모델의 2개의 예측 결과가 서로 동일하지 않으면, 한 개의 AI 예측 모델의 2개의 예측 결과를 좌표로 각각 변환하여 누적 저장한다(단계 S205). 여기서, 이와 같이 두 모델의 예측 결과가 일치하지 않을 경우, 향후 학습데이터로 포함하여 재학습을 진행한다.
그리고 상기 단계 S204의 판별에서 한 개의 AI 예측 모델의 2개의 예측 결과가 서로 동일하면, 한 개의 AI 예측 모델의 2개의 예측 결과를 좌표로 각각 변환하여 화면에 표시 및 누적 저장한다(단계 S206).
그리고 상기와 같이 한 개의 AI 예측 모델의 2개의 예측 결과가 서로 동일한 경우, 예측 결과에 대한 분석 여부를 판별한다(단계 S207). 이 판별에서 예측 결과에 대한 분석이 필요하지 않은 경우, 상기 단계 S201로 프로세스를 회귀시킨다.
상기 단계 S207의 판별에서 예측 결과에 대한 분석이 필요한 경우, 예측 결과에 대하여 분석하고, 분석 결과를 화면(평면)에 표시하여 시각화한다(단계 S208).
이후, 분석 종료 여부를 판별하여(단계 S209), 분석 종료가 아니면 화면(평면)을 초기화한 후(단계 S210) 상기 단계 S201로 회귀하고, 분석 종료이면 시각화 방법 프로세스를 종료한다.
한편, 이상과 같은 일련의 과정에서, 상기 단계 S206에서 상기 한 개의 AI 예측 모델의 2개의 예측 결과를 화면에 표시함에 있어서, 도 4에 도시된 바와 같이, 상기 2개의 예측 결과 중 하나의 예측 결과를 화면의 2차원 평면상의 x축에 나타내고, 상기 2개의 예측 결과 중 다른 하나의 예측 결과를 2차원 평면상의 y축에 나타낼 수 있다. 이때, 상기 2차원 평면의 중심점은 50% 또는 0.5로 설정되고, 상하좌우 최대값은 100% 또는 1로 설정될 수 있다. 이때, 또한 도시된 바와 같이 2개의 예측 결과가 모두 A일 경우, x, y 좌표값을 갖는 하나의 점의 형태로 표시될 수 있으며, 이때 x는 하나의 예측 결과의 확률, y는 다른 하나의 예측 결과의 확률을 각각 의미할 수 있다.
또한, 상기 단계 S206에서 상기 한 개의 AI 예측 모델의 2개의 예측 결과를 화면에 표시함에 있어서, 도 5에 도시된 바와 같이, 동일 대상(예를 들면, 동일 객체(object), 영상(image), 병변(lesion))이 검출되면 점(point)의 형태로 예측 결과를 평면상에 표시를 시작하고, 대상이 사라지면(즉, 이벤트가 발생하면) 예측 결과를 저장하고, 평면을 초기화(리셋)할 수 있다. 이때, 상기 저장한 예측 결과는 동일 대상에 대해 예측 결과를 분석할 때, 불러와서 동일 대상이 여러 번 나타난 것에 대해 다시 분석할 수 있다.
또한, 상기 단계 S206에서 상기 한 개의 AI 예측 모델의 2개의 예측 결과를 화면에 표시함에 있어서, 도 6에 도시된 바와 같이, 많이 분류된 결과에 대해, 상기 영상 데이터의 한 프레임(frame)에 대한 상기 한 개의 AI 예측 모델의 2개의 예측값의 평균값을 구하고, 전체 프레임에 대한 평균값으로 최종 결과를 표시할 수 있다.
삭제
또한, 상기 단계 S206에서 상기 한 개의 AI 예측 모델의 2개의 예측 결과를 화면에 표시함에 있어서, 도 7에 도시된 바와 같이, 많이 분류된 결과에 대해, 상기 한 개의 AI 예측 모델의 2개의 예측 결과값의 최대값들에 대한 평균값을 표시할 수 있다.
삭제
또한, 상기 단계 S206에서 상기 한 개의 AI 예측 모델의 2개의 예측 결과를 화면에 표시함에 있어서, 도 8에 도시된 바와 같이, 예측 결과값에 대한 상기 영상데이터의 프레임 개수를 표시할 수 있다.
한편, 이상과 같이, 한 개의 AI 예측 모델의 2개의 예측 결과를 화면에 표시함에 있어서, 도 9의 (A)에서와 같이, 각 클래스의 예측 결과를 계산할 수는 있으나, 노이즈(noise)와 같은 결과가 포함될 수 있다. 따라서, 본 발명의 방법에서는 도 9의 (B)와 같이 노이즈 같은 결과를 제외하고, 응집도(신뢰도) 높은 최종 예측 결과를 표시 및 제공한다. 이는 상기 단계 S208과 관련된다.
상기 단계 S208에서 예측 결과에 대하여 분석함에 있어서, 도 10에 도시된 바와 같이, LOF(Local Outlier Factor) 분석을 적용하여 예측 결과를 분석할 수 있다.
또한, 상기 단계 S208에서 분석 결과를 화면(평면)에 표시함에 있어서, 도 10에 도시된 바와 같이, 예측 결과에 LOF(Local Outlier Factor) 분석을 적용하여 아웃라이어(outlier)를 찾아내고, 예측 결과에서 아웃라이어(outlier)를 제외하고 응집도가 높은 예측 결과를 표시할 수 있다. 이와 관련하여 도 11을 참조하여 조금 더 설명을 부가해 보기로 한다.
도 11은 동일 대상의 예측 결과값들에 LOF 분석을 적용하여 아웃라이어 (outlier)를 찾아내는 것을 나타낸 도면이다.
도 11을 참조하면, (A)와 같이 1번 대상 프레임과 1번과 같은 n번 대상 프레임의 예측 결과에 LOF 분석을 적용하여 아웃라이어(outlier)를 찾아내고, (B)와 같이 1번과 n번 대상에 대한 결과로서 응집도가 높은 예측 결과를 표시할 수 있다.
또한, 도 2의 상기 단계 S208에서 분석 결과를 화면(평면)에 표시함에 있어서, 도 12에 도시된 바와 같이, 아웃라이어(outlier)를 제외한 상기 한 개의 AI 예측 모델의 2개의 예측 결과값에 대한 평균값을 표시할 수 있다.
또한, 상기 단계 S208에서 분석 결과를 화면(평면)에 표시함에 있어서, 도 13에 도시된 바와 같이, 아웃라이어(outlier)를 제외한 상기 한 개의 AI 예측 모델의 2개의 예측 결과값의 최대값들에 대한 평균값을 표시할 수 있다.
또한, 상기 단계 S208에서 분석 결과를 화면(평면)에 표시함에 있어서, 도 14에 도시된 바와 같이, 아웃라이어(outlier)를 제외한 상기 한 개의 AI 예측 모델의 2개의 예측 결과값에 대한 상기 영상 데이터의 프레임 개수를 표시할 수 있다.
이상의 설명과 같이, 본 발명에 따른 AI 예측 모델을 이용한 2개의 예측 결과의 시각화 방법은, AI 모델 2개의 예측 결과를 분석하기 쉽게 화면에 표시함으로써 실시간 예측 결과를 분석하기 편리하게 나타내어 사용할 수 있는 장점이 있다.
또한, 예측된 결과에서 노이즈와 같은 결과를 제외하여 응집도(신뢰도) 높은 예측 결과를 제공할 수 있는 장점이 있다.
또한, 중심값을 0.5, 50%로 시작하도록 하여 결과값의 모호함을 쉽게 분석할 수 있는 장점이 있다.
또한, 평면상에 누적 분포와 평균값, 프레임 수 등의 여러 결과를 한꺼번에 나타낼 수 있는 장점이 있다.
또한, 실시간 검사 후 추가 학습데이터로 포함할 수 있는 대상들을 수집하는데 적용할 수 있는 장점이 있다.
이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양하게 변경, 응용될 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다. 따라서, 본 발명의 진정한 보호 범위는 다음의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
101: 입력층 102: 컨볼루션층
103: 풀링층 104: 완전 결합층

Claims (17)

  1. 컴퓨터 시스템을 이용하여 시각화 방법의 구현을 위해 미리 제작된 AI 예측 모델을 학습시키고, 상기 AI 예측 모델을 이용하여 대상으로 하는 객체의 촬영 영상에 대한 2개의 결과를 예측하여, 그 2개의 예측 결과를 시각화 하는 방법으로서,
    a) 컴퓨터 시스템에 의해 임의의 객체의 실제 촬영 영상 데이터를 입력받는 단계와;
    b) 한 개의 AI 예측 모델에 의해 상기 입력받은 영상 데이터를 추론(inference)하여 입력받은 영상 데이터에 대한 2개의 결과를 예측하는 단계와;
    c) 상기 한 개의 AI 예측 모델에 의한 2개의 예측 결과가 서로 동일한지를 판별하는 단계와;
    d) 상기 판별에서 한 개의 AI 예측 모델의 2개의 예측 결과가 서로 동일하지 않으면, 한 개의 AI 예측 모델의 2개의 예측 결과를 좌표로 각각 변환하여 누적 저장하는 단계와;
    e) 상기 판별에서 한 개의 AI 예측 모델의 2개의 예측 결과가 서로 동일하면, 한 개의 AI 예측 모델의 2개의 예측 결과를 좌표로 각각 변환하여 화면에 표시 및 누적 저장하는 단계와;
    f) 상기 한 개의 AI 예측 모델의 2개의 예측 결과가 서로 동일한 경우, 예측 결과에 대한 분석 여부를 판별하는 단계; 및
    g) 상기 판별에서 예측 결과에 대한 분석이 필요한 경우, 예측 결과에 대하여 분석하고, 분석 결과를 화면(평면)에 표시하여 시각화 하는 단계를 포함하고,
    상기 한 개의 AI 예측 모델을 이용하여 2개의 결과를 예측할 경우에 이용되는 AI 예측 모델은 신경망 모델의 컨볼루션층(convolution layer)은 공유하고, 완전 결합층(fully connected layer)은 브랜치(branch)로 구성하고,
    상기 브랜치로 구성한 완전 결합층은 랜덤하게 연결강도를 초기화하고, 드롭아웃(dropout) 비율도 다르게 적용하는 AI 예측 모델을 이용한 2개의 예측 결과의 시각화 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 단계 e)에서 상기 한 개의 AI 예측 모델의 2개의 예측 결과를 화면에 표시함에 있어서, 상기 2개의 예측 결과 중 하나의 예측 결과를 화면의 2차원 평면상의 x축에 나타내고, 상기 2개의 예측 결과 중 다른 하나의 예측 결과를 2차원 평면상의 y축에 나타내는 AI 예측 모델을 이용한 2개의 예측 결과의 시각화 방법.
  6. 제5항에 있어서,
    상기 2차원 평면의 중심점은 50% 또는 0.5로 설정되고, 상하좌우 최대값은 100% 또는 1로 설정되는 AI 예측 모델을 이용한 2개의 예측 결과의 시각화 방법.
  7. 제1항에 있어서,
    상기 단계 e)에서 상기 한 개의 AI 예측 모델의 2개의 예측 결과를 화면에 표시함에 있어서, 동일 대상이 검출되면 점(point)의 형태로 예측 결과를 평면상에 표시를 시작하고, 대상이 사라지면 예측 결과를 저장하고, 평면을 초기화(리셋)하는 AI 예측 모델을 이용한 2개의 예측 결과의 시각화 방법.
  8. 제7항에 있어서,
    상기 저장한 예측 결과는 동일 대상에 대해 예측 결과를 분석할 때, 불러와서 동일 대상이 여러 번 나타난 것에 대해 다시 분석하는 AI 예측 모델을 이용한 2개의 예측 결과의 시각화 방법.
  9. 제1항에 있어서,
    상기 단계 e)에서 상기 한 개의 AI 예측 모델의 2개의 예측 결과를 화면에 표시함에 있어서, 많이 분류된 결과에 대해, 상기 영상 데이터의 한 프레임(frame)에 대한 상기 한 개의 AI 예측 모델의 2개의 예측값의 평균값을 구하고, 상기 영상 데이터의 전체 프레임에 대한 평균값으로 최종 결과를 표시하는 AI 예측 모델을 이용한 2개의 예측 결과의 시각화 방법.
  10. 제1항에 있어서,
    상기 단계 e)에서 상기 한 개의 AI 예측 모델의 2개의 예측 결과를 화면에 표시함에 있어서, 많이 분류된 결과에 대해, 상기 한 개의 AI 예측 모델의 2개의 예측 결과값의 최대값들에 대한 평균값을 표시하는 AI 예측 모델을 이용한 2개의 예측 결과의 시각화 방법.
  11. 제1항에 있어서,
    상기 단계 e)에서 상기 한 개의 AI 예측 모델의 2개의 예측 결과를 화면에 표시함에 있어서, 예측 결과값에 대한 상기 영상 데이터의 프레임 개수를 표시하는 AI 예측 모델을 이용한 2개의 예측 결과의 시각화 방법.
  12. 제1항에 있어서,
    상기 단계 f)의 판별에서 예측 결과에 대한 분석이 필요하지 않은 경우, 상기 단계 a)로 프로세스를 회귀하는 단계를 더 포함하는 AI 예측 모델을 이용한 2개의 예측 결과의 시각화 방법.
  13. 제1항에 있어서,
    상기 단계 g)에서 예측 결과에 대하여 분석함에 있어서, LOF(Local Outlier Factor) 분석을 적용하여 예측 결과를 분석하는 AI 예측 모델을 이용한 2개의 예측 결과의 시각화 방법.
  14. 제1항에 있어서,
    상기 단계 g)에서 분석 결과를 화면(평면)에 표시함에 있어서, 예측 결과에 LOF(Local Outlier Factor) 분석을 적용하여 아웃라이어(outlier)를 찾아내고, 예측 결과에서 아웃라이어(outlier)를 제외하고 응집도가 높은 예측 결과를 표시하는 AI 예측 모델을 이용한 2개의 예측 결과의 시각화 방법.
  15. 제1항에 있어서,
    상기 단계 g)에서 분석 결과를 화면(평면)에 표시함에 있어서, 아웃라이어(outlier)를 제외한 상기 한 개의 AI 예측 모델의 2개의 예측 결과값에 대한 평균값을 표시하는 AI 예측 모델을 이용한 2개의 예측 결과의 시각화 방법.
  16. 제1항에 있어서,
    상기 단계 g)에서 분석 결과를 화면(평면)에 표시함에 있어서, 아웃라이어(outlier)를 제외한 상기 한 개의 AI 예측 모델의 2개의 예측 결과값의 최대값들에 대한 평균값을 표시하는 AI 예측 모델을 이용한 2개의 예측 결과의 시각화 방법.
  17. 제1항에 있어서,
    상기 단계 g)에서 분석 결과를 화면(평면)에 표시함에 있어서, 아웃라이어(outlier)를 제외한 상기 한 개의 AI 예측 모델의 2개의 예측 결과값에 대한 상기 영상 데이터의 프레임 개수를 표시하는 AI 예측 모델을 이용한 2개의 예측 결과의 시각화 방법.
KR1020200145677A 2020-11-04 2020-11-04 Ai 예측 모델을 이용한 2개의 예측 결과의 시각화 방법 KR102249623B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200145677A KR102249623B1 (ko) 2020-11-04 2020-11-04 Ai 예측 모델을 이용한 2개의 예측 결과의 시각화 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200145677A KR102249623B1 (ko) 2020-11-04 2020-11-04 Ai 예측 모델을 이용한 2개의 예측 결과의 시각화 방법

Publications (1)

Publication Number Publication Date
KR102249623B1 true KR102249623B1 (ko) 2021-05-10

Family

ID=75918344

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200145677A KR102249623B1 (ko) 2020-11-04 2020-11-04 Ai 예측 모델을 이용한 2개의 예측 결과의 시각화 방법

Country Status (1)

Country Link
KR (1) KR102249623B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117528131A (zh) * 2024-01-05 2024-02-06 青岛美迪康数字工程有限公司 一种医学影像的ai一体化显示系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180108210A (ko) 2017-03-24 2018-10-04 삼성메디슨 주식회사 의료 영상 표시 방법 및 의료 영상 표시 장치
KR20200012334A (ko) * 2018-07-27 2020-02-05 삼성전자주식회사 반도체 장치의 불량 검출 방법
KR20200054364A (ko) * 2018-11-05 2020-05-20 고려대학교 산학협력단 클러스터링 알고리즘의 비교 학습 장치 및 방법, 그 방법을 수행하기 위한 기록 매체

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180108210A (ko) 2017-03-24 2018-10-04 삼성메디슨 주식회사 의료 영상 표시 방법 및 의료 영상 표시 장치
KR20200012334A (ko) * 2018-07-27 2020-02-05 삼성전자주식회사 반도체 장치의 불량 검출 방법
KR20200054364A (ko) * 2018-11-05 2020-05-20 고려대학교 산학협력단 클러스터링 알고리즘의 비교 학습 장치 및 방법, 그 방법을 수행하기 위한 기록 매체

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117528131A (zh) * 2024-01-05 2024-02-06 青岛美迪康数字工程有限公司 一种医学影像的ai一体化显示系统及方法
CN117528131B (zh) * 2024-01-05 2024-04-05 青岛美迪康数字工程有限公司 一种医学影像的ai一体化显示系统及方法

Similar Documents

Publication Publication Date Title
WO2022083536A1 (zh) 一种神经网络构建方法以及装置
US20220319154A1 (en) Neural network model update method, image processing method, and apparatus
CN113449857B (zh) 一种数据处理方法和数据处理设备
US20220215227A1 (en) Neural Architecture Search Method, Image Processing Method And Apparatus, And Storage Medium
Narendra et al. Explaining deep learning models using causal inference
WO2022001805A1 (zh) 一种神经网络蒸馏方法及装置
CN110222718B (zh) 图像处理的方法及装置
US20220147877A1 (en) System and method for automatic building of learning machines using learning machines
CN111782840A (zh) 图像问答方法、装置、计算机设备和介质
Swetha et al. Prediction of pneumonia using big data, deep learning and machine learning techniques
JP2023533907A (ja) 自己注意ベースのニューラルネットワークを使用した画像処理
Georgoulas et al. A real-time fuzzy hardware structure for disparity map computation
WO2020161481A1 (en) Method and apparatus for quality prediction
KR102249623B1 (ko) Ai 예측 모델을 이용한 2개의 예측 결과의 시각화 방법
CN114612902A (zh) 图像语义分割方法、装置、设备、存储介质及程序产品
CN109410189A (zh) 图像分割方法以及图像的相似度计算方法、装置
WO2022063076A1 (zh) 对抗样本的识别方法及装置
CN111652349A (zh) 一种神经网络的处理方法及相关设备
CN114663662A (zh) 超参数搜索方法、装置、计算机设备和存储介质
KR102210250B1 (ko) Ai 예측 모델을 이용한 예측 결과의 시각화 방법
WO2021057690A1 (zh) 构建神经网络的方法与装置、及图像处理方法与装置
CN112488178A (zh) 网络模型的训练方法及装置、图像处理方法及装置、设备
KR102229381B1 (ko) Ai 예측 모델을 이용한 예측 결과의 학습 데이터 추가 방법
CN116739154A (zh) 一种故障预测方法及其相关设备
US20240013342A1 (en) Method, electronic device, and computer program product for processing point cloud

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant