KR102518913B1 - 인공지능 모델의 성능 관리 장치 및 방법 - Google Patents

인공지능 모델의 성능 관리 장치 및 방법 Download PDF

Info

Publication number
KR102518913B1
KR102518913B1 KR1020220174872A KR20220174872A KR102518913B1 KR 102518913 B1 KR102518913 B1 KR 102518913B1 KR 1020220174872 A KR1020220174872 A KR 1020220174872A KR 20220174872 A KR20220174872 A KR 20220174872A KR 102518913 B1 KR102518913 B1 KR 102518913B1
Authority
KR
South Korea
Prior art keywords
data set
artificial intelligence
intelligence model
attribute information
number ratio
Prior art date
Application number
KR1020220174872A
Other languages
English (en)
Inventor
김태웅
윤기욱
Original Assignee
라온피플 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 라온피플 주식회사 filed Critical 라온피플 주식회사
Priority to KR1020220174872A priority Critical patent/KR102518913B1/ko
Application granted granted Critical
Publication of KR102518913B1 publication Critical patent/KR102518913B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Automation & Control Theory (AREA)
  • Computational Linguistics (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Fuzzy Systems (AREA)
  • Medical Informatics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

인공지능 모델의 성능 관리 방법 및 장치를 제시한다. 인공지능 모델의 성능 관리 장치에 의한 인공지능 모델의 성능 관리 방법은, 상기 인공지능 모델을 학습하는 과정에서 적용된 학습 데이터 세트 및 상기 인공지능 모델에 입력될 테스트 데이터 세트를 획득하는 단계, 상기 학습 데이터 세트 및 상기 테스트 데이터 세트를 분석하여 메타 정보를 출력하는 단계, 상기 메타 정보를 이용하여 상기 학습 데이터 세트를 개선하는 단계, 상기 개선된 학습 데이터 세트를 기반으로 상기 인공지능 모델을 재학습하는 단계, 및 상기 재학습된 인공지능 모델에 상기 테스트 데이터 세트를 입력하여 추론 결과를 출력하는 단계를 포함한다.

Description

인공지능 모델의 성능 관리 장치 및 방법 {METHOD AND APPARATUS FOR MANAGING PERFORMANCE OF ARTIFICIAL INTELLIGENCE MODEL}
본 명세서에서 개시되는 실시예들은 인공지능 모델의 성능 관리 장치 및 방법에 관한 것으로, 엣지 컴퓨팅 기반 공정이나 물류 공정의 지능형 장비 로봇 제어 솔루션에 적용 가능한 인공지능 기반의 비전 처리 모델의 물체 인식률을 개선하는 장치 및 방법에 관한 것이다.
4차 산업이 부각됨에 따라 다품종 소량 생산이 가능한 유연 생산 등의 스마트화 생태계 구축, 공급망 디지털화를 통한 언택트(untact) 제조의 실현, 글로벌 밸류체인(global value chain) 안정성 확보의 필요성을 위한 스마트 제조 기술이 요구된다.
스마트 제조의 핵심 기술은 크게 3 가지로 구분된다. 첫 번째, "첨단 제조"는 대/중/소 제조기업 간 기술격차 해소와 고정밀 제조 협업을 가능하게 하는 스마트 공장 기술이다. 두 번째, "유연 생산"은 제조 공정의 유연성 확보 및 생산성 확대를 위한 5G(Generation) 통신, 인공지능(Artificial Intelligence, AI), 로봇 등을 활용한 스마트 제조 기술이다. 세 번째, "현장 적용 기술"은 제조환경 개선을 위한 현장 맞춤형 안전 설비 및 환경친화 기술이다.
유연 생산에 적용되는 엣지 브레인(Edge Brain) 기술은 5G와 엣지 컴퓨팅(Edge Computing)에 기반한 기술로, 높은 연산 능력을 요구하는 지능 서비스를 5G 통신을 기반으로 근접한 엣지 컴퓨팅 서버에서 수행하여 제공한다. 제조기업이 인공지능을 활용하기 위해 고가의 지능형 제조 로봇을 도입하는 비용을 줄이고, 기존의 산업용 로봇을 활용하여 최소한의 비용으로 유연 생산 시스템을 구축할 수 있다.
기존의 공정 라인에 인공지능을 획일적으로 적용하면 데이터 문제, 인공지능 모델의 성능 유지 문제, 복잡한 인공지능 모델의 앙상블 문제 등이 발생할 수 있다.
한편, 전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
참고로, 특허문헌 1은 5G 기반 생산, 물류 관리 및 클라우드향 머신 비전 서비스 제공 방법에 관한 발명이고, 특허문헌 2는 AI 모델의 성능 저하 방지를 위한 AI 모델 관리 장치 및 그 방법에 관한 발명이고, 특허문헌 3은 인공지능 서비스에 대한 성능 관리 장치 및 방법에 관한 발명으로, 특허문헌 1 내지 특허문헌 3은 인공지능 모델에 대한 일반적인 내용만을 개시하고 있을 뿐, 인공지능 모델의 재학습을 위한 데이터 개선 기술을 제공하지 아니한다.
한국공개특허 제10-2022-0057145호(2022.05.09.) 한국등록특허 제10-2311787호(2021.10.05.) 한국등록특허 제10-2377628호(2022.03.18.)
본 명세서에서 개시되는 실시예들은, 학습 데이터 세트 및 테스트 데이터 세트를 분석하여 추출된 메타 정보를 이용하여 학습 데이터 세트를 개선하고, 개선된 학습 데이터 세트를 통해 인공지능 모델을 재학습하여 새로운 환경에서도 인공지능 모델의 인식율을 향상시키는 인공지능 모델의 성능 관리 방법 및 장치를 제시하는데 목적이 있다.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 일 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 인공지능 모델의 성능 관리 장치에 의한 인공지능 모델의 성능 관리 방법은, 상기 인공지능 모델을 학습하는 과정에서 적용된 학습 데이터 세트 및 상기 인공지능 모델에 입력될 테스트 데이터 세트를 획득하는 단계, 상기 학습 데이터 세트 및 상기 테스트 데이터 세트를 분석하여 메타 정보를 출력하는 단계, 상기 메타 정보를 이용하여 상기 학습 데이터 세트를 개선하는 단계, 상기 개선된 학습 데이터 세트를 기반으로 상기 인공지능 모델을 재학습하는 단계, 및 상기 재학습된 인공지능 모델에 상기 테스트 데이터 세트를 입력하여 추론 결과를 출력하는 단계를 포함한다.
다른 실시예에 따르면, 인공지능 모델의 성능 관리 장치는, 상기 인공지능 모델을 학습하는 과정에서 적용된 학습 데이터 세트 및 상기 인공지능 모델에 입력될 테스트 데이터 세트를 획득하는 제어부를 포함하며, 상기 제어부는, 상기 학습 데이터 세트 및 상기 테스트 데이터 세트를 분석하여 메타 정보를 출력하고, 상기 메타 정보를 이용하여 상기 학습 데이터 세트를 개선하고, 상기 개선된 학습 데이터 세트를 기반으로 상기 인공지능 모델을 재학습하고, 상기 재학습된 인공지능 모델에 상기 테스트 데이터 세트를 입력하여 추론 결과를 출력할 수 있다.
또 다른 실시예에 따르면, 기록매체는, 인공지능 모델의 성능 관리 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체이다.
또 다른 실시예에 따르면, 컴퓨터 프로그램은, 인공지능 모델의 성능 관리 장치에 의해 수행되며, 인공지능 모델의 성능 관리 방법을 수행하기 위해 기록 매체에 저장된 컴퓨터 프로그램이다.
전술한 과제 해결 수단 중 어느 하나에 의하면, 학습 데이터 세트 및 테스트 데이터 세트를 분석하여 추출된 메타 정보를 이용하여 학습 데이터 세트를 개선하는 인공지능 모델의 성능 관리 방법 및 장치를 제시할 수 있다.
또한, 전술한 과제 해결 수단 중 어느 하나에 의하면, 메타 정보를 이용하여 개선된 학습 데이터 세트를 통해 인공지능 모델을 재학습하여 새로운 환경에서도 인공지능 모델의 인식율을 향상시키는 인공지능 모델의 성능 관리 방법 및 장치를 제시할 수 있다.
개시되는 실시예들에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 개시되는 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
이하, 첨부되는 도면들은 본 명세서에 개시되는 바람직한 실시예를 예시하는 것이며, 발명을 실시하기 위한 구체적인 내용들과 함께 본 명세서에 개시되는 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 명세서에 개시되는 내용은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 일 실시예에 따른 인공지능 모델의 성능 관리 장치를 포함하는 통합 제어 시스템을 예시한 도면이다.
도 2는 인공지능 모델에 입력되는 이미지의 특징 분포를 예시한 그래프이다.
도 3은 사과와 배에 관한 제1 이미지를 인공지능 모델에 입력하여 대상을 추론한 결과를 예시한 도면이다.
도 4는 사과와 배에 관한 제2 이미지를 인공지능 모델에 입력하여 대상을 추론한 결과를 예시한 도면이다.
도 5는 일 실시예에 따른 인공지능 모델의 성능 관리 장치의 기능적 구성을 설명하기 위한 블록도이다.
도 6은 일 실시예에 따른 인공지능 모델의 성능 관리 장치의 전체 동작을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 인공지능 모델의 성능 관리 장치가 학습 데이터 세트를 수집하는 동작을 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 인공지능 모델의 성능 관리 장치가 테스트 데이터 세트를 수집하는 동작을 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 인공지능 모델의 성능 관리 장치가 데이터 세트를 분석하는 동작을 설명하기 위한 도면이다.
도 10은 일 실시예에 따른 인공지능 모델의 성능 관리 장치가 메타 정보 및 히스토그램을 기반으로 속성 정보의 개수 비율을 산출하는 동작을 설명하기 위한 도면이다.
도 11은 일 실시예에 따른 인공지능 모델의 성능 관리 장치가 속성 정보의 개수 비율을 기반으로 데이터 세트를 비교하는 동작을 설명하기 위한 도면이다.
도 12는 일 실시예에 따른 인공지능 모델의 성능 관리 장치가 속성 정보의 개수 비율 및 히스토그램을 기반으로 데이터 세트를 개선하는 동작을 설명하기 위한 도면이다.
도 13은 일 실시예에 따른 인공지능 모델의 성능 관리 장치가 라벨 정보, 메타 정보, 메타 관계 정보, 및 라벨 메타 관계 정보에 대응하는 포인트를 기반으로 메타 정보를 증강하는 동작을 설명하기 위한 도면이다.
도 14는 일 실시예에 따른 인공지능 모델의 성능 관리 장치가 출력하는 공정 라인의 대쉬보드를 예시한 도면이다.
도 15는 다른 실시예에 따른 인공지능 모델의 성능 관리 방법의 흐름도이다.
아래에서는 첨부한 도면을 참조하여 다양한 실시예들을 상세히 설명한다. 아래에서 설명되는 실시예들은 여러 가지 상이한 형태로 변형되어 실시될 수도 있다. 실시예들의 특징을 보다 명확히 설명하기 위하여, 이하의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서 자세한 설명은 생략하였다. 그리고, 도면에서 실시예들의 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 구성이 다른 구성과 "연결"되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐 아니라, '그 중간에 다른 구성을 사이에 두고 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성이 어떤 구성을 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 그 외 다른 구성을 제외하는 것이 아니라 다른 구성들을 더 포함할 수도 있음을 의미한다.
이하 첨부된 도면을 참고하여 실시예들을 상세히 설명하기로 한다.
이를 설명하기에 앞서, 아래에서 사용되는 용어들의 의미를 먼저 정의한다.
“인공지능 모델”은 다량의 데이터 학습을 통해 자동으로 정답을 추론하는 모델이다. 인공지능 모델의 유형은 지도 학습, 비지도 학습, 준지도 학습, 강화 학습 등으로 구분될 수 있으며, 인공지능 모델은 모델을 구성하는 파라미터를 최적화하거나 오차를 최소화하는 방향으로 학습된다.
“라벨 정보”는 지도 학습 등에서 인공지능 모델이 대상을 추론하기 위해 분류되는 클래스에 해당하는 정답을 데이터 세트에 미리 태그한 정보이다. 예컨대, 사과 이미지와 배 이미지에 대해서 사과 또는 배가 라벨 정보에 해당할 수 있다.
“메타 정보”는 인공지능 모델이 대상을 추론하기 위해 분류되는 클래스의 다양한 특징을 나타내는 속성 정보의 집합을 의미한다. 예컨대, 사과 이미지와 배 이미지에 대해서 색상 또는 모양 등이 속성 정보에 해당할 수 있고, 사과 이미지와 배 이미지에 대해서 색상 속성 정보 및 모양 속성 정보의 집합이 메타 정보에 해당할 수 있다.
도 1은 일 실시예에 따른 인공지능 모델의 성능 관리 장치를 포함하는 통합 제어 시스템을 예시한 도면이다.
제조 공정 또는 물류 공정 등의 공정 라인(20)을 통해 상품 또는 제조품이 생산된다. 공정 라인(20)에는 각종 장비(40), 로봇(50), 그리퍼(gripper, 60), 또는 다른 설비들이 배치될 수 있다. 스마트 제조 기술은 각 공정마다 센서(30)를 설치하여 진행 상황 및 품질 등을 모니터링할 수 있다. 예컨대, 센서는 영상 획득 장치(31, 32, 33)로 구비되어 이미지를 획득할 수 있다. 공정 라인 주변에 배치된 센서(30)는 주기적으로 또는 특정 상황 별로 센싱 데이터를 수집하고 수집된 센싱 데이터를 통합 제어 시스템(10)으로 전송할 수 있다. 통합 제어 시스템(10)은 센싱 데이터를 분석한 후 전체 또는 일부 공정을 자동으로 제어하기 위한 제어 신호를 전송할 수 있다.
통합 제어 시스템(10)은 인공지능 모델의 성능 관리 장치(100)를 포함할 수 있다. 통합 제어 시스템(10)은 인공지능 모델의 성능 관리 장치(100)를 이용해 공정 라인 환경에 맞도록 미리 학습된 인공지능 모델을 미세 조정할 수 있다.
인공지능 모델의 물체 인식 성능은 데이터 환경에 영향을 받기 때문에 데이터의 편향성으로 인하여 재학습이 요구된다. 처음부터 새로운 공정 라인 환경에서 학습하는 방식도 있으나, 미리 학습된 모델을 재학습하는 방식이 시간적 성능적 측면에서 효율적이다.
이하에서는 설명을 위해 과일 분류 및 가공 공정을 가정하여 설명하며, 본 실시예는 이에 제한되지 않고, 다른 공정 라인에도 적용할 수 있다.
도 2는 인공지능 모델에 입력되는 이미지의 특징 분포를 예시한 그래프이고, 도 3은 사과와 배에 관한 제1 이미지를 인공지능 모델에 입력하여 대상을 추론한 결과를 예시한 도면이고, 도 4는 사과와 배에 관한 제2 이미지를 인공지능 모델에 입력하여 대상을 추론한 결과를 예시한 도면이다.
도 2를 참조하면, 학습 이미지 N개가 다양하지 않은 경우에는 클래스 내 특징이 첨예한 분포를 이루고, 학습 이미지 N개가 다양한 경우에는 클래스 내 특징이 완만한 분포를 이룬다.
도 3을 참조하면, 사과와 배에 관한 제1 이미지가 색상, 형상, 구조 측면 등에서 유사하므로 인공지능 모델의 인식률이 높지만, 도 4를 참조하면, 사과와 배에 관한 제2 이미지가 색상, 형상, 구조 측면 등에서 다양하므로, 인공지능 모델의 인식률이 높지 않음을 확인할 수 있다.
인공지능 모델에서 데이터의 편향성에 의한 오버피팅(overfitting) 문제가 발생하여 새로운 환경에서의 인식률이 예상 범위보다 오차가 커질 수 있으므로, 새로운 환경에 맞는 다양한 특징을 포함하도록 데이터 세트를 변형할 필요가 있다.
도 5는 일 실시예에 따른 인공지능 모델의 성능 관리 장치의 기능적 구성을 설명하기 위한 블록도이다.
인공지능 모델의 성능 관리 장치(20)의 구성을 구체적으로 살펴보면, 도 5에 도시된 바와 같이 입출력부(110), 저장부(120), 제어부(130), 및 통신부(140)를 포함할 수 있다.
입출력부(110)는 데이터 세트를 입력받고 추론 결과를 출력하는 입출력수단으로 구성될 수 있다. 입출력부(110)는 입력을 수신하기 위한 입력부와, 작업의 수행 결과 또는 인공지능 모델의 성능 관리 장치(100)의 상태 등의 정보를 표시하기 위한 출력부를 포함할 수 있다. 예를 들어, 입출력부(110)는 사용자 입력을 수신하는 조작 패널(operation panel) 및 화면을 표시하는 디스플레이 패널(display panel) 등을 포함할 수 있다.
입력부는 키보드, 물리 버튼, 터치 스크린, 카메라 또는 마이크 등과 같이 다양한 형태의 사용자 입력을 수신할 수 있는 장치들을 포함할 수 있다. 출력부는 디스플레이 패널 또는 스피커 등을 포함할 수 있다. 이에 한정되지 않고 입출력부(110)는 다양한 입출력을 지원하는 구성을 포함할 수 있다.
입출력부(110)는 통신부(140)와 별도로 데이터 세트를 입력받을 수 있으며, 라벨 정보 또는 메타 정보 등을 저장부(120)에 저장된 항목으로부터 추출하여 획득할 수 있다.
입출력부(110)는 제어부(130)가 분석하고 추론한 결과를 출력할 수 있다.
저장부(120)에는 파일이나 프로그램 등과 같은 다양한 종류의 데이터가 설치 및 저장될 수 있다. 제어부(130)는 저장부(120)에 저장된 데이터에 접근하여 이를 이용하거나, 또는 새로운 데이터를 저장부(120)에 저장할 수도 있다. 또한, 제어부(130)는 저장부(120)에 설치된 프로그램을 실행할 수도 있다.
저장부(120)에는 학습 데이터 세트, 테스트 데이터 세트, 개선된 학습 데이터 세트, 인공지능 모델, 재학습된 인공지능 모델, 또는 추론 결과 등이 저장될 수 있다.
저장부(120)에는 인공지능 모델의 성능을 관리하는데 이용되는 알고리즘이 저장될 수 있다. 이러한 알고리즘은 특정 함수를 포함하거나 인공신경망 등 머신러닝 모델을 포함할 수 있다.
제어부(130)는 인공지능 모델의 성능 관리 장치(100)의 전체적인 동작을 제어하며, CPU, GPU 등과 같은 프로세서를 포함할 수 있다. 제어부(130)는 저장부(120)에 저장된 프로그램을 실행시키거나, 저장부(120)에 저장된 알고리즘이나 인공지능 모델을 이용하여 데이터를 연산할 수 있다. 또한 제어부(130)는 처리된 데이터를 다시 저장부(120)에 저장할 수 있다.
통신부(140)는 학습 데이터 세트 및 테스트 데이터 세트를 수신할 수 있다. 통신부(140)는 메타 정보, 개선된 학습 데이터 세트, 재학습된 인공지능 모델, 또는 추론 결과를 송신할 수 있다.
통신부(140)는 다른 디바이스 또는 네트워크와 유무선 통신을 수행할 수 있다. 이를 위해, 통신부(140)는 다양한 유무선 통신 방법 중 적어도 하나를 지원하는 통신 모듈을 포함할 수 있다. 예를 들어, 통신 모듈은 칩셋(Chipset)의 형태로 구현될 수 있다.
통신부(140)가 지원하는 무선 통신은, 예를 들어 세대별 이동 통신, Wi-Fi(Wireless Fidelity), Wi-Fi Direct, 블루투스(Bluetooth), UWB(Ultra Wide Band) 또는 NFC(Near Field Communication) 등일 수 있다. 또한, 통신부(140)가 지원하는 유선 통신은, 예를 들어 랜 케이블, USB 또는 HDMI(High Definition Multimedia Interface) 등일 수 있다.
이하에서는 도 6 내지 도 13을 참조하여 인공지능 모델의 성능 관리 장치의 동작을 상세하게 설명한다.
도 6은 인공지능 모델의 성능 관리 장치의 전체 동작을 설명하기 위한 도면이고, 도 7은 인공지능 모델의 성능 관리 장치가 학습 데이터 세트를 수집하는 동작을 설명하기 위한 도면이고, 도 8은 인공지능 모델의 성능 관리 장치가 테스트 데이터 세트를 수집하는 동작을 설명하기 위한 도면이다.
S610에서 제어부(130)는 인공지능 모델을 학습하는 과정에서 적용된 학습 데이터 세트 및 인공지능 모델에 입력될 테스트 데이터 세트를 획득한다. 예컨대, 도 7을 참조하면, 인공지능 모델의 성능 관리 장치(100)가 사과와 배에 관한 제1 이미지를 학습 데이터 세트로 수집할 수 있다. 도 8을 참조하면, 인공지능 모델의 성능 관리 장치(100)가 사과와 배에 관한 제2 이미지를 테스트 데이터 세트로 수집할 수 있다. 제1 이미지와 제2 이미지는 이미지를 구성하는 특징들의 다양성 측면에서 차이가 있음을 확인할 수 있다.
S620에서 제어부(130)는 학습 데이터 세트 및 테스트 데이터 세트를 분석하여 메타 정보를 출력한다.
S630에서 제어부(130)는 메타 정보를 이용하여 학습 데이터 세트를 개선한다.
S640에서 제어부(130)는 개선된 학습 데이터 세트를 기반으로 인공지능 모델을 재학습한다.
S630에서 제어부(130)는 재학습된 인공지능 모델에 테스트 데이터 세트를 입력하여 추론 결과를 출력한다.
도 9는 인공지능 모델의 성능 관리 장치가 데이터 세트를 분석하는 동작을 설명하기 위한 도면이다.
제어부(130)는 학습 데이터 세트가 분류되는 클래스의 정답에 해당하는 라벨 정보를 추출할 수 있다. 제어부(130)는 추출 모델을 이용하여 라벨 정보를 추출할 수 있다. 예컨대, 텍스트 추출 모델을 통해 라벨 정보를 추출할 수 있다.
제어부(130)는 테스트 데이터 세트로부터 클래스의 특징을 나타내는 속성 정보를 추출할 수 있다. 제어부(130)는 추출 모델(예컨대, 비전 처리 모델)을 이용하여 속성 정보를 추출할 수 있다. 예컨대, RGB 추출 모델을 통해 색상에 관한 속성 정보를 추출할 수 있다. 또는 크롤링을 통해 클래스의 특징에 관한 정보를 수집할 수 있다.
제어부(130)는 추출된 속성 정보가 중복되지 않고 속성 정보에 해당하는 값의 합이 미리 설정된 전체 값이 되도록 조정하여 메타 정보를 설정하여, 메타 정보를 출력할 수 있다. 메타 정보는 속성 정보의 집합이면서 속성 정보를 일정 비율을 조절한 집합이다. 예컨대, 제어부(130)는 100장의 이미지에 대해서 제1 속성 정보가 중복되지 않으면서 전체 100장에 분포하도록 조절하고, 제2 속성 정보가 중복되지 않으면서 전체 100장에 분포하도록 조절한다.
도 9를 참조하면, 사과에 관한 데이터 세트(910)에 대해서 추출 모델을 통해 색상을 추출하고 통계적으로 그룹화하여 색상 속성(921)을 빨강, 주황, 초록, 기타로 분류한다. 사과에 관한 데이터 세트(910)에 대해서 추출 모델을 통해 크기를 추출하고 통계적으로 그룹화하여 크기 속성(922)을 대, 중, 소로 분류한다. 마찬가지로, 생산지(923)에 관한 속성, 모습(924)에 관한 속성, 개수(925)에 관한 속성, 각도(926)에 관한 속성 등을 추출 모델을 통해 추출하고 그룹화하여 분류할 수 있다.
제어부(130)는 전체 속성 정보를 중복되지 않고 비율에 맞게 조절한 메타 정보(920)를 생성한다.
도 10은 인공지능 모델의 성능 관리 장치가 메타 정보 및 히스토그램을 기반으로 속성 정보의 개수 비율을 산출하는 동작을 설명하기 위한 도면이고, 도 11은 인공지능 모델의 성능 관리 장치가 속성 정보의 개수 비율을 기반으로 데이터 세트를 비교하는 동작을 설명하기 위한 도면이고, 도 12는 인공지능 모델의 성능 관리 장치가 속성 정보의 개수 비율 및 히스토그램을 기반으로 데이터 세트를 개선하는 동작을 설명하기 위한 도면이다.
도 10을 참조하면, 데이터 세트(1010)의 단일 이미지마다 해당하는 메타 정보(1020)가 매칭되어 있다.
제어부(130)는 학습 데이터 세트 및 테스트 데이터 세트에 대해서 속성 정보의 분포에 따라 속성 정보 별로 제1 히스토그램(1030)을 생성한다. 제어부(130)는 제1 히스토그램(1030)을 기반으로 속성 정보의 개수 비율을 그래프 정보(1040)로 시각화하여, 학습 데이터 세트를 개선할 수 있다.
도 11을 참조하면, 제어부(130)는 학습 데이터 세트(1120)의 속성 정보의 제1 개수 비율 및 테스트 데이터 세트(1110)의 속성 정보의 제2 개수 비율을 비교한다. 제어부(130)는 제1 개수 비율 및 제2 개수 비율의 차이를 기준으로 학습 데이터 세트를 보완하여, 학습 데이터 세트를 개선할 수 있다.
예컨대, 크기에 관한 속성에 따라 대/중/소의 개수 비율을 매칭하고, 품목에 관한 속성에 따라 홍옥, 아키라, 부사, 후지의 개수 비율을 매칭하고, 색상에 관한 속성에 따라 빨강, 노랑, 초록, 주황의 개수 비율을 매칭할 수 있다.
도 12는 일 실시예에 따른 인공지능 모델의 성능 관리 장치가 속성 정보의 개수 비율 및 히스토그램을 기반으로 데이터 세트를 개선하는 동작을 설명하기 위한 도면이다.
도 12을 참조하면, 제어부(130)는 테스트 데이터 세트의 속성 정보의 제2 개수 비율을 기준으로 학습 데이터 세트의 속성 정보의 제1 개수 비율(1210)을 조절할 수 있다. 제어부(130)는 조절된 제1 개수 비율(1210)에 따라 속성 정보 별로 제2 히스토그램(1220)을 생성할 수 있다. 제어부(130)는 제2 히스토그램(1220)을 참고하여 학습 데이터 세트를 증감시켜, 학습 데이터 세트(1230)를 보완할 수 있다.
도 13은 일 실시예에 따른 인공지능 모델의 성능 관리 장치가 라벨 정보, 메타 정보, 메타 관계 정보, 및 라벨 메타 관계 정보에 대응하는 포인트를 기반으로 메타 정보를 증강하는 동작을 설명하기 위한 도면이다.
도 13을 참조하면, 제어부(130)는 복수의 메타 정보를 공간의 포인트(1311, 1312, 1313, 1314, 1321, 1322, 1323, 1324)로 변화하고, 변환된 복수의 포인트를 공간을 나타내는 레이어(1300a, 1300b, 1300c)에 표시할 수 있다. 예컨대, 매트리스 등으로 정의된 변환 모델을 통해 임베딩(embedding) 공간 등으로 변환할 수 있다. 제1 메타 정보에 대응하는 포인트(1311, 1312, 1313, 1314)와 제2 메타 정보에 대응하는 포인트(1321, 1322, 1323, 1324)는 동일한 레이어에 배치될 수 있고, 상이한 레이어에 각각 배치될 수 있다. 예컨대, 제1 레이어(1300a)에 제1 메타 정보에 대응하는 포인트(1311, 1312, 1313, 1314)이 위치하고, 제2 레이어(1300b)에 제2 메타 정보에 대응하는 포인트(1321, 1322, 1323, 1324)가 위치할 수 있다.
제1 메타 정보에 대응하는 포인트(1311, 1312, 1313, 1314)를 포함하는 제1 포인트 그룹(1310)과 제2 메타 정보에 대응하는 포인트(1321, 1322, 1323, 1324)를 포함하는 제2 포인트 그룹(1320)은 공간의 분리선(1303)에 의해 구분될 수 있다. 분리선(1303)을 기준으로 대향하여 라벨 정보에 대응하는 포인트(1301, 1302)가 배치될 수 있다.
제어부(130)는 메타 정보에 대응하는 복수의 포인트 간의 거리 비율에 따라 새로운 제1 가상 포인트(1331, 1341)를 생성할 수 있다. 예컨대, 제1 포인트 그룹(1310)의 두 포인트(1311, 1312) 간의 거리 비율에 따라 하나의 제1 가상 포인트(1331)을 생성할 수 있다. 제2 포인트 그룹(1320)의 두 포인트(1321, 1322) 간의 거리 비율에 따라 다른 제1 가상 포인트(1341)을 생성할 수 있다.
제어부(130)는 제1 가상 포인트를 역변환하여 메타 관계 정보를 생성할 수 있다. 제어부(130)는 변환 모델을 역으로 정의한 역변환 모델을 통해 메타 관계 정보를 생성할 수 있다. 제어부(130)는 메타 관계 정보를 메타 정보에 추가하여, 메타 정보를 증가시킬 수 있다.
제어부(130)는 라벨 정보를 공간의 포인트(1301, 1302)로 변환할 수 있다. 제어부(130)는 라벨 정보에 대응하는 포인트 및 제1 가상 포인트 간의 거리 비율에 따라 새로운 제2 가상 포인트를 생성할 수 있다. 예컨대, 제1 포인트 그룹(1310)에 속하는 제1 가상 포인트(1331) 및 라벨 정보에 대응하는 포인트(1301) 간의 거리 비율에 따라 하나의 제2 가상 포인트(1332)를 생성할 수 있다. 제2 포인트 그룹(1320)에 속하는 제1 가상 포인트(1341) 및 라벨 정보에 대응하는 포인트(1302) 간의 거리 비율에 따라 다른 제2 가상 포인트(1342)를 생성할 수 있다.
제어부(130)는 제2 가상 포인트를 역변환하여 라벨 메타 관계 정보를 생성할 수 있다. 제어부(130)는 라벨 메타 관계 정보를 메타 정보에 추가하여, 메타 정보를 증가시킬 수 있다.
제어부(130)는 메타 관계 정보 및 라벨 메타 관계 정보가 추가된 메타 정보에 대해서 다시 메타 정보가 중복되지 않으면서 미리 설정된 전체 값에 맞도록 비율을 재조정하며, 재조정 과정에서 메타 관계 정보 및 라벨 메타 관계 정보를 필터링할 수 있다.
도 14는 일 실시예에 따른 인공지능 모델의 성능 관리 장치가 출력하는 공정 라인의 대쉬보드를 예시한 도면이다.
테스트 데이터 세트는 공정 라인에서 실시간 또는 주기적으로 획득되는 데이터가 적용될 수 있다.
제어부(130)는 공정 라인의 대쉬보드를 통해 라벨 정보에 관한 통계 정보를 제공할 수 있다. 여기서 통계 정보를 제공하는 것은, 라벨 정보의 유사성을 기준으로 그룹화하여 동일 그룹에 속한 라벨 정보들을 동일한 라벨 정보로 취급하여, 추론 결과를 출력할 수 있다.
제어부(130)는 통계 정보를 기반으로 라벨 정보의 상태를 분류하여 표시하고 증강이 필요한 라벨 정보를 추천할 수 있다.
제어부(130)는 공정 라인의 대쉬보드를 통해 인공지능 모델의 성능 관리 장치가 처리하는 중간 또는 최종 결과를 출력할 수 있다. 예컨대, 대쉬보드는 공정 라인의 상품 또는 제조품에 대해 센서를 통해 획득한 이미지(1410)를 출력할 수 있다. 이미지는 인공지능 모델에 입력되는 데이터 세트로 활용될 수 있다. 대쉬보드는 데이터 세트를 분석하여 추출한 메타 정보(1420)를 출력할 수 있다. 대쉬보드는 히스토그램을 기반으로 매칭한 데이터 세트(1430)를 출력할 수 있다. 대쉬보드는 가상 포인트를 활용하여 추가한 메타 정보(1440)를 출력할 수 있다. 대쉬보드에 출력된 정보는 통합 제어 시스템(10)으로 전송되어 공정 라인을 제어하기 위한 판단 기준으로 활용될 수 있다.
도 15는 다른 실시예에 따른 인공지능 모델의 성능 관리 방법의 흐름도이다.
도 15에 도시된 실시예에 따른 인공지능 모델의 성능 관리 방법은 도 1 내지 도 14에 도시된 인공지능 모델의 성능 관리 장치(100)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하에서 생략된 내용이라고 하더라도 도 1 내지 도 14에 도시된 인공지능 모델의 성능 관리 장치(100)에 관하여 이상에서 기술한 내용은 도 15에 도시된 실시예에 따른 인공지능 모델의 성능 관리 방법에도 적용될 수 있다.
S1510에서 인공지능 모델의 성능 관리 장치(100)는 인공지능 모델을 학습하는 과정에서 적용된 학습 데이터 세트 및 인공지능 모델에 입력될 테스트 데이터 세트를 획득할 수 있다.
S1520에서 인공지능 모델의 성능 관리 장치(100)는 학습 데이터 세트 및 테스트 데이터 세트를 분석하여 메타 정보를 출력할 수 있다.
S1530에서 인공지능 모델의 성능 관리 장치(100)는 메타 정보를 이용하여 학습 데이터 세트를 개선할 수 있다.
S1540에서 인공지능 모델의 성능 관리 장치(100)는 개선된 학습 데이터 세트를 기반으로 상기 인공지능 모델을 재학습할 수 있다.
S1550에서 인공지능 모델의 성능 관리 장치(100)는 재학습된 인공지능 모델에 테스트 데이터 세트를 입력하여 추론 결과를 출력할 수 있다.
메타 정보를 출력하는 단계(S1520)는, 학습 데이터 세트가 분류되는 클래스의 정답에 해당하는 라벨 정보를 추출하고, 테스트 데이터 세트로부터 클래스의 특징을 나타내는 속성 정보를 추출하고, 추출된 속성 정보가 중복되지 않고 속성 정보에 해당하는 값의 합이 미리 설정된 전체 값이 되도록 조정하여 메타 정보를 설정할 수 있다.
학습 데이터 세트를 개선하는 단계(S1530)는, 학습 데이터 세트 및 테스트 데이터 세트에 대해서 속성 정보의 분포에 따라 속성 정보 별로 제1 히스토그램을 생성하고, 제1 히스토그램을 기반으로 속성 정보의 개수 비율을 그래프 정보로 시각화할 수 있다.
학습 데이터 세트를 개선하는 단계(S1530)는, 학습 데이터 세트의 속성 정보의 제1 개수 비율 및 테스트 데이터 세트의 속성 정보의 제2 개수 비율을 비교하고, 제1 개수 비율 및 제2 개수 비율의 차이를 기준으로 학습 데이터 세트를 보완할 수 있다. 학습 데이터 세트를 보완하는 것은, 테스트 데이터 세트의 속성 정보의 제2 개수 비율을 기준으로 학습 데이터 세트의 속성 정보의 제1 개수 비율을 조절하고, 조절된 제1 개수 비율에 따라 속성 정보 별로 제2 히스토그램을 생성하고, 제2 히스토그램을 참고하여 학습 데이터 세트를 증감시킬 수 있다.
메타 정보를 출력하는 단계(S1520)는, 복수의 메타 정보를 공간의 포인트로 변화하고, 변환된 복수의 포인트를 상기 공간을 나타내는 레이어에 표시하고, 복수의 포인트 간의 거리 비율에 따라 새로운 제1 가상 포인트를 생성하고, 제1 가상 포인트를 역변환하여 메타 관계 정보를 생성하고, 메타 관계 정보를 메타 정보에 추가할 수 있다.
메타 정보를 출력하는 단계(S1520)는, 라벨 정보를 공간의 포인트로 변환하고, 라벨 정보에 대응하는 포인트 및 제1 가상 포인트 간의 거리 비율에 따라 새로운 제2 가상 포인트를 생성하고, 제2 가상 포인트를 역변환하여 라벨 메타 관계 정보를 생성하고, 라벨 메타 관계 정보를 메타 정보에 추가할 수 있다.
추론 결과를 출력하는 단계(S1550)는, 공정 라인에서 획득되는 데이터를 테스트 데이터 세트로 활용하여, 공정 라인의 대쉬보드를 통해 라벨 정보에 관한 통계 정보를 제공하고, 통계 정보를 기반으로 라벨 정보의 상태를 분류하여 표시하고 증강이 필요한 라벨 정보를 추천할 수 있다. 여기서 통계 정보를 제공하는 것은, 라벨 정보의 유사성을 기준으로 그룹화하여 동일 그룹에 속한 라벨 정보들을 동일한 라벨 정보로 취급할 수 있다.
본 실시예들에 의하면, 새로운 공정 라인 환경에 맞도록 생성된 메타 정보를 이용하여 데이터 세트를 개선하고, 개선된 데이터 세트를 기반으로 인공지능 모델을 재학습하여 물체 인식률을 향상시킬 수 있다.
이상의 실시예들에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field programmable gate array) 또는 ASIC 와 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램특허 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다.
구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로부터 분리될 수 있다.
뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU, GPU들을 재생시키도록 구현될 수도 있다.
한편, 본 명세서를 통해 설명된 일 실시예에 따른 인공지능 모델의 성능 관리 방법은 컴퓨터에 의해 실행 가능한 명령어 및 데이터를 저장하는, 컴퓨터로 판독 가능한 매체의 형태로도 구현될 수 있다. 이때, 명령어 및 데이터는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 소정의 프로그램 모듈을 생성하여 소정의 동작을 수행할 수 있다. 또한, 컴퓨터로 판독 가능한 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터로 판독 가능한 매체는 컴퓨터 기록 매체일 수 있는데, 컴퓨터 기록 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함할 수 있다. 예를 들어, 컴퓨터 기록 매체는 HDD 및 SSD 등과 같은 마그네틱 저장 매체, CD, DVD 및 블루레이 디스크 등과 같은 광학적 기록 매체, 또는 네트워크를 통해 접근 가능한 서버에 포함되는 메모리일 수 있다.
또한, 본 명세서를 통해 설명된 일 실시예에 따른 인공지능 모델의 성능 관리 방법은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 컴퓨터 프로그램(또는 컴퓨터 프로그램 제품)으로 구현될 수도 있다. 컴퓨터 프로그램은 프로세서에 의해 처리되는 프로그래밍 가능한 기계 명령어를 포함하고, 고레벨 프로그래밍 언어(High-level Programming Language), 객체 지향 프로그래밍 언어(Object-oriented Programming Language), 어셈블리 언어 또는 기계 언어 등으로 구현될 수 있다. 또한 컴퓨터 프로그램은 유형의 컴퓨터 판독가능 기록매체(예를 들어, 메모리, 하드디스크, 자기/광학 매체 또는 SSD(Solid-State Drive) 등)에 기록될 수 있다.
따라서 본 명세서를 통해 설명된 일 실시예에 따른 인공지능 모델의 성능 관리 방법은 상술한 바와 같은 컴퓨터 프로그램이 컴퓨팅 장치에 의해 실행됨으로써 구현될 수 있다. 컴퓨팅 장치는 프로세서와, 메모리와, 저장 장치와, 메모리 및 고속 확장포트에 접속하고 있는 고속 인터페이스와, 저속 버스와 저장 장치에 접속하고 있는 저속 인터페이스 중 적어도 일부를 포함할 수 있다. 이러한 성분들 각각은 다양한 버스를 이용하여 서로 접속되어 있으며, 공통 머더보드에 탑재되거나 다른 적절한 방식으로 장착될 수 있다.
여기서 프로세서는 컴퓨팅 장치 내에서 명령어를 처리할 수 있는데, 이런 명령어로는, 예컨대 고속 인터페이스에 접속된 디스플레이처럼 외부 입력, 출력 장치상에 GUI(Graphic User Interface)를 제공하기 위한 그래픽 정보를 표시하기 위해 메모리나 저장 장치에 저장된 명령어를 들 수 있다. 다른 실시예로서, 다수의 프로세서 및(또는) 다수의 버스가 적절히 다수의 메모리 및 메모리 형태와 함께 이용될 수 있다. 또한 프로세서는 독립적인 다수의 아날로그 및(또는) 디지털 프로세서를 포함하는 칩들이 이루는 칩셋으로 구현될 수 있다.
또한 메모리는 컴퓨팅 장치 내에서 정보를 저장한다. 일례로, 메모리는 휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 다른 예로, 메모리는 비휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 또한 메모리는 예컨대, 자기 혹은 광 디스크와 같이 다른 형태의 컴퓨터 판독 가능한 매체일 수도 있다.
그리고 저장장치는 컴퓨팅 장치에게 대용량의 저장공간을 제공할 수 있다. 저장 장치는 컴퓨터 판독 가능한 매체이거나 이런 매체를 포함하는 구성일 수 있으며, 예를 들어 SAN(Storage Area Network) 내의 장치들이나 다른 구성도 포함할 수 있고, 플로피 디스크 장치, 하드 디스크 장치, 광 디스크 장치, 혹은 테이프 장치, 플래시 메모리, 그와 유사한 다른 반도체 메모리 장치 혹은 장치 어레이일 수 있다.
상술된 실시예들은 예시를 위한 것이며, 상술된 실시예들이 속하는 기술분야의 통상의 지식을 가진 자는 상술된 실시예들이 갖는 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 상술된 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 명세서를 통해 보호받고자 하는 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태를 포함하는 것으로 해석되어야 한다.
100: 인공지능 모델의 성능 관리 장치
110: 입출력부
120: 저장부
130: 제어부
140: 통신부

Claims (16)

  1. 인공지능 모델의 성능 관리 방법에 있어서,
    상기 인공지능 모델을 학습하는 과정에서 적용된 학습 데이터 세트 및 상기 인공지능 모델에 입력될 테스트 데이터 세트를 획득하는 단계;
    상기 학습 데이터 세트 및 상기 테스트 데이터 세트를 분석하여, 클래스의 다양한 특징을 나타내는 속성 정보의 집합인 메타 정보를 출력하는 단계;
    상기 메타 정보를 이용하여 상기 학습 데이터 세트를 보완하는 단계;
    상기 보완된 학습 데이터 세트를 기반으로 상기 인공지능 모델을 재학습하는 단계; 및
    상기 재학습된 인공지능 모델에 상기 테스트 데이터 세트를 입력하여 추론 결과를 출력하는 단계를 포함하고,
    상기 학습 데이터 세트를 보완하는 단계는,
    상기 학습 데이터 세트 및 상기 테스트 데이터 세트에 대해서 상기 속성 정보의 분포에 따라 속성 정보 별로 제1 히스토그램을 생성하고, 상기 제1 히스토그램을 기반으로 상기 속성 정보의 개수 비율을 그래프 정보로 시각화하되,
    상기 학습 데이터 세트의 상기 속성 정보의 제1 개수 비율 및 상기 테스트 데이터 세트의 상기 속성 정보의 제2 개수 비율을 비교하여, 상기 제1 개수 비율 및 상기 제2 개수 비율의 차이를 기준으로 상기 학습 데이터 세트를 보완하는, 인공지능 모델의 성능 관리 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서,
    상기 제1 개수 비율 및 상기 제2 개수 비율의 차이를 기준으로 상기 학습 데이터 세트를 보완하는 것은,
    상기 테스트 데이터 세트의 상기 속성 정보의 상기 제2 개수 비율을 기준으로 상기 학습 데이터 세트의 상기 속성 정보의 제1 개수 비율을 조절하고,
    상기 조절된 제1 개수 비율에 따라 상기 속성 정보 별로 제2 히스토그램을 생성하고,
    상기 제2 히스토그램을 참고하여 상기 학습 데이터 세트를 증감시키는, 인공지능 모델의 성능 관리 방법.
  6. 삭제
  7. 삭제
  8. 인공지능 모델의 성능 관리 장치에 있어서,
    상기 인공지능 모델을 학습하는 과정에서 적용된 학습 데이터 세트 및 상기 인공지능 모델에 입력될 테스트 데이터 세트를 획득하는 제어부를 포함하며,
    상기 제어부는,
    상기 학습 데이터 세트 및 상기 테스트 데이터 세트를 분석하여, 클래스의 다양한 특징을 나타내는 속성 정보의 집합인 메타 정보를 출력하고,
    상기 메타 정보를 이용하여 상기 학습 데이터 세트를 보완하고,
    상기 보완된 학습 데이터 세트를 기반으로 상기 인공지능 모델을 재학습하고,
    상기 재학습된 인공지능 모델에 상기 테스트 데이터 세트를 입력하여 추론 결과를 출력하고,
    상기 제어부는,
    상기 학습 데이터 세트 및 상기 테스트 데이터 세트에 대해서 상기 속성 정보의 분포에 따라 속성 정보 별로 제1 히스토그램을 생성하고, 상기 제1 히스토그램을 기반으로 상기 속성 정보의 개수 비율을 그래프 정보로 시각화하되,
    상기 학습 데이터 세트의 상기 속성 정보의 제1 개수 비율 및 상기 테스트 데이터 세트의 상기 속성 정보의 제2 개수 비율을 비교하여, 상기 제1 개수 비율 및 상기 제2 개수 비율의 차이를 기준으로 상기 학습 데이터 세트를 보완하는, 인공지능 모델의 성능 관리 장치.
  9. 삭제
  10. 삭제
  11. 삭제
  12. 제 8 항에 있어서,
    상기 제어부는,
    상기 테스트 데이터 세트의 상기 속성 정보의 상기 제2 개수 비율을 기준으로 상기 학습 데이터 세트의 상기 속성 정보의 제1 개수 비율을 조절하고,
    상기 조절된 제1 개수 비율에 따라 상기 속성 정보 별로 제2 히스토그램을 생성하고,
    상기 제2 히스토그램을 참고하여 상기 학습 데이터 세트를 증감시켜, 상기 학습 데이터 세트를 보완하는, 인공지능 모델의 성능 관리 장치.
  13. 삭제
  14. 삭제
  15. 제 1 항에 기재된 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
  16. 인공지능 모델의 성능 관리 장치에 의해 수행되며, 제 1 항에 기재된 방법을 수행하기 위해 기록 매체에 저장된 컴퓨터 프로그램.
KR1020220174872A 2022-12-14 2022-12-14 인공지능 모델의 성능 관리 장치 및 방법 KR102518913B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220174872A KR102518913B1 (ko) 2022-12-14 2022-12-14 인공지능 모델의 성능 관리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220174872A KR102518913B1 (ko) 2022-12-14 2022-12-14 인공지능 모델의 성능 관리 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102518913B1 true KR102518913B1 (ko) 2023-04-10

Family

ID=85984797

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220174872A KR102518913B1 (ko) 2022-12-14 2022-12-14 인공지능 모델의 성능 관리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102518913B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102613177B1 (ko) * 2023-04-17 2023-12-14 주식회사 바운드포 초거대 인공지능(Hyperscale AI) 비전 데이터 드리프트(Vision Data Drift)탐지 네트워크 기반의 인공지능 데이터 관리 시스템 및 방법
CN117301078A (zh) * 2023-11-24 2023-12-29 浙江洛伦驰智能技术有限公司 一种机器手视觉校准方法及系统
KR102647337B1 (ko) * 2023-07-24 2024-03-13 주식회사 아임토리 데이터 증식 및 분석 장치 및 방법

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190099039A (ko) * 2016-12-27 2019-08-23 오브체스트보 에스 오르가니첸노이 오트베트스트벤노스티쥬 ＂비쯔흐렙스＂ 페어 유사성 척도의 분포를 기반으로 한 심층 신경망의 훈련
KR20200022739A (ko) * 2018-08-23 2020-03-04 삼성전자주식회사 데이터 증강에 기초한 인식 모델 트레이닝 방법 및 장치, 이미지 인식 방법 및 장치
KR20200044227A (ko) * 2018-10-12 2020-04-29 라온피플 주식회사 이미지에 대한 기계 학습을 수행하기 위한 방법 및 장치
KR20200063330A (ko) * 2018-11-21 2020-06-05 한국과학기술원 메타학습에 기반한 임의의 목표 데이터셋과 모델 구조로의 전이학습 방법 및 시스템
KR20210026623A (ko) * 2019-08-30 2021-03-10 삼성전자주식회사 인공지능 모델을 학습시키는 시스템 및 방법
KR102311787B1 (ko) 2021-01-06 2021-10-08 한전케이디엔주식회사 Ai 모델의 성능 저하 방지를 위한 ai 모델 관리 장치 및 그 방법
KR102377628B1 (ko) 2019-11-07 2022-03-24 한국전자통신연구원 인공지능 서비스에 대한 성능 관리 장치 및 방법
KR20220057145A (ko) 2020-10-29 2022-05-09 위즈코어 주식회사 5g 기반 생산, 물류 관리 및 클라우드향 머신 비전 서비스 제공 방법
KR20220061684A (ko) * 2020-11-06 2022-05-13 한국전자기술연구원 연속적이고 지속적인 인공지능 신경망 모델의 통합 운영 시스템
JP2022551832A (ja) * 2019-10-24 2022-12-14 ディーピング ソース インコーポレイテッド． プライバシーのためにデータをコンシーリング処理することができる変造ネットワークに対応される適応ネットワークを学習する方法及びテストする方法、そしてこれを利用した学習装置及びテスト装置｛ｍｅｔｈｏｄ ｆｏｒ ｔｒａｉｎｉｎｇ ａｎｄ ｔｅｓｔｉｎｇ ａｄａｐｔｉｏｎ ｎｅｔｗｏｒｋ ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｔｏ ｏｂｆｕｓｃａｔｉｏｎ ｎｅｔｗｏｒｋ ｃａｐａｂｌｅ ｏｆ ｐｒｏｃｅｓｓｉｎｇ ｄａｔａ ｔｏ ｂｅ ｃｏｎｃｅａｌｅｄ ｆｏｒ ｐｒｉｖａｃｙ、ａｎｄ ｔｒａｉｎｉｎｇ ｄｅｖｉｃｅ ａｎｄ ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190099039A (ko) * 2016-12-27 2019-08-23 오브체스트보 에스 오르가니첸노이 오트베트스트벤노스티쥬 ＂비쯔흐렙스＂ 페어 유사성 척도의 분포를 기반으로 한 심층 신경망의 훈련
KR20200022739A (ko) * 2018-08-23 2020-03-04 삼성전자주식회사 데이터 증강에 기초한 인식 모델 트레이닝 방법 및 장치, 이미지 인식 방법 및 장치
KR20200044227A (ko) * 2018-10-12 2020-04-29 라온피플 주식회사 이미지에 대한 기계 학습을 수행하기 위한 방법 및 장치
KR20200063330A (ko) * 2018-11-21 2020-06-05 한국과학기술원 메타학습에 기반한 임의의 목표 데이터셋과 모델 구조로의 전이학습 방법 및 시스템
KR20210026623A (ko) * 2019-08-30 2021-03-10 삼성전자주식회사 인공지능 모델을 학습시키는 시스템 및 방법
JP2022551832A (ja) * 2019-10-24 2022-12-14 ディーピング ソース インコーポレイテッド． プライバシーのためにデータをコンシーリング処理することができる変造ネットワークに対応される適応ネットワークを学習する方法及びテストする方法、そしてこれを利用した学習装置及びテスト装置｛ｍｅｔｈｏｄ ｆｏｒ ｔｒａｉｎｉｎｇ ａｎｄ ｔｅｓｔｉｎｇ ａｄａｐｔｉｏｎ ｎｅｔｗｏｒｋ ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｔｏ ｏｂｆｕｓｃａｔｉｏｎ ｎｅｔｗｏｒｋ ｃａｐａｂｌｅ ｏｆ ｐｒｏｃｅｓｓｉｎｇ ｄａｔａ ｔｏ ｂｅ ｃｏｎｃｅａｌｅｄ ｆｏｒ ｐｒｉｖａｃｙ、ａｎｄ ｔｒａｉｎｉｎｇ ｄｅｖｉｃｅ ａｎｄ ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
KR102377628B1 (ko) 2019-11-07 2022-03-24 한국전자통신연구원 인공지능 서비스에 대한 성능 관리 장치 및 방법
KR20220057145A (ko) 2020-10-29 2022-05-09 위즈코어 주식회사 5g 기반 생산, 물류 관리 및 클라우드향 머신 비전 서비스 제공 방법
KR20220061684A (ko) * 2020-11-06 2022-05-13 한국전자기술연구원 연속적이고 지속적인 인공지능 신경망 모델의 통합 운영 시스템
KR102311787B1 (ko) 2021-01-06 2021-10-08 한전케이디엔주식회사 Ai 모델의 성능 저하 방지를 위한 ai 모델 관리 장치 및 그 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102613177B1 (ko) * 2023-04-17 2023-12-14 주식회사 바운드포 초거대 인공지능(Hyperscale AI) 비전 데이터 드리프트(Vision Data Drift)탐지 네트워크 기반의 인공지능 데이터 관리 시스템 및 방법
KR102647337B1 (ko) * 2023-07-24 2024-03-13 주식회사 아임토리 데이터 증식 및 분석 장치 및 방법
CN117301078A (zh) * 2023-11-24 2023-12-29 浙江洛伦驰智能技术有限公司 一种机器手视觉校准方法及系统
CN117301078B (zh) * 2023-11-24 2024-03-12 浙江洛伦驰智能技术有限公司 一种机器手视觉校准方法及系统

Similar Documents

Publication Publication Date Title
KR102518913B1 (ko) 인공지능 모델의 성능 관리 장치 및 방법
JP7112501B2 (ja) ディープラーニングに基づく画像比較装置と方法及びコンピューター可読媒体に保存されたコンピュータープログラム
US20240289625A1 (en) Systems and methods to enable continual, memory-bounded learning in artificial intelligence and deep learning continuously operating applications across networked compute edges
US11741361B2 (en) Machine learning-based network model building method and apparatus
JP2023085346A (ja) 深層ニューラルネットワークおよびニューラルネットワークアプリケーション向けのデータストリームのタグ付けおよびラベル付けのためのオンラインでのインクリメンタルリアルタイム学習
US20160148078A1 (en) Convolutional Neural Network Using a Binarized Convolution Layer
US8379994B2 (en) Digital image analysis utilizing multiple human labels
US20200349414A1 (en) Systems and methods for neuronal networks for associative gestalt learning
US20150278710A1 (en) Machine learning apparatus, machine learning method, and non-transitory computer-readable recording medium
KR102246085B1 (ko) 어노말리 디텍션
US11983917B2 (en) Boosting AI identification learning
Jiu et al. Deep kernel map networks for image annotation
Gastaldo et al. Machine learning solutions for objective visual quality assessment
JP2023103350A (ja) 機械学習装置、データ分類装置及びデータ分類方法
KR20190041961A (ko) 딥러닝 기반 이미지 비교 장치, 방법 및 컴퓨터 판독가능매체에 저장된 컴퓨터 프로그램
Jawale Comparison of image classification techniques: Binary and multiclass using convolutional neural network and support vector machines
Singh et al. CNN based approach for traffic sign recognition system
EP3166022A1 (en) Method and apparatus for image search using sparsifying analysis operators
Ndiour et al. Subspace modeling for fast out-of-distribution and anomaly detection
US20240104915A1 (en) Long duration structured video action segmentation
US20230385605A1 (en) Complementary Networks for Rare Event Detection
US20240177370A1 (en) Systems and methods of image to palette representations
US20240177474A1 (en) Systems and method for transforming input data to palettes using neural networks
EP4369251A1 (en) Systems and methods for tensorizing convolutional neural networks
Jabłoński VGG Based Unsupervised Anomaly Detection in Multivariate Time Series

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant