KR20210024871A - 기계학습 모델 관리 시스템과 방법 및 영상 분석 장치 - Google Patents

기계학습 모델 관리 시스템과 방법 및 영상 분석 장치 Download PDF

Info

Publication number
KR20210024871A
KR20210024871A KR1020190104590A KR20190104590A KR20210024871A KR 20210024871 A KR20210024871 A KR 20210024871A KR 1020190104590 A KR1020190104590 A KR 1020190104590A KR 20190104590 A KR20190104590 A KR 20190104590A KR 20210024871 A KR20210024871 A KR 20210024871A
Authority
KR
South Korea
Prior art keywords
machine learning
learning model
result data
information
interest
Prior art date
Application number
KR1020190104590A
Other languages
English (en)
Inventor
김용성
강충헌
김범준
김태완
양승지
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020190104590A priority Critical patent/KR20210024871A/ko
Publication of KR20210024871A publication Critical patent/KR20210024871A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

일 실시예에 따른 기계학습 모델 관리 시스템은 기 학습된 기계학습 모델에 의해 소정의 영상에 포함된 객체의 검출 결과를 획득하고, 상기 소정의 영상에서 검출된 객체가 관심 객체에 해당하는지에 대한 판별 정보를 출력하는 피드백 서버와, 상기 객체 검출 결과 및 상기 판별 정보를 포함하는 판별 결과 데이터에 기초해서, 상기 기계학습 모델을 재학습시키는 모델 학습용 서버를 포함한다.

Description

기계학습 모델 관리 시스템과 방법 및 영상 분석 장치 {APPARATUS AND METHOD FOR MANAGING MACHINE-LEARNING MODEL AND IMAGE ANALYZING APPARATUS}
본 발명은 기계학습 모델 관리 시스템과 방법 및 영상 분석 장치에 관한 것이다.
영상 내에 객체가 존재하는지 여부를 판별하고, 객체가 존재할 경우 그 종류(또는 클래스)를 판별해서 출력하도록 학습된 머신 러닝 모델(기계학습 모델)에 관한 다양한 기술이 존재한다.
이러한 기술은 최근, 머신 러닝 모델의 정확도 내지 신뢰도를 향상시키기 위한 방향으로 연구 개발이 진행되고 있다. 예컨대 영상 내에 객체가 존재함에도 불구하고 존재하지 않는 것으로 판단하는 오류를 개선 내지 방지하는 기술, 영상 내에 존재하는 객체를 객체가 아닌 배경으로 판단함으로써 발생 가능한 오류를 개선 내지 방지하는 기술 또는 또는 학습의 지속적 수행으로 인해 기존에 학습된 결과가 유효하지 않게 되어 버리는 catastrophic forgetting 문제를 개선 내지 방지하는 기술 등이 등장하고 있다.
한국등록특허공보, 10-1910542호 (2018.10.16. 등록)
일 실시예에 따른 해결하고자 하는 과제는, 영상 내의 객체를 검출하고 판별하도록 학습된 머신 러닝 모델의 성능 개선 기술을 제공하는 것이다.
예컨대 이러한 머신 러닝 모델이 CCTV와 같은 영상 분석 장치에 적용되었을 때, 이러한 영상 분석 장치에서 획득된 영상 내에 객체가 존재함에도 불구하고 존재하지 않는 것으로 판단하거나, 영상 내에 존재하는 객체를 객체가 아닌 배경으로 판단하거나 또는 학습의 지속적 수행으로 인해 기존에 학습된 결과가 유효하지 않게 되어 버리는 catastrophic forgetting 문제를 개선시키는 기술을 제공하는 것이 이러한 해결하고자 하는 과제에 포함될 수 있다.
다만, 본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
일 실시예에 따른 기계학습 모델 관리 시스템은 기 학습된 기계학습 모델에 의해 소정의 영상에 포함된 객체의 검출 결과를 획득하고, 상기 소정의 영상에서 검출된 객체가 관심 객체에 해당하는지에 대한 판별 정보를 출력하는 피드백 서버와, 상기 객체 검출 결과 및 상기 판별 정보를 포함하는 판별 결과 데이터에 기초해서, 상기 기계학습 모델을 재학습시키는 모델 학습용 서버를 포함한다.
일 실시예에 따른 기계학습 모델 관리 시스템이 수행하는 기계학습 모델 관리 방법은 기 학습된 기계학습 모델에 의해 소정의 영상에 포함된 객체의 검출 결과를 획득하는 단계와, 상기 소정의 영상에서 검출된 객체가 관심 객체에 해당하는지에 대한 판별 정보를 출력하는 단계와, 상기 검출 결과 및 상기 판별 정보를 포함하는 판별 결과 데이터에 기초해서, 상기 기계학습 모델을 재학습시키는 단계를 포함하여 수행된다.
일 실시예에 따르면, 영상 내의 객체를 검출하고 판별하도록 학습된 머신 러닝 모델의 성능이 개선될 수 있다. 예컨대 이러한 머신 러닝 모델이 CCTV와 같은 영상 분석 장치에 적용되었을 때, 이러한 영상 분석 장치에서 획득된 영상 내에 객체가 존재함에도 불구하고 존재하지 않는 것으로 판단하거나, 영상 내에 존재하는 객체를 객체가 아닌 배경으로 판단하거나 또는 학습의 지속적 수행으로 인해 기존에 학습된 결과가 유효하지 않게 되어 버리는 catastrophic forgetting 문제가 개선될 수 있다.
도 1은 일 실시예에 따른 복수 개의 영상 분석 장치 및 기계학습 모델 관리 시스템에 대한 개략적인 구성도이다.
도 2는 일 실시예에 따라 수행 가능한 기계학습 모델 관리 방법에 대한 예시적인 순서도이다.
도 3은 일 실시예에 따른 피드백 서버에 대한 개략적인 구성도이다.
도 4는 일 실시예에 따라 생성된 판별 결과 데이터에 대한 개략적인 개념도이다.
도 5는 일 실시예에 따라 수행되는 기계학습 모델의 재학습 과정 및 평가 과정에 대한 개략적인 순서도이다.
도 6은 일 실시예에 따라 기계학습 모델의 재학습이 수행될 때 입력되는 학습용 데이터에 대한 개략적인 개념도이다.
도 7은 또 다른 실시예에 따라 기계학습 모델의 재학습이 수행될 때 입력되는 학습용 데이터에 대한 개략적인 개념도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 일 실시예에 따른 복수 개의 영상 분석 장치(100) 및 기계학습 모델 관리 시스템(200)에 대한 개략적인 구성도이다.
여기서, 영상 분석 장치(100)는 영상을 촬영하는 카메라, 예컨대 CCTV와 같은 촬영 장치를 포함할 수 있다.
또한, 영상 분석 장치(100)는, 촬영된 영상에 어떠한 객체가 포함되어 있다면 그 객체의 종류(또는 카테고리)를 판별해서 출력하도록 구성될 수 있다. 이를 위해 영상 분석 장치(100)에는 기 학습된 모델이 포함될 수 있다. 아울러, 이러한 모델은 후술하겠지만 기계학습 모델 관리 시스템(200)에 의해 재학습, 즉 갱신될 수 있다.
여기서 기 학습된 모델이란, 영상을 입력받으면 이에 존재하는 객체의 종류를 판별해서 출력하는 장치를 가리키는 것으로서, 이러한 모델은 프로세서에 의해 실행되는 소프트웨어 모듈이나 하드웨어 모듈 형태로 구현되거나 또는 소프트웨어 모듈과 하드웨어 모듈이 조합된 형태로 구현될 수 있다.
한편, 이러한 기 학습된 모델은 신경망(neural network)과 같은 알고리즘을 기초로 학습된 기계학습 모델일 수 있는데, 이러한 신경망의 예로는 합성곱 신경망(convolutional neural network, CNN)이 포함될 수 있으나 이에 한정되는 것은 아니다. 학습 과정에 대해 간단히 살펴보면, 먼저, 입력과 정답으로 구성된 학습용 데이터가 복수 개 마련된다. 이 때 입력은 영상을 포함할 수 있고 정답은 영상에 존재하는 객체의 종류(또는 카테고리)를 정보로서 포함할 수 있다. 다음으로, 이렇게 마련된 복수 개의 학습용 데이터 중 입력이 미리 마련된, 학습이 수행되지 않은 모델에 입력된다. 모델이 이러한 입력에 대해 결과를 출력하면, 이렇게 출력된 결과가 전술한 학습용 데이터 중 정답과 비교되며, 그 비교 결과(즉, 정답과 출력된 결과 간의 차이 = 오차)가 최소화가 되도록 모델의 내부의 파라미터들이 결정된다.
한편, 도 1에 도시된 바와 같이 영상 분석 장치(100)는 복수 개가 마련될 수 있다. 이 경우 각각의 영상 분석 장치(100)는 서로 상이한 위치에 배치될 수 있다. 이는, 각각의 영상 분석 장치(100)에 포함된 모델이 그 영상 분석 장치(100)가 설치된 장소에 맞게 개별적으로 최적화되었을 때 그 성능이 향상될 수 있음을 의미한다.
기계학습 모델 관리 시스템(200)은 클라우드에서 구현 가능하며, 피드백 서버(210), 저장부(220), 모델 학습용 서버(230) 및 모델 적용 서버(240)를 포함한다. 다만 이러한 기계학습 모델 관리 시스템(200)의 구성이 도 1에 도시된 것으로 한정 해석되는 것은 아니다.
여기서, 기계학습 모델 관리 시스템(200)에 포함된 이러한 각 구성은 네트워크 등에 의해 서로 연결될 수 있고, 또한 기계학습 모델 관리 시스템(200)과 복수 개의 영상 분석 장치(100) 역시 각각 네트워크 등에 의해 서로 연결될 수 있다.
이 중 피드백 서버(210), 모델 학습용 서버(230) 및 모델 적용 서버(240)와, 이들 각각에 포함된 하위 구성들은 각각, 이하에서 설명될 기능을 수행하도록 전술한 바와 같이 클라우드에서 구현 가능하다.
구체적으로 살펴보면, 피드백 서버(210)는 복수 개의 영상 분석 장치(100) 각각으로부터, 각 영상 분석 장치(100)가 획득한 영상과 이러한 영상에 포함되는 것으로 검출된 객체의 종류에 대한 정보를 획득한 뒤, 이렇게 획득된 영상과 정보를 기초로 판별 결과 데이터를 생성한다. 이렇게 생성된 판별 결과 데이터는, 후술하겠지만 영상과 이에 포함되는 것으로 검출된 객체의 종류(카테고리)에 대한 정보 뿐 아니라, 이러한 객체가 관심 객체에 해당하는지 여부에 대한 정보와 객체가 영상에서 차지하는 영역에 대한 영역 정보 등을 포함할 수 있고, 이러한 판별 결과 데이터는, 후술하겠지만, 복수 개의 영상 분석 장치(100) 각각에 포함된 모델을 재학습시키는데 사용될 수 있다.
저장부(220)는 데이터베이스 등에 의해 구현된다. 이러한 저장부(220)에는 다양한 정보가 저장될 수 있다. 예컨대 저장부(220)에는 복수 개의 영상 분석 장치(100) 각각에 이미 포함되어 있는 모델이 저장될 수 있고, 전술한 판별 결과 데이터가 저장될 수 있을 뿐 아니라, 재학습이 수행된 결과물인 모델이 복수 개의 영상 분석 장치(100) 각각에 대해 저장될 수도 있다.
모델 학습용 서버(230)는, 복수 개의 영상 분석 장치(100) 각각에 이미 포함되어 있는 모델을 저장부(220)로부터 로딩하고, 이들 각각을 재학습시키기 위한 판별 결과 데이터를 저장부(220)로부터 로딩한 뒤, 이렇게 로딩된 데이터들에 기초해서 각각의 모델을 재학습시킨다. 이 과정에서 모델 학습용 서버(230)는, 재학습에 이용될 판별 결과 데이터를 복수 개의 판별 결과 데이터 중에서 소정의 조건에 따라 선별할 수도 있다. 또한 실시예에 따라, 모델 학습용 서버(230)는 적어도 일부의 판별 결과 데이터를 그에 포함된 정답을 반영해서 수정한 뒤, 이렇게 수정된 판별 결과 데이터에 기초해서 각각의 모델을 재학습시킬 수도 있다.
한편, 모델 학습용 서버(230)는 재학습이 수행 완료된 모델에 대한 평가를 수행할 수도 있다. 평가는, 재학습이 수행 완료된 모델의 신뢰도를 산출하고, 이렇게 산출된 신뢰도를 기초로 기반으로 수행될 수 있다. 만약 신뢰도가 기준에 미치지 못한다면, 재학습이 수행되기 전의 모델은 재학습이 수행 완료된 모델에 의해 갱신되지 않고 유지될 수도 있다.
이하에서는 도 1에 도시된 각 구성들 사이에서 수행될 수 있는, 기계학습 모델 관리 시스템에 대한 관리 방법의 절차에 대해 살펴보기로 한다.
도 2는 일 실시예에 따라 수행 가능한 기계학습 모델 관리 방법에 대한 예시적인 순서도이다. 다만, 도 2에 도시된 순서도는 예시적인 것에 불과하므로, 일 실시예에 따른 기계학습 모델 관리 방법이 도 2에 도시된 것으로 한정 해석되는 것은 아니다. 예컨대 기계학습 모델 관리 방법은, 도 2에 도시된 것과 상이한 순서로 수행될 수 있으며, 도 2에 도시되지 않은 단계가 추가로 수행되거나 또는 도 2에 도시된 단계 중 일부가 수행되지 않을 수도 있다.
도 2를 참조하면, 영상 분석 장치(100)는 복수 개가 마련될 수 있는데, 각각의 영상 분석 장치(100)에 포함된 모델에서는 각각의 영상 분석 장치(100)가 획득한 영상에 객체가 포함되어 있는지를 검출하는 과정이 수행되고, 있다면 객체의 종류를 판별하는 과정이 수행한다(S100).
여기서, 만약 획득된 영상에 어떠한 객체도 포함되어 있지 않고 배경만이 포함되어 있을 수도 있는데, 이 경우 영상 분석 장치(100)의 모델은 '획득된 영상에는 객체가 포함되어 있지 않다'라고 검출 결과를 출력할 수도 있다.
S100에서 판별된 객체에 대한 정보는 피드백 서버(210)에게 전달된다(S110). 이 때, 실시예에 따라서 S110에서 전달되는 정보는, 객체가 포함되어 있는 것으로 판별된 영상에 대한 정보를 포함하는 반면, 객체가 포함되어 있지 않은 것으로 판별된 영상에 대한 정보는 포함하지 않을 수 있다.
피드백 서버(210)는 S110에서 전달받은 정보에 기초해서 판별 결과 데이터를 생성한 뒤(S200), 이를 저장부(220)에 전달한다(S300). 이러한 피드백 서버(210)에 대한 개략적인 구성은 도 3에서 보다 자세하게 살펴보기로 한다.
도 3은 일 실시예에 따른 피드백 서버(210)에 대한 개략적인 구성도이다. 도 3을 참조하면, 피드백 서버(210)는 판별 결과 데이터 생성부(211), 관심 객체 판별부(212), 영역 정보 생성부(213), 정답 획득부(214) 및 스코어 획득부(215)를 포함한다. 여기서, 도 3에 도시된 피드백 서버(210)의 구성은 예시적인 것에 불과하므로, 피드백 서버(210)의 구성이 도 3에 도시된 것으로 한정 해석되는 것은 아니다.
판별 결과 데이터 생성부(211)는 판별 결과 데이터를 생성한다. 도 4에 도시된 것과 같이, 판별 결과 데이터(216)는 영상, 카테고리, 관심 객체에 해당하는지 여부, 영역 정보, 정답 및 스코어를 포함하며, 다만 이에 한정되는 것은 아니다.
이 중 영상은 S110에서 전달받은 것이다. 아울러, 카테고리 역시 S110에서 전달받은 것이며, 영상에 포함된 객체의 종류를 나타낸다.
아울러, 관심 객체에 해당하는지 여부는, 영상에 포함된 객체의 종류가, 해당 영상 분석 장치(100)의 사용자가 관심있어 하는 객체에 해당하는지 여부를 나타내는 정보이다. 예컨대 사용자가 지정한 관심 객체가 자동차, 강아지 및 사람인데 영상에 포함된 객체가 자동차이면 이 때 해당 객체는 관심 객체에 해당하는 것으로 볼 수 있는 반면, 영상에 포함된 객체가 고양이이면 이 때 해당 객체는 관심 객체에 해당하지 않는 것으로 볼 수 있다.
여기서, 이러한 관심 객체에 해당하는지 여부에 대한 정보는 도 3에 도시된 관심 객체 판별부(212)에 의해 판별되어 출력된 것일 수 있고, 이를 위해 관심 객체 판별부(212)는 다음과 같은 방식으로 구현 가능하다.
첫째, 관심 객체 판별부(212)는 사용자로부터 관심 객체에 해당하는지에 대한 정답을 입력받는 인터페이스를 포함할 수 있다. 즉, 관심 객체에 해당하는지 여부에 대한 정보는, 사용자가 이러한 관심 객체 판별부(212)에 포함된 인터페이스를 통해서 입력한 정보일 수 있다.
둘째, 관심 객체 판별부(212)는 기 학습된 모델에 의해 구현될 수 있다. 이러한 모델은, 영상에 포함된 객체가 관심 객체에 해당하는지 여부를 출력하도록 기계학습 방식 등에 따라 학습된 것일 수 있다.
한편, 이러한 모델의 학습 과정에 이용되는 학습용 데이터에 대해 간략하게 살펴보면, 학습용 데이터 중 입력은 영상에 포함된 객체의 카테고리에 대한 정보가 포함될 수 있고, 정답은 이러한 객체가 관심 객체에 해당하는지에 대한 정보를 포함할 수 있다. 아울러, 이러한 학습용 데이터가 적용되는 모델은 분류(classify) 모델을 포함할 수 있으며, 다만 이에 한정되는 것은 아니다.
다시 도 4를 참조하면, 영역 정보는 S110에서 전달받은 영상에 포함된 객체가 해당 영상에서 차지하는 영역을 나타낸다. 이러한 영역 정보는 바운딩 박스(bounding box), segmented object 또는 소정의 좌표 등의 방식으로 표시될 수 있다.
여기서, 영역 정보는 도 3에 도시된 영역 정보 획득부(213)에 의해 획득된 것일 수 있다. 이를 위해 영역 정보 획득부(213)는 기 학습된 모델의 의해 구현될 수 있다. 이러한 모델은, 객체를 포함하는 영상이 주어지면 해당 영상에서 객체가 차지하는 영역을 출력하도록 기 학습된 것일 수 있다.
한편, 이러한 모델의 학습 과정에 이용되는 학습용 데이터에 대해 간략하게 살펴보면, 학습용 데이터 중 입력은 객체를 포함하는 영상을 포함할 수 있고, 정답은 이러한 해당 영상에서 이러한 객체가 차지하는 영역에 대한 영역 정보를 포함할 수 있다. 아울러, 이러한 학습용 데이터가 적용되는 모델은 합성곱 신경망(CNN) 모델을 포함할 수 있으며, 다만 이에 한정되는 것은 아니다.
정답(ground-truth)은 판별 결과 데이터(216)에 대한 것으로서, 예컨대 S110에서 전달받은 영상의 카테고리에 대한 참값 또는 해당 객체의 영역 정보에 대한 참값을 포함할 수 있다.
이러한 정답은 도 3에 도시된 정답 획득부(214)에 의해 획득된 것일 수 있고, 이러한 정답 획득부(214)는 관심 객체 판별부(212)와 같은 방식으로, 즉 사용자로부터 입력을 받는 인터페이스 형태로 구현되거나 또는 정답을 출력하도록 학습된 모델에 의해 구현될 수 있다.
스코어(score)는 판별 결과 데이터(216)에 대한 것으로서, 예컨대 S110에서 전달받은 영상의 카테고리의 정확도를 나타내는 값 또는 해당 객체의 영역 정보의 정확도를 나타내는 값일 수 있다.
이러한 스코어는 도 3에 도시된 스코어 획득부(215)에 의해 획득된 것일 수 있고, 이러한 스코어 획득부(215)는 관심 객체 판별부(212)와 같은 방식으로, 즉 사용자로부터 입력을 받는 인터페이스 형태로 구현되거나 또는 스코어를 출력하도록 학습된 모델에 의해 구현될 수 있다.
여기서, 일 실시예에서 판별 결과 데이터 생성부(210)는 판별 결과 데이터를, 영상에 포함된 객체가 관심 객체에 해당하는지에 따라 다음과 같이 상이하게 생성할 수 있다.
case 1) 만일, 영상에 포함된 객체가 관심 객체에 해당되면 , 해당 객체의 영역 정보에 대응하는 영역에 해당 객체가 배치되어 있는 것을 전제로 판별 결과 데이터를 생성한다.
case 2) 그러나, 영상에 포함된 객체가 관심 객체에 해당되지 않으면, 해당 객체의 영역 정보에 대응하는 영역에 어떠한 객체도 배치되어 있지 않은 것을 전제로, 즉 해당 영상에는 배경만이 포함되어 있는 것을 전제로 판별 결과 데이터를 생성한다.
여기서, case 1)에 따라 판별 결과 데이터가 생성되고, 이렇게 생성된 판별 결과 데이터에 기초해서 (후술하겠지만) 모델이 재학습될 경우, 이러한 재학습은 이하에서는 'positive learning'이라고 지칭하기로 한다. 이와 달리, case 2)에 따라 판별 결과 데이터가 생성되고, 이렇게 생성된 판별 결과 데이터에 기초해서 (후술하겠지만) 모델이 재학습될 경우, 이러한 재학습은 이하에서는 'negative learning'이라고 지칭하기로 한다.
다시 도 2를 참조하면, 모델 학습용 서버(230)는 저장부(220)로부터 복수 개의 영상 분석 장치(100) 각각에 포함된 모델을 로딩한 뒤, S300에서 전달받아서 저장부(220)에 저장된 판별 결과 데이터를 이용해서, 이렇게 로딩된 각각의 모델을 재학습시키고, 실시예에 따라 이렇게 재학습된 각각의 모델에 대해 평가를 수행한다(S400). 이에 대해서는 도 5를 참조하여 자세하게 살펴보기로 한다.
먼저, 저장부(220)에는 복수 개의 영상 분석 장치(100) 각각에 포함된 모델이, 어떤 영상 분석 장치(100)에 포함되었는지에 대한 정보와 함께 저장되어 있다. 아울러, 각각의 영상 분석 장치(100)에 대해 생성된 판별 결과 데이터가 S300을 통해 전달되어서, 어떤 영상 분석 장치(100)에 대한 것인지에 대한 정보와 함께 저장부(220)에 저장되어 있다.
모델 학습용 서버(230)는 이렇게 저장부(220)에 저장되어 있는 판별 결과 데이터의 개수를 카운트하고, 카운트된 개수가 소정의 임계치 이상인지 여부를 판단한다(S410). 만약 임계치 이상이 아니라면 임계치 이상이 될 때까지는 재학습이 수행되지 않고 대기될 수 있으나, 임계치 이상이라면 다음 단계인 S420이 수행될 수 있다.
S410에서 카운트된 개수가 소정의 임계치 이상이라면, 이러한 판별 결과 데이터 중에서 스코어가 일정 이상인 판별 결과 데이터를 모델 학습용 서버(230)는 선별한다(S420).
이 후, 이렇게 선별된 판별 결과 데이터에 기초해서 모델 학습용 서버(230)는 저장부(220)로부터 로딩된 복수 개의 영상 분석 장치(100) 각각에 포함된 모델을 재학습시킨다(S430). 이 때, 각각의 모델을 재학습시킬 때의 학습용 데이터는 다음과 같이 구성될 수 있다.
제1 실시예 : 입력은 판별 결과 데이터 중 영상을 포함, 정답은 판별 결과 데이터 중 카테고리와 영역 정보를 포함 (도 6에 도시)
제2 실시예 : 입력은 판별 결과 데이터 중 영상을 포함, 정답은 판별 결과 데이터 중 정답이 반영된 카테고리와 정답이 반영된 영역 정보를 포함 (도 7에 도시)
여기서, 제2 실시예 중 카테고리와 영역 정보에 반영되는 '정답'은 도 4에 도시된 '정답', 즉 판별 결과 데이터에 포함된 정답일 수 있다. 이에 대해 구체적으로 살펴보면, S200에서 생성된 판별 결과 데이터에는 다음과 같은 오탐지 또는 미탐지와 같은 오류가 포함될 수 있다. 예컨대 관심 객체에 해당되지 않는 객체가 자주 출현한 영역에서 관심 객체에 해당하는 객체가 출현할 경우, 판별 결과 데이터는 해당 객체가 해당 영역에서 출현하지 않은 것으로 오판할 수 있다. 이러한 경우에 대한 오류를 개선 내지 정정하는 방안으로, 제2 실시예에서는 정답이 반영된 카테고리 또는 정답이 반영된 영역 정보에 기초해서 모델을 재학습시킬 수 있다. 즉, 이러한 정답을 이용해서 카테고리나 영역 정보를 수정한 뒤, 이렇게 수정된 판별 결과 데이터에 기초해서 모델의 재학습이 수행될 수 있다.
다시 도 5를 참조하면, 모델 학습용 서버(230)는 S430에서 재학습된 모델에 대한 평가를 수행한다(S440). 구체적으로 살펴보면, 모델 학습용 서버(230)는 S230에서 재학습된 모델의 신뢰도를 산출한다. 이 때 신뢰도의 산출에는 도 4에 도시된 정답이 이용될 수 있다. 예컨대 판별 결과 데이터로부터 영상을 추출해서 재학습된 모델에 입력시키고, 입력에 대응해서 재학습된 모델이 출력한 결과를 도 4에 도시된 정답과 비교하되, 이러한 과정을 수차례 반복함으로써 모델 학습용 서버(230)는 재학습된 모델에 대한 신뢰도를 산출할 수 있다.
한편, 실시예에 따라 S410과 S420은 수행되지 않을 수 있으며, 이 경우 판별 결과 데이터를 기초로 모델의 재학습이 수행될 수 있다.
다시 도 2를 참조하면, 만약 재학습된 모델의 신뢰도(S300)가 소정의 기준에 미치지 못하는 경우, 모델 학습용 서버(230)는 재학습시킨 모델이 아닌, 재학습 이전의 기존 모델에 의해 영상에 포함된 객체의 종류 판별이 수행되도록 제어할 수 있다.
이와 달리 그 신뢰도가 소정의 기준을 만족시킨다면, 모델 학습용 서버(230)는 재학습시킨 모델에 의해 영상에 포함된 객체의 종류 판별이 수행되도록, 이러한 재학습시킨 모델이 저장부(220)에 저장되도록 한다. 그러면, 이렇게 저장된 재학습시킨 모델은 모델 적용 서버(240)에 전달되고(S500), 복수 개의 영상 분석 장치(100)에는 이렇게 재학습된 모델이 전달되며(S510), 이후부터는 복수 개의 영상 분석 장치(100)에서는 이렇게 재학습된 모델에 의해 영상에 포함된 객체의 종류 판별이 수행된다(S600).
이하에서는, 이러한 일 실시예에 따를 경우의 효과에 대해 살펴보기로 한다.
첫째, 영상 분석 장치(100)에 포함된 모델은, 이러한 영상 분석 장치(100)보다 성능이 우수한 모델 학습용 서버(230)에 의해 재학습된 모델에 의해 갱신될 수 있다. 통상적으로 영상 분석 장치(100)의 경우 CCTV 등에서 구현되는 반면, 모델 학습용 서버(230)는 클라우드와 같이 영상 분석 장치(100)보다 우수한 연산 능력을 갖는다. 따라서, 이러한 모델 학습용 서버(230)에서 재학습된 모델의 성능이 영상 분석 장치(100) 각각에 포함된 초기의 모델보다 판별 성능이 우수할 수 있다.
둘째, 재학습에 이용되는 판별 결과 데이터의 경우, 전술한 positive learning 방식과 negative learning으로 활용될 수 있는데, 이 때 negative learning에 따르면, 관심 객체에 해당하는 않는 객체를 포함하는 영상은 마치 해당 영상에 어떠한 객체도 포함되지 않은 것으로서 학습에 이용된다. 이 경우, 관심 객체에 해당하는 객체를 포함하는 영상만이 positive learning에 이용될 수 있고 관심 객체에 해당하지 않는 객체를 포함하는 영상은 positive learning에 이용되지 않고 negative learning에 이용될 수 있으므로, 사용자에게 보다 의미있는 정보의 전달이 가능하게 된다.
셋째, 재학습에 이용되는 판별 결과 데이터의 경우 객체의 영역 정보까지도 포함하는바, 재학습된 모델은 객체가 영상에서 출현하는 영역 정보에 의해서도 학습될 수 있다. 따라서, 각각의 모델은 영상 분석 장치(100)가 설치된 환경을 반영할 수 있게 되므로, 영상 분석 장치(100)가 고정된 CCTV와 같은 형태인 경우 최적의 성능 발휘가 가능하도록 할 수 있다.
넷째, '정답'을 통해 판별 결과 데이터의 수정이 가능하며, 이렇게 수정된 판별 결과 데이터를 통해 재학습이 이루어지므로, 오탐지나 미탐지와 같은 오류가 개선될 수 있다.
다섯째, 재학습된 모델에 대한 평가가 수행되어서, 기존보다 성능이 좋지 않도록 재학습된 모델은 적용되지 않도록 배제될 수 있다. 예컨대 영상 분석 장치(100)가 설치된 환경에 갑작스러운 날씨 변화나 조명 변화가 있는 경우, 이러한 변화가 반영된 환경을 재학습 하기 전에는 성능 저하가 발생할 수 있고, 이와 같이 변화된 환경만에 대한 학습이 지속되면 catastrophic forgetting 문제가 발생할 수 있는데, 이러한 평가를 통하면 전술한 문제가 해결될 수 있다.
아울러, 전술한 다양한 실시예들에 따른 방법은 이러한 방법의 각 단계를 수행하도록 프로그램된 컴퓨터 판독가능한 기록매체에 저장된 컴퓨터 프로그램의 형태로 구현 가능하고, 또한 이러한 방법의 각 단계를 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체의 형태로 구현될 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다
일 실시예에 따르면, 영상 내의 객체를 판별하도록 학습된 머신 러닝 모델의 성능이 개선될 수 있다.
100: 영상 분석 장치
200: 모델 학습 서버

Claims (12)

  1. 기 학습된 기계학습 모델에 의해 소정의 영상에 포함된 객체의 검출 결과를 획득하고, 상기 소정의 영상에서 검출된 객체가 관심 객체에 해당하는지에 대한 판별 정보를 출력하는 피드백 서버와,
    상기 객체 검출 결과 및 상기 판별 정보를 포함하는 판별 결과 데이터에 기초해서, 상기 기계학습 모델을 재학습시키는 모델 학습용 서버를 포함하는
    기계학습 모델 관리 시스템.
  2. 제 1 항에 있어서,
    상기 피드백 서버는,
    상기 소정의 영상에 포함된 객체가 상기 관심 객체에 해당하는지 여부를 상기 판별 정보로서 출력하도록 기 학습된 관심 객체 판별부를 포함하는
    기계학습 모델 관리 시스템.
  3. 제 2 항에 있어서,
    상기 피드백 서버는,
    상기 소정의 영상에 포함된 객체가 상기 소정의 영상에서 차지하는 영역을 나타내는 영역 정보를 획득하는 영역 정보 획득부와,
    상기 소정의 영상에 포함된 객체가 상기 관심 객체 판별부가 출력한 상기 판별 정보에 의해 상기 관심 객체에 해당하는 것으로 판별되면, 상기 영역 정보 획득부에 의해 획득된 영역 정보의 대응 영역에 상기 객체가 배치해 있다는 정보를 포함하도록 상기 판별 결과 데이터를 생성하고, 상기 소정의 영상에 포함된 객체가 상기 관심 객체 판별부가 출력한 상기 판별 정보에 의해 상기 관심 객체에 해당하지 않는 것으로 판별되면, 상기 영역 정보 획득부에 의해 획득된 영역 정보의 대응 영역에 어떠한 객체도 배치되어 있지 않다는 정보를 포함하도록 상기 판별 결과 데이터를 생성하는 판별 결과 데이터 생성부를 더 포함하는
    기계학습 모델 관리 시스템.
  4. 제 1 항에 있어서,
    상기 모델 학습용 서버는,
    임계치 이상의 개수를 갖는 상기 판별 결과 데이터에 기초해서 상기 기계학습 모델을 재학습시키는
    기계학습 모델 관리 시스템.
  5. 제 1 항에 있어서,
    상기 판별 결과 데이터는,
    상기 판별된 결과의 정확도와 관련된 스코어를 더 포함하고,
    상기 모델 학습용 서버는,
    상기 스코어를 더 포함하는 복수 개의 상기 판별 결과 데이터 중에서 소정의 기준 이상인 스코어를 갖는 판별 결과 데이터에 기초해서 상기 기계학습 모델을 재학습시키는
    기계학습 모델 관리 시스템.
  6. 제 1 항에 있어서,
    상기 피드백 서버는,
    상기 판별 결과 데이터에 대한 정답(ground-truth)을 획득하는 정답 획득부를 포함하고,
    상기 모델 학습용 서버는,
    상기 획득된 정답이 반영된 상기 판별 결과 데이터에 기초해서 상기 기계학습 모델을 재학습시키는
    기계학습 모델 관리 시스템.
  7. 제 1 항에 있어서,
    상기 피드백 서버는,
    상기 판별 결과 데이터에 대한 정답(ground-truth)을 획득하는 정답 획득부를 포함하고,
    상기 모델 학습용 서버는,
    상기 재학습시킨 기계학습 모델의 신뢰도를 상기 획득된 정답을 기초로 산출하고, 상기 산출된 결과를 기초로 상기 재학습이 수행되기 전의 기계학습 모델과 상기 재학습시킨 기계학습 모델 중 어느 하나에 의해서 영상에 포함된 객체의 종류 판별이 수행되도록 제어하는
    기계학습 모델 관리 시스템.
  8. 제 6 항 또는 제 7 항에 있어서,
    상기 정답 획득부는,
    상기 판별 결과 데이터에 대한 정답을 출력하도록 기 학습된 것인
    기계학습 모델 관리 시스템.
  9. 기계학습 모델 관리 시스템이 수행하는 기계학습 모델 관리 방법으로서,
    기 학습된 기계학습 모델에 의해 소정의 영상에 포함된 객체의 검출 결과를 획득하는 단계와,
    상기 소정의 영상에서 검출된 객체가 관심 객체에 해당하는지에 대한 판별 정보를 출력하는 단계와,
    상기 검출 결과 및 상기 판별 정보를 포함하는 판별 결과 데이터에 기초해서, 상기 기계학습 모델을 재학습시키는 단계를 포함하는
    기계학습 모델 관리 방법.
  10. 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,
    상기 컴퓨터 프로그램은,
    제 9 항에 따른 방법의 각 단계를 프로세서가 수행하도록 하기 위한 명령어를 포함하는
    컴퓨터 판독가능한 기록매체.
  11. 컴퓨터 판독 가능 기록매체에 저장되어 있는 컴퓨터 프로그램으로서,
    상기 컴퓨터 프로그램은,
    제 9 항에 따른 방법의 각 단계를 프로세서가 수행하도록 하기 위한 명령어를 포함하는
    컴퓨터 프로그램.
  12. 소정의 영상에 포함된 객체를 검출하도록 기 학습된 기계학습 모델을 포함하되,
    상기 기계학습 모델은,
    상기 객체 검출 결과 및 상기 소정의 영상에서 검출된 객체가 관심 객체에 해당하는지에 대한 판별 정보를 포함하는 판별 결과 데이터에 기초해서 재학습이 수행되는 것을 특징으로 하는
    영상 분석 장치.
KR1020190104590A 2019-08-26 2019-08-26 기계학습 모델 관리 시스템과 방법 및 영상 분석 장치 KR20210024871A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190104590A KR20210024871A (ko) 2019-08-26 2019-08-26 기계학습 모델 관리 시스템과 방법 및 영상 분석 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190104590A KR20210024871A (ko) 2019-08-26 2019-08-26 기계학습 모델 관리 시스템과 방법 및 영상 분석 장치

Publications (1)

Publication Number Publication Date
KR20210024871A true KR20210024871A (ko) 2021-03-08

Family

ID=75185002

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190104590A KR20210024871A (ko) 2019-08-26 2019-08-26 기계학습 모델 관리 시스템과 방법 및 영상 분석 장치

Country Status (1)

Country Link
KR (1) KR20210024871A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102436494B1 (ko) * 2022-06-02 2022-08-26 (주) 인터마인즈 상품인식 알고리즘을 통한 상품 판매개수 산출방법 및 산출장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101910542B1 (ko) 2017-06-21 2018-10-22 에스케이 텔레콤주식회사 객체 검출을 위한 영상분석 서버장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101910542B1 (ko) 2017-06-21 2018-10-22 에스케이 텔레콤주식회사 객체 검출을 위한 영상분석 서버장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102436494B1 (ko) * 2022-06-02 2022-08-26 (주) 인터마인즈 상품인식 알고리즘을 통한 상품 판매개수 산출방법 및 산출장치
KR20230167687A (ko) * 2022-06-02 2023-12-11 (주) 인터마인즈 상품인식 알고리즘을 통한 상품 판매개수 산출방법 및 산출장치

Similar Documents

Publication Publication Date Title
CN110046706B (zh) 模型生成方法、装置及服务器
JP2015087903A (ja) 情報処理装置及び情報処理方法
EP3417424B1 (en) Real-time detection of object scanability
CN110059646B (zh) 训练动作规划模型的方法及目标搜索方法
KR102552968B1 (ko) 다중 객체 추적 방법 및 이를 위한 장치
US11797688B2 (en) Apparatus and method for determining vulnerability of deep learning model
CN111985458A (zh) 一种检测多目标的方法、电子设备及存储介质
Schwaiger et al. From black-box to white-box: examining confidence calibration under different conditions
KR102388535B1 (ko) 인공지능에 기반하여 내시경 영상을 분석하기 위한 방법 및 장치
CN113243021A (zh) 用于训练神经网络的方法
KR20210024871A (ko) 기계학습 모델 관리 시스템과 방법 및 영상 분석 장치
US20210224646A1 (en) Method for generating labeled data, in particular for training a neural network, by improving initial labels
JP2016224821A (ja) 学習装置、学習装置の制御方法及びプログラム
JP2019158684A (ja) 検査システム、識別システム、及び識別器評価装置
US20220351533A1 (en) Methods and systems for the automated quality assurance of annotated images
KR20200124887A (ko) 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치
CN112534447B (zh) 训练用于控制工程系统的机器学习例程的方法和设备
CN110334244B (zh) 一种数据处理的方法、装置及电子设备
US20210326647A1 (en) Device and method to improve the robustness against 'adversarial examples'
KR102221711B1 (ko) X-ray 이미지 최적화를 통해 판독률이 향상된 X-ray 판독시스템
KR20210031444A (ko) 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치
CN112000856A (zh) 因果关系的确定方法、装置、设备及可读存储介质
KR20210085485A (ko) 분석 모델 학습 장치 및 방법
US20230234610A1 (en) Method and Control Device for Training an Object Detector
KR102317343B1 (ko) X-ray 이미지 최적화를 통해 판독률이 향상된 X-ray 판독시스템

Legal Events

Date Code Title Description
A201 Request for examination