KR20230086302A - 학습 영상 데이터에 대한 주파수 분석에 기초하여 신경망 모델을 학습시키는 전자 장치 및 전자 장치의 제어 방법 - Google Patents

Abstract

전자 장치 및 전자 장치의 제어 방법이 개시된다. 특히, 본 개시에 따른 전자 장치는 메모리 및 프로세서를 포함하고, 프로세서는 신경망 모델의 학습을 위한 복수의 학습 영상 각각에 대한 주파수 성분을 분석하여, 복수의 학습 영상에 대한 평균 주파수 성분의 집합을 획득하고, 평균 주파수 성분의 집합에 기초하여, 저주파수 영역이 제외된 타겟 주파수 영역을 결정하며, 타겟 주파수 영역에 포함된 복수의 영역 별 주파수 성분의 합에 기초하여, 복수의 학습 영상을 그룹핑하기 위한 그룹핑 기준을 결정하고, 그룹핑 기준에 기초하여 복수의 학습 영상을 복수의 그룹으로 그룹핑하며, 복수의 그룹 중 주파수 성분이 낮은 그룹에 포함된 학습 영상부터 복수의 그룹 중 주파수 성분이 높은 그룹에 포함된 학습 영상 순으로 신경망 모델에 입력하여 신경망 모델을 학습시킬 수 있다. 그 밖에도 다양한 실시 예가 가능하다.

Description

학습 영상 데이터에 대한 주파수 분석에 기초하여 신경망 모델을 학습시키는 전자 장치 및 전자 장치의 제어 방법{ELECTRONIC DEVICE FOR EFFICIENTLY TRAINING NEURAL NETWORK MODEL BASED ON FREQUENCY ANALYSIS OF TRAING IMAGE DATA AND CONTROLLING METHOD THEREOF}

본 개시는 전자 장치 및 전자 장치의 제어 방법에 관한 것으로서, 구체적으로는 학습 영상 데이터에 대한 주파수 분석에 기초하여 신경망 모델을 학습시키는 전자 장치 및 이의 제어 방법에 관한 것이다.

근래 인공 지능 기술의 눈부신 발전은 기존 산업의 가치를 제고하고 새로운 산업을 창출하고 있다. 인공 지능은 기본적으로 많은 학습 데이터를 기반으로 하고 있으며, 이를 효율적으로 신경망 모델(예: 분류기)의 학습에 활용하는 것은 매우 중요한 일이다. 그런데, 학습 데이터(예: 학습 영상) 양이 많아지면 학습 시간이 많이 걸리거나, 학습의 결과가 최적의 결과로 수렴되지 않고 발산하는 경우가 발생할 수 있다.

종래 기술에 따르면, 학습 영상에 대한 특정한 기준 없이 신경망 모델을 학습시키기 때문에 학습의 수렴 속도가 느리거나, 수렴이 잘 이루어지지 않는 문제가 발생할 수 있다. 구체적으로, 종래 기술에 따라 신경망 모델을 학습하는 경우, 학습이 진행됨에 따라 학습의 에러율이 감소하지 않는 구간이 발생할 수 있으며, 이 경우 학습 영상을 무작위로 다시 섞어서 학습하거나, 신경망 모델의 구조를 변경하여 다시 학습하는 과정을 반복하여야 한다.

따라서, 종래 기술에 대해서는 신경망 모델의 학습 과정에서 발생된 문제점을 분석하기 어렵고, 신경망 모델의 학습에 소요되는 시간이 많이 든다는 한계가 지적되고 있다.

본 개시는 상술한 바와 같은 필요성에 따른 것으로서, 본 개시의 목적은 학습 영상의 주파수 분석에 기초하여 신경망 모델을 효율적이고 안정적으로 학습시킬 수 있는 전자 장치 및 전자 장치의 제어 방법을 제공함에 있다.

상술한 바와 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따르면, 전자 장치는 메모리 및 신경망 모델의 학습을 위한 복수의 학습 영상 각각에 대한 주파수 성분을 분석하여, 복수의 학습 영상에 대한 평균 주파수 성분의 집합을 획득하고, 상기 평균 주파수 성분의 집합에 기초하여, 저주파수 영역이 제외된 타겟 주파수 영역을 결정하며, 상기 타겟 주파수 영역에 포함된 복수의 영역 별 주파수 성분의 합에 기초하여, 상기 복수의 학습 영상을 그룹핑하기 위한 그룹핑 기준을 결정하고, 상기 그룹핑 기준에 기초하여 상기 복수의 학습 영상을 복수의 그룹으로 그룹핑하며, 상기 복수의 그룹 중 주파수 성분이 낮은 그룹에 포함된 학습 영상부터 상기 복수의 그룹 중 주파수 성분이 높은 그룹에 포함된 학습 영상 순으로 상기 신경망 모델에 입력하여 상기 신경망 모델을 학습시키는 프로세서를 포함한다.

여기서, 상기 프로세서는 고속 푸리에 변환(fast fourier transform, FFT)을 이용하여 상기 복수의 학습 영상 각각에 대한 주파수 성분을 분석할 수 있다.

한편, 상기 프로세서는 상기 평균 주파수 성분의 집합 중 최대 값을 식별하고, 상기 평균 주파수 성분의 집합 중 상기 최대 값의 1/2인 주파수 성분에 대응되는 지점부터 상기 평균 주파수 성분의 집합 중 상기 최대 값의 1/10인 주파수 성분에 대응되는 지점까지의 영역을 식별하는 것에 기초하여, 상기 타겟 주파수 영역을 결정할 수 있다.

한편, 상기 프로세서는 상기 복수의 학습 영상의 중심점과의 거리에 기초하여, 상기 타겟 주파수 영역을 동일한 면적을 갖는 제1 개수의 영역들로 구분함으로써 상기 복수의 영역을 결정하고, 상기 복수의 영역 각각에 대한 주파수 성분의 합을 산출하여 상기 중심점과의 거리가 가까운 영역부터 상기 중심점과의 거리가 먼 영역까지 순차적으로 배열하며, 상기 배열된 주파수 성분의 합에서 상기 주파수 성분의 합이 급격하게 증가하는 경계를 기준으로 상기 복수의 영역을 구분함으로써, 상기 그룹핑 기준을 결정할 수 있다.

한편, 상기 프로세서는 상기 복수의 학습 영상 별로 상기 그룹핑 기준에 따른 주파수 성분의 합을 산출하는 것에 기초하여, 상기 복수의 학습 영상을 상기 복수의 그룹으로 그룹핑할 수 있다.

한편, 상기 프로세서는 상기 신경망 모델의 학습이 진행되는 동안 상기 신경망 모델의 학습에 따른 에러율에 대한 정보를 획득하고, 상기 에러율에 대한 정보에 기초하여 상기 학습이 비정상적으로 수행되었는지 여부를 식별하며, 상기 학습이 비정상적으로 수행된 것으로 식별되면, 상기 타겟 주파수 영역을 상기 제1 개수와 상이한 제2 개수의 영역들로 구분함으로써 상기 복수의 영역을 재 결정하고, 상기 재 결정된 복수의 영역에 기초하여 상기 복수의 학습 영상을 복수의 그룹으로 재그룹핑한 후, 상기 신경망 모델을 재학습시킬 수 있다.

여기서, 상기 프로세서는 상기 학습이 진행되는 동안 상기 에러율이 기 설정된 임계 값 이상으로 증가하면, 상기 학습이 비정상적으로 수행된 것으로 식별할 수 있다.

한편, 상기 프로세서는 상기 복수의 그룹 별 학습 영상을 각각 상이한 신경망 모델의 학습에 이용할 수 있다.

상술한 바와 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따르면, 전자 장치의 제어 방법은 신경망 모델의 학습을 위한 복수의 학습 영상 각각에 대한 주파수 성분을 분석하여, 복수의 학습 영상에 대한 평균 주파수 성분의 집합을 획득하는 단계, 상기 평균 주파수 성분의 집합에 기초하여, 저주파수 영역이 제외된 타겟 주파수 영역을 결정하는 단계, 상기 타겟 주파수 영역에 포함된 복수의 영역 별 주파수 성분의 합에 기초하여, 상기 복수의 학습 영상을 그룹핑하기 위한 그룹핑 기준을 결정하는 단계, 상기 그룹핑 기준에 기초하여 상기 복수의 학습 영상을 복수의 그룹으로 그룹핑하는 단계 및 상기 복수의 그룹 중 주파수 성분이 낮은 그룹에 포함된 학습 영상부터 상기 복수의 그룹 중 주파수 성분이 높은 그룹에 포함된 학습 영상 순으로 상기 신경망 모델에 입력하여 상기 신경망 모델을 학습시키는 단계를 포함한다.

상술한 바와 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따르면, 전자 장치의 제어 방법을 실행하는 프로그램을 포함하는 비일시적 컴퓨터 판독 가능 기록매체에 있어서, 상기 전자 장치의 제어 방법은 신경망 모델의 학습을 위한 복수의 학습 영상 각각에 대한 주파수 성분을 분석하여, 복수의 학습 영상에 대한 평균 주파수 성분의 집합을 획득하는 단계, 상기 평균 주파수 성분의 집합에 기초하여, 저주파수 영역이 제외된 타겟 주파수 영역을 결정하는 단계, 상기 타겟 주파수 영역에 포함된 복수의 영역 별 주파수 성분의 합에 기초하여, 상기 복수의 학습 영상을 그룹핑하기 위한 그룹핑 기준을 결정하는 단계, 상기 그룹핑 기준에 기초하여 상기 복수의 학습 영상을 복수의 그룹으로 그룹핑하는 단계 및 상기 복수의 그룹 중 주파수 성분이 낮은 그룹에 포함된 학습 영상부터 상기 복수의 그룹 중 주파수 성분이 높은 그룹에 포함된 학습 영상 순으로 상기 신경망 모델에 입력하여 상기 신경망 모델을 학습시키는 단계를 포함한다.

도 1은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 나타내는 흐름도,
도 2는 복수의 학습 영상에 대한 평균 주파수 성분의 집합을 획득하는 과정을 예시적으로 나타내는 도면,
도 3은 평균 주파수 성분의 집합을 나타내는 영상을 복수의 주파수 영역으로 구분하는 과정을 나타내는 도면,
도 4는 복수의 주파수 영역 중 하나의 주파수 영역의 반직선 상의 주파수 크기를 나타내는 그래프,
도 5는 타겟 주파수 영역을 구분하는 복수의 영역을 나타내는 도면,
도 6은 복수의 영역 별 주파수 성분의 합에 기초하여 그룹핑 기준을 결정하는 과정을 나타내는 도면,
도 7은 그룹핑 기준에 따라 하나의 학습 영상에 대한 그룹을 할당하는 과정을 예시적으로 설명하기 위한 도면,
도 8은 신경망 모델의 학습이 정상적으로 수행되는 경우의 학습 에러율을 나타내는 도면,
도 9는 신경망 모델의 학습이 비정상적으로 수행되는 경우의 학습 에러율을 나타내는 도면,
도 10은 본 개시에 따른 복수의 그룹 별 학습 영상을 각각 상이한 신경망 모델의 학습에 이용하는 실시 예에 대해 설명하기 위한 도면, 그리고,
도 11은 본 개시의 일 실시 예에 따른 전자 장치의 구성을 간략하게 나타내는 블록도이다.

본 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 본 개시의 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.

본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다.

덧붙여, 하기 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 개시의 기술적 사상의 범위가 하기 실시 예에 한정되는 것은 아니다. 오히려, 이들 실시 예는 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 개시의 기술적 사상을 완전하게 전달하기 위하여 제공되는 것이다.

본 개시에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 개시에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.

본 개시에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.

본 개시에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.

어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.

반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.

본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다.

대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.

실시 예에 있어서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 혹은 복수의 '부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.

한편, 도면에서의 다양한 요소와 영역은 개략적으로 그려진 것이다. 따라서, 본 발명의 기술적 사상은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되지 않는다.

이하에서는 첨부한 도면을 참고하여 본 개시에 따른 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.

도 1은 본 개시의 일 실시 예에 따른 전자 장치(100)의 제어 방법을 나타내는 흐름도이다. 그리고, 도 2 내지 도 9는 본 개시의 일 실시 예에 제어 방법의 단계들을 보다 상세하게 설명하기 위한 도면이다. 이하에서는 도 1 내지 도 9를 함께 참조하여 본 개시의 다양한 실시 예에 대해 설명한다.

본 개시에 따른 전자 장치(100)는 학습 영상의 주파수 성분 분석에 기초하여 신경망 모델을 학습시킬 수 있는 장치를 말한다. 특히, 본 개시에 따른 신경망 모델은 입력된 영상이 기 정의된 복수의 도메인 중 어떠한 도메인에 해당되는지 여부를 식별할 수 있는 분류기(classifier)일 수 있으며, 신경망 모델은 CNN(Convolutional Neural Network)과 같은 신경망을 포함할 수 있다. 다만 본 개시에 따른 신경망 모델의 유형과 신경망 모델에 포함된 신경망의 종류에 특별한 제한이 따르는 것은 아니다.

도 1을 참조하면, 전자 장치(100)는 신경망 모델의 학습을 위한 복수의 학습 영상 각각에 대한 주파수 성분을 분석하여, 복수의 학습 영상에 대한 평균 주파수 성분의 집합을 획득할 수 있다(S110).

구체적으로, 전자 장치(100)는 복수의 학습 영상 별로 고속 푸리에 변환(fast fourier transform, FFT)을 수행하여 복수의 학습 영상 각각에 대한 주파수 성분의 집합을 획득할 수 있다. 그리고, 복수의 학습 영상 각각에 대한 주파수 성분의 집합이 획득되면, 전자 장치(100)는 복수의 학습 영상에서 서로 대응되는 위치의 화소끼리 주파수 성분의 크기(magnitude) 값을 모두 더한 후 복수의 학습 영상의 개수로 나누는 정규화 과정을 수행하여, 복수의 학습 영상에 대한 평균 주파수 성분의 집합을 획득할 수 있다. 본 개시를 설명함에 있어서는 고속 푸리에 변환을 주파수 성분의 방법의 예시로 들어 설명할 것이지만, 그 밖에도 다양한 주파수 성분 분석 방법이 이용될 수 있음은 물론이다.

도 2는 복수의 학습 영상에 대한 평균 주파수 성분의 집합을 획득하는 과정을 예시적으로 나타내는 도면이다. 도 2의 예시를 참조하면, N 개의 학습 영상 각각에 대해 고속 푸리에 변환(FFT)을 수행하여 N 개의 학습 영상 각각에 대한 주파수 성분의 집합을 획득할 수 있다. N 개의 학습 영상 각각에 대한 주파수 성분의 집합은 도 2에 도시된 영상들과 같이 표현될 수 있다.

N 개의 학습 영상 각각에 대한 주파수 성분의 집합이 획득되면, 전자 장치(100)는 서로 대응되는 위치의 화소(pixel)끼리 주파수 성분의 크기(magnitude) 값을 모두 더한 후 N으로 나누는 정규화 과정을 수행하여, N 개의 학습 영상에 대한 평균 주파수 성분의 집합을 획득할 수 있다. 도 2의 '화소값'은 주파수 성분의 크기를 말한다. 한편, N 개의 학습 영상 각각에 대한 평균 주파수 성분의 집합은 도 2에 도시된 가장 우측의 영상과 같이 표현될 수 있다.

여기서, 서로 대응되는 위치의 화소라 함은 예를 들어, 도 2의 첫번째 학습 영상에 대한 주파수 성분의 집합을 나타내는 영상의 '화소'와 도 2의 두번째 학습 영상에 대한 주파수 성분의 집합을 나타내는 영상의 '화소'와 같은 화소들을 말한다.

평균 주파수 성분의 집합이 획득되면, 전자 장치(100)는 평균 주파수 성분의 집합에 기초하여, 저주파수 영역이 제외된 타겟 주파수 영역을 결정할 수 있다(S120).

대부분의 영상은 중심에 많은 저주파 성분을 가지고 있기 때문에 중심부의 주파수 성분이 타겟 주파수 영역에 포함되면 학습 영상 별 고유한 주파수 성분의 분석이 어렵게 되며, 또한 후술하는 바와 같은 그룹핑 기준 설정 단계에서 저주파 성분이 너무 많이 포함되면 대부분의 학습 영상이 낮은 주파수 성분을 갖는 그룹으로 구분될 수 있다는 문제가 있다.

따라서, 전자 장치(100)는 저주파수 영역이 제외된 영역을 타겟 주파수 영역으로 결정할 수 있다. 일 실시 예에 있어서, 전자 장치(100)는 평균 주파수 성분의 집합 중 최대 값을 식별할 수 있다. 그리고, 전자 장치(100)는 평균 주파수 성분의 집합 중 최대 값의 1/2인 주파수 성분에 대응되는 지점부터 평균 주파수 성분의 집합 중 최대 값의 1/10인 주파수 성분에 대응되는 지점까지의 영역을 식별하는 것에 기초하여, 타겟 주파수 영역을 결정할 수 있다. 타겟 주파수 영역을 결정하는 과정에 대해서는 도 3 및 도 4를 참조하여 보다 구체적으로 설명한다.

도 3은 평균 주파수 성분의 집합을 나타내는 영상을 복수의 주파수 영역으로 구분하는 과정을 나타내는 도면이고, 도 4는 복수의 주파수 영역 중 하나의 주파수 영역의 반직선 상의 주파수 크기를 나타내는 그래프이다.

도 3을 참조하면, 평균 주파수 성분의 집합을 나타내는 영상은 평균 주파수 성분의 중심을 원점으로 하는 좌표를 기준으로 도 3에 도시된 바와 같은 제1 주파수 영역, 제2 주파수 영역, 제3 주파수 영역 및 제4 주파수 영역으로 구분될 수 있다. 그리고, 제1 주파수 영역, 제2 주파수 영역, 제3 주파수 영역 및 제4 주파수 영역에는 원점에서 시작하여 서로 45도의 각도를 갖는 방향으로 뻗어 나가는 4개의 반직선이 포함될 수 있다.

4개의 반직선 중 제1 주파수 영역의 반직선 상의 주파수 값(크기)을 그래프로 나타내면, 도 4에 도시된 바와 같이, 중심(직류)의 주파수 크기가 가장 크고, 외곽으로 갈수록 주파수 크기가 다소 줄어드는 형태가 나타날 수 있다. 이 경우, 주파수 최대값(max, 일반적으로 중심 값)의 1/2크기가 되는 지점을 r1, 최대값의 1/10크기가 되는 지점을 r2로 결정할 수 있다. 상술한 과정을 제1 주파수 영역, 제2 주파수 영역, 제3 주파수 영역 및 제4 주파수 영역 각각의 반직선 상의 주파수 값들에 대해 반복적으로 수행하면, 4개의 r1과 r2 값이 산출되며, 이 값들의 평균을 최종적인 r1과 r2로 사용할 수 있다. 도 3의 색칠된 영역은 최종적인 r1부터 r2까지의 영역이 타겟 주파수 영역으로 결정되었음을 나타낸다. 타겟 주파수 영역은 r1 및 r2와 같은 반지름을 기준으로 하여 원의 형태로 결정될 수 있으며, 다만 이는 일 실시 예에 불과할 분 원의 형태가 아닌 다른 형태로 결정될 수도 있다.

한편, 이상에서는 평균 주파수 성분의 집합을 나타내는 영상을 4 개의 주파수 영역으로 구분하였으나, 본 개시가 이에 국한되는 것은 아니며 주파수 영역의 개수는 실시 예에 따라 달라질 수 있다. 또한, 이상에는 주파수 최대값(일반적으로 중심값)의 1/2크기가 되는 지점을 r1, 최대값의 1/10크기가 되는 지점을 r2로 결정하는 것을 전제로 하였으나, r1 및 r2에 대응되는 크기 또한 실시 예에 따라 달리 결정될 수 있음은 물론이다.

타겟 주파수 영역이 결정되면, 전자 장치(100)는 타겟 주파수 영역에 포함된 복수의 영역 별 주파수 성분의 합에 기초하여, 복수의 학습 영상을 그룹핑하기 위한 그룹핑 기준을 결정할 수 있다(S130).

구체적으로, 전자 장치(100)는 복수의 학습 영상의 중심점과의 거리에 기초하여, 타겟 주파수 영역을 동일한 면적을 갖는 제1 개수의 영역들로 구분함으로써 복수의 영역을 결정할 수 있다. 본 개시에 있어서 복수의 영역이라는 용어는 타겟 주파수 영역을 구분한 결과를 나타낸다. 타겟 주파수 영역이 결정된 경우이므로, 서로 동일한 면적을 갖도록 하는 복수의 영역은 복수의 영역의 개수에 따라 자연히 결정될 수 있다. 한편, 복수의 영역의 넓이가 동일해야 한다는 조건은 일 실시 예에 불과하다.

전자 장치(100)는 복수의 영역 각각에 대한 주파수 성분의 합을 산출하여 중심점과의 거리가 가까운 영역부터 중심점과의 거리가 먼 영역까지 순차적으로 배열할 수 있다. 그리고, 전자 장치(100)는 배열된 주파수 성분의 합에서 주파수 성분의 합이 급격하게 증가하는 경계를 기준으로 복수의 영역을 구분함으로써, 복수의 학습 영상을 그룹핑하기 위한 그룹핑 기준을 결정할 수 있다. 그룹핑 기준을 결정하는 방법에 대해서는 도 5 및 도 6을 참조하여 보다 구체적으로 설명한다.

도 5는 타겟 주파수 영역을 구분하는 복수의 영역을 나타내는 도면이고, 도 6은 복수의 영역 별 주파수 성분의 합에 기초하여 그룹핑 기준을 결정하는 과정을 나타내는 도면이다.

도 5를 참조하면, 타겟 주파수 영역은 영역을 동일한 면적을 갖는 복수의 영역으로 구분될 수 있다. 예를 들어, 일반적인 영상의 주파수 특성을 고려할 때 복수의 영역의 개수인 제1 개수는 5개 또는 6개일 수 있으나 이에 국한되는 것은 아니며, 후술하는 바와 같이 학습을 수행한 결과에 따라 재학습을 위해 변경될 수도 있다. 한편, 도 5에서는 복수의 영역 중 영역 a1 및 a2만을 명시적으로 나타내었으나, 이는 도시의 편의를 위한 것일 뿐이다.

도 6을 참조하면, 타겟 주파수 영역을 구분하는 복수의 영역은 영역 a1, a2, a3, a4, a5 및 a6를 포함할 수 있다. 그리고, 영역 a1, a2, a3, a4, a5 및 a6의 주파수 성분의 합은 도 6의 상단 그래프와 같이 나타날 수 있다. 도 6의 상단 그래프를 참조하면, 영역 a3 및 a4의 경계와 영역 a5 및 a6의 경계를 기준으로 주파수 성분의 합의 크기가 급격하게 증가함을 알 수 있다. 따라서, 영역 a3 및 a4의 경계와 영역 a5 및 a6의 경계라는 두 개의 경계를 기준으로 그룹핑 기준을 결정할 수 있다.

보다 명확한 설명을 위해 도 6의 하단 그래프를 참조하면, 영역 a1, a2, a3, a4, a5 및 a6의 주파수 성분의 합을 누적적으로 나타낼 때, 영역 a3 및 a4의 경계와 영역 a5 및 a6의 경계라는 두 개의 경계를 기준으로 그래프의 기울기가 급격하게 증가함을 확인할 수 있다. 따라서, 영역 a3 및 a4의 경계와 영역 a5 및 a6의 경계라는 두 개의 경계를 기준으로 하여, 영역 a1+a2+a3를 제1 그룹, 영역 a4+a5를 제 2그룹, 그리고 영역 a6을 그룹 3으로 하는 그룹핑 기준을 결정할 수 있다.

그룹핑 기준이 결정되면, 전자 장치(100)는 그룹핑 기준에 기초하여 복수의 학습 영상을 복수의 그룹으로 그룹핑할 수 있다(S140).

구체적으로, 전자 장치(100)는 복수의 학습 영상 별로 그룹핑 기준에 따른 주파수 성분의 합을 산출하는 것에 기초하여, 복수의 학습 영상을 복수의 그룹으로 그룹핑(또는 구분, 구별, 분할)할 수 있다.

도 7은 그룹핑 기준에 따라 하나의 학습 영상에 대한 그룹을 할당하는 과정을 예시적으로 설명하기 위한 도면이다. 도 7을 참조하면, 학습 영상에 대해 고속 푸리에 변환을 수행하여, 그 학습 영상에 대한 주파수 성분의 집합을 획득할 수 있다. 개별 학습 영상에 대한 고속 푸리에 변환의 결과는 평균 주파수 성분의 집합을 획득하는 과정에서 산출된 바 있으므로, 앞서 산출되어 메모리에 저장된 결과를 이용할 수도 있다.

학습 영상에 대한 주파수 성분의 집합이 획득되면, 그룹핑 기준에 따른 복수의 그룹 각각에 대응되는 주파수 성분의 합을 산출할 수 있다. 그 결과를 도 7에 도시된 바와 같이 그래프로 나타내면, 제1 그룹(영역 a1+a2+a3)에 대응되는 주파수 성분의 합이 v1이고, 제2 그룹(영역 a4+a5)에 대응되는 주파수 성분의 합이 v2이며, 제3 그룹(영역 a6)에 대응되는 주파수 성분의 합이 v3라는 것을 확인할 수 있다. 이 경우, 복수의 그룹 중 제1 그룹에 대응되는 주파수 성분의 합이 가장 크기 때문에, 해당 학습 영상은 제1 그룹으로 분류될 수 있다. 이러한 과정을 복수의 학습 영상 모두에 대해서 수행하여, 복수의 학습 영상 각각을 복수의 그룹 중 하나의 그룹으로 할당할 수 있다.

한편, 특정 학습 영상에서 복수의 그룹 별 주파수 성분의 합이 동일한 경우에는 복수의 그룹 중 해당 그룹에 포함된 영역의 개수가 큰 그룹을 그 학습 영상의 그룹으로 할당할 수 있다. 예를 들어, 도 7의 예에서 v1과 v2가 동일한 경우, 해당 그룹에 포함된 영역(a4, a5)의 개수가 2개인 제2 그룹 대신 해당 그룹에 포함된 영역(a1, a2, a3)의 개수가 3개인 제1 그룹을 그 학습 영상의 그룹으로 할당할 수 있다. 그 밖에도 복수의 그룹을 결정하기 위한 기준은 개발자 또는 사용자의 설정에 따라 달리 결정될 수 있다.

복수의 학습 영상이 복수의 그룹으로 그룹핑되면, 전자 장치(100)는 복수의 그룹 중 주파수 성분이 낮은 그룹에 포함된 학습 영상부터 복수의 그룹 중 주파수 성분이 높은 그룹에 포함된 학습 영상 순으로 신경망 모델에 입력하여 신경망 모델을 학습시킬 수 있다(S150).

구체적으로, 상술한 예와 같이 영역 a1+a2+a3를 제1 그룹, 영역 a4+a5를 제 2그룹, 그리고 영역 a6을 그룹 3으로 하는 그룹핑 기준에 따라 복수의 학습 영상에 대한 그룹핑이 수행된 경우, 전자 장치(100)는 주파수 성분이 가장 낮은 제1 그룹의 학습 영상들을 이용하여 신경망 모델을 학습시키고, 다음으로 제2 그룹의 학습 영상들을 이용하여 신경망 모델을 학습시키며, 마지막으로 주파수 성분이 가장 높은 제3 그룹의 학습 영상들을 이용하여 신경망 모델을 학습시킬 수 있다.

한편, 전자 장치(100)는 신경망 모델의 학습이 진행되는 동안 신경망 모델의 학습에 따른 에러율에 대한 정보를 획득할 수 있다. 학습에 따른 에러율은 신경망 모델의 학습 에러의 정도 및 테스트 에러의 정도 등을 총칭하기 위한 용어로 사용되며, 특히 신경망 모델의 과적합(overfitting)을 나타내는 지표를 의미할 수 있다.

전자 장치(100)는 에러율에 대한 정보에 기초하여 학습이 비정상적으로 수행되었는지 여부를 식별할 수 있다. 그리고, 학습이 진행되는 동안 에러율이 기 설정된 임계 값 이상으로 증가하면, 전자 장치(100)는 학습이 비정상적으로 수행된 것으로 식별할 수 있다.

학습이 비정상적으로 수행된 것으로 식별되면, 전자 장치(100)는 타겟 주파수 영역을 제1 개수와 상이한 제2 개수의 영역들로 구분함으로써 복수의 영역을 재 결정할 수 있다. 그 후, 전자 장치(100)는 재 결정된 복수의 영역에 기초하여 복수의 학습 영상을 복수의 그룹으로 재그룹핑한 후, 신경망 모델을 재학습시킬 수 있다.

도 8은 신경망 모델의 학습이 정상적으로 수행되는 경우의 학습 에러율을 나타내는 도면이고, 도 9는 신경망 모델의 학습이 비정상적으로 수행되는 경우의 학습 에러율을 나타내는 도면이다.

도 8에 도시된 바와 같이, 신경망 모델의 학습이 정상적으로 수행되는 경우에는 복수의 그룹의 경계 상에서 학습 에러율이 어느 정도 증가하다가도 학습이 진행됨에 따라 다시 낮아지는 패턴을 나타낸다. 반면, 도 9에 도시된 바와 같이, 신경망 모델의 학습이 비정상적으로 수행되는 경우에는 특정 구간에서 학습 에러율이 크게 증가하는 패턴을 나타낸다.

따라서, 전자 장치(100)는 신경망 모델의 학습이 진행되는 동안 에러율이 기 설정된 임계 값 이상으로 증가하였는지 여부 및/또는 에러율의 증가가 기 설정된 임계 구간 이상 동안 지속되었는지 여부를 식별함으로써, 신경망 모델의 학습이 비정상적으로 수행되었는지 여부를 식별할 수 있다.

특히, 신경망 모델의 비정상적인 학습은 복수의 그룹 별 학습 영상의 난이도의 차이가 크거나, 복수의 그룹 내 학습 영상의 개수가 적절하지 않기 때문에 발생할 수 있다. 따라서, 학습이 비정상적으로 수행된 것으로 식별되면, 전자 장치(100)는 타겟 주파수 영역을 제1 개수와 상이한 제2 개수의 영역들로 구분함으로써 복수의 영역을 재 결정할 수 있으며, 이에 따라 복수의 그룹의 개수가 변경될 수 있고, 그 결과 복수의 그룹에 포함되는 학습 영상의 종류와 개수 또한 변경될 수 있다.

전자 장치(100)는 상술한 바와 같은 재그룹핑 과정을 수행한 후, 다시 주파수 성분이 낮은 그룹에 포함된 학습 영상부터 주파수 성분이 높은 그룹에 포함된 학습 영상 순으로 신경망 모델에 입력하여 신경망 모델을 재학습시킬 수 있으며, 재그룹핑과 재학습 과정은 신경망 모델이 정상적으로 학습될 때까지 계속될 수 있다.

이상에서 상술한 실시 예에 따르면, 본 개시에 따른 전자 장치(100)는 복수의 학습 영상을 주파수 성분 분석에 따라 그룹핑함으로써 신경망 모델을 효율적이고 안정적으로 학습시킬 수 있다. 특히, 전자 장치(100)는 신경망 모델의 학습이 진행되는 동안 비정상적인 학습이 이루어지고 있는지 여부를 모니터링하여 학습 영상을 재그룹핑하고 다시 신경망 모델을 학습시킴으로써, 학습 결과의 수렴이 잘 이루어지도록 하며, 수렴 속도 또한 더욱 빠르게 할 수 있다

도 10은 본 개시에 따른 복수의 그룹 별 학습 영상을 각각 상이한 신경망 모델의 학습에 이용하는 실시 예에 대해 설명하기 위한 도면이다.

이상에서는 복수의 학습 영상을 복수의 그룹으로 그룹핑한 후 주파수 성분이 낮은 그룹에 포함된 학습 영상부터 복수의 그룹 중 주파수 성분이 높은 그룹에 포함된 학습 영상 순으로 신경망 모델의 학습에 이용하는 실시 예를 설명하였다.

그런데, 본 개시의 다른 실시 예에 따르면, 전자 장치(100)는 복수의 그룹 별 학습 영상을 각각 상이한 신경망 모델의 학습에 이용할 수 있다. 여기서, 상이한 신경망 모델은 입력된 영상이 기 정의된 복수의 도메인 중 어떠한 도메인에 해당되는지 여부를 식별할 수 있는 복수의 분류기일 수 있다.

구체적으로, 복수의 학습 영상을 복수의 그룹으로 그룹핑하기까지의 과정은 도 1 내지 도 9를 참조하여 상술한 실시 예와 마찬가지의 과정을 통해 수행될 수 있다. 즉, 도 10에 도시된 바와 같이, 본 개시에 따른 복수의 학습 영상은 상술한 예와 같이 영역 a1+a2+a3를 제1 그룹, 영역 a4+a5를 제 2그룹, 그리고 영역 a6을 그룹 3으로 하는 그룹핑 기준에 따라 그룹핑될 수 있다.

이 경우, 도 10의 실시 예에 따르면, 전자 장치(100)는 주파수 성분이 가장 낮은 제1 그룹의 학습 영상들을 이용하여 제1 신경망 모델을 학습시키고, 다음으로 제2 그룹의 학습 영상들을 이용하여 제2 신경망 모델을 학습시키며, 마지막으로 주파수 성분이 가장 높은 제3 그룹의 학습 영상들을 이용하여 제3 신경망 모델을 학습시킬 수 있다.

제1 그룹의 학습 영상들은 주파수 성분이 가장 낮은 학습 영상들로서, 이를 이용한 제1 신경망 모델은 다소 저조한 성능을 갖지만 복잡도가 낮고 속도가 빠를 수 있다. 제2 그룹의 학습 영상들은 제1 그룹의 학습 영상들에 비해 주파수 성분이 다소 높은 학습 영상들로서, 이를 이용한 제2 신경망 모델의 경우 제1 신경망 모델에 비해 복잡도가 다소 증가하고 속도는 느려지지만, 성능은 더 우수할 수 있다. 이처럼 전자 장치(100)의 사용자는 다양한 신경망 모델을 생성하여 적절한 응용 분야에 활용할 수 있다.

결론적으로, 도 10을 참조하여 상술한 실시 예에 따르면, 전자 장치(100)는 학습 영상을 몇 개의 그룹으로 그룹핑함으로써, 각 그룹 별 학습 영상을 다양한 신경망 모델의 학습에 적절하게 이용할 수 있게 된다.

한편, 도 1 내지 도 10을 참조하여 상술한 전자 장치(100)의 제어 방법은 프로그램으로 구현되어 전자 장치(100)에 제공될 수 있다. 특히, 전자 장치(100)의 제어 방법을 포함하는 프로그램은 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.

구체적으로, 전자 장치(100)의 제어 방법을 실행하는 프로그램을 포함하는 비일시적 컴퓨터 판독 가능 기록매체에 있어서, 전자 장치(100)의 제어 방법은 신경망 모델의 학습을 위한 복수의 학습 영상 각각에 대한 주파수 성분을 분석하여, 복수의 학습 영상에 대한 평균 주파수 성분의 집합을 획득하는 단계, 평균 주파수 성분의 집합에 기초하여, 저주파수 영역이 제외된 타겟 주파수 영역을 결정하는 단계, 타겟 주파수 영역에 포함된 복수의 영역 별 주파수 성분의 합에 기초하여, 복수의 학습 영상을 그룹핑하기 위한 그룹핑 기준을 결정하는 단계, 그룹핑 기준에 기초하여 복수의 학습 영상을 복수의 그룹으로 그룹핑하는 단계 및 복수의 그룹 중 주파수 성분이 낮은 그룹에 포함된 학습 영상부터 복수의 그룹 중 주파수 성분이 높은 그룹에 포함된 학습 영상 순으로 신경망 모델에 입력하여 신경망 모델을 학습시키는 단계를 포함할 수 있다.

도 11은 본 개시의 일 실시 예에 따른 전자 장치(100)의 구성을 간략하게 나타내는 블록도이다.

도 11에 도시된 바와 같이, 본 개시의 일 실시 예에 따른 전자 장치(100)는 메모리(110) 및 프로세서(120)를 포함한다. 그러나, 도 11에 도시된 바와 같은 구성들은 예시적인 것에 불과할 뿐이며, 본 개시를 실시함에 있어 도 11에 도시된 바와 같은 구성에 더하여 새로운 구성이 추가되거나 일부 구성이 생략될 수 있음은 물론이다.

메모리(110)에는 전자 장치(100)에 관한 적어도 하나의 인스트럭션(instruction)이 저장될 수 있다. 그리고, 메모리(110)에는 전자 장치(100)를 구동시키기 위한 O/S(Operating System)가 저장될 수 있다. 또한, 메모리(110)에는 본 개시의 다양한 실시 예들에 따라 전자 장치(100)가 동작하기 위한 각종 소프트웨어 프로그램이나 애플리케이션이 저장될 수도 있다. 그리고, 메모리(110)는 플래시 메모리(Flash Memory) 등과 같은 반도체 메모리나 하드디스크(Hard Disk) 등과 같은 자기 저장 매체 등을 포함할 수 있다.

구체적으로, 메모리(110)에는 본 개시의 다양한 실시 예에 따라 전자 장치(100)가 동작하기 위한 각종 소프트웨어 모듈이 저장될 수 있으며, 프로세서(120)는 메모리(110)에 저장된 각종 소프트웨어 모듈을 실행하여 전자 장치(100)의 동작을 제어할 수 있다. 즉, 메모리(110)는 프로세서(120)에 의해 액세스되며, 프로세서(120)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다.

한편, 본 개시에서 메모리(110)라는 용어는 메모리(110), 프로세서(120) 내 롬(미도시), 램(미도시) 또는 전자 장치(100)에 장착되는 메모리 카드(미도시)(예를 들어, micro SD 카드, 메모리 스틱)를 포함하는 의미로 사용될 수 있다.

특히, 본 개시에 따른 다양한 실시 예에 있어서, 메모리(110)에는 신경망 모델의 학습을 위한 복수의 학습 영상, 신경망 모델의 가중치, 레이어 및 파라미터에 대한 데이터, 주파수 성분 분석을 위한 알고리즘에 대한 정보, 본 개시에 따른 타겟 주파수 영역의 결정을 위한 알고리즘에 대한 정보, 그룹핑 기준의 결정 기준에 대한 정보 등과 같은 다양한 데이터/정보가 저장될 수 있다.

그 밖에도 본 개시의 목적을 달성하기 위한 범위 내에서 필요한 다양한 정보가 메모리(110)에 저장될 수 있으며, 메모리(110)에 저장된 정보는 외부 장치로부터 수신되거나 사용자에 의해 입력됨에 따라 갱신될 수도 있다.

프로세서(120)는 전자 장치(100)의 전반적인 동작을 제어한다. 구체적으로, 프로세서(120)는 메모리(110)를 포함하는 전자 장치(100)의 구성과 연결되며, 상술한 바와 같은 메모리(110)에 저장된 적어도 하나의 인스트럭션을 실행함으로써, 전자 장치(100)의 동작을 전반적으로 제어할 수 있다.

프로세서(120)는 다양한 방식으로 구현될 수 있다. 예를 들어, 프로세서(120)는 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 임베디드 프로세서, 마이크로 프로세서, 하드웨어 컨트롤 로직, 하드웨어 유한 상태 기계(hardware Finite State Machine, FSM), 디지털 신호 프로세서(Digital Signal Processor, DSP) 중 적어도 하나로 구현될 수 있다. 한편, 본 개시에서 프로세서(120)라는 용어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 및 MPU(Main Processing Unit)등을 포함하는 의미로 사용될 수 있다.

특히, 본 개시에 따른 다양한 실시 예에 있어서, 프로세서(120)는 학습 영상의 주파수 성분 분석에 기초하여 신경망 모델을 학습시킬 수 있다.

일 실시 예에 따르면, 프로세서(120)는 신경망 모델의 학습을 위한 복수의 학습 영상 각각에 대한 주파수 성분을 분석하여, 복수의 학습 영상에 대한 평균 주파수 성분의 집합을 획득할 수 있다. 구체적으로, 프로세서(120)는 고속 푸리에 변환(fast fourier transform, FFT)을 이용하여 복수의 학습 영상 각각에 대한 주파수 성분을 분석하고, 그 결과에 기초하여 복수의 학습 영상에 대한 평균 주파수 성분의 집합을 획득할 수 있다.

평균 주파수 성분의 집합이 획득되면, 프로세서(120)는 평균 주파수 성분의 집합에 기초하여, 저주파수 영역이 제외된 타겟 주파수 영역을 결정할 수 있다. 구체적으로, 프로세서(120)는 평균 주파수 성분의 집합 중 최대 값을 식별하고, 평균 주파수 성분의 집합 중 최대 값의 1/2인 주파수 성분에 대응되는 지점부터 평균 주파수 성분의 집합 중 최대 값의 1/10인 주파수 성분에 대응되는 지점까지의 영역을 식별하는 것에 기초하여, 타겟 주파수 영역을 결정할 수 있다.

타겟 주파수 영역이 결정되면, 프로세서(120)는 타겟 주파수 영역에 포함된 복수의 영역 별 주파수 성분의 합에 기초하여, 복수의 학습 영상을 그룹핑하기 위한 그룹핑 기준을 결정할 수 있다.

구체적으로, 프로세서(120)는 복수의 학습 영상의 중심점과의 거리에 기초하여, 타겟 주파수 영역을 동일한 면적을 갖는 제1 개수의 영역들로 구분함으로써 복수의 영역을 결정할 수 있다. 프로세서(120)는 복수의 영역 각각에 대한 주파수 성분의 합을 산출하여 중심점과의 거리가 가까운 영역부터 중심점과의 거리가 먼 영역까지 순차적으로 배열할 수 있다. 그리고, 프로세서(120)는 배열된 주파수 성분의 합에서 주파수 성분의 합이 급격하게 증가하는 경계를 기준으로 복수의 영역을 구분함으로써, 복수의 학습 영상을 그룹핑하기 위한 그룹핑 기준을 결정할 수 있다.

그룹핑 기준이 결정되면, 프로세서(120)는 그룹핑 기준에 기초하여 복수의 학습 영상을 복수의 그룹으로 그룹핑할 수 있다. 구체적으로, 복수의 학습 영상 별로 그룹핑 기준에 따른 주파수 성분의 합을 산출하는 것에 기초하여, 복수의 학습 영상을 복수의 그룹으로 그룹핑할 수 있다.

복수의 학습 영상이 복수의 그룹으로 그룹핑되면, 프로세서(120)는 복수의 그룹 중 주파수 성분이 낮은 그룹에 포함된 학습 영상부터 복수의 그룹 중 주파수 성분이 높은 그룹에 포함된 학습 영상 순으로 신경망 모델에 입력하여 신경망 모델을 학습시킬 수 있다.

한편, 프로세서(120)는 신경망 모델의 학습이 진행되는 동안 신경망 모델의 학습에 따른 에러율에 대한 정보를 획득하고, 에러율에 대한 정보에 기초하여 학습이 비정상적으로 수행되었는지 여부를 식별할 수 있다. 학습이 비정상적으로 수행된 것으로 식별되면, 프로세서(120)는 타겟 주파수 영역을 제1 개수와 상이한 제2 개수의 영역들로 구분함으로써 복수의 영역을 재 결정하고, 재 결정된 복수의 영역에 기초하여 복수의 학습 영상을 복수의 그룹으로 재그룹핑한 후, 신경망 모델을 재학습시킬 수 있다. 특히, 프로세서(120)는 학습이 진행되는 동안 에러율이 기 설정된 임계 값 이상으로 증가하면, 학습이 비정상적으로 수행된 것으로 식별할 수 있다.

한편, 프로세서(120)는 복수의 그룹 별 학습 영상을 각각 상이한 신경망 모델의 학습에 이용할 수도 있다.

프로세서(120)의 제어를 바탕으로 한 본 개시에 따른 다양한 실시 예에 대해서는 도 1 내지 도 10을 참조하여 상술하였으므로 상세한 내용에 대한 중복 설명은 생략한다.

한편, 이상에서 상술한 바와 같은 신경망 모델 및 분류기 등에 관련된 기능은 메모리(110) 및 프로세서(120)를 통해 수행될 수 있다. 프로세서(120)는 하나 또는 복수의 프로세서(120)로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서(120)는 CPU, AP 등과 같은 범용 프로세서(120), GPU. VPU 등과 같은 그래픽 전용 프로세서(120) 또는 NPU와 같은 인공 지능 전용 프로세서(120)일 수 있다.

하나 또는 복수의 프로세서(120)는, 비휘발성 메모리(110) 및 휘발성 메모리(110)에 저장된 기 정의된 동작 규칙 또는 인공 지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 기 정의된 동작 규칙 또는 인공 지능 모델은 학습을 통해 만들어진 것을 특징으로 한다.

여기서, 학습을 통해 만들어진다는 것은, 다수의 학습 데이터들에 학습 알고리즘을 적용함으로써, 원하는 특성의 기 정의된 동작 규칙 또는 인공 지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공 지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버/시스템을 통해 이루어 질 수도 있다.

인공 지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 각 레이어는 복수의 가중치(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치의 연산을 통해 레이어의 연산을 수행한다. 신경망의 예로는, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network), GAN(Generative Adversarial Networks) 및 심층 Q-네트워크 (Deep Q-Networks)이 있으며, 본 개시에서의 신경망은 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.

학습 알고리즘은, 다수의 학습 데이터들을 이용하여 소정의 대상 기기(예컨대, 로봇)을 훈련시켜 소정의 대상 기기 스스로 결정을 내리거나 예측을 할 수 있도록 하는 방법이다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으며, 본 개시에서의 학습 알고리즘은 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.

기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.

일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어^TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리(110)와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

이상에서 상술한 바와 같은 본 개시의 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다.

다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

한편, 본 개시에서 사용된 용어 "부" 또는 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. "부" 또는 "모듈"은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.

본 개시의 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 전자 장치(100))를 포함할 수 있다.

상기 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접 또는 상기 프로세서의 제어 하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다.

이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

100:전자 장치 110: 메모리
120: 프로세서

Claims (10)

1. 전자 장치에 있어서,
   메모리; 및
   신경망 모델의 학습을 위한 복수의 학습 영상 각각에 대한 주파수 성분을 분석하여, 복수의 학습 영상에 대한 평균 주파수 성분의 집합을 획득하고,
   상기 평균 주파수 성분의 집합에 기초하여, 저주파수 영역이 제외된 타겟 주파수 영역을 결정하며,
   상기 타겟 주파수 영역에 포함된 복수의 영역 별 주파수 성분의 합에 기초하여, 상기 복수의 학습 영상을 그룹핑하기 위한 그룹핑 기준을 결정하고,
   상기 그룹핑 기준에 기초하여 상기 복수의 학습 영상을 복수의 그룹으로 그룹핑하며,
   상기 복수의 그룹 중 주파수 성분이 낮은 그룹에 포함된 학습 영상부터 상기 복수의 그룹 중 주파수 성분이 높은 그룹에 포함된 학습 영상 순으로 상기 신경망 모델에 입력하여 상기 신경망 모델을 학습시키는 프로세서; 를 포함하는 전자 장치.
   
2. 제1 항에 있어서,
   상기 프로세서는,
   고속 푸리에 변환(fast fourier transform, FFT)을 이용하여 상기 복수의 학습 영상 각각에 대한 주파수 성분을 분석하는 전자 장치.
   
3. 제1 항에 있어서,
   상기 프로세서는,
   상기 평균 주파수 성분의 집합 중 최대 값을 식별하고,
   상기 평균 주파수 성분의 집합 중 상기 최대 값의 1/2인 주파수 성분에 대응되는 지점부터 상기 평균 주파수 성분의 집합 중 상기 최대 값의 1/10인 주파수 성분에 대응되는 지점까지의 영역을 식별하는 것에 기초하여, 상기 타겟 주파수 영역을 결정하는 전자 장치.
   
4. 제1 항에 있어서,
   상기 프로세서는,
   상기 복수의 학습 영상의 중심점과의 거리에 기초하여, 상기 타겟 주파수 영역을 동일한 면적을 갖는 제1 개수의 영역들로 구분함으로써 상기 복수의 영역을 결정하고,
   상기 복수의 영역 각각에 대한 주파수 성분의 합을 산출하여 상기 중심점과의 거리가 가까운 영역부터 상기 중심점과의 거리가 먼 영역까지 순차적으로 배열하며,
   상기 배열된 주파수 성분의 합에서 상기 주파수 성분의 합이 급격하게 증가하는 경계를 기준으로 상기 복수의 영역을 구분함으로써, 상기 그룹핑 기준을 결정하는 전자 장치.
   
5. 제1 항에 있어서,
   상기 프로세서는,
   상기 복수의 학습 영상 별로 상기 그룹핑 기준에 따른 주파수 성분의 합을 산출하는 것에 기초하여, 상기 복수의 학습 영상을 상기 복수의 그룹으로 그룹핑하는 전자 장치.
   
6. 제4 항에 있어서,
   상기 프로세서는,
   상기 신경망 모델의 학습이 진행되는 동안 상기 신경망 모델의 학습에 따른 에러율에 대한 정보를 획득하고,
   상기 에러율에 대한 정보에 기초하여 상기 학습이 비정상적으로 수행되었는지 여부를 식별하며,
   상기 학습이 비정상적으로 수행된 것으로 식별되면, 상기 타겟 주파수 영역을 상기 제1 개수와 상이한 제2 개수의 영역들로 구분함으로써 상기 복수의 영역을 재 결정하고,
   상기 재 결정된 복수의 영역에 기초하여 상기 복수의 학습 영상을 복수의 그룹으로 재그룹핑한 후, 상기 신경망 모델을 재학습시키는 전자 장치.
   
7. 제6 항에 있어서,
   상기 프로세서는,
   상기 학습이 진행되는 동안 상기 에러율이 기 설정된 임계 값 이상으로 증가하면, 상기 학습이 비정상적으로 수행된 것으로 식별하는 전자 장치.
   
8. 제1 항에 있어서,
   상기 프로세서는,
   상기 복수의 그룹 별 학습 영상을 각각 상이한 신경망 모델의 학습에 이용하는 전자 장치.
   
9. 전자 장치의 제어 방법에 있어서,
   신경망 모델의 학습을 위한 복수의 학습 영상 각각에 대한 주파수 성분을 분석하여, 복수의 학습 영상에 대한 평균 주파수 성분의 집합을 획득하는 단계;
   상기 평균 주파수 성분의 집합에 기초하여, 저주파수 영역이 제외된 타겟 주파수 영역을 결정하는 단계;
   상기 타겟 주파수 영역에 포함된 복수의 영역 별 주파수 성분의 합에 기초하여, 상기 복수의 학습 영상을 그룹핑하기 위한 그룹핑 기준을 결정하는 단계;
   상기 그룹핑 기준에 기초하여 상기 복수의 학습 영상을 복수의 그룹으로 그룹핑하는 단계; 및
   상기 복수의 그룹 중 주파수 성분이 낮은 그룹에 포함된 학습 영상부터 상기 복수의 그룹 중 주파수 성분이 높은 그룹에 포함된 학습 영상 순으로 상기 신경망 모델에 입력하여 상기 신경망 모델을 학습시키는 단계; 를 포함하는 전자 장치의 제어 방법.
   
10. 전자 장치의 제어 방법을 실행하는 프로그램을 포함하는 비일시적 컴퓨터 판독 가능 기록매체에 있어서,
    상기 전자 장치의 제어 방법은,
    신경망 모델의 학습을 위한 복수의 학습 영상 각각에 대한 주파수 성분을 분석하여, 복수의 학습 영상에 대한 평균 주파수 성분의 집합을 획득하는 단계;
    상기 평균 주파수 성분의 집합에 기초하여, 저주파수 영역이 제외된 타겟 주파수 영역을 결정하는 단계;
    상기 타겟 주파수 영역에 포함된 복수의 영역 별 주파수 성분의 합에 기초하여, 상기 복수의 학습 영상을 그룹핑하기 위한 그룹핑 기준을 결정하는 단계;
    상기 그룹핑 기준에 기초하여 상기 복수의 학습 영상을 복수의 그룹으로 그룹핑하는 단계; 및
    상기 복수의 그룹 중 주파수 성분이 낮은 그룹에 포함된 학습 영상부터 상기 복수의 그룹 중 주파수 성분이 높은 그룹에 포함된 학습 영상 순으로 상기 신경망 모델에 입력하여 상기 신경망 모델을 학습시키는 단계; 를 포함하는 컴퓨터 판독 가능 기록매체.
    

Images