KR20230150150A - 초분광 영상 분석 딥러닝 모델을 위한 전처리 방법 및 장치 - Google Patents

Abstract

이미지 전처리 장치에 의해 수행되는, 이미지 전처리 방법이 개시된다.
일 실시예에 따른 이미지 전처리 방법은 입력 이미지를 수신하는 단계, 메모리에 저장된 정상 요소 중 상기 입력 이미지에 포함된 각각의 요소와 유사도가 가장 높은 각각의 정상 요소를 결정하는 단계, 상기 결정된 정상 요소를 통해 상기 입력 이미지에 대한 전처리를 수행하는 단계, 및 상기 전처리 결과를 출력하는 단계를 포함할 수 있다.

Description

초분광 영상 분석 딥러닝 모델을 위한 전처리 방법 및 장치{APPARATUS AND METHOD FOR PREPROCESSING HYPERSPECTRAL IMAGE ANALYSIS DEEP LEARNING MODEL}

아래 실시예들은 초분광 영상 분석 딥러닝 모델을 위한 전처리 방법 및 장치에 관한 것이다.

RGB는 3 개의 채널을 가지는 반면, HSIs(Hyperspectral Images)는 200개의 대역(bands) 이상의 넓은 범위의 파장을 측정한다. 이를 위해, HSI는 RGB 이미지에서 찾을 수 없는 복잡한 특징(complex feature)을 검출한다.

딥 러닝(deep learning)은 HSIs 영상의 특징 검출에도 널리 활용되고 있다. 컴퓨터 비전 또는 번역과 같은 다양한 분야에서 널리 사용되고 있다. 지도 학습 기반의 인공신경망 모델은 학습한 데이터 분포에서는 정확도가 높은 특징 검출이 가능하지만, 학습되지 않은 데이터 분포에서는 검출의 정확도가 저하될 수 있다. 비지도학습 기반의 인공신경망 모델은 학습 데이터와 상이한 데이터 분포에 대해서도 분류가 가능하다는 점에서 비교적 지도학습 기반의 딥러닝 모델이 지도학습에 대한 대안으로 고려될 수 있으나, 전반적으로 지도학습 모델 기반의 모델에 비해 예측 정확도가 떨어지는 문제가 있다.

일반적으로 딥 러닝 모델의 성능을 개선하기 위해서는 모델의 깊이를 늘릴 필요가 있으나, 실시간 처리가 요구되는 산업 현장에서 그 구현이 현실적이지 못한 경우가 많이 있다.

일 실시예에 이미지 전처리 장치에 의해 수행되는, 이미지 전처리 방법은 입력 이미지를 수신하는 단계; 메모리에 저장된 정상 요소 중 상기 입력 이미지에 포함된 각각의 요소와 유사도가 가장 높은 각각의 정상 요소를 결정하는 단계; 상기 결정된 정상 요소를 통해 상기 입력 이미지에 대한 전처리를 수행하는 단계; 및 상기 전처리 결과를 출력하는 단계를 포함할 수 있다.

상기 정상 요소는, 정상 초분광 영상에 포함된 예비 정상 요소들 사이의 유사도를 측정하는 단계; 및 상기 측정된 유사도에 기초하여 상기 예비 정상 요소들 중 상기 메모리에 저장될 상기 정상 요소를 결정하는 단계를 통해 결정될 수 있다.

상기 전처리를 수행하는 단계는, 상기 입력 이미지에 포함된 요소의 평균 및 상기 결정된 정상 요소의 평균에 기초하여 상기 입력 이미지에 대한 전처리를 수행할 수 있다.

상기 전처리를 수행하는 단계는, 수학식 1 내지 수학식 5에 기초하여 상기 전처리를 수행하고, 상기 수학식 1은, 이고, 수학식 2는 이고, 수학식 3은 이고, 수학식 4는 , 이고, 수학식 5는, , , , 이고, 상기 는 상기 입력 이미지에 포함된 요소이고, 는 메모리에 저장된 정상 요소 중 와 유사도가 가장 높은 정상 요소이고, 상기 는 상기 에 대한 전처리 결과이고, 은 반지름 r의 local square window의 mean filter를 의미하고, 는 정규화 상수를 의미할 수 있다.

일 실시예에 따른 이미지 전처리 장치는, 입력 이미지를 수신하는 수신기; 메모리; 및 프로세서를 포함하고, 상기 프로세서는, 상기 메모리에 저장된 정상 요소 중 상기 입력 이미지에 포함된 각각의 요소와 유사도가 가장 높은 각각의 정상 요소를 결정하고, 상기 결정된 정상 요소를 통해 상기 입력 이미지에 대한 전처리를 수행하고, 상기 전처리 결과를 출력할 수 있다.

도 1은 일 실시예에 따른 이미지 전처리 장치의 동작을 개략적으로 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 이미지 전처리 장치의 개략적인 블록도를 나타낸다.
도 3은 일 실시예에 따른 이미지 전처리 방법을 설명하기 위한 흐름도이다.
도 4는 일 실시예에 따른 이미지 전처리 장치가 개별 정상 요소에 대한 정보를 메모리에 저장하는 방식을 설명하기 위한 흐름도이다.
도 5는 일 실시예에 따른 이미지 전처리 장치가 정상 요소를 결정하여 메모리에 저장하는 동작을 보다 상세히 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 이미지 전처리 장치가 입력 데이터에 대한 전처리를 수행하는 동작을 보다 상세히 설명하기 위한 도면이다.
도 7a 및 도 7b는 일 실시예에 따른 이미지 전처리 방법에 따른 전처리 결과를 예시적으로 도시하는 도면이다.
도 8은 일 실시예에 따른 이미지 전처리 방법이 적용된 학습 데이터를 통해 학습된 뉴럴 네트워크 모델의 성능을 타 모델과 비교한 결과를 도시하는 도면이다.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.

본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~사이에"와 "바로~사이에" 또는 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

본 명세서에서의 모듈(module)은 본 명세서에서 설명되는 각 명칭에 따른 기능과 동작을 수행할 수 있는 하드웨어를 의미할 수도 있고, 특정 기능과 동작을 수행할 수 있는 컴퓨터 프로그램 코드를 의미할 수도 있고, 또는 특정 기능과 동작을 수행시킬 수 있는 컴퓨터 프로그램 코드가 탑재된 전자적 기록 매체, 예를 들어 프로세서 또는 마이크로 프로세서를 의미할 수 있다.

다시 말해, 모듈이란 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및/또는 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적 및/또는 구조적 결합을 의미할 수 있다.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

도 1은 일 실시예에 따른 이미지 전처리 장치의 동작을 개략적으로 설명하기 위한 도면이다.

도 1을 참고하면, 이미지 전처리 장치는 입력 데이터(110)와 이미지 전처리 장치의 메모리(120)에 저장된 정상 요소(121) 사이의 연산을 통해 입력 데이터(110)에 대한 전처리(130)를 수행할 수 있다. 입력 데이터(110)는 예시 영상(111)에 도시된 바와 같이 정상 물질들과 비정상 물질들이 혼재된 초분광 영상(HSIs 영상)일 수 있다. 정상 요소(121)는 예시적으로 정상 초분광 영상(HSIs 영상)에 포함된 스펙트럼을 의미할 수 있으나, 구현에 따라 정상 요소(121)는 스펙트럼에 한정되는 것은 아니고, 영상에 포함되는 임의의 요소를 포함할 수 있음은 통상의 기술자가 이해할 것이다.

예시적인 구현에서 메모리(120)에 저장되는 정상 요소(121)는 정상 물질들로 구성된 정상 초분광 영상(122)에 포함된 예비 정상 요소(123)(예를 들어, 정상 초분광 영상(122)에 포함된 모든 스펙트럼)에 대한 소정의 필터링이 이루어진 데이터일 수 있다. 예비 정상 요소(123)로부터 정상 요소(121)를 필터링하는 구체적인 방식은 이하 첨부될 도면을 통해 보다 상세히 설명될 수 있다.

전처리(130)가 수행된 입력 데이터(110)는 뉴럴 네트워크 모델(140)의 학습에 활용될 수 있으며, 학습된 뉴럴 네트워크 모델(140)은 입력 데이터(110)에서 정상 물질과 비정상 물질을 분류(150)하는 프로세스에 활용될 수 있다. 이미지 전처리 장치를 통한 전처리는 뉴럴 네트워크 모델(140)의 학습 과정뿐만 아니라, 뉴럴 네트워크 모델(140)을 통해 입력 이미지를 분류하는 과정에서도 활용될 수 있다. 뉴럴 네트워크 모델(140)는 예시적으로 오토 인코더(Auto-Encoder) 모델이 사용될 수 있으나, 뉴럴 네트워크 모델이 제시된 예시에 한정되는 것이 아님은 통상의 기술자가 이해할 것이다.

도 2는 일 실시예에 따른 이미지 전처리 장치의 개략적인 블록도를 나타낸다.

도 2를 참조하면, 이미지 전처리 장치(200)는 이미지에 대한 전처리를 수행할 수 있다. 보다 구체적으로, 이미지 전처리 장치(200)는 이하 설명될 소정의 필터링 프로세스를 입력 이미지에 적용함으로써, 정상 입력 이미지의 특징과 비정상 입력 이미지의 특징 사이의 차이를 보다 크게할 수 있다. 이미지 전처리 장치(200)를 통해 전처리된 이미지를 통해 학습된 뉴럴 네트워크 모델은 전처리 전 데이터를 활용하여 학습되는 뉴럴 네트워크에 비해 예측 정확도가 향상될 수 있다.

보다 구체적으로, 앞서 설명되는 뉴럴 네트워크 모델은 입력 이미지를 처리하여 이미지에 대한 분류를 수행할 수 있다. 이미지는 빛의 굴절이나 반사 등에 의하여 이루어진 물체의 상을 포함하는 것으로, 선이나 색채를 이용하여 사물의 형상을 나타낸 것을 의미할 수 있다. 이미지는 컴퓨터가 처리할 수 있는 형태로 된 정보로 이루어질 수 있다. 예를 들어, 이미지는 HSI(Hyperspectral Image)를 포함할 수 있다.

뉴럴 네트워크(또는 인공 신경망)는 기계학습과 인지과학에서 생물학의 신경을 모방한 통계학적 학습 알고리즘을 포함할 수 있다. 뉴럴 네트워크는 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 의미할 수 있다.

뉴럴 네트워크의 뉴런은 가중치 또는 바이어스의 조합을 포함할 수 있다. 뉴럴 네트워크는 하나 이상의 뉴런 또는 노드로 구성된 하나 이상의 레이어(layer)를 포함할 수 있다. 뉴럴 네트워크는 뉴런의 가중치를 학습을 통해 변화시킴으로써 임의의 입력으로부터 예측하고자 하는 결과를 추론할 수 있다.

뉴럴 네트워크는 심층 뉴럴 네트워크 (Deep Neural Network)를 포함할 수 있다. 뉴럴 네트워크는 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), 퍼셉트론(perceptron), 다층 퍼셉트론(multilayer perceptron), FF(Feed Forward), RBF(Radial Basis Network), DFF(Deep Feed Forward), LSTM(Long Short Term Memory), GRU(Gated Recurrent Unit), AE(Auto Encoder), VAE(Variational Auto Encoder), DAE(Denoising Auto Encoder), SAE(Sparse Auto Encoder), MC(Markov Chain), HN(Hopfield Network), BM(Boltzmann Machine), RBM(Restricted Boltzmann Machine), DBN(Depp Belief Network), DCN(Deep Convolutional Network), DN(Deconvolutional Network), DCIGN(Deep Convolutional Inverse Graphics Network), GAN(Generative Adversarial Network), LSM(Liquid State Machine), ELM(Extreme Learning Machine), ESN(Echo State Network), DRN(Deep Residual Network), DNC(Differentiable Neural Computer), NTM(Neural Turning Machine), CN(Capsule Network), KN(Kohonen Network) 및 AN(Attention Network)를 포함할 수 있으나 이에 한정되는 것이 아닌 임의의 뉴럴 네트워크를 포함할 수 있음은 통상의 기술자가 이해할 것이다.

이미지 전처리 장치(200)는 마더보드(motherboard)와 같은 인쇄 회로 기판(printed circuit board(PCB)), 집적 회로(integrated circuit(IC)), 또는 SoC(system on chip)로 구현될 수 있다. 예를 들어, 이미지 전처리 장치(200)는 애플리케이션 프로세서(application processor)로 구현될 수 있다.

또한, 이미지 전처리 장치(200)는 PC(personal computer), 데이터 서버, 또는 휴대용 장치 내에 구현될 수 있다.

휴대용 장치는 랩탑(laptop) 컴퓨터, 이동 전화기, 스마트 폰(smart phone), 태블릿(tablet) PC, 모바일 인터넷 디바이스(mobile internet device(MID)), PDA(personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라(digital video camera), PMP(portable multimedia player), PND(personal navigation device 또는 portable navigation device), 휴대용 게임 콘솔(handheld game console), e-북(e-book), 또는 스마트 디바이스(smart device)로 구현될 수 있다. 스마트 디바이스는 스마트 와치(smart watch), 스마트 밴드(smart band), 또는 스마트 링(smart ring)으로 구현될 수 있다.

이미지 전처리 장치(200)는 수신기(210) 및 프로세서(220)를 포함한다. 이미지 전처리 장치(200)는 메모리(230)를 더 포함할 수 있다.

수신기(210)는 이미지를 수신할 수 있다. 수신기(210)는 수신 인터페이스를 포함할 수 있다. 수신기(210)는 수신한 이미지를 프로세서(220)로 출력할 수 있다.

프로세서(220)는 메모리(230)에 저장된 데이터를 처리할 수 있다. 프로세서(220)는 메모리(230)에 저장된 컴퓨터로 읽을 수 있는 코드(예를 들어, 소프트웨어) 및 프로세서(220)에 의해 유발된 인스트럭션(instruction)들을 실행할 수 있다.

"프로세서(220)"는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 데이터 처리 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다.

예를 들어, 하드웨어로 구현된 데이터 처리 장치는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함할 수 있다.

프로세서(220)는 수신한 이미지에 소정의 필터링을 수행함으로써, 이미지에 대한 전처리를 수행할 수 있다. 보다 구체적으로, 프로세서(220)는 메모리(230)에 미리 저장된 정상 요소(정상 이미지의 스펙트럼)를 토대로 입력된 이미지에 소정의 필터링을 수행함으로써, 입력 이미지에 대한 전처리를 수행할 수 있다.

메모리(230)는 프로세서(220)에 의해 실행가능한 인스트럭션들(또는 프로그램)을 저장할 수 있다. 예를 들어, 인스트럭션들은 프로세서의 동작 및/또는 프로세서의 각 구성의 동작을 실행하기 위한 인스트럭션들을 포함할 수 있다.

메모리(230)는 휘발성 메모리 장치 또는 불휘발성 메모리 장치로 구현될 수 있다.

휘발성 메모리 장치는 DRAM(dynamic random access memory), SRAM(static random access memory), T-RAM(thyristor RAM), Z-RAM(zero capacitor RAM), 또는 TTRAM(Twin Transistor RAM)으로 구현될 수 있다.

불휘발성 메모리 장치는 EEPROM(Electrically Erasable Programmable Read-Only Memory), 플래시(flash) 메모리, MRAM(Magnetic RAM), 스핀전달토크 MRAM(Spin-Transfer Torque(STT)-MRAM), Conductive Bridging RAM(CBRAM), FeRAM(Ferroelectric RAM), PRAM(Phase change RAM), 저항 메모리(Resistive RAM(RRAM)), 나노 튜브 RRAM(Nanotube RRAM), 폴리머 RAM(Polymer RAM(PoRAM)), 나노 부유 게이트 메모리(Nano Floating Gate Memory(NFGM)), 홀로그래픽 메모리(holographic memory), 분자 전자 메모리 소자(Molecular Electronic Memory Device), 또는 절연 저항 변화 메모리(Insulator Resistance Change Memory)로 구현될 수 있다.

도 3은 일 실시예에 따른 이미지 전처리 방법을 설명하기 위한 흐름도이다.

도 3을 참고하면, 단계(310)에서 이미지 전처리 장치는 이미지를 수신할 수 있다. 예를 들어, 입력되는 이미지는 HSIs 이미지를 포함할 수 있으나, 입력 이미지가 제시된 예시에 한정되는 것이 아님은 통상의 기술자가 이해할 것이다.

단계(320)에서 이미지 전처리 장치는 메모리에 저장된 정상 요소 중 입력 이미지에 포함된 각각의 요소(스펙트럼)와 유사도가 가장 높은 각각의 정상 요소를 결정할 수 있다.

단계(330)에서 이미지 전처리 장치는 결정된 정상 요소를 통해 입력 이미지에 대한 전처리를 수행할 수 있다.

단계(340)에서 이미지 전처리 장치는 전처리된 이미지를 출력할 수 있다.

이미지 전처리 장치를 통해 전처리된 이미지는 이미지 분류 뉴럴 네트워크 모델의 학습에 활용될 수 있으며, 미리 학습된 뉴럴 네트워크 모델을 통해 이미지를 분류하는 과정에서도, 입력 이미지에 대한 전처리를 우선적으로 수행함으로써, 이미지 분류의 정확도가 향상될 수 있음은 통상의 기술자가 이해할 것이다.

도 4는 일 실시예에 따른 이미지 전처리 장치가 정상 요소에 대한 정보를 메모리에 저장하는 방식을 설명하기 위한 흐름도이다.

도 4를 참조하면, 이미지 전처리 장치는 단계(410)에서 이미지 전처리 장치는 정상 초분광 영상에 포함된 예비 정상 요소들 사이의 유사도를 측정할 수 있다. 예를 들어, 이미지 전처리 장치는 정상 초분광 영상에 포함된 각각의 스펙트럼 사이의 코사인 유사도를 측정할 수 있다.

이미지 전처리 장치는 단계(420)에서 앞서 측정된 유사도에 기초하여 예비 정상 요소 중 메모리에 저장될 정상 요소를 결정할 수 있다. 예를 들어, 이미지 전처리 장치는 정상 스펙트럼들 사이에 측정된 코사인 유사도가 소정의 조건을 만족하는 스펙트럼을 메모리에 저장할 정상 요소로 결정할 수 있으며, 단계(430)를 통해 결정된 정상 요소들을 메모리에 저장할 수 있다.

도 5는 일 실시예에 따른 이미지 전처리 장치가 정상 요소를 결정하여 메모리에 저장하는 동작을 보다 상세히 설명하기 위한 도면이다.

도 5를 참고하면, 이미지 전처리 장치는 정상 물질들에 대한 정상 초분광 영상(510)에 포함된 예비 정상 요소(스펙트럼)(520) 중 소정의 조건을 만족하는 스펙트럼을 메모리에 저장할 정상 요소(530)로 결정하고, 결정된 정상 요소에 대한 데이터를 메모리(540)에 저장할 수 있다.

보다 구체적으로, 이미지 전처리 장치는 정상 초분광 영상(510)에 포함된 개별 예비 정상 요소 (520) 사이의 유사도에 기초하여 메모리에 저장될 정상 요소 (530)를 결정하고, 결정된 (530)을 메모리(540)에 저장할 수 있다.

보다 구체적으로, 이미지 전처리 장치는 초기 최소 거리값 을 1.0로 결정하고(551), 초기 예비 정상 요소 을 초기 정상 요소 로 결정(552)한 뒤, 유사도 비교에 기초하여 메모리에 저장될 정상 요소 (530)를 결정할 수 있다(553).

보다 구체적으로, 이미지 전처리 장치는 임시 거리값 를 1.0으로 설정(553)하고, 현재 예비 정상 요소 (예를 들어, 정상 이미지의 각각의 스펙트럼)와 메모리에 기저장된 정상 요소 사이의 유사도 를 산출하여 개별 코사인 거리값 에 할당(554)할 수 있다.

이미지 전처리 장치는 유사도 를 하기 수학식 1를 통해 산출할 수 있다.

는 정상 요소 과 현재 예비 정상 예비 요소 사이의 유사도, 는 정상 요소 의 크기, 는 현재 예비 정상 요소 의 크기를 의미할 수 있다.

이미지 전처리 장치는 산출된 코사인 거리값 이 임시 거리값 보다 작은 경우, 임시 거리값 에 산출된 코사인 거리값 을 할당(555)하고, 임시 예비 정상 요소 에 현재 예비 정상 요소 를 할당(556)할 수 있다. 이미지 전처리 장치는 동작(554 내지 556)을 현재 메모리에 저장되어 있는 모든 정상 요소 에 대해 반복하는 프로세스를 통해 최종 임시 거리값 및 최종 임시 정상 예비 요소 를 결정할 수 있다.

이미지 전처리 장치는 최종 임시 거리값 이 최소 거리값 보다 작은 경우, 최소 거리값 에 최종적인 임시 거리값 을 할당(557)하고, 메모리에 최종 임시 예비 정상 요소 를 정상 요소 의 일부로써 메모리에 저장(558)할 수 있다.

이미지 전처리 장치는 동작(553 내지 558)을 모든 예비 정상 요소 에 대해 수행함으로써, 최종적인 정상 요소 (530)를 결정하고, 결정된 정상 요소 (530)를 메모리에 저장할 수 있다.

도 6은 일 실시예에 따른 이미지 전처리 장치가 입력 데이터에 대한 전처리를 수행하는 동작을 보다 상세히 설명하기 위한 도면이다.

일 실시예에 따르면 이미지 전처리 장치는 메모리(620)에 미리 저장된 정상 요소(621)를 통해 입력 데이터(610)에 대한 전처리를 수행할 수 있다(630). 입력 데이터(610)는 예시적으로 정상 물질들과 비정상 물질들이 혼재된 초분광 영상(611)일 수 있다. 정상 요소(621)는 앞선 도 5의 프로세스를 통해 메모리에 저장된 스펙트럼에 대한 정보(621)일 수 있다.

이미지 전처리 장치는 입력 데이터의 개별 요소 (예를 들어, 입력 영상에 포함된 개별 스펙트럼)와 메모리에 저장된 정상 요소 사이의 유사도에 기초하여 개별 요소 에 대한 전처리를 수행할 수 있다.

보다 구체적으로, 이미지 전처리 장치는 index에 0을 할당하고, 임시 거리값 에 1.0을 할당(631)할 수 있다.

이미지 전처리 장치는 하기 수학식 2에 따라 현재 입력 데이터의 개별 요소 와 현재 정상 요소 사이의 거리값 을 산출하고, 산출된 거리값 을 유클리드 거리값 에 할당(632)할 수 있다.

이미지 전처리 장치는 유클리드 거리값 이 임시 거리값 보다 작은 경우, 임시 거리값 에 유클리드 거리값 을 할당하고, index에 현재 정상 요소 의 식별번호 j를 할당(633)할 수 있다.

이미지 전처리 장치는 동작(632 및 633)을 모든 정상 요소 에 대해 수행함으로써, 최종적인 index를 결정하고, 개별 요소 와 최종적인 index에 대응되는 정상 요소 에 기초한 연산 결과 를 개별 요소 에 할당(634)할 수 있다. 예시적으로 이미지 전처리 장치는 하기 수학식 3 내지 수학식 7에 기초하여 개별 요소 에 대한 전처리 결과 를 산출할 수 있다.

는 입력 이미지에 포함된 개별 요소이고, 는 메모리에 저장된 정상 요소 중 와 유사도가 가장 높은 정상 요소이고 은 반지름 r의 local square window의 mean filter를 의미하고, 는 정규화 상수를 의미할 수 있다.

이미지 전처리 장치는 동작(631 내지 634)을 모든 개별 요소 에 대해 수행함으로써, 입력 데이터(610)에 대한 전처리를 수행할 수 있다.

도 7a 및 도 7b는 일 실시예에 따른 이미지 전처리 방법에 따른 전처리 결과를 예시적으로 도시하는 도면이다.

도 7a를 참고하면, 이미지 전처리 장치는 정상 입력 데이터(710)가 입력되는 경우, 앞서 도 6을 통해 설명된 알고리즘을 통해 정상 입력 데이터(710)에 대응되는 스펙트럼(711)와 가장 유사한 스펙트럼(721)을 메모리(720)에서 결정한 뒤, 앞선 수학식 3의 연산을 수행(730)함으로써, 전처리 결과인 출력 데이터(740)를 산출할 수 있다. 도면에 도시된 바와 같이, 출력 데이터(740)는 메모리에 미리 저장된 스펙트럼(721)과 유사도가 높은 형태로 전처리될 수 있다.

이와 달리, 비정상 입력 데이터가 입력되는 도 7b를 참고하면, 이미지 전처리 장치는 비정상 입력 데이터(750)가 입력되는 경우, 앞서 도 6을 통해 설명된 알고리즘을 통해 비정상 입력 데이터(750)에 대응되는 스펙트럼(751)가 가장 유사한 스펙트럼(761)을 메모리(760)에서 결정한 뒤, 앞선 수학식 3의 연산을 수행(770)함으로써, 전처리 결과인 출력 데이터(780)를 산출할 수 있다. 도면에 도시된 바와 같이, 출력 데이터(780)는 정상 입력 데이터의 스펙트럼(761)과 차이가 있는 결과가 도출될 수 있다.

이를 통해 이미지 전처리 장치는 정상 입력 데이터는 미리 저장된 정상 스펙트럼과 보다 유사한 형태의 데이터로 전처리할 수 있으며, 비정상 데이터는 미리 저장된 정상 스펙트럼과 차별화된 데이터로 전처리함으로써, 보다 용이하게 정상 데이터와 비정상 데이터를 구별할 수 있는 수단을 제공할 수 있다.

도 8은 일 실시예에 따른 이미지 전처리 방법이 적용된 학습 데이터를 통해 학습된 뉴럴 네트워크 모델의 성능을 타 모델과 비교한 결과를 도시하는 도면이다.

도 8을 참고하면, 일 실시예에 따른 이미지 전처리 방법이 적용된 학습 데이터로 학습된 뉴럴 네트워크 모델은 AUPR(Area Under the Precision-Recall curve) 스코어(810)가 전처리가 수행되지 않은 학습 데이터로 학습된 뉴럴 네트워크 모델의 AUPR 스코어(820)에 비해 높게 나타남을 확인할 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (5)

1. 이미지 전처리 장치에 의해 수행되는, 이미지 전처리 방법 있어서,
   입력 이미지를 수신하는 단계;
   메모리에 저장된 정상 요소 중 상기 입력 이미지에 포함된 각각의 요소와 유사도가 가장 높은 각각의 정상 요소를 결정하는 단계;
   상기 결정된 정상 요소를 통해 상기 입력 이미지에 대한 전처리를 수행하는 단계; 및
   상기 전처리 결과를 출력하는 단계
   를 포함하는, 이미지 전처리 방법.
   
2. 제1항에 있어서,
   상기 정상 요소는,
   정상 초분광 영상에 포함된 예비 정상 요소들 사이의 유사도를 측정하는 단계; 및
   상기 측정된 유사도에 기초하여 상기 예비 정상 요소들 중 상기 메모리에 저장될 상기 정상 요소를 결정하는 단계
   를 통해 결정되는, 이미지 전처리 방법.
   
3. 제1항에 있어서,
   상기 전처리를 수행하는 단계는,
   상기 입력 이미지에 포함된 요소의 평균 및 상기 결정된 정상 요소의 평균에 기초하여 상기 입력 이미지에 대한 전처리를 수행하는, 이미지 전처리 방법.
   
4. 제3항에 있어서,
   상기 전처리를 수행하는 단계는,
   수학식 1 내지 수학식 5에 기초하여 상기 전처리를 수행하고,
   상기 수학식 1은,
   이고,
   수학식 2는,
   
   이고,
   수학식 3은,
   
   이고,
   수학식 4는,
   
   이고,
   수학식 5는,
   
   이고,
   상기 는 상기 입력 이미지에 포함된 요소이고, 는 메모리에 저장된 정상 요소 중 와 유사도가 가장 높은 정상 요소이고, 상기 는 상기 에 대한 전처리 결과이고, 은 반지름 r의 local square window의 mean filter를 의미하고, 는 정규화 상수를 의미하는, 이미지 전처리 방법.
   
5. 이미지 전처리 장치에 있어서,
   입력 이미지를 수신하는 수신기;
   메모리; 및
   프로세서
   를 포함하고,
   상기 프로세서는,
   상기 메모리에 저장된 정상 요소 중 상기 입력 이미지에 포함된 각각의 요소와 유사도가 가장 높은 각각의 정상 요소를 결정하고, 상기 결정된 정상 요소를 통해 상기 입력 이미지에 대한 전처리를 수행하고, 상기 전처리 결과를 출력하는, 이미지 전처리 장치.