KR102366557B1 - 컨볼루션 네트워크를 이용한 광단층 이미지 스페클 제어 장치 및 그 방법 - Google Patents

컨볼루션 네트워크를 이용한 광단층 이미지 스페클 제어 장치 및 그 방법 Download PDF

Info

Publication number
KR102366557B1
KR102366557B1 KR1020190052352A KR20190052352A KR102366557B1 KR 102366557 B1 KR102366557 B1 KR 102366557B1 KR 1020190052352 A KR1020190052352 A KR 1020190052352A KR 20190052352 A KR20190052352 A KR 20190052352A KR 102366557 B1 KR102366557 B1 KR 102366557B1
Authority
KR
South Korea
Prior art keywords
image
optical tomography
convolution
network
speckle
Prior art date
Application number
KR1020190052352A
Other languages
English (en)
Other versions
KR20200127702A (ko
Inventor
엄주범
최지연
최장훈
박안진
엄종현
Original Assignee
한국광기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국광기술원 filed Critical 한국광기술원
Priority to KR1020190052352A priority Critical patent/KR102366557B1/ko
Publication of KR20200127702A publication Critical patent/KR20200127702A/ko
Application granted granted Critical
Publication of KR102366557B1 publication Critical patent/KR102366557B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G06F17/153—Multidimensional correlation or convolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Medical Informatics (AREA)
  • Algebra (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 컨볼루션 네트워크를 이용한 광단층 이미지 스페클 제어 장치 및 그 방법에 관한 것으로서, 광단층 이미지를 입력받는 입력모듈; 광단층 이미지로부터 추출한 특징을 비선형 값으로 변환하고, 컨볼루션 연산을 통해 스페클 노이즈를 제거하여 재구성한 이미지를 생성하는 컨볼루션 네트워크; 및 스페클 노이즈가 제거된 이미지를 출력하는 출력모듈을 포함한다.
광간섭단층영상 시스템으로 획득한 광단층 이미지로부터 스페클 노이즈를 제거하여 스페클 노이즈가 제거된 단층 이미지로의 변환하는 절차를 컨볼루션 네트워크 학습을 통해 자동화함으로써, 한 장의 광단층 이미지만으로 스페클이 제거된 이미지(여러 장의 이미지를 평균한 결과 이미지)를 생성하여 스페클 노이즈 제거를 위한 처리(획득) 속도를 향상시킬 수 있다.

Description

컨볼루션 네트워크를 이용한 광단층 이미지 스페클 제어 장치 및 그 방법{Apparatus and Method of Speckle Reduction in Optical Coherence Tomography using Convolutional Networks}
본 발명은 컨볼루션 네트워크를 이용한 광단층 이미지 스페클 제어 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 광간섭단층영상(OCT: optical coherence tomography) 시스템으로 획득한 광단층 이미지(cross-sectional image)의 스페클 노이즈(speckle noise)를 제거하는 방법에 관한 것으로, 상세하게는 스페클 노이즈가 포함된 단층 이미지에서 스페클 노이즈가 제거된 단층 이미지로의 변환을 학습하는 컨볼루션 네트워크(convolution network)를 이용하여 실시간으로 스페클 노이즈를 제거하는 장치 및 그 방법에 관한 것이다.
광간섭단층영상(OCT: optical coherence tomography) 시스템은 생물학적 샘플에 대해 마이크로 미터(μm) 고분해능의 광단층 이미지(cross-sectional image)를 획득할 수 있으며, 이런 장점때문에 안과, 피부과를 포함하는 다양한 분야에서 진단 및 치료 목적으로 활용되고 있다. 광단층 이미지는 그러나 간섭파장(wavelength)을 이용하기 때문에 입자를 뿌려 놓은 듯한 스페클 노이즈(speckle noise)를 포함하며, 이는 이미지 품질 저하시키며 이로 인해 질병을 정성적으로 평가하거나 정량적으로 측정할 때 안정적 수행을 어렵게 만든다. 따라서 스페클 노이즈 제거는 광단층 이미지를 진단 및 치료에 활용할 때 신뢰성 보장을 위해 꼭 필요한 단계이다.
현재 판매되고 있는 (상용화된) OCT 시스템에서 가장 많이 채택하고 있는 스페클 노이즈 제거 기법은 이미지 평균 기법(frame averaging method)이다[1]. 이 기법은 같은 위치에서 획득한 여러 장의 이미지를 픽셀단위로 평균하여 스페클 노이즈가 제거된 하나의 이미지를 만든다. 이미지 평균 기법은 향상된 품질의 광단층 이미지를 제공하지만, 최종 이미지 하나를 생성하기 위해 여러 장의 광단층 이미지를 획득해야 하기 때문에 획득 시간이 길어지는(초당 프레임 수(FPS: frames per second)가 떨어지는) 단점이 있다. 이 기법은 특히 3차원 스캔이 필요한 경우 획득 시간문제로 인해 in-vivo 환경에서 적용하기는 어렵다.
[1] Y. Ma et al., "Speckle noise reduction in optical coherence tomography image based con edge-sensitive cGAN," Biomedical Optics Express, 9(11), pp. 5129-5146, 2018.
이에 본 출원인은 스페클 노이즈가 포함된 단층 이미지에서 스페클 노이즈가 제거된 단층 이미지로의 변환을 학습하는 컨볼루션 네트워크(convolution network)를 이용하여 실시간으로 스페클 노이즈를 제거하는 장치 및 그 방법을 제안하고자 한다.
대한민국 등록특허 제10-1942219호(2019. 01. 24. 공고)
본 발명의 목적은, 광간섭단층영상 시스템으로 획득한 광단층 이미지로부터 스페클 노이즈를 제거하여 스페클 노이즈가 제거된 단층 이미지로의 변환하는 절차를 컨볼루션 네트워크 학습을 통해 자동화함으로써, 한 장의 광단층 이미지만으로 스페클이 제거된 이미지(여러 장의 이미지를 평균한 결과 이미지)를 생성하여 스페클 노이즈 제거를 위한 처리(획득) 속도를 개선하는데 있다.
이러한 기술적 과제를 해결하기 위해 본 발명은 컨볼루션 네트워크를 이용한 광단층 이미지 스페클 제어 장치로서, 광단층 이미지를 입력받는 입력모듈; 컨볼루션 연산을 통해 상기 광단층 이미지로부터 추출한 특징을 비선형 값으로 변환하여 스페클 노이즈가 제거된 이미지를 재구성하는 컨볼루션 네트워크; 및 스페클 노이즈가 제거된 이미지를 출력하는 출력모듈을 포함하는 것을 특징으로 한다.
바람직하게는, 컨볼루션 네트워크는 f×f×d 크기의 필터를 통해 각 픽셀에 곱셈 연산을 수행하는 컨볼루션 연산을 통해 상기 광단층 이미지로부터 특징을 추출하는 연산부를 포함하는 것을 특징으로 한다.
컨볼루션 네트워크는, 활성화 함수인 ReLU(Rectified Linear Unit)을 통해 비선형 변환을 수행하는 것을 특징으로 한다.
전술한 장치를 기반으로 하는 본 발명의 일 실시예에 따른 컨볼루션 네트워크를 이용한 광단층 이미지 스페클 제어 방법은, 입력모듈이 광단층 이미지를 입력받는 (a) 단계; 컨볼루션 네트워크가 컨볼루션 연산을 통해 광단층 이미지로부터 특징을 추출하는 (b) 단계; 컨볼루션 네트워크가 추출한 특징을 비선형 값으로 변환하는 (c) 단계; 컨볼루션 네트워크가 비선형 값으로 변환한 이미지로부터 스페클 노이즈가 제거된 이미지를 재구성하는 (d) 단계; 및 출력모듈이 스페클 노이즈가 제거된 이미지를 출력하는 (e) 단계를 포함한다.
(b) 단계는, 컨볼루션 네트워크의 연산부가 f×f×d 크기의 필터를 통해 광단층 이미지의 각 픽셀에 곱셈 연산을 수행하여 feature map을 생성하는 (b-1) 단계; 컨볼루션 네트워크의 연산부가 feature map으로부터 특징을 추출하는 (b-2) 단계; 컨볼루션 네트워크의 연산부가 f×f×d 크기의 복수개의 필터를 통해 광단층 이미지의 각 픽셀에 곱셈 연산을 수행하여 고차원의 feature map을 생성하는 (b-3) 단계; 및 컨볼루션 네트워크의 연산부가 고차원의 feature map으로부터 특징을 추출하는 (b-4) 단계를 포함하는 것을 특징으로 한다.
상기와 같은 본 발명의 실시예에 따르면, 광간섭단층영상 시스템으로 획득한 광단층 이미지로부터 스페클 노이즈를 제거하여 스페클 노이즈가 제거된 단층 이미지로의 변환하는 절차를 컨볼루션 네트워크 학습을 통해 자동화함으로써, 한 장의 광단층 이미지만으로 스페클이 제거된 이미지(여러 장의 이미지를 평균한 결과 이미지)를 생성하여 스페클 노이즈 제거를 위한 처리(획득) 속도를 향상시킬 수 있다.
도 1은 종래의 스페클 노이즈를 포함하고 있는 광단층 이미지로부터 스페클 노이즈를 제거한 것을 도시한 예시도.
도 2는 본 발명의 일 실시예에 따른 컨볼루션 네트워크를 이용한 광단층 이미지 스페클 제어 장치를 도시한 구성도.
도 3은 본 발명의 일 실시예에 따른 컨볼루션 네트워크를 이용한 광단층 이미지 스페클 제어 장치의 입력과 출력에 대한 실험 결과를 도시한 예시도.
도 4는 본 발명의 일 실시예에 따른 컨볼루션 네트워크를 이용한 광단층 이미지 스페클 제어 장치의 입력 데이터와 레이블 데이터로 구성된 4 쌍의 학습 데이터를 도시한 예시도.
도 5는 본 발명의 일 실시예에 따른 컨볼루션 네트워크를 이용한 광단층 이미지 스페클 제어 방법을 도시한 순서도.
도 6을 참조하여 본 발명의 일 실시예에 따른 컨볼루션 네트워크를 이용한 광단층 이미지 스페클 제어 방법의 제S502단계의 세부과정을 도시한 순서도.
본 발명의 구체적인 특징 및 장점들은 첨부 도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 그 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 할 것이다. 또한, 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.
도 1은 스페클 노이즈를 포함하고 있는 광단층 이미지(101-104)와 종래 방법인 이미지 평균 기법으로 스페클 노이즈를 제거한 결과(105) 예시를 도시한 도면이다.
OCT 시스템에서 획득한 광단층 이미지는 간섭파장(wavelength) 특성으로 인해 기본적으로 스페클 노이즈를 포함하고 있으며, 도 1에 도시된 바와 같이, 동일한 위치에서 4장 이미지(101-104)를 획득하고 픽셀단위로 평균하여 스페클 노이즈가 제거된 이미지를 생성하게 된다.
이처럼 도 1에 도시된 바와 같은 종래의 방법은 스페클 노이즈 제거에 효과적이지만, 스페클 노이즈가 제거된 한 장의 이미지를 생성하기 위해서는 동일한 위치에서 4번 이미지를 획득해야 하기 때문에 영상획득시간이 길어지는 불이익을 감수해야 한다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 컨볼루션 네트워크를 이용한 광단층 이미지 스페클 제어 장치(200)는, 광단층 이미지를 입력받는 입력모듈(201), 3개의 층으로 구성되어 컨볼루션 연산을 통해 상기 광단층 이미지로부터 추출한 특징을 비선형 값으로 변환하여 스페클 노이즈가 제거된 이미지를 재구성하는 컨볼루션 네트워크(202, 203, 204), 및 스페클 노이즈가 제거된 이미지를 출력하는 출력모듈(205)을 포함하여 구성된다.
이러한, 컨볼루션 네트워크(202, 203)의 연산부(202a, 203a)는 f×f×d 크기의 필터를 통해 각 픽셀에 곱셈 연산을 수행하는 컨볼루션 연산을 통해 광단층 이미지로부터 특징을 추출한다.
여기서, f×f는 필터의 크기이고, n은 필터의 개수이다.
예컨대, 입력 이미지가 8×8×3 (H×W×c) 이고, 필터의 크기가 3×3 (f×f) 이라고 정의하면, 필터 한 개가 가지는 파라미터 수는 3×3×3 (f×f×c) = 27 이 되고, 만약 필터가 4개 존재한다면, 해당 컨볼루션 레이어의 총 파라미터 수는 3×3×3×4 (f×f×c×n) 만큼 지니게 됩니다. 여기서 W는 이미지 가로길이(width), H는 이미지 세로길이(height), c는 채널 수이다.
또한, 연산부(202a, 203a)는 필터 하나에 하나의 feature map을 생성하고, 고차원 특징을 추출하기 위해 여러개의 필터를 통해 고차원의 feature map을 생성한다.
또한, 컨볼루션 네트워크(202, 203)의 함수부(202b, 203b)는 활성화 함수(activation function)로 구성되어 필터 결과값을 비선형 값으로 변환하는 기능을 수행하되, 활성화 함수인 ReLU(Rectified Linear Unit)을 통해 비선형 변환을 수행한다.
한편, 컨볼루션 네트워크(204)은 함수부(202b, 203b)에 의해 변환된 비선형 값과 대응하도록 컨볼루션 연산을 통해 이미지를 재구성(reconstruction)하여 출력모듈(205)로 전달한다.
도 3은 본 발명의 일 실시예에 따른 컨볼루션 네트워크를 이용한 광단층 이미지 스페클 제어 장치의 입력과 출력에 대한 실험 결과를 도시한 예시도이다.
도 3에 도시된 첫 번째 컨볼루션 레이어의 입력은 OCT 시스템에서 입력 받은 이미지(301)이며, 크기는 W×H×c 이다. 이때, OCT 시스템은 그레이(gray) 이미지를 입력으로 받기 때문에 c는 1로 고정된다.
먼저, 컨볼루션 연산을 위해 사용된 필터의 크기는
Figure 112019045827415-pat00001
이며, 고차원 feature map 생성을 위해
Figure 112019045827415-pat00002
개 필터를 사용하였다. 첫 번째 컨볼루션 레이어의 출력은
Figure 112019045827415-pat00003
크기의 feature map(302)이다.
두 번째 컨볼루션 레이어의 입력은 첫 번째 컨볼루션 레이어의 출력인
Figure 112019045827415-pat00004
크기의 feature map이며, 컨볼루션 연산을 위한 필터 크기는
Figure 112019045827415-pat00005
이다. 두 번째 컨볼루션 레이어는 개의 필터를 사용하여 컨볼루션 연산을 수행하였으며, 출력은
Figure 112019045827415-pat00006
크기의 feature map(303)이다.
세 번째 컨볼루션 레이어의 입력은 두 번째 컨볼루션 레이어의 출력인
Figure 112019045827415-pat00007
크기의 feature map이며, 컨볼루션 연산을 위한 필터의 크기는
Figure 112019045827415-pat00008
이다. 세 번째 컨볼루션 레이어는 개 필터를 사용하여 컨볼루션 연산을 수행하며,
Figure 112019045827415-pat00009
크기의 이미지(304)를 출력한다.
도 4는 본 발명의 일 실시예에 따른 컨볼루션 네트워크를 이용한 광단층 이미지 스페클 제어 장치의 입력 데이터와 레이블 데이터로 구성된 4 쌍의 학습 데이터를 도시한 예시도이다.
컨볼루션 네트워크에 이미지를 입력하면 컨볼루션 연산을 순차적으로 수행하여 출력 이미지를 생성하게 되는데, 스페클 노이즈 제거를 위해 목적에 맞는 필터 가중치를 설정(학습(training))하는 과정이 수반된다.
네트워크 학습을 위해서는 학습 데이터가 필요한데, 학습 데이터는 스페클 노이즈가 포함된 이미지(입력 데이터)와 스페클 노이즈가 제어된 이미지(레이블 데이터) 쌍으로 구성되며, 같은 위치에서 획득한 여러 장의 이미지를 입력 데이터로, 여러 장의 이미지를 평균한 이미지를 레이블 데이터로 사용하였다.
도 4에 도시된 바와 같이, 4개의 이미지로 스페클 제어 이미지를 생성한 경우 4개의 입력/레이블 데이터 쌍을 생성되고, 학습 데이터가 주어지면 학습은 입력 데이터가 네트워크를 통해 변환된 출력 이미지와 입력 데이터와 한 쌍인 레이블 이미지의 차이를 최소화되게 필터의 가중치를 수정한다.
이러한 출력 이미지와 레이블 이미지의 차이를 토대로으로 가중치를 수정하기 위해 gradient descent 알고리즘 중 하나인 Adam(adaptive moment estimation)을 활용하였으며, RMSprop, Adagrad 등 다양한 알고리즘이 활용될 수 있다.
네트워크가 학습되면 한 장의 이미지만으로 스페클이 제거된 이미지를 생성할 수 있다. 이는 종례 기법인 이미지 평균 기법과 비교하여 스페클이 제거된 이미지를 빠르게 획득할 수 있다. 예를 들어 4장의 이미지로 한 장의 스페클 제어 이미지를 생성하는 방법과 비교해서 수치상으로 4배 빠른 획득이 가능하다. 실험에서 네트워크 구조를 다음과 같이 설정하면 i7-6850K CPU @ 3.60 GHz를 사용하는 PC 환경에서 200 FPS(frames per second)의 성능을 보인다.
Figure 112019045827415-pat00010
또한, 본 발명의 일 실시예는 앞서 언급한 도 2에 도시된 세 개의 컨볼루션 레이어로 네트워크를 표현하였지만 더 많은 컨볼루션 레이어를 추가할 수 있고, 네트워크 설정도 더 큰 값으로 수정이 가능하다.
다만, 컨볼루션 레이어의 수가 많아질수록 네트워크 설정 값이 커질수록 처리시간 길어지는 단점이 있다. PC 환경과 원하는 성능에 따라 네트워크 설정 및 컨볼루션 레이어 수는 수정이 가능하다.
전술한 바와 같은 본 발명의 일 실시예에 따르면, 일반 PC 환경에서 빠른 획득 속도를 보였으며, 이로 인해 in-vivo 환경에서의 이미지 품질이 향상된(스페클이 제거된) 3D 스캔을 기대할 수 있다.
이하, 도 5를 참조하여 본 발명의 일 실시예에 따른 컨볼루션 네트워크를 이용한 광단층 이미지 스페클 제어 방법에 대해 살피면 아래와 같다.
먼저, 입력모듈(201)이 광단층 이미지를 입력받는다(S501).
이어서, 컨볼루션 네트워크(202, 203)가 컨볼루션 연산을 통해 광단층 이미지로부터 특징을 추출한다(S502).
뒤이어, 컨볼루션 네트워크(202, 203)가 추출한 특징을 비선형 값으로 변환한다(S503).
이어서, 컨볼루션 네트워크(204)가 비선형 값으로 변환한 이미지로부터 스페클 노이즈가 제거된 이미지를 재구성한다(S504).
그리고, 출력모듈(205)이 스페클 노이즈가 제거된 이미지를 출력한다(S505).
이하, 도 6을 참조하여 본 발명의 일 실시예에 따른 컨볼루션 네트워크를 이용한 광단층 이미지 스페클 제어 방법의 제S502단계의 세부과정을 살피면 아래와 같다.
제S501단계 이후, 컨볼루션 네트워크(202)의 연산부(202a)가 f×f×d 크기의 필터를 통해 광단층 이미지의 각 픽셀에 곱셈 연산을 수행하여 feature map을 생성한다(S601).
이어서, 컨볼루션 네트워크(202)의 연산부(202a)가 feature map으로부터 특징을 추출한다(S602).
뒤이어, 컨볼루션 네트워크(203)의 연산부(203a)가 f×f×d 크기의 복수개의 필터를 통해 광단층 이미지의 각 픽셀에 곱셈 연산을 수행하여 고차원의 feature map을 생성한다(S603).
그리고, 컨볼루션 네트워크(203)의 연산부(203a)가 고차원의 feature map으로부터 특징을 추출한다(S604).
이처럼 전술한 바와 같은 본 발명의 일 실시예에 의하면 한 장의 입력 이미지만으로 스페클이 제거된 이미지(여러 장의 이미지를 평균한 결과 이미지)를 생성할 수 있다.
이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예를 중심으로 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈하지 않는 범위에서 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.
101, 102, 103, 104: 스페클 노이즈를 포함하고 있는 광단층 이미지
201: 입력모듈
202, 203, 204: 컨볼루션 네트워크
202a, 203a: 연산부
202b, 203b: 함수부
205: 출력모듈

Claims (5)

  1. 광단층 이미지를 입력받는 입력모듈;
    3개의 층으로 구성되어 컨볼루션 연산을 통해 상기 광단층 이미지로부터 추출한 특징을 비선형 값으로 변환하여 스페클 노이즈가 제거된 이미지를 재구성하는 컨볼루션 네트워크; 및
    스페클 노이즈가 제거된 이미지를 출력하는 출력모듈을 포함하며,
    상기 컨볼루션 네트워크는 같은 위치에서 획득한 여러 장 이미지의 입력 데이터와 상기 여러 장의 이미지를 평균한 이미지를 레이블 데이터로 구성하고, 상기 입력 데이터와 레이블 데이터를 쌍으로 학습 데이터를 구성하며, 상기 학습 데이터가 네트워크를 통해 변환된 출력 이미지가 입력 데이터와 한 쌍인 레이블 이미지의 차이를 최소화되도록 필터 가중치를 수정하여 컨볼루션 연산을 통해 상기 광단층 이미지로부터 특징을 추출하며,
    상기 컨볼루션 네트워크는 f×f×d 크기의 복수 개의 필터를 통해 광단층 이미지의 각 픽셀에 곱셈 연산을 수행하는 컨볼루션 연산을 통해 상기 광단층 이미지로부터 특징을 추출하는 연산부를 포함하되,
    상기 연산부는 필터 하나에 하나의 feature map을 생성하고, 고차원 특징을 추출하기 위해 여러 개의 필터를 통해 고차원의 feature map을 생성하는 것을 특징으로 하는 컨볼루션 네트워크를 이용한 광단층 이미지 스페클 제어 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 컨볼루션 네트워크는,
    활성화 함수인 ReLU(Rectified Linear Unit)을 통해 비선형 변환을 수행하는 것을 특징으로 하는 컨볼루션 네트워크를 이용한 광단층 이미지 스페클 제어 장치.
  4. (a) 입력모듈이 광단층 이미지를 입력받는 단계;
    (b) 컨볼루션 네트워크가 3개 층으로 구성되어 컨볼루션 연산을 통해 광단층 이미지로부터 특징을 추출하는 단계;
    (c) 컨볼루션 네트워크가 추출한 특징을 비선형 값으로 변환하는 단계;
    (d) 컨볼루션 네트워크가 비선형 값으로 변환한 이미지로부터 스페클 노이즈가 제거된 이미지를 재구성하는 단계; 및
    (d) 출력모듈이 스페클 노이즈가 제거된 이미지를 출력하는 단계를 포함하는 것을 특징으로 하며,
    상기 (b)단계에서 상기 컨볼루션 네트워크는 같은 위치에서 획득한 여러 장 이미지의 입력 데이터와 상기 여러 장의 이미지를 평균한 이미지를 레이블 데이터로 구성하고, 상기 입력 데이터와 레이블 데이터를 쌍으로 학습 데이터를 구성하며, 상기 학습 데이터가 네트워크를 통해 변환된 출력 이미지가 입력 데이터와 한 쌍인 레이블 이미지의 차이를 최소화되도록 필터 가중치를 수정하여 컨볼루션 연산을 통해 상기 광단층 이미지로부터 특징을 추출하며,
    상기 (b)단계는 컨볼루션 네트워크의 연산부가 f×f×d 크기의 복수 개의 필터를 통해 광단층 이미지의 각 픽셀에 곱셈 연산을 수행하는 컨볼루션 연산을 통해 상기 광단층 이미지로부터 특징을 추출하되, 필터 하나에 하나의 feature map을 생성하고, 고차원 특징을 추출하기 위해 여러 개의 필터를 통해 고차원의 feature map을 생성하는 것을 특징으로 하는 컨볼루션 네트워크를 이용한 광단층 이미지 스페클 제어 방법.
  5. 삭제
KR1020190052352A 2019-05-03 2019-05-03 컨볼루션 네트워크를 이용한 광단층 이미지 스페클 제어 장치 및 그 방법 KR102366557B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190052352A KR102366557B1 (ko) 2019-05-03 2019-05-03 컨볼루션 네트워크를 이용한 광단층 이미지 스페클 제어 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190052352A KR102366557B1 (ko) 2019-05-03 2019-05-03 컨볼루션 네트워크를 이용한 광단층 이미지 스페클 제어 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20200127702A KR20200127702A (ko) 2020-11-11
KR102366557B1 true KR102366557B1 (ko) 2022-02-23

Family

ID=73451842

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190052352A KR102366557B1 (ko) 2019-05-03 2019-05-03 컨볼루션 네트워크를 이용한 광단층 이미지 스페클 제어 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102366557B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102562344B1 (ko) 2020-12-30 2023-08-01 주식회사 쿠오핀 네트워크 프로세서와 컨볼루션 처리기를 갖는 디바이스용 신경망 처리기
KR20220095532A (ko) 2020-12-30 2022-07-07 주식회사 쿠오핀 네트워크 환경에서의 디바이스와 서버 간의 인공지능 처리 기능 분할방법
CN116385319B (zh) * 2023-05-29 2023-08-15 中国人民解放军国防科技大学 一种基于场景认知的雷达图像相干斑滤波方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3404611A1 (en) * 2017-05-19 2018-11-21 RetinAI Medical GmbH Reducing noise in an image
KR101942219B1 (ko) 2018-07-05 2019-01-24 고재성 컨볼루션 뉴럴 네트워크를 이용한 폐기물 이미지 식별 장치 및 방법
KR102220029B1 (ko) * 2018-10-12 2021-02-25 한국과학기술원 뉴럴 네트워크를 이용한 비매칭 저 선량 엑스선 전산단층 촬영 영상 처리 방법 및 그 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FFDNet: Toward a Fast and Flexible Solution for CNN-Based Image Denoising. Kai Zhang et al. IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 27, NO. 9, 4608-4622. 2018.9.

Also Published As

Publication number Publication date
KR20200127702A (ko) 2020-11-11

Similar Documents

Publication Publication Date Title
KR102366557B1 (ko) 컨볼루션 네트워크를 이용한 광단층 이미지 스페클 제어 장치 및 그 방법
CN110461228B (zh) 使用多对比度和深度学习改进医学图像的质量
JP7189940B2 (ja) 画像中のノイズの低減
CN109035169B (zh) 一种无监督/半监督ct图像重建深度网络训练方法
EP3382417A3 (en) Magnetic resonance image reconstruction system and method
CN111081354B (zh) 用于通过深度学习网络对医疗图像进行去噪的系统和方法
KR101746712B1 (ko) 안개 제거 방법 및 장치
CN111080531B (zh) 一种水下鱼类图像的超分辨率重建方法、系统及装置
DE112018002793T5 (de) Bildverarbeitungssystem und bildverarbeitungsverfahren
JP2019216848A5 (ko)
KR20190038333A (ko) 학습을 이용한 자기공명영상 복원을 위한 언더샘플링 장치 및 방법과 학습을 이용한 자기공명영상 복원 장치 및 방법, 그리고 이에 대한 기록 매체
KR102233996B1 (ko) 자기 공명 영상 재구성 장치 및 방법
CN115769249A (zh) 通过域适应对牙科图像进行降噪的方法
CN104867168B (zh) 基于p范数的压缩感知计算机断层扫描图像重建方法
Gong et al. Low-dose dual energy CT image reconstruction using non-local deep image prior
JP2008123370A (ja) 独立成分分析（ｉｃａ）法を用いたデジタル画像の画質改善法
JP2021065707A (ja) 医用画像処理装置、学習済みモデルおよび医用画像処理方法
CN110689486A (zh) 图像的处理方法、装置、设备及计算机可存储介质
Abdallah et al. Automatic estimation of the noise model in fundus images
Sun et al. A lightweight dual-domain attention framework for sparse-view CT reconstruction
KR20210015834A (ko) 진단 지원 시스템, 진단 지원 방법 및 진단 지원 프로그램
WO2006047527A3 (en) Speckle noise removal in optical coherence tomography
US20220414832A1 (en) X-ray imaging restoration using deep learning algorithms
JP2022078973A (ja) モデル学習システム及びモデル学習方法
CN115943420A (zh) 图像处理装置、图像处理方法、训练装置、训练方法、以及程序

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right