KR102367090B1 - 초해상도 합성곱 신경망 기반의 광음향 현미경 영상 수치 재초점 방법 및 장치 - Google Patents

초해상도 합성곱 신경망 기반의 광음향 현미경 영상 수치 재초점 방법 및 장치 Download PDF

Info

Publication number
KR102367090B1
KR102367090B1 KR1020200083424A KR20200083424A KR102367090B1 KR 102367090 B1 KR102367090 B1 KR 102367090B1 KR 1020200083424 A KR1020200083424 A KR 1020200083424A KR 20200083424 A KR20200083424 A KR 20200083424A KR 102367090 B1 KR102367090 B1 KR 102367090B1
Authority
KR
South Korea
Prior art keywords
image
resolution
super
degree
refocusing
Prior art date
Application number
KR1020200083424A
Other languages
English (en)
Other versions
KR20220005807A (ko
Inventor
김민건
신준근
최해룡
강봉근
이성준
Original Assignee
재단법인 대구경북첨단의료산업진흥재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 대구경북첨단의료산업진흥재단 filed Critical 재단법인 대구경북첨단의료산업진흥재단
Priority to KR1020200083424A priority Critical patent/KR102367090B1/ko
Publication of KR20220005807A publication Critical patent/KR20220005807A/ko
Application granted granted Critical
Publication of KR102367090B1 publication Critical patent/KR102367090B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0093—Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy
    • A61B5/0095—Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy by applying light and detecting acoustic waves, i.e. photoacoustic measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/1702—Systems in which incident light is modified in accordance with the properties of the material investigated with opto-acoustic detection, e.g. for gases or analysing solids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4092—Image resolution transcoding, e.g. by using client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Acoustics & Sound (AREA)
  • Veterinary Medicine (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 광음향 현미경 영상 재초점 장치 및 방법에 관한 것으로, 본 발명에 따르면 영상을 일정한 초점 흐림 영상으로 변환하여 CNN 기반의 초해상도 방법을 사용함으로써 다양한 흐림 정도의 영상을 복원할 수 있고, 광학 렌즈의 초점 변화나 배율 변화 없이도 최적의 영상을 획득할 수 있는 효과가 있다.

Description

초해상도 합성곱 신경망 기반의 광음향 현미경 영상 수치 재초점 방법 및 장치{APPARATUS AND METHOD FOR NUMERICAL REFOCUSING OF PHOTOACOUSTIC MICROSCOPY BASED ON SUPER-RESOLUTION CONVOLUTION NEURAL NETWORK}
본 발명은 광음향 현미경의 영상 개선에 관한 것으로, 특히 합성곱 신경망 기반의 초해상도 기술을 이용한 영상 재초점 기술에 관한 것이다.
광음향 현미경(PAM: Photoacoustic Microscophy)은 광음향 효과를 이용하여 생체 내의 다양한 내인성 조영제에 대한 영상을 획득하는 장치이다. 광음향 현미경은 초음파 영상 기법과 광학 영상 기법의 장점들만 취사선택 할 수 있는 장점이 있다. 광음향 현미경을 이용하여 광음향 영상을 획득할 때 높은 해상도의 영상을 얻기 위해서는 높은 개구수의 대물렌즈를 채용해야 하는데 대물렌즈가 커질수록 초점이 유지되는 축상 길이(Rayleigh length)가 감소하는 관계가 있다. 따라서 광음향 현미경의 해상도가 매우 높은 경우에 축상 길이는 매우 짧아지게 되어 시료의 축상 위치가 영상 획득에 있어 민감한 매개변수로 작용하게 된다. 따라서 다양한 요인으로 시료의 위치가 축상 길이 내에 놓이지 못하는 경우에는 초점이 흐려지는 문제가 발생하게 된다.
이와 같은 문제를 해결하기 위해 다양한 방법들이 개발되어 시도되어 왔다. 초점을 맞추기 위해 초점 위치를 바꾸는 경우에는 배율의 변화가 발생할 수 있는 단점이 있고, 현미경 광학계나 시료의 위치를 축상에서 변경하는 경우에는 이를 조절하기 위한 정밀한 기계적인 장치가 추가로 필요하고 시간도 오래 걸린다는 문제가 있다.
본 발명의 발명자들은 이러한 종래 기술의 광음향 현미경의 초점 문제를 해결하기 위해 연구 노력해 왔다. 광음향 현미경의 초점 위치를 바꾸거나 축상 위치를 조절하지 않고도 초점이 맞지 않는 영상에 대해 알고리즘 기반의 영상 개선 방법을 적용함으로써 초점이 맞는 영상을 얻을 수 있는 장치 및 방법을 완성하기 위해 많은 노력 끝에 본 발명을 완성하기에 이르렀다.
이 성과는 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임 (No. 2020R1F1A105199411).
This work was supported by the National Research Foundation of Korea(NRF) grant funded by the Korea government(MSIT) (No. 2020R1F1A105199411).
본 발명의 목적은 고해상도 광음향 현미경을 이용해 획득한 초점이 맞지 않는 영상을 초점 위치 조절이나 광학계 또는 시료의 이동 없이도 수치적 계산만으로 초점이 맞는 영상으로 복원할 수 있는 장치 및 방법을 제공하는 것이다.
한편, 본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론 할 수 있는 범위 내에서 추가적으로 고려될 것이다.
본 발명에 따른 광음향 현미경 영상 재초점 장치는,
광음향 현미경으로 획득한 영상의 초점 흐림 정도를 판별하는 초점 흐림 판별부; 상기 판별한 흐림 정도에 따라 상기 영상을 미리 정해진 일정한 흐림 정도로 변환하는 초점 변환부; 상기 일정한 흐림 정도로 변환된 영상을 미리 정해진 해상도로 변환하는 해상도 변환부; 및 상기 해상도 변환된 영상을 초해상도(Super-Resolution) 변환하는 초해상도 변환부;를 포함한다.
본 발명의 다른 실시예에 따른 광음향 현미경 영상 재초점 장치는,
광음향 현미경으로 획득한 영상의 초점 흐림 정도를 판별하는 초점 흐림 판별부; 상기 영상을 미리 정해진 해상도로 변환하는 해상도 변환부; 및 상기 해상도 변환된 영상의 초점 흐림 정도에 따라 각각 다른 흐림 정도를 해상도 복원하는 복수의 초해상도 변환부;를 포함한다.
본 발명의 또 다른 실시예에 따른 광음향 현미경 영상 재초점 장치는,
광음향 현미경으로 획득한 영상을 미리 정해진 해상도로 변환하는 해상도 변환부; 상기 해상도 변환된 영상을 각각 다른 흐림 정도에 따라 해상도 복원하는 복수의 초해상도 변환부; 및 상기 복수의 초해상도 변환된 영상 각각에 대해 선예도를 개선하는 복수의 선예도 계산부;를 포함한다.
상기 초점 변환부는 상기 영상의 초점을 상기 광음향 현미경에서 발생하는 최대 초점 흐림 정도로 변환하는 것을 특징으로 한다.
상기 해상도 변환부는 상기 영상을 상기 영상의 해상도보다 낮은 해상도로 다운샘플링(Down Sampling)하는 것을 특징으로 한다.
또한 상기 초해상도 변환부는 합성곱 신경망(Convolution Neural Network) 기반의 SRGAN(Super-Resolution Generative Adversarial Network) 방법으로 미리 학습되어 상기 영상을 초해상도 변환하는 것을 특징으로 한다.
바람직하게는 상기 초해상도 변환부는 상기 영상에 단일 영상 초해상도(Single Image Super Resolution)방법을 적용하여 상기 영상을 초해상도 변환하는 것이 좋다.
본 발명에 따른 광음향 현미경 영상의 재초점 방법은,
광음향 현미경으로 획득한 영상의 초점 흐림 정도를 판별하는 초점 흐림 판별 단계; 상기 판별한 흐림 정도에 따라 상기 영상을 미리 정해진 일정한 흐림 정도로 변환하는 초점 변환 단계; 상기 일정한 흐림 정도로 변환된 영상을 미리 정해진 해상도로 변환하는 해상도 변환 단계; 및 상기 해상도 변환된 영상을 초해상도(Super-Resolution) 변환하는 초해상도 변환 단계;를 포함한다.
본 발명의 다른 실시예에 따른 광음향 현미경 영상의 재초점 방법은,
광음향 현미경으로 획득한 영상의 초점 흐림 정도를 판별하는 초점 흐림 판별 단계; 상기 영상을 미리 정해진 해상도로 변환하는 해상도 변환 단계; 및 상기 해상도 변환된 영상의 초점 흐림 정도에 따라 각각 다른 흐림 정도를 해상도 복원하는 초해상도 변환 단계;를 포함한다.
본 발명의 또 다른 실시예에 따른 광음향 현미경 영상의 재초점 방법은,
광음향 현미경으로 획득한 영상을 미리 정해진 해상도로 변환하는 해상도 변환 단계; 상기 해상도 변환된 영상을 각각 다른 흐림 정도에 따른 복수의 해상도 복원 영상을 생성하는 초해상도 변환 단계; 및 상기 복수의 초해상도 변환된 영상 각각에 대해 선예도를 개선하는 복수의 선예도 계산 단계;를 포함한다.
상기 초점 변환 단계는 상기 영상의 초점을 상기 광음향 현미경에서 발생하는 최대 초점 흐림 정도로 변환하는 것을 특징으로 한다.
또한 상기 해상도 변환 단계는 상기 영상을 상기 영상의 해상도보다 낮은 해상도로 다운샘플링(Down Sampling)하는 것을 특징으로 한다.
상기 초해상도 변환단계는 SRGAN 방법으로 미리 학습된 합성곱 신경망(Convolution Neural Network)에 의해 상기 영상을 초해상도 변환할 수 있다.
바람직하게는 상기 초해상도 변환단계는 상기 영상에 단일 영상 초해상도(Single Image Super Resolution)방법을 적용하여 상기 영상을 초해상도 변환하는 것이 좋다.
본 발명에 따르면 광음향 현미경의 광학계 또는 기계적인 움직임 제어 장치 등의 교체나 추가 없이도 초점이 맞지 않는 영상을 개선할 수 있는 효과가 있다.
또한 합성곱 신경망 기반의 초해상도 기술을 사용함으로써 보다 정확한 초점 향상 영상을 획득할 수 있는 장점도 있다.
한편, 여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급됨을 첨언한다.
도 1은 본 발명의 바람직한 어느 실시예에 따른 광음향 현미경 영상의 개선 전/후 영상의 예를 나타낸다.
도 2는 본 발명의 바람직한 어느 실시예에 따른 광음향 현미경 영상 재초점 장치의 개략적인 구조도이다.
도 3은 본 발명의 바람직한 다른 실시예에 따른 광음향 현미경 영상 재초점 장치의 개략적인 구조도이다.
도 4는 본 발명의 바람직한 또 다른 실시예에 따른 광음향 현미경 영상 재초점 장치의 개략적인 구조도이다.
도 5는 본 발명의 바람직한 어느 실시예에 따른 광음향 현미경 영상 재초점 방법의 개략적인 흐름도이다.
도 6는 본 발명의 바람직한 다른 실시예에 따른 광음향 현미경 영상 재초점 방법의 개략적인 흐름도이다.
도 7은 본 발명의 바람직한 또 다른 실시예에 따른 광음향 현미경 영상 재초점 방법의 개략적인 흐름도이다.
※ 첨부된 도면은 본 발명의 기술사상에 대한 이해를 위하여 참조로서 예시된 것임을 밝히며, 그것에 의해 본 발명의 권리범위가 제한되지는 아니한다
이하, 도면을 참조하여 본 발명의 다양한 실시예가 안내하는 본 발명의 구성과 그 구성으로부터 비롯되는 효과에 대해 살펴본다. 본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
'제1', '제2' 등의 용어는 다양한 구성요소를 설명하는데 사용될 수 있지만, 상기 구성요소는 위 용어에 의해 한정되어서는 안 된다. 위 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 수 있다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 '제1구성요소'는 '제2구성요소'로 명명될 수 있고, 유사하게 '제2구성요소'도 '제1구성요소'로 명명될 수 있다. 또한, 단수의 표현은 문맥상 명백하게 다르게 표현하지 않는 한, 복수의 표현을 포함한다. 본 발명의 실시예에서 사용되는 용어는 다르게 정의되지 않는 한, 해당 기술분야에서 통상의 지식을 가진 자에게 통상적으로 알려진 의미로 해석될 수 있다.
이하, 도면을 참조하여 본 발명의 다양한 실시예가 안내하는 본 발명의 구성과 그 구성으로부터 비롯되는 효과에 대해 살펴본다.
도 1은 본 발명의 바람직한 어느 실시예에 따라 재초점 방법을 수행한 전/후 영상의 예를 나타낸다.
재초점 전 영상(2)은 시료가 축상 위치에 있지 않은 경우 초점이 맞지 않은 흐릿한 영상이 획득된다. 이 영상은 초점이 맞지 않아 영상의 내용을 확인할 수 없는 문제가 있다.
본 발명에 따른 광음향 현미경 영상 재초점 장치(1)는 물리적인 재촬영 없이 합성곱 신경망(CNN: Convolution Neural Network) 기반의 수치적 재초점 방법을 이용하여 영상을 가공하여 초점이 개선된 영상(3)을 복원해 낼 수 있다.
광음향 현미경 영상 재초점 장치(1)의 구성 및 재초점 방법은 이하에서 자세히 설명하기로 한다.
도 2는 본 발명의 바람직한 어느 실시예에 따른 광음향 현미경 영상 재초점 장치의 개략적인 구조도이다.
본 발명에 따른 광음향 현미경 영상 재초점 장치(10)는 초점 흐림 판별부(110), 초점 변환부(120), 해상도 변환부(130) 및 초해상도 변환부(140)를 포함한다.
광음향 현미경 영상 재초점 장치(10)는 복수의 하드웨어/소프트웨어 장비를 포함하여 구성될 수 있다. 하드웨어 장비로는 하나 이상의 프로세서 유닛과 하나 이상의 메모리를 포함하는 전자장치, 영상처리장치 등이 포함되고, 소프트웨어 장비로는 광음향 현미경 영상을 가공하여 사용자에게 제공하는 구성과 관련되는 데이터 매니지먼트, 데이터베이스 관리, 데이터 처리, 데이터 송수신 등에 관한 일체의 프로세스를 처리하는 복수의 소프트웨어를 포함한다.
초점 흐림 판별부(110)는 광음향 현미경을 이용해서 촬영한 영상의 초점 흐림 정도를 판별한다.
광음향 현미경은 광음향 효과(Photoacoustic effect)에 기반한 시각화 방법을 사용한다. 광음향 효과는 세포가 빛을 흡수하면 온도가 상승하면서 음파(Acoustic Wave)를 내보내는 현상을 의미한다. 광음향 현미경은 이 발생하는 음파를 이용하여 고해상도 이미지를 얻는다.
광음향 현미경은 음향 해상도 광음향 현미경(AR-PAM: Acoustic Resolution PAM)과 광학 해상도 광음향 현미경(OR-PAM: Optical Resolution PAM)으로 구분된다.
AR-PAM은 넓은 영역에 빛을 조사하여 발생하는 초음파를 수신하기 때문에 영상의 해상도가 초음파 트랜스듀서의 해상도에 의존한다.
OR-PAM은 시료에 빛을 집속(focusing)하여 광음향 효과를 유도하기 때문에 OR-PAM에서는 빛이 집속된 정도에 따라 해상도가 증가한다. 따라서 높은 해상도를 얻기 위해서는 높은 개구수의 대물렌즈를 채용해야 하는데 그러면 초점이 유지되는 축상 길이는 짧아지게 되는 것이다.
일반적인 광학 현미경은 시료가 초점위치로부터 멀어지면 회절현상에 따라 영상이 흐려지지만 OR-PAM은 가우시안(Gaussian) 흐림에 따라 영상이 흐려지게 된다. 시료에 조사되는 광학 빔 스폿 크기(Beam spot size)가 초점위치로부터 멀어지는 정도에 따라 가우시안 함수의 형태로 증가하게 된다. 따라서 이 현상을 이용하여 초점 흐림 판별부(110)는 영상의 흐려짐 정도를 계산할 수 있다.
초점 흐림 판별부(110)는 신경망 구조를 가진다. 신경망 구조의 한 예로 CNN이 사용될 수 있다. 초점 흐림 판별부(110)는 초점이 흐려진 영상을 입력받아 One Hot Encoding 형태의 출력을 생성한다. One Hot Encoding이란 분류하고자 하는 카테고리 중 확률이 가장 높은 값을 1로, 나머지 값들은 0으로 만드는 것을 의미한다. 따라서 초점 흐림 판별부(110)에 의해 구별되는 초점 흐림 정도는 일정한 개수로 미리 정의되어 있다.
흐림 정도에 따른 흐려진 영상은 다음과 같이 계산 또는 표현될 수 있다.
Figure 112020070403820-pat00001
Figure 112020070403820-pat00002
여기서
Figure 112020070403820-pat00003
는 지면 진리 영상(Ground Truth Image)이고,
Figure 112020070403820-pat00004
는 표준편차가
Figure 112020070403820-pat00005
인 가우시안 함수이며
Figure 112020070403820-pat00006
는 합성곱(convolution) 연산을 나타낸다. 따라서
Figure 112020070403820-pat00007
는 초점이 정확한 지면 진리 영상에 가우시안 함수가 합성곱 되어 초점 흐림 정도가
Figure 112020070403820-pat00008
인 흐려진 영상이 되는 것이다.
초점 흐림 판별부(110)의 CNN은 위와 같이 초점 흐림 정도가 흐려진 영상들에 의해 학습되어 초점 흐림 정도를 판별하게 된다.
초점 변환부(120)는 초점 흐림 판별부(110)에서 판별한 초점 흐림 정도에 따라 영상의 초점을 변환한다.
초해상도 변환부(140)는 일정한 흐림 정도에서 초해상도로 영상을 복원하도록 설계된다. 따라서 초점 변환부(120)는 초해상도 변환부(140)에서 복원 가능한 흐림 정도로 영상의 초점을 변환한다. 지정된 초점 흐림 정도는 광음향 현미경에서 발생할 수 있는 최대의 초점 흐림 정도일 수 있다.
해상도 변환부(130)는 초점 흐림 정도가 변환된 영상을 낮은 해상도로 변환한다. 즉 해상도를 낮추는 다운샘플링(Downsampling)이 영상에 적용된다. 대상 영상은 초점 흐림도가 최대로 적용된 상태이므로 이미 저주파수 대역의 이미지 신호만 포함하고 있다. 따라서 다운샘플링에 의해서 고주파수 대역의 이미지 신호가 손실되지 않는다고 가정할 수 있다.
초해상도 변환부(140)는 마지막으로 초점흐림과 다운샘플링이 적용된 영상에 딥러닝 기반의 초해상도(Super-resolution) 방법을 적용하여 영상을 복원한다. 초해상도 방법은 단일 입력 영상의 해상도를 향상시키는 단일 이미지 초해상도 방법(Single Image Super Resolution)이 사용될 수 있다.
초해상도 변환부(140)는 딥러닝 기반의 초해상도 방법을 사용한다. 일반적으로 초해상도 방법은 Nearest Neighbor, Bilinear, Bicubic 등의 간단한 보간법(Interpolation)을 사용해 왔으나 본 발명의 초해상도 변환부(140)는 합성곱 신경망(CNN: Convolution Neural Network) 기반의 SRGAN 방법을 사용하여 다운샘플링 된 영상을 복원한다.
초해상도 변환부(130)에서 사용하는 초해상도 방법은 SRGAN(Super-Resolution Generative Adversarial Network) 방법이 사용될 수 있다.
도 8은 본 발명에 따른 초해상도 변환부를 SRGAN 방법에 의해 훈련하기 위한 개략적인 구조도를 나타낸다.
입력부(810)로 광음향 현미경의 초점위치에 정확히 시료가 놓인 영상(Raw Image)이 입력되면 이는 지면 진리 영상(GT Image)으로 사용된다. 지면 진리 영상은 구별부(860)에도 전달되어 구별부(860)가 지면 진리 영상에 대해 참값(D(x)=1)을 가지도록 훈련된다. 구별부(860) 역시 CNN이 사용될 수 있다.
지면 진리 영상은 초점 변환부(820)에서 특정 초점 흐림 정도로 변환되고, 초점 흐림 변환된 영상은 다시 해상도 변환부(830)에서 원래 이미지보다 해상도를 낮추는 다운샘플링이 수행됨으로써 훈련 영상(Training Image)으로 만들어진다.
훈련 영상은 초해상도 변환부(840)에서 고해상도 영상인 가짜 영상(Fake Image)으로 만들어진다.
가짜 영상은 구별부(850)로 입력되어 가짜 영상에 대한 손실함수(GAN Loss, 860)를 출력한다. 이 손실함수(860)의 출력은 다시 초해상도 변환부(840)와 구별부(850)로 입력되어, 구별부(860)가 가짜 영상에 대해 지면 진리 영상과 같은 참값을 출력하도록 초해상도 변환부(840)가 최적화 되며, 손실함수(860)의 출력이 거짓(0)이 되도록 구별부(860)가 최적화 되며 반복적인 학습이 수행된다.
다시 도 2로 돌아와서 SRGAN에 의해 학습된 초해상도 변환부(140)는 특정한 초점 흐림 정도의 영상을 지면 진리 영상과 유사한 수준으로 초해상도 복원이 가능한 효과가 있다.
도 3은 본 발명의 바람직한 다른 실시예에 따른 광음향 현미경 영상 재초점 장치의 개략적인 구조도이다.
도 2의 예와 달리 광음향 현미경 영상 재초점 장치(20)는 초점 흐림 판별부(210), 해상도 변환부(220) 및 복수의 초해상도 변환부(231, 232, 233)를 포함한다.
초점 흐림 판별부(210)는 광음향 현미경을 이용해서 촬영한 영상의 초점 흐림 정도를 판별한다.
초점 흐림 판별부(210)를 거친 영상에 대해 도 2의 실시예와는 달리 초점 변환을 실시하지 않고 해상도 변환부(220)에 의해 영상을 낮은 해상도로 변환한다. 도 2의 실시예와 마찬가지로 이미 초점이 흐려진 영상이기 때문에 낮은 해상도로 변환해도 손실이 없다고 가정한다.
다운샘플링된 영상은 초점 흐림 정도에 따라 제1 초해상도 변환부(231) 내지 제n 초해상도 변환부(233) 중 하나로 입력된다. 초점 흐림 판별부(210)에서 판단한 초점 흐림 정도에 따라 알맞은 초해상도 변환부에 입력되어 영상이 복원된다. 초해상도 변환부(231, 232, 233)는 CNN 기반의 SRGAN 방법에 의해 학습됨은 동일하다. 도 2의 실시예와 달리 초점 변환이 이루어지지 않고 초점에 따른 초해상도 변환부가 선택되므로 초점 변환부가 존재하지 않는다.
도 4는 본 발명의 바람직한 또 다른 실시예에 따른 광음향 현미경 영상 재초점 장치의 개략적인 구조도이다.
광음향 현미경 영상 재초점 장치(30)는 해상도 변환부(310), 복수의 초해상도 변환부(321, 322, 323) 및 복수의 선예도 계산부(331, 332, 333)를 포함한다.
광음향 현미경 영상 재초점 장치(30)는 해상도 변환부(310)에서 영상을 다운샘플링 한 후 초점 흐림 정도에 따라 선예도를 계산한다.
초해상도 변환부(321, 322, 323)는 영상의 초점 흐림 정도에 따른 초해상도 변환을 병렬로 수행한다. 따라서 초점 흐림 정도를 판단하거나 초점 흐림 정도를 변환할 필요가 없다. 초해상도 변환부(321, 322, 323)는 앞의 예와 마찬가지로 SRGAN 방법에 의해 학습되는 것을 특징으로 한다.
초해상도 변환부(321)에 의해 초해상도 변환이 실시된 영상은 다시 선예도 계산부(331, 332, 333)를 거친다. 선예도(Sharpness) 계산부(331, 332, 333)에 의해 선예도가 개선된 영상들 중 선예도가 가장 높은 영상을 결과 영상으로 선택함으로써 초점이 흐려진 영상에 대한 복원이 완료된다.
도 5는 본 발명의 바람직한 어느 실시예에 따른 광음향 현미경 영상 재초점 방법의 개략적인 흐름도이다.
우선 광음향 현미경에 의해 획득한 영상에 대해 영상의 초점이 흐려진 정도를 판단한다(S10). 본 발명에 따른 초해상도 변환은 일정한 초점을 가진 영상에 대해서만 개선 효과를 가지므로 일정한 흐림 정도로 변환하기 위해 현재 흐려진 정도를 판단하는 것이다.
초점이 흐려진 정도가 판단되면 초해상도 변환을 위한 초점 흐림 영상으로 초점을 변환한다(S20). 초해상도 변환이 가능한 흐림 정도로 변환하는 것이다. 본 발명의 실시예에서는 최대 초점 흐림 정도로 설정할 수 있다.
최대로 초점이 흐려진 영상에 대해 저해상도 영상으로 변환이 실시된다(S30). 초점이 최대로 흐려진 상태에서는 고주파 성분이 없으므로 저해상도 영상으로 다운샘플링이 되어도 영상에는 손실이 발생하지 않는다고 가정할 수 있다.
다운샘플링 된 영상에 대해 마지막으로 초해상도 영상 변환이 실시된다(S40). 초해상도 변환은 CNN 기반의 SRGAN 방법이 사용될 수 있다.
도 6은 본 발명의 바람직한 다른 실시예에 따른 광음향 현미경 영상 재초점 방법의 개략적인 흐름도이다.
이하의 광음향 현미경 영상 재초점 방법은 하나 이상의 프로세서 및 메모리를 포함하는 광음향 현미경 영상 재초점 장치에 의해 수행될 수 있다.
영상 초점 흐림 정도를 판단하고(S110) 저해상도 영상으로 다운샘플링 하는 단계(S120)는 도 5의 실시예와 같다.
초해상도 영상 변환 단계에서는 영상 초점 흐림 정도에 따라 영상을 초해상도 영상으로 변환한다(S130). 즉, 일정한 흐림 정도의 영상만 변환하는 것이 아니라 다양한 흐림 정도의 영상에 대해 초해상도 영상 변환을 적용할 수 있다. 이를 위해 초해상도 영상 변환 단계는 복수의 초점 영상에 대해 병렬로 진행될 수 있다.
도 7은 본 발명의 바람직한 또 다른 실시예에 따른 광음향 현미경 영상 재초점 방법의 개략적인 흐름도이다.
도 5 또는 도 6의 실시예와 달리 영상 초점의 흐림 정도를 판단하지 않고 저해상도 영상으로의 변환이 이루어진다(S210).
다운샘플링 된 영상은 초해상도 영상으로 변환이 이루어진다(S220).
초해상도 영상으로 변환이 이루어진 영상은 원래 다양한 초점 거리를 가지는 영상이었을 것이므로 복수의 선예도 계산 단계를 거친다(S230).
복수의 선예도 계산에 의해 복수의 선예도 개선 결과 영상이 도출되면 이 중 가장 선예도가 높은 영상, 즉 초점이 맞는 영상에 가장 가까운 영상을 복원 영상으로 선택할 수 있다.
이상과 같은 본 발명에 따른 광음향 현미경 영상 재초점 장치 및 방법에 따르면 영상을 일정한 초점 흐림 영상으로 변환하여 CNN 기반의 초해상도 방법을 사용함으로써 다양한 흐림 정도의 영상을 복원할 수 있고, 광학 렌즈의 초점 변화나 배율 변화 없이도 최적의 영상을 획득할 수 있는 효과가 있다.
본 발명의 보호범위가 이상에서 명시적으로 설명한 실시예의 기재와 표현에 제한되는 것은 아니다. 또한, 본 발명이 속하는 기술분야에서 자명한 변경이나 치환으로 말미암아 본 발명이 보호범위가 제한될 수도 없음을 다시 한 번 첨언한다.

Claims (14)

  1. 광음향 현미경에 의해 기 획득된 영상을 입력 받아 입력된 상기 영상에 대한 초점 흐림 정도를 판별하는 초점 흐림 판별부;
    상기 판별한 흐림 정도에 따라 상기 영상을 미리 정해진 일정한 흐림 정도로 변환하되, 상기 영상의 초점을 상기 광음향 현미경의 최대 초점 흐림 정도로 변환하는 초점 변환부;
    상기 일정한 흐림 정도로 변환된 영상을 미리 정해진 해상도로 변환하는 해상도 변환부; 및
    상기 해상도 변환된 영상을 초해상도(Super-Resolution) 변환하는 초해상도 변환부;를 포함하며,
    상기 초점 흐림 판별부는 입력된 상기 영상에 대해 초점 흐림 정도가 구별된 다수개의 출력을 One Hot Encoding 형태로 생성하는 신경망 구조로 구현되고, 하기 식에 따라 계산되는 흐려진 영상을 이용하여 학습되는, 광음향 현미경 영상 재초점 장치.
    Figure 112022011221128-pat00017

    (여기서,
    Figure 112022011221128-pat00018
    는 지면 진리 영상(Ground Truth Image)이고,
    Figure 112022011221128-pat00019
    _는 표준편차가
    Figure 112022011221128-pat00020
    인 가우시안 함수이며,
    Figure 112022011221128-pat00021
    는 합성곱(convolution) 연산을 나타고,
    Figure 112022011221128-pat00022
    는 초점이 정확한 지면 진리 영상에 가우시안 함수가 합성곱 되어 초점 흐림 정도가
    Figure 112022011221128-pat00023
    인 흐려진 영상)
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 해상도 변환부는 상기 영상을 상기 영상의 해상도보다 낮은 해상도로 다운샘플링(Down Sampling)하는 것을 특징으로 하는, 광음향 현미경 영상 재초점 장치.
  6. 제1항에 있어서,
    상기 초해상도 변환부는 합성곱 신경망(Convolution Neural Network) 기반의 SRGAN(Super-Resolution Generative Adversarial Network) 방법으로 미리 학습되어 상기 영상을 초해상도 변환하는 것을 특징으로 하는, 광음향 현미경 영상 재초점 장치.
  7. 제1항에 있어서,
    상기 초해상도 변환부는 상기 영상에 단일 영상 초해상도(Single Image Super Resolution)방법을 적용하여 상기 영상을 초해상도 변환하는 것을 특징으로 하는, 광음향 현미경 영상 재초점 장치.
  8. 하나 이상의 프로세서를 포함하는 광음향 현미경 영상 재초점 장치에 의해 수행되는 광음향 현미경 영상의 재초점 방법에 있어서:
    광음향 현미경에 의해 기 획득된 영상에 대한 초점 흐림 정도를 판별하는 초점 흐림 판별 단계;
    상기 판별한 흐림 정도에 따라 상기 영상을 미리 정해진 일정한 흐림 정도로 변환하되, 상기 영상의 초점을 상기 광음향 현미경의 최대 초점 흐림 정도로 변환하는 초점 변환 단계;
    상기 일정한 흐림 정도로 변환된 영상을 미리 정해진 해상도로 변환하는 해상도 변환 단계; 및
    상기 해상도 변환된 영상을 초해상도(Super-Resolution) 변환하는 초해상도 변환 단계;를 포함하며,
    상기 초점 흐림 판별 단계는 입력된 상기 영상에 대해 초점 흐림 정도가 구별된 다수개의 출력을 One Hot Encoding 형태로 생성하는 신경망 구조를 이용하여 수행되고, 상기 신경망 구조는 하기 식에 따라 계산되는 흐려진 영상을 이용하여 학습되는, 광음향 현미경 영상 재초점 방법.
    Figure 112022011221128-pat00024

    (여기서,
    Figure 112022011221128-pat00025
    는 지면 진리 영상(Ground Truth Image)이고,
    Figure 112022011221128-pat00026
    _는 표준편차가
    Figure 112022011221128-pat00027
    인 가우시안 함수이며,
    Figure 112022011221128-pat00028
    는 합성곱(convolution) 연산을 나타고,
    Figure 112022011221128-pat00029
    는 초점이 정확한 지면 진리 영상에 가우시안 함수가 합성곱 되어 초점 흐림 정도가
    Figure 112022011221128-pat00030
    인 흐려진 영상)
  9. 삭제
  10. 삭제
  11. 삭제
  12. 제8항에 있어서,
    상기 해상도 변환 단계는 상기 영상을 상기 영상의 해상도보다 낮은 해상도로 다운샘플링(Down Sampling)하는 것을 특징으로 하는, 광음향 현미경 영상 재초점 방법.
  13. 제8항에 있어서,
    상기 초해상도 변환단계는 SRGAN 방법으로 미리 학습된 합성곱 신경망(Convolution Neural Network)에 의해 상기 영상을 초해상도 변환하는 것을 특징으로 하는, 광음향 현미경 영상 재초점 방법.
  14. 제8항에 있어서,
    상기 초해상도 변환 단계는 상기 영상에 단일 영상 초해상도(Single Image Super Resolution)방법을 적용하여 상기 영상을 초해상도 변환하는 것을 특징으로 하는, 광음향 현미경 영상 재초점 방법.
KR1020200083424A 2020-07-07 2020-07-07 초해상도 합성곱 신경망 기반의 광음향 현미경 영상 수치 재초점 방법 및 장치 KR102367090B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200083424A KR102367090B1 (ko) 2020-07-07 2020-07-07 초해상도 합성곱 신경망 기반의 광음향 현미경 영상 수치 재초점 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200083424A KR102367090B1 (ko) 2020-07-07 2020-07-07 초해상도 합성곱 신경망 기반의 광음향 현미경 영상 수치 재초점 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20220005807A KR20220005807A (ko) 2022-01-14
KR102367090B1 true KR102367090B1 (ko) 2022-02-23

Family

ID=79343022

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200083424A KR102367090B1 (ko) 2020-07-07 2020-07-07 초해상도 합성곱 신경망 기반의 광음향 현미경 영상 수치 재초점 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102367090B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019032723A1 (en) * 2017-08-09 2019-02-14 Allen Institute IMAGE PROCESSING SYSTEMS, DEVICES, AND METHODS FOR GENERATING AN IMAGE HAVING PREDICTIVE MARKING

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102089151B1 (ko) * 2017-08-30 2020-03-13 한국과학기술원 확장된 뉴럴 네트워크를 이용한 영상 복원 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019032723A1 (en) * 2017-08-09 2019-02-14 Allen Institute IMAGE PROCESSING SYSTEMS, DEVICES, AND METHODS FOR GENERATING AN IMAGE HAVING PREDICTIVE MARKING

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Kim et al. Super-resolution localization photoacoustic microscopy using intrinsic red blood cells as contrast absorbers, Science & Applications, 2019년, pp. 1-11. 1부.*
Ledig et al. Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network, IEEE CVPR, 2017년, pp. 105-114. 1부.*

Also Published As

Publication number Publication date
KR20220005807A (ko) 2022-01-14

Similar Documents

Publication Publication Date Title
US8331627B2 (en) Method and system for generating an entirely well-focused image of a large three-dimensional scene
US8988520B2 (en) Method and apparatus for improving depth of field (DOF) in microscopy
JP2013531268A (ja) 符号化開口を使用した距離の測定
WO2006021767A2 (en) Method and apparatus for providing optimal images of a microscope specimen
US10330913B2 (en) Method and device for imaging an object
CN111415297B (zh) 一种共聚焦显微镜的成像方法
Lu et al. Imaging properties of extended depth of field microscopy through single-shot focus scanning
WO2021082819A1 (zh) 一种图像生成方法、装置及电子设备
JP4145308B2 (ja) 手ぶれ補正装置
KR102367090B1 (ko) 초해상도 합성곱 신경망 기반의 광음향 현미경 영상 수치 재초점 방법 및 장치
Qu et al. Optical microscopy with flexible axial capabilities using a vari‐focus liquid lens
JP5477464B2 (ja) 撮像装置
JP6185819B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN112967268B (zh) 基于光场的数字光学层析方法和装置
CN111656163A (zh) 用于在荧光显微成像期间扩展景深的方法和装置
CN115363528A (zh) 一种用于环阵光声计算层析系统的仰角分辨率的重建方法
JP5965638B2 (ja) 画像処理システムを備えた顕微鏡システム
WO2021100328A1 (ja) 画像処理方法、画像処理装置および画像処理システム
CN109257524B (zh) 一种基于Wigner分布函数的全聚焦扫描成像方法
JPH10170817A (ja) 合焦位置算出装置及びその方法とそれらを使用した電子顕微鏡
Kankam et al. Inertial proximal gradient method using adaptive stepsize for convex minimization problems
JP7214511B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP6639155B2 (ja) 画像処理装置及び画像処理方法
KR102635483B1 (ko) 하전입자선 장치의 영상을 디컨볼루션하여 복원하는 방법, 영상 처리 장치 및 영상 처리 장비를 구비한 하전입자선 장치
JP5868758B2 (ja) 画像処理システム及びそれを備えた顕微鏡システム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant