KR20230146730A - 스마트폰을 이용한 현미경 시스템 및 이를 이용한 관찰제어방법 - Google Patents

스마트폰을 이용한 현미경 시스템 및 이를 이용한 관찰제어방법 Download PDF

Info

Publication number
KR20230146730A
KR20230146730A KR1020220045469A KR20220045469A KR20230146730A KR 20230146730 A KR20230146730 A KR 20230146730A KR 1020220045469 A KR1020220045469 A KR 1020220045469A KR 20220045469 A KR20220045469 A KR 20220045469A KR 20230146730 A KR20230146730 A KR 20230146730A
Authority
KR
South Korea
Prior art keywords
control unit
stage
smartphone
image
observation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020220045469A
Other languages
English (en)
Other versions
KR102747929B1 (ko
Inventor
김형범
한도윤
서주선
Original Assignee
충북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충북대학교 산학협력단 filed Critical 충북대학교 산학협력단
Priority to KR1020220045469A priority Critical patent/KR102747929B1/ko
Publication of KR20230146730A publication Critical patent/KR20230146730A/ko
Application granted granted Critical
Publication of KR102747929B1 publication Critical patent/KR102747929B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/34—Microscope slides, e.g. mounting specimens on microscope slides
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

본 발명의 일실시예에 따른 스마트폰을 이용한 현미경 시스템은, 지지판, 상기 지지판의 상부면 일측에 구비되고 일측면에 재물대 높이조절나사를 구비한 재물대 지지부, 상기 재물대 지지부에 둘러싸여 상부에 돌출되고 상기 재물대 높이조절나사에 의해 높이신장되는 재물대 지지대, 상기 재물대 지지대의 상부에 구비되고 해당 시료를 거치하는 재물대, 상기 재물대 지지부에 대응하여 상기 지지판의 상부면 타측에 구비되고 양측면에 거치대 높이조절나사를 구비한 거치대 지지부, 상기 거치대 지지부에 맞물려 지지되고 상기 거치대 높이조절나사에 의해 상하방향으로 신장되는 높이 신장대, 상기 높이 신장대의 상부에 평면으로 구비되고 상기 재물대에 대응하는 테두리에 홈부를 형성하며 상부면 양측에 스마트폰 고정편을 구비한 스마트폰 거치대 및 상기 홈부에 맞물려 장착되는 렌즈부를 포함하는 거치장치; 및 상기 렌즈부에 대응하여 상기 스마트폰 거치대에 거치되고 상기 스마트폰 고정편으로 고정 지지된 스마트폰;을 포함하는 것을 특징으로 한다. 이에 의하여, 현미경이 없이 사용자가 갖고 있는 스마트폰을 이용하여 재물대에 거치된 시료에 대해 현미경 관찰을 용이하게 수행하고, 스마트폰이 신경망을 이용한 딥 러닝 학습으로 시료를 인식하여 시료의 과학정보를 알려 학습활동을 증진시킬 수 있는 효과가 있다.

Description

스마트폰을 이용한 현미경 시스템 및 이를 이용한 관찰제어방법 { MICROSCOPE SYSTEM USING SMARTPHONE AND METHOD OF CONTROLLING OBSERVATION USING THE SAME }
본 발명은 스마트폰을 이용한 현미경 시스템 및 이를 이용한 관찰제어방법에 관한 것으로, 특히 현미경을 대체하여 개인이 가지고 있는 스마트폰을 이용한 현미경 관찰을 수행할 수 있는 현미경 시스템 및 이러한 현미경 시스템을 이용한 관찰제어방법에 관한 것이다.
종래에 현미경은 육안으로 관찰하기 어려운 작은 물체를 관찰하기 위해 확대시키는 광학기구이다. 특히, 광학 현미경의 해상도 보완을 위해 전자현미경이 보급되었고, 최근에는 각종 영상기기를 통해 관찰하도록 하는 영상현미경이 연구, 개발되고 있다.
이러한 현미경은 주로 일반 테이블이나 실험대에 위치시키고, 현미경의 사용 장소와 관찰용도에 따라, 개인이 단독으로 관찰, 사용하거나 또는 학교의 실험실 등에서는 다수의 인원이 공동으로 사용하고 있다.
이러한 현미경은 종래에 균일한 시편은 물론이며, 환형 시편의 원주방향의 조직 및 스케일을 간편하게 측정할 수 있고, 플라스틱 평판과 핸드 프레스를 사용하지 않고서도 간편하고 신속하게 누구나 정확한 촬영을 할 수 있는 광학 현미경의 시편 고정용 테이블 장치를 제공하도록 한 것이다.
이러한 현미경을 이용한 과학실험으로 학생들이 직접 관찰하고 실험하면서 탐구 활동을 자기주도적으로 진행할 때 과학적 탐구능력은 극대화된다. 하지만, 코로나 19로 인해 이미지나 동영상 자료로 경험하는 학생들이 늘어나고 있고, 가정에서 현미경 관찰할 기회가 많지 않다 보니 과학적 흥미도 저하되고 있다.
이에 현미경을 대체하여 가정에서도 손쉽게 현미경 관찰을 수행할 기구와 애플리케이션에 대한 연구와 개발이 필요한 실정이다.
등록특허공보 제10-1591902호
본 발명은 상기 문제점을 해소하기 위하여 안출된 것으로, 본 발명의 목적은 개인이 가지고 있는 스마트폰을 이용하여 현미경을 대체한 현미경 관찰을 수행할 수 있는 현미경 시스템을 제공하는 데 있다.
본 발명의 다른 목적은 개인이 가지고 있는 스마트폰을 이용하여 현미경을 대체한 현미경 관찰을 수행할 수 있는 현미경 시스템을 이용한 관찰제어방법을 제공하는 데 있다.
본 발명의 일실시예에 따른 현미경 시스템은 지지판(101), 상기 지지판(101)의 상부면 일측에 구비되고 일측면에 재물대 높이조절나사(103-2)를 구비한 재물대 지지부(103), 상기 재물대 지지부(103)에 둘러싸여 상부에 돌출되고 상기 재물대 높이조절나사(103-2)에 의해 높이신장되는 재물대 지지대, 상기 재물대 지지대의 상부에 구비되고 해당 시료를 거치하는 재물대(102), 상기 재물대 지지부(103)에 대응하여 상기 지지판(101)의 상부면 타측에 구비되고 양측면에 거치대 높이조절나사(105)를 구비한 거치대 지지부(104), 상기 거치대 지지부(104)에 맞물려 지지되고 상기 거치대 높이조절나사(105)에 의해 상하방향으로 신장되는 높이 신장대(106), 상기 높이 신장대(106)의 상부에 평면으로 구비되고 상기 재물대(102)에 대응하는 테두리에 홈부(107-2)를 형성하며 상부면 양측에 스마트폰 고정편(108)을 구비한 스마트폰 거치대(107) 및 상기 홈부(107-2)에 맞물려 장착되는 렌즈부를 포함하는 거치장치; 및 상기 렌즈부에 대응하여 상기 스마트폰 거치대(107)에 거치되고 상기 스마트폰 고정편(108)으로 고정 지지된 스마트폰(200);을 포함한다.
본 발명의 일실시예에 따른 현미경 시스템에서 상기 렌즈부는 상기 홈부(107-2)에 슬라이딩으로 맞물려 장착되는 삽탈편(109-2), 상기 삽탈편(109-2)을 관통하고 상기 재물대(102)에 대응하여 구비된 렌즈통(109) 및 상기 렌즈통(109)의 일측에 구비된 발광기(110)를 포함하는 것을 특징으로 한다.
본 발명의 일실시예에 따른 현미경 시스템에서 상기 스마트폰(200)은 내부에 신경망을 구비한 제어부(210), 상기 제어부(210)에 연결된 촬상부(220), 상기 제어부(210)에 연결된 저장부(230) 및 상기 제어부(210)에 연결된 무선송수신부(240)를 포함하고, 상기 저장부(230)는 상기 촬상부(220)에서 전달된 촬상 이미지 정보, 관찰제어방법에 관한 어플리케이션 정보, 보정 필터 정보 및 무선송수신부(240)를 통해 수신한 해당 시료에 대한 학습정보를 저장하는 것을 특징으로 한다.
또는, 본 발명의 다른 실시예에 따른 관찰제어방법은 (ㄱ) 스마트폰(200)의 화면에서 관찰보고서 아이콘(201)을 터치함에 따라, 제어부(210)가 현미경 관찰을 시동하는 단계; (ㄴ) 상기 제어부(210)가 촬상부(220)를 통해 재물대(102)의 시료 이미지를 촬상하고, 촬상된 이미지 정보를 디지털 영상 이미지 정보로 변환하여 수신하는 단계; (ㄷ) 상기 제어부(210)가 상기 디지털 영상 이미지 정보에 대한 보정 및 인식을 수행하는 단계; (ㄹ) 상기 제어부(210)가 상기 보정 및 인식을 수행한 이미지가 사용자가 원하는 화질의 이미지인지를 판단하는 단계; (ㅁ) 상기 보정 및 인식을 수행한 이미지가 사용자가 원하는 화질의 이미지임에 따라, 상기 제어부(210)가 상기 보정 및 인식을 수행한 이미지를 디스플레이하는 단계; 및 (ㅂ) 상기 제어부(210)가 상기 보정 및 인식을 수행한 이미지에 해당하는 학습자료를 디스플레이하는 단계;를 포함한다.
본 발명의 다른 실시예에 따른 관찰제어방법에서 상기 (ㄷ) 단계는 상기 제어부(210)가 보정 처리된 영상 이미지를 CNN 신경망에 입력하여 딥 러닝 학습으로 인식하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따른 관찰제어방법에서 상기 (ㄷ) 단계는 (ㄷ-1) 제어부(210)는 시료의 이미지에 대해 소정의 영역 크기를 갖는 검출단(A,B)을 이동시키면서 영상 이미지를 검출하는 단계; (ㄷ-2) 상기 제어부(210)가 검출된 다수의 영상 이미지를 CNN 신경망의 입력층(301)에 입력하여 특징맵(feature map)을 추출하는 단계; (ㄷ-3) 상기 제어부(210)가 추출한 다수의 특징맵을 합산하고, 합산한 특징맵에 대하여 컨벌루션 연산을 수행하여 특징맵을 재생성하는 단계; (ㄷ-4) 상기 제어부(210)가 제 2 은닉층(302-2)에서 재생성된 특징맵을 활성화 함수(Activation function)에 대입하여 연산하는 단계; (ㄷ-5) 상기 제어부(210)가 상기 활성화 함수를 이용하여 출력된 출력값에 대해 풀링(pooling) 연산을 실행하는 단계; 및 (ㄷ-6) 상기 제어부(210)가 제 3 은닉층(302-3)에서 상기 풀링 연산값과 미리 설정한 목표 출력값을 이용하여 손실값을 연산하는 단계;를 더 포함하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따른 관찰제어방법에서 상기 (ㅂ) 단계는 상기 제어부(210)가 상기 보정 및 인식을 수행한 이미지에 해당하는 학습자료정보를 무선 송수신부(240)를 통해 빅데이터 서버에 요청하여 수신하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명의 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다.
이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이고, 사전적인 의미로 해석되어서는 아니 되며, 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합되는 의미와 개념으로 해석되어야만 한다.
본 발명의 일실시예에 따른 현미경 시스템에 의하면, 종래에 현미경이 없이 사용자가 스마트폰을 이용하여 재물대에 거치된 시료에 대해 현미경 관찰을 용이하게 수행할 수 있는 효과가 있다.
본 발명의 일실시예에 따른 현미경 시스템을 이용한 관찰제어방법에 의하면, 종래에 현미경이 없이 사용자가 가지고 있는 스마트폰을 이용하여 재물대에 거치된 시료에 대해 현미경 관찰을 용이하게 수행하고, 스마트폰이 신경망을 이용한 딥 러닝 학습으로 시료를 인식하여 시료의 과학정보를 알려 학습활동을 증진시킬 수 있는 효과가 있다.
도 1은 본 발명의 일실시예에 따른 현미경 시스템을 구성하는 거치대의 분해사시도,
도 2는 본 발명의 일실시예에 따른 현미경 시스템을 구성하는 거치대를 조립한 사시도,
도 3은 본 발명의 일실시예에 따른 현미경 시스템의 사시도,
도 4는 본 발명의 일실시예에 따른 현미경 시스템을 구성하는 스마트폰의 구성도,
도 5는 본 발명의 일실시예에 따른 스마트폰의 제어부에 구비된 신경망의 예시도,
도 6은 본 발명의 다른 실시예에 따른 관찰제어방법을 설명하기 위한 순서도,
도 7은 본 발명의 다른 실시예에 따른 관찰제어방법에 따른 스마트폰의 화면 예시도,
도 8a는 본 발명의 다른 실시예에 따른 관찰제어방법에 따른 이미지 보정 전의 양파표피 이미지 예시도,
도 8b는 본 발명의 다른 실시예에 따른 관찰제어방법에 따른 이미지 보정 후의 양파표피 이미지 예시도,
도 9a는 본 발명의 다른 실시예에 따른 관찰제어방법에 따른 이미지 보정 전의 해캄 이미지 예시도,
도 9b는 본 발명의 다른 실시예에 따른 관찰제어방법에 따른 이미지 보정 후의 해캄 이미지 예시도,
도 10은 본 발명의 다른 실시예에 따른 관찰제어방법에 따라 해캄 이미지에 대응하는 학습자료의 예시도이다.
본 발명의 목적, 특정한 장점들 및 신규한 특징들은 첨부된 도면들과 연관되는 이하의 상세한 설명과 바람직한 실시예로부터 더욱 명백해질 것이다. 본 명세서에서 각 도면의 구성요소들에 참조번호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다. 또한, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 도 1은 본 발명의 일실시예에 따른 현미경 시스템을 구성하는 거치대의 분해사시도이고, 도 2는 본 발명의 일실시예에 따른 현미경 시스템을 구성하는 거치대를 조립한 사시도이며, 도 3은 본 발명의 일실시예에 따른 현미경 시스템의 사시도이며, 도 4는 본 발명의 일실시예에 따른 현미경 시스템을 구성하는 스마트폰의 구성도이며, 도 5는 본 발명의 일실시예에 따른 스마트폰의 제어부에 구비된 신경망의 예시도이다.
본 발명의 일실시예에 따른 현미경 시스템은 개인이 가지고 있는 스마트폰(200) 및 스마트폰(200)을 상부에 거치하고 재물대에 해당 시료를 거치하는 거치장치를 포함한다.
구체적으로, 거치장치는 도 1과 도 2에 도시된 바와 같이 지지판(101), 지지판(101)의 상부면 일측에 구비되고 일측면에 재물대 높이조절나사(103-2)를 구비한 재물대 지지부(103), 재물대 지지부(103)에 둘러싸여 상부에 돌출되고 재물대 높이조절나사(103-2)에 의해 높이 신장되는 재물대 지지대, 재물대 지지대의 상부에 구비되고 해당 시료를 거치하는 재물대(102), 재물대 지지부(103)에 대응하여 지지판(101)의 상부면 타측에 구비되고 양측면에 거치대 높이조절나사(105)를 구비한 거치대 지지부(104), 거치대 지지부(104)에 맞물려 지지되고 거치대 높이조절나사(105)에 의해 상하방향으로 신장되는 높이 신장대(106), 높이 신장대(106)의 상부에 평면으로 구비되고 재물대(102)에 대응하는 테두리에 홈부(107-2)를 형성하며 상부면 양측에 스마트폰 고정편(108)을 구비한 스마트폰 거치대(107) 및 홈부(107-2)에 맞물려 장착되는 렌즈부를 포함한다.
여기서, 렌즈부는 도 2에 도시된 바와 같이 홈부(107-2)에 슬라이딩으로 맞물려 장착되는 삽탈편(109-2), 삽탈편(109-2)을 관통하고 재물대(102)에 대응하여 구비된 렌즈통(109) 및 렌즈통(109)의 일측에 구비된 발광기(110)를 포함한다.
렌즈통(109)은 내부에 다수의 렌즈가 구비되고 삽탈편(109-2)을 관통하여 구비되며, 상부방향에 스마트폰(200)의 렌즈가 위치하며 하부방향으로 재물대(102)에 대응하여 위치한다.
발광기(110)는 다수의 LED를 포함하여 렌즈통(109)의 일측에 구비되고, 하부방향의 재물대(102)로 광을 조사하여 현미경 관찰을 수행하는 데 사용된다.
이렇게 구성된 거치장치에 대해 스마트폰(200)을 거치하되, 도 3에 도시된 바와 같이 스마트폰(200)의 카메라 렌즈부분을 홈부(107-2)에 장착된 렌즈통(109) 상에 거치하고 스마트폰 고정편(108)을 이용하여 스마트폰(200)을 고정 지지하여 거치할 수 있다.
이때, 스마트폰(200)은 도 4에 도시된 바와 같이 제어부(210), 촬상부(220), 저장부(230) 및 무선송수신부(240)를 포함한다.
구체적으로, 제어부(210)는 내부에 신경망을 구비하고 본 발명의 일실시예에 따른 관찰제어방법에 관한 애플리케이션에 따라 스마트폰(200)의 기능을 전반적으로 제어한다.
제어부(210)의 내부에 구비된 신경망은 딥 러닝 신경망으로, 예컨대 CNN(Convolutional Neural Network) 신경망을 포함할 수 있고, 물론 CNN 신경망 이외에 다른 딥 러닝 신경망을 적용할 수도 있다.
이때, CNN 신경망은 도 5에 도시된 바와 같이 입력층(input layer: 301)과 출력층(output layer: 303) 사이에 다수의 은닉층(hidden layer: 302-1,302-2,302-3)을 포함하는 구조로 구비될 수 있다.
촬상부(220)는 렌즈통(109)과 스마트폰(200)의 카메라 렌즈를 거쳐 이미지를 촬상하고, 촬상된 이미지 정보를 제어부(210)로 전달한다.
저장부(230)는 제어부(210)에 연결되고 촬상부(220)에서 전달된 촬상 이미지 정보, 관찰제어방법에 관한 애플리케이션 정보, 보정 필터 정보, 무선송수신부(240)를 통해 수신한 해당 시료에 대한 학습정보 등을 저장할 수 있다.
무선 송수신부(240)는 제어부(210)의 제어에 따라 무선 네트워크를 통해 빅데이터 서버로부터 해당 시료에 대한 학습정보 등을 수신할 수 있다. 여기서, 무선 네트워크는 예를 들어, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5G 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), wifi 네트워크, 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함될 수 있으며, 이에 한정되지 않는다.
이와 같이 구성된 본 발명의 일실시예에 따른 현미경 시스템은 종래에 현미경이 없이 사용자가 스마트폰(200)을 이용하여 재물대(102)에 거치된 시료에 대해 현미경 관찰을 용이하게 수행할 수 있다.
이하, 본 발명의 일실시예에 따른 현미경 시스템을 이용한 관찰제어방법에 대해 도 6 내지 도 10을 참조하여 설명한다. 도 6은 본 발명의 실시예에 따른 관찰제어방법을 설명하기 위한 순서도이고, 도 7은 본 발명의 실시예에 따른 관찰제어방법에 따른 스마트폰의 화면 예시도이며, 도 8a는 본 발명의 실시예에 따른 관찰제어방법에 따른 이미지 보정 전의 양파표피 이미지 예시도이며, 도 8b는 본 발명의 실시예에 따른 관찰제어방법에 따른 이미지 보정 후의 양파표피 이미지 예시도이며, 도 9a는 본 발명의 실시예에 따른 관찰제어방법에 따른 이미지 보정 전의 해캄 이미지 예시도이며, 도 9b는 본 발명의 실시예에 따른 관찰제어방법에 따른 이미지 보정 후의 해캄 이미지 예시도이며, 도 10은 본 발명의 실시예에 따른 관찰제어방법에 따라 해캄 이미지에 대응하는 학습자료의 예시도이다.
본 발명의 실시예에 따른 현미경 시스템을 이용한 관찰제어방법은 도 3에 도시된 바와 같이 스마트폰 거치대(107)의 홈부(107-2)에 맞물려 장착된 렌즈부에 스마트폰(200)의 렌즈를 대응시켜 위치시키고, 재물대(102)에 시료를 거치시키며, 스마트폰 고정편(108)을 이용하여 스마트폰(200)을 고정 지지한 상태에서 수행된다.
먼저 도 3에서처럼 스마트폰 거치대(107)에 스마트폰(200)을 고정 지지한 상태에서 사용자는 스마트폰(200)의 화면에서 관찰보고서 아이콘(201)을 터치하여 현미경 관찰을 시동한다(S610).
현미경 관찰을 시동함에 따라, 제어부(210)는 촬상부(220)를 통해 재물대(102)의 시료를 촬상하도록 명령한다(S620).
이에, 촬상부(220)는 렌즈통(109)과 스마트폰(200)의 카메라 렌즈를 거쳐 재물대(102)의 시료 이미지를 촬상하고, 촬상된 이미지 정보를 디지털 영상 이미지 정보로 변환하여 제어부(210)로 전달한다.
이러한 시료의 디지털 영상 이미지 정보를 수신함에 따라, 제어부(210)는 시료의 디지털 영상 이미지 정보에 대한 보정 및 인식을 수행한다(S630).
이미지에 대한 영상왜곡을 수정하기 위해 제어부(210)는 저장부(230)에 저장된 예컨대 가우시안(Gaussian) 필터 등과 같은 다양한 보정 필터를 이용하여 영상 이미지에서 발생하는 영상왜곡을 보정할 수 있다.
보정 처리후, 제어부(210)는 보정 처리된 영상 이미지를 CNN 신경망에 입력하여 딥 러닝 학습으로 인식한다.
구체적으로, 제어부(210)는 도 8a와 도 9a에 도시된 시료의 이미지에 대해 소정의 영역 크기를 갖는 검출단(A,B)을 이동시키면서 영상 이미지를 검출한다. 여기서, 검출단(A,B) 각각은 예컨대 직사각형 또는 정사각형의 동일한 형태를 갖는 화소 단위일 수 있다.
이렇게 검출단(A,B)을 이동시키면서 영상 이미지를 검출함에 따라, 제어부(210)는 검출된 다수의 영상 이미지를 CNN 신경망에 입력하여 특징맵(feature map)을 추출한다.
구체적으로, 특징맵의 추출과정은 도 5에 도시된 CNN 신경망과 같은 심층 신경망을 이용하여, 심층 신경망의 입력층(301)에 검출단(A,B)을 이동시키면서 검출된 영상 이미지를 입력하고, 제 1 은닉층(302-1)을 거치면서 필터를 이용한 컨벌루션(convolution) 연산을 실행하는 과정을 포함할 수 있다.
이때, 필터를 이용한 컨벌루션 연산은 아래의 [수학식 1]을 이용하여 실행할 수 있다.
여기서, l은 층(layer)을 의미하고, sizel은 층의 사이즈를 의미하며, In은 입력층에 입력되는 데이터(data)의 수를 의미하고, la는 라벨(label)의 수를 의미하며, O는 출력 컨볼루션층(Output Convolution Layer)을 의미하고, w는 가중치를 의미하며, b는 특징맵의 편향 바이어스(bias)를 의미한다.
이러한 컨벌루션 연산을 통해 처리된 특징맵을 추출한 후, 제어부(210)는 추출한 다수의 특징맵을 합산하고, 합산한 특징맵에 대하여 컨벌루션 연산을 수행해 특징맵을 재생성한다.
이때, 특징맵을 재생성하는 과정은 아래의 [수학식 2]를 이용하여 합산한 특징맵을 컨캐터네이팅(Concatenating)하고, [수학식 3]을 이용한 컨벌루션 연산을 수행하여 실행될 수 있다.
여기서, In은 입력되는 데이터(data)의 수를 의미하고, la는 라벨(label)의 수를 의미하며, O는 출력 컨볼루션층(Output Convolution Layer)을 의미하며, w는 가중치를 의미한다.
이때, fc는 컨캐터네이팅한 특징맵을 이용하여 컨벌루션 연산을 수행한 결과값을 나타낸 것으로, 재생성된 특징맵을 의미할 수 있다.
특징맵을 재생성한 후, 제어부(210)는 제 2 은닉층(302-2)에서 재생성된 특징맵을 활성화 함수(Activation function)에 대입하여 연산할 수 있다. 여기서, 활성화 함수는 Sigmoid 함수 또는 ReLu 함수를 이용할 수 있다.
활성화 함수를 이용하여 출력된 출력값에 대해, 제어부(210)는 획득한 출력값을 이용하여 풀링(pooling) 연산을 실행한다.
구체적으로, 풀링 연산은 데이터의 차원의 크기를 축소하기 위한 것으로, 데이터에서 세로 및 가로 방향 공간의 크기를 줄이는 연산이다. 이러한 풀링 연산은 다양한 파라미터, 예를 들어 평균, 중간값, 최대값, 최소값 등을 이용할 수 있고, 여기서는 최대값을 이용한 최대값 풀링 연산을 적용한다. 최대값 풀링 연산(max polling)을 이용하여 이미지의 제한 영역에서 최대값을 추출하고, 데이터의 노이즈를 제거할 수 있으며, 데이터가 줄어드는 과정에서 오버 피팅(over fitting)을 방지할 수 있다.
이러한 최대값 풀링 연산은 아래의 [수학식 4]를 이용하여 실행될 수 있다.
여기서, x는 풀링 연산을 위해 입력되는 행렬을 의미하고, l은 풀링 연산의 해당층을 의미하며, i는 입력되는 행렬의 행을 의미하며, j는 입력되는 행렬의 열을 의미하며, sizel은 풀링 연산의 해당층 사이즈를 의미하며, Im은 풀링 연산의 해당층에 입력되는 데이터(data)의 수를 의미하고, Ia는 라벨(label)의 수를 의미한다.
풀링 연산을 실행한 후, 제어부(210)는 제 3 은닉층(302-3)에서 풀링 연산값과 미리 설정한 목표 출력값을 이용하여 손실값을 연산한다.
구체적으로, 손실값 연산은 아래의 [수학식 5]의 MSLE, [수학식 6]의 RMSLE 또는 [수학식 7]의 sMAPE를 이용하여 연산할 수 있고, 미리 설정한 목표 출력값은 GT(Ground Truth)일 수 있다.
이때, GT는 예컨대 이미지 데이터를 제 1 은닉층(302-1)에서 컨벌루션 연산을 수행한 컨벌루션 연산값을 기초로 최대값 풀링 연산(Max Pooling)을 수행한 값일 수도 있다.
여기서, 는 풀링 연산 단계의 풀링 연산값을 의미하고, 는 미리 설정한 목표 출력값을 의미한다.
손실값을 연산한 후, 제어부(210)는 연산된 손실값을 이용해 매개변수에 대한 수정값을 획득한다.
이때, 매개변수는 w인 가중치를 의미할 수 있고, 제어부(210)는 획득한 매개 변수에 대한 수정값을 이용하여 매개 변수를 업데이트할 수 있다.
이렇게 업데이트된 매개 변수를 이용하여, 제어부(210)는 상술한 특징맵을 재생성하는 단계부터 매개변수의 수정값을 획득하는 단계까지를 설정된 횟수로 재수행할 수 있다.
이러한 재수행 과정이 1번 완료되면 epoch 1로 학습을 완료한 것이고, 재수행 과정이 100번 반복적으로 수행되면 epoch 100으로 학습을 완료한 것이다.
이러한 설정 횟수의 재수행 과정에 따라, 제어부(210)는 이미지에서 명확한 윤곽선을 획득하고 이에 따른 이미지를 인식한다.
이때, 제어부(210)는 도 8a와 도 9a에 도시된 시료의 이미지를 보정 및 인식하고, 보정된 이미지를 디스플레이하여 사용자가 원하는 화질의 이미지인지를 판단한다(S640).
즉, 제어부(210)는 도 8b와 도 9b에 도시된 바와 같이 양파표피세포 및 해캄으로 보정 및 인식하고, 이렇게 보정된 이미지가 사용자가 원하는 화질의 이미지인지를 입력받는다.
보정된 이미지가 사용자가 원하는 화질의 이미지가 아닌 경우에는 제어부(210)는 보정 및 인식 단계(S630)를 다시 반복하고, 보정된 이미지가 사용자가 원하는 화질의 이미지인 경우에는 제어부(210)는 이미지를 최종적으로 디스플레이한다(S650).
이후, 제어부(210)는 디스플레이된 이미지에 해당하는 학습자료를 디스플레이한다(S660).
예를 들어, 제어부(210)는 도 9b에 도시된 이미지에 대해 인식한 해캄과 관련된 학습자료정보를 무선 송수신부(240)를 통해 빅데이터 서버에 요청하여 수신한다.
이어서 제어부(210)는 도 10에 도시된 바와 같이 학습 연령에 맞춰 해캄에 관한 학습자료정보를 학습자료창(250)의 형태로 디스플레이한다.
이에 따라 본 발명의 실시예에 따른 현미경 시스템을 이용한 관찰제어방법은 종래에 현미경이 없이 사용자가 가지고 있는 스마트폰(200)을 이용하여 재물대(102)에 거치된 시료에 대해 현미경 관찰을 용이하게 수행하고, 스마트폰(200)이 신경망을 이용한 딥 러닝 학습으로 시료를 인식하여 시료의 과학정보를 알려 학습활동을 증진시킬 수 있다.
본 발명의 기술사상은 상기 바람직한 실시예에 따라 구체적으로 기술되었으나, 전술한 실시예들은 그 설명을 위한 것이며, 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술분야의 통상의 전문가라면 본 발명의 기술사상의 범위 내에서 다양한 실시가 가능함을 이해할 수 있을 것이다.
101: 지지판 102: 재물대
103: 재물대 지지부 103-2: 재물대 높이조절나사
104: 거치대 지지부 105: 거치대 높이조절나사
106: 높이 신장대 107: 스마트폰 거치대
107-2: 홈부 108: 스마트폰 고정편
109: 렌즈통 109-2: 삽탈편
110: 발광기 200: 스마트폰
210: 제어부 220: 촬상부
230: 저장부 240: 무선 송수신부

Claims (7)

  1. 지지판(101), 상기 지지판(101)의 상부면 일측에 구비되고 일측면에 재물대 높이조절나사(103-2)를 구비한 재물대 지지부(103), 상기 재물대 지지부(103)에 둘러싸여 상부에 돌출되고 상기 재물대 높이조절나사(103-2)에 의해 높이신장되는 재물대 지지대, 상기 재물대 지지대의 상부에 구비되고 해당 시료를 거치하는 재물대(102), 상기 재물대 지지부(103)에 대응하여 상기 지지판(101)의 상부면 타측에 구비되고 양측면에 거치대 높이조절나사(105)를 구비한 거치대 지지부(104), 상기 거치대 지지부(104)에 맞물려 지지되고 상기 거치대 높이조절나사(105)에 의해 상하방향으로 신장되는 높이 신장대(106), 상기 높이 신장대(106)의 상부에 평면으로 구비되고 상기 재물대(102)에 대응하는 테두리에 홈부(107-2)를 형성하며 상부면 양측에 스마트폰 고정편(108)을 구비한 스마트폰 거치대(107) 및 상기 홈부(107-2)에 맞물려 장착되는 렌즈부를 포함하는 거치장치; 및
    상기 렌즈부에 대응하여 상기 스마트폰 거치대(107)에 거치되고 상기 스마트폰 고정편(108)으로 고정 지지된 스마트폰(200);
    을 포함하는 현미경 시스템.
  2. 제1항에 있어서,
    상기 렌즈부는 상기 홈부(107-2)에 슬라이딩으로 맞물려 장착되는 삽탈편(109-2), 상기 삽탈편(109-2)을 관통하고 상기 재물대(102)에 대응하여 구비된 렌즈통(109) 및 상기 렌즈통(109)의 일측에 구비된 발광기(110)를 포함하는 것을 특징으로 하는 현미경 시스템.
  3. 제1항에 있어서,
    상기 스마트폰(200)은 내부에 신경망을 구비한 제어부(210), 상기 제어부(210)에 연결된 촬상부(220), 상기 제어부(210)에 연결된 저장부(230) 및 상기 제어부(210)에 연결된 무선송수신부(240)를 포함하고,
    상기 저장부(230)는 상기 촬상부(220)에서 전달된 촬상 이미지 정보, 관찰제어방법에 관한 어플리케이션 정보, 보정 필터 정보 및 무선송수신부(240)를 통해 수신한 해당 시료에 대한 학습정보를 저장하는 것을 특징으로 하는 현미경 시스템.
  4. (ㄱ) 스마트폰(200)의 화면에서 관찰보고서 아이콘(201)을 터치함에 따라, 제어부(210)가 현미경 관찰을 시동하는 단계;
    (ㄴ) 상기 제어부(210)가 촬상부(220)를 통해 재물대(102)의 시료 이미지를 촬상하고, 촬상된 이미지 정보를 디지털 영상 이미지 정보로 변환하여 수신하는 단계;
    (ㄷ) 상기 제어부(210)가 상기 디지털 영상 이미지 정보에 대한 보정 및 인식을 수행하는 단계;
    (ㄹ) 상기 제어부(210)가 상기 보정 및 인식을 수행한 이미지가 사용자가 원하는 화질의 이미지인지를 판단하는 단계;
    (ㅁ) 상기 보정 및 인식을 수행한 이미지가 사용자가 원하는 화질의 이미지임에 따라, 상기 제어부(210)가 상기 보정 및 인식을 수행한 이미지를 디스플레이하는 단계; 및
    (ㅂ) 상기 제어부(210)가 상기 보정 및 인식을 수행한 이미지에 해당하는 학습자료를 디스플레이하는 단계;
    를 포함하는 관찰제어방법.
  5. 제4항에 있어서,
    상기 (ㄷ) 단계는 상기 제어부(210)가 보정 처리된 영상 이미지를 CNN 신경망에 입력하여 딥 러닝 학습으로 인식하는 단계를 더 포함하는 것을 특징으로 하는 관찰제어방법.
  6. 제4항에 있어서,
    상기 (ㄷ) 단계는
    (ㄷ-1) 제어부(210)는 시료의 이미지에 대해 소정의 영역 크기를 갖는 검출단(A,B)을 이동시키면서 영상 이미지를 검출하는 단계;
    (ㄷ-2) 상기 제어부(210)가 검출된 다수의 영상 이미지를 CNN 신경망의 입력층(301)에 입력하여 특징맵(feature map)을 추출하는 단계;
    (ㄷ-3) 상기 제어부(210)가 추출한 다수의 특징맵을 합산하고, 합산한 특징맵에 대하여 컨벌루션 연산을 수행하여 특징맵을 재생성하는 단계;
    (ㄷ-4) 상기 제어부(210)가 제 2 은닉층(302-2)에서 재생성된 특징맵을 활성화 함수(Activation function)에 대입하여 연산하는 단계;
    (ㄷ-5) 상기 제어부(210)가 상기 활성화 함수를 이용하여 출력된 출력값에 대해 풀링(pooling) 연산을 실행하는 단계; 및
    (ㄷ-6) 상기 제어부(210)가 제 3 은닉층(302-3)에서 상기 풀링 연산값과 미리 설정한 목표 출력값을 이용하여 손실값을 연산하는 단계;
    를 더 포함하는 것을 특징으로 하는 관찰제어방법.
  7. 제4항에 있어서,
    상기 (ㅂ) 단계는 상기 제어부(210)가 상기 보정 및 인식을 수행한 이미지에 해당하는 학습자료정보를 무선 송수신부(240)를 통해 빅데이터 서버에 요청하여 수신하는 단계를 더 포함하는 것을 특징으로 하는 관찰제어방법.
KR1020220045469A 2022-04-13 2022-04-13 스마트폰을 이용한 현미경 시스템 및 이를 이용한 관찰제어방법 Active KR102747929B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220045469A KR102747929B1 (ko) 2022-04-13 2022-04-13 스마트폰을 이용한 현미경 시스템 및 이를 이용한 관찰제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220045469A KR102747929B1 (ko) 2022-04-13 2022-04-13 스마트폰을 이용한 현미경 시스템 및 이를 이용한 관찰제어방법

Publications (2)

Publication Number Publication Date
KR20230146730A true KR20230146730A (ko) 2023-10-20
KR102747929B1 KR102747929B1 (ko) 2024-12-27

Family

ID=88514673

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220045469A Active KR102747929B1 (ko) 2022-04-13 2022-04-13 스마트폰을 이용한 현미경 시스템 및 이를 이용한 관찰제어방법

Country Status (1)

Country Link
KR (1) KR102747929B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101576195B1 (ko) * 2013-08-21 2015-12-09 가부시키가이샤 미락쿠 고가쿠 현미경용 휴대 단말 어댑터 및 휴대 단말 어댑터를 이용한 현미경 촬상 방법
KR101591902B1 (ko) 2015-09-10 2016-02-04 주식회사 루닛 현미경 연결용 스마트폰 거치대
KR101773416B1 (ko) * 2015-08-17 2017-09-01 원광대학교산학협력단 단말기 카메라를 이용한 휴대용 바이러스 감염 진단 시스템
KR20180036537A (ko) * 2016-09-30 2018-04-09 (주)컴버스테크 현미경 기능을 갖는 무선 실물화상장치
KR20180109420A (ko) * 2017-03-28 2018-10-08 (주)시원광기술 휴대폰 이용 관찰 기구

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101576195B1 (ko) * 2013-08-21 2015-12-09 가부시키가이샤 미락쿠 고가쿠 현미경용 휴대 단말 어댑터 및 휴대 단말 어댑터를 이용한 현미경 촬상 방법
KR101773416B1 (ko) * 2015-08-17 2017-09-01 원광대학교산학협력단 단말기 카메라를 이용한 휴대용 바이러스 감염 진단 시스템
KR101591902B1 (ko) 2015-09-10 2016-02-04 주식회사 루닛 현미경 연결용 스마트폰 거치대
KR20180036537A (ko) * 2016-09-30 2018-04-09 (주)컴버스테크 현미경 기능을 갖는 무선 실물화상장치
KR20180109420A (ko) * 2017-03-28 2018-10-08 (주)시원광기술 휴대폰 이용 관찰 기구

Also Published As

Publication number Publication date
KR102747929B1 (ko) 2024-12-27

Similar Documents

Publication Publication Date Title
TWI647452B (zh) 具有放大功能的測試設備
CN111007661B (zh) 一种基于深度学习的显微图像自动聚焦方法及装置
US10281386B2 (en) Automated testing apparatus
US11482021B2 (en) Adaptive sensing based on depth
US20030214706A1 (en) Microscopy imaging system and method
CN106062606B (zh) 图像处理方法及图像处理装置
US9088729B2 (en) Imaging apparatus and method of controlling same
EP3420393B1 (en) System for generating a synthetic 2d image with an enhanced depth of field of a biological sample
US10324022B2 (en) Analysis accuracy improvement in automated testing apparatus
JP2018537709A (ja) 異なる照明条件下で画像を生成するためのコンピュータ顕微鏡及び方法
WO2013081086A1 (en) Image processing apparatus and image processing method
US20150378143A1 (en) Whole slide imaging
US20220350129A1 (en) Accelerating digital microscopy scans using empty/dirty area detection
CN109948429A (zh) 图像分析方法、装置、电子设备及计算机可读介质
CN107084923B (zh) 细胞观察装置以及细胞观察方法
CN110411946B (zh) 一种数字切片扫描仪中相机图像的聚焦方法
He et al. Microscope images automatic focus algorithm based on eight-neighborhood operator and least square planar fitting
KR20230146730A (ko) 스마트폰을 이용한 현미경 시스템 및 이를 이용한 관찰제어방법
TWI699532B (zh) 用於測試生物樣本的裝置
CN105761244A (zh) 一种线虫致死率确定方法、装置及系统
CN112255239A (zh) 污染位置检测方法、装置、设备及计算机可读存储介质
CN109934045B (zh) 行人检测方法和装置
CN119295806A (zh) 基于深度学习和图像识别的摇蚊幼虫识别系统
JP6276220B2 (ja) 撮像装置および撮像方法
JPWO2020260540A5 (ko)

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20220413

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20240820

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20241218

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20241224

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20241224

End annual number: 3

Start annual number: 1

PG1601 Publication of registration