KR20230146853A - 동물 인비보 이미징 장치 및 그 동작 방법 - Google Patents

동물 인비보 이미징 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR20230146853A
KR20230146853A KR1020220045784A KR20220045784A KR20230146853A KR 20230146853 A KR20230146853 A KR 20230146853A KR 1020220045784 A KR1020220045784 A KR 1020220045784A KR 20220045784 A KR20220045784 A KR 20220045784A KR 20230146853 A KR20230146853 A KR 20230146853A
Authority
KR
South Korea
Prior art keywords
animal
focus
target organ
vivo imaging
neural network
Prior art date
Application number
KR1020220045784A
Other languages
English (en)
Inventor
편영현
이동욱
진민규
Original Assignee
주식회사 뷰웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 뷰웍스 filed Critical 주식회사 뷰웍스
Priority to KR1020220045784A priority Critical patent/KR20230146853A/ko
Priority to PCT/KR2023/002518 priority patent/WO2023200111A1/ko
Publication of KR20230146853A publication Critical patent/KR20230146853A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7445—Display arrangements, e.g. multiple display units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/40—Animals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/42—Evaluating a particular growth phase or type of persons or animals for laboratory research

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Fuzzy Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Endoscopes (AREA)

Abstract

본 발명에 따른 동물 인비보 이미징 장치는, 동물을 촬영하기 위한 카메라로서, 포커스 조절을 위한 포커스 렌즈를 구비하는 카메라; 상기 동물의 3차원 형상 정보를 측정하기 위한 3차원 스캐너; 상기 동물의 종류, 타겟 장기, 상기 카메라에 의해 촬영된 프리뷰 영상 및 상기 3차원 스캐너에 의해 측정된 3차원 형상 정보를 학습된 신경망 모델에 입력함으로써, 상기 타겟 장기의 깊이 정보를 출력하는 추정부; 및 상기 깊이 정보에 따라 상기 포커스 렌즈를 구동하는 포커스 구동 모터를 제어하여 포커스를 조절하는 포커스 조절부를 포함하고, 상기 신경망 모델은, 동물의 종류, 타겟 장기, 동물의 촬영 영상 및 3차원 형상 정보를 입력으로 하고 타겟 장기의 깊이 정보를 출력으로 하는 학습용 데이터 세트를 사용하여 학습된 것이다.

Description

동물 인비보 이미징 장치 및 그 동작 방법{Animal in vivo imaging apparatus and operating method thereof}
본 발명은 동물 인비보 이미징 장치 및 그 동작 방법에 관한 것이다.
일반적으로, 동물 인비보 이미징 장치는 실험용 쥐 등 소동물의 생체 발광 및 형광 신호를 분석하여 해부학적 구조 및 기능을 연구하거나 세포의 약리학적 반응을 측정하고 평가하는 영상 장치를 말한다. 동물 인비보 이미징 장치는, 관찰하고자 하는 장기에 형광 물질이 주입된 동물을 카메라로 촬영하여 비침습적으로 동물 내 장기의 이미지를 획득할 수 있다.
동물 인비보 이미징 장치를 통해 최적의 이미지를 얻기 위해서는 촬영하고자 하는 부위가 피사계 심도 범위 내에 위치해야 한다. 일반적으로 카메라의 포커스를 맞추는 방법은, FOV(Field of View) 별로 지정된 포커스 값을 설정하거나, 오토포커싱 기능을 통해 포커스를 맞추게 된다. 그러나 촬영 대상이 되는 동물의 종류(마우스, 랫 등)와 크기가 다양하고, 동물의 자세와 촬영 부위가 다르며, 확대 비율에 따른 심도 변화 등이 발생하기 때문에 설정된 포커스 값이나 오토포커싱 기능으로는 다양한 촬영 대상에 대해 포커스를 맞추기가 어렵다.
도 1은 동물의 인비보 이미징시 초점이 맞지 않는 경우의 예를 나타낸다. 도 1의 (a)를 참조하면, 작은 동물의 경우 기본으로 설정된 포커스 값에 따른 피사계 심도 범위 내에 들어오지만, 큰 동물의 경우 일부 영역이 피사계 심도 범위를 벗어나게 된다. 도 1의 (b)를 참조하면, 오토포커싱 기능을 통해 포커스를 맞추는 경우, 피사체의 표면까지의 거리가 다양해서, 예컨대 가장 넓은 범위에 포커스를 맞추게 되면 장기 등 의도한 위치가 피사계 심도를 벗어나게 된다.
본 발명이 이루고자 하는 기술적 과제는, 촬영 대상 및 촬영하고자 하는 장기에 따라 카메라의 포커스를 자동으로 조절하여 최적의 이미지를 획득할 수 있는 동물 인비보 이미징 장치 및 그 동작 방법을 제공하는 데 있다.
상기 기술적 과제를 해결하기 위한 본 발명에 따른 동물 인비보 이미징 장치는, 동물을 촬영하기 위한 카메라로서, 포커스 조절을 위한 포커스 렌즈를 구비하는 카메라; 상기 동물의 3차원 형상 정보를 측정하기 위한 3차원 스캐너; 상기 동물의 종류, 타겟 장기, 상기 카메라에 의해 촬영된 프리뷰 영상 및 상기 3차원 스캐너에 의해 측정된 3차원 형상 정보를 학습된 신경망 모델에 입력함으로써, 상기 타겟 장기의 깊이 정보를 출력하는 추정부; 및 상기 깊이 정보에 따라 상기 포커스 렌즈를 구동하는 포커스 구동 모터를 제어하여 포커스를 조절하는 포커스 조절부를 포함하고, 상기 신경망 모델은, 동물의 종류, 타겟 장기, 동물의 촬영 영상 및 3차원 형상 정보를 입력으로 하고 타겟 장기의 깊이 정보를 출력으로 하는 학습용 데이터 세트를 사용하여 학습된 것이다.
상기 추정부는 상기 타겟 장기의 수평적인 위치 정보를 더욱 출력하고, 상기 학습용 데이터 세트는 타겟 장기의 수평적인 위치 정보를 더욱 출력으로 할 수 있다.
상기 동물 인비보 이미징 장치는, 상기 포커스 조절부에 의해 포커스가 조절되어 촬영된 영상에 상기 위치 정보를 표시하여 출력하는 영상 표시부를 더 포함할 수 있다.
상기 동물 인비보 이미징 장치는, 상기 촬영된 영상에서 형광으로 나타난 부분과 상기 출력된 위치 정보가 매칭되지 않는 경우, 상기 형광으로 나타난 부분의 위치 정보를 출력으로 하는 학습용 데이터를 사용하여 상기 신경망 모델을 재학습시키는 재학습부를 더 포함할 수 있다.
상기 추정부는 상기 동물의 자세를 상기 신경망 모델에 더욱 입력하고, 상기 학습용 데이터 세트는 동물의 자세를 더욱 입력으로 할 수 있다.
상기 기술적 과제를 해결하기 위한 본 발명에 따른 동물 인비보 이미징 장치의 동작 방법은, 동물을 촬영하기 위한 카메라로서, 포커스 조절을 위한 포커스 렌즈를 구비하는 카메라 및 상기 동물의 3차원 형상 정보를 측정하기 위한 3차원 스캐너를 포함하는 동물 인비보 이미징 장치의 동작 방법으로서, 상기 동물의 종류, 타겟 장기, 상기 카메라에 의해 촬영된 프리뷰 영상 및 상기 3차원 스캐너에 의해 측정된 3차원 형상 정보를 학습된 신경망 모델에 입력함으로써, 상기 타겟 장기의 깊이 정보를 출력하는 단계; 및 상기 깊이 정보에 따라 상기 포커스 렌즈를 구동하는 포커스 구동 모터를 제어하여 포커스를 조절하는 단계를 포함하고, 상기 신경망 모델은, 동물의 종류, 타겟 장기, 동물의 촬영 영상 및 3차원 형상 정보를 입력으로 하고 타겟 장기의 깊이 정보를 출력으로 하는 학습용 데이터 세트를 사용하여 학습된 것이다.
상기 출력하는 단계는, 상기 타겟 장기의 수평적인 위치 정보를 더욱 출력하고, 상기 학습용 데이터 세트는 타겟 장기의 수평적인 위치 정보를 더욱 출력으로 할 수 있다.
상기 동물 인비보 이미징 장치의 동작 방법은, 상기 포커스를 조절하는 단계를 통해 포커스가 조절되어 촬영된 영상에 상기 위치 정보를 표시하여 출력하는 단계를 더 포함할 수 있다.
상기 동물 인비보 이미징 장치의 동작 방법은, 상기 촬영된 영상에서 형광으로 나타난 부분과 상기 출력된 위치 정보가 매칭되지 않는 경우, 상기 형광으로 나타난 부분의 위치 정보를 출력으로 하는 학습용 데이터를 사용하여 상기 신경망 모델을 재학습시키는 단계를 더 포함할 수 있다.
상기 출력하는 단계는 상기 동물의 자세를 상기 신경망 모델에 더욱 입력하고, 상기 학습용 데이터 세트는 동물의 자세를 더욱 입력으로 할 수 있다.
본 발명에 의하면, 동물 인비보 이미징 장치의 촬영 대상 동물 및 촬영하고자 하는 장기에 따라 카메라의 포커스를 자동으로 조절하여 최적의 이미지를 획득할 수 있다.
도 1은 동물의 인비보 이미징시 초점이 맞지 않는 경우의 예를 나타낸다.
도 2는 본 발명의 일 실시예에 따른 동물 인비보 이미징 장치의 구성을 나타낸다.
도 3은 신경망 모델의 일 예를 나타낸다.
도 4는 신경망 모델을 학습시키는 방법의 흐름도를 나타낸다.
도 5는 학습용 데이터 세트가 준비되는 과정의 예를 보여준다.
도 6은 본 발명의 일 실시예에 따른 동물 인비보 이미징 장치의 동작 방법의 흐름도를 나타낸다.
도 7은 본 발명의 일 실시예에 따른 동물 인비보 이미징 장치의 동작의 일 예를 보여준다.
이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이하 설명 및 첨부된 도면들에서 실질적으로 동일한 구성요소들은 각각 동일한 부호들로 나타냄으로써 중복 설명을 생략하기로 한다. 또한 본 발명을 설명함에 있어 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.
동물의 장기의 신체 내에서의 수직적인 깊이와 수평적인 위치는 동물의 종류, 크기, 전체적인 형상 등과 밀접한 관련성이 있을 것이다. 이에 본 출원의 발명자는, 동물의 종류, 크기, 전체적인 형상 등에 따른 장기의 깊이와 위치에 대한 데이터가 충분하다면 인공지능 모델을 통해 장기의 깊이와 위치를 추정할 수 있고 그에 따라 카메라의 포커스를 조절할 수 있을 것이라는 점에서 본 발명을 착안하였다.
도 2는 본 발명의 일 실시예에 따른 동물 인비보 이미징 장치의 구성을 나타낸다.
본 발명의 실시예에 따른 동물 인비보 이미징 장치는, 암실박스(110), 스테이지(120), 카메라(130), 포커스 구동 모터(134), 3차원 스캐너(140), 입력부(150), 추정부(160), 포커스 조절부(170), 표시부(180), 재학습부(190)를 포함할 수 있다.
암실박스(110)는 외부 빛을 차단하면서 동물(A)을 수용할 수 있도록 다양한 형상으로 형성될 수 있다. 스테이지(120)는 동물(A)을 올려놓을 수 있도록 암실박스(110) 내에 설치될 수 있다.
동물(A)은 연구를 위해 주로 이용되는 마우스(mouse), 랫(rat), 토끼, 개, 고양이, 돼지 등을 포함할 수 있다. 동물(A)은 관찰하고자 하는 장기에서 형광이 발현될 수 있도록 설계된 물질이 적용된 상태에서 스테이지(120)에 올려질 수 있다.
카메라(130)는 스테이지(120)에 올려진 동물(A)을 촬영할 수 있도록 설치된다. 카메라(130)는 포커스 조절을 위한 포커스 렌즈(132)를 구비할 수 있다. 포커스 렌즈(132)가 포커스 구동 모터(134)에 의해 구동됨으로써 카메라(130)의 포커스가 조절될 수 있다.
3차원 스캐너(140)는 스테이지(120)에 올려진 동물(A)의 3차원 형상 정보를 측정할 수 있도록 설치된다. 3차원 스캐너(140)는 레이저 방식 또는 광학(백색광) 방식의 3차원 스캐너일 수 있다. 3차원 스캐너(140)는 예컨대 라인 스캐닝 방식으로 3차원 형상 정보를 측정하거나, 고정 방식으로 전체 영역을 한번에 측정할 수 있다.
입력부(150)는 사용자로부터 동물(A)의 종류, 동물(A)의 자세, 관찰하고자 하는 타겟 장기를 입력받는다. 동물(A)의 자세는 예컨대 얼굴이 아래를 향하는 'Face down' 및 얼굴이 위를 향하는 'Face Up' 등을 포함할 수 있다. 타겟 장기는 예컨대 뇌, 심장, 폐, 위, 간, 신장, 대장, 소장, 직장, 방광 등을 포함할 수 있다.
추정부(160)는 동물(A)의 종류, 동물(A)의 자세, 타겟 장기, 카메라(130)에 의해 촬영된 동물(A)의 프리뷰 영상, 3차원 스캐너(140)에 의해 측정된 동물(A)의 3차원 형상 정보를 학습된 신경망 모델에 입력함으로써, 신경망 모델을 통해 추정되는 타겟 장기의 수직적인 깊이 정보 및 수평적인 위치 정보를 출력한다. 여기서 깊이 정보는 동물(A)의 표면과 타겟 장기 간의 수직적 거리를 나타내고, 위치 정보는 동물(A)의 프리뷰 영상(또는 프리뷰 영상에서 동물(A)의 영역을 크롭한 영상)에서 타겟 장기의 중앙부의 위치 또는 타겟 장기의 영역을 나타낼 수 있다.
도 3은 추정부(160)에 사용되는 신경망 모델(151)의 일 예를 나타낸다. 도 3을 참조하면, 신경망 모델(151)은 동물의 촬영 영상, 동물의 종류, 동물의 자세, 타겟 장기, 3차원 형상 정보를 입력으로 가지고, 타겟 장기의 깊이 정보 및 위치 정보를 출력으로 가질 수 있다. 신경망 모델(151)은 합성곱 신경망으로서, 예컨대 다수의 컨볼루션 레이어와 풀링 레이어, 풀리 커넥티드 레이어, 프리딕션 레이어 등으로 구성될 수 있다.
도 4는 신경망 모델(151)을 학습시키는 방법의 흐름도를 나타낸다.
410단계에서, 동물의 종류, 동물의 자세, 타겟 장기, 동물의 촬영 영상 및 3차원 형상 정보를 입력으로 하고 타겟 장기의 깊이 정보 및 위치 정보를 출력으로 하는 학습용 데이터 세트 및 검증용 데이터 세트를 준비한다. 여기서, 타겟 장기의 깊이 정보 및 위치 정보는 과거의 촬영 이력을 참조하거나, 동물의 해부학적 정보를 이용하여 수집될 수 있다.
420단계에서, 동물의 촬영 영상, 동물의 종류, 동물의 자세, 타겟 장기, 3차원 형상 정보를 입력으로 가지고, 타겟 장기의 깊이 정보 및 위치 정보를 출력으로 가지는 신경망 모델(151)을 구축한다.
430단계에서, 학습용 데이터 세트를 이용하여 신경망 모델(151)을 학습시킨다. 학습을 통해 신경망 모델(151)의 가중치(weight), 바이어스(bias) 등이 조절될 수 있다. 신경망 학습 기법으로 경사하강법(gradient descent), 오류 역전파(back propagation) 알고리즘 등이 사용될 수 있다.
440단계에서, 검증용 데이터 세트를 이용하여 신경망 모델(151)을 검증한다. 검증에 실패한 경우, 신경망 모델(151)을 수정 또는 변형하거나 학습용 데이터 세트를 보강하여 재학습할 수 있다.
도 5는 학습용 데이터 세트가 준비되는 과정의 예를 보여준다. 도 5를 참조하면, 동물의 촬영 영상(a)에서 동물의 영역을 크롭하고(b), 뇌, 심장, 간 등 각 타겟 장기의 부위를 마킹하고(c), 동물의 종류, 자세, 타겟 장기의 위치 및 깊이가 설정될 수 있다. 또한, 3차원 스캐너를 이용하여 해당 동물에 대하여 3차원 형상 정보가 측정될 수 있다.
다시 도 2를 참조하면, 포커스 조절부(170)는 추정부(160)로부터 출력되는 깊이 정보에 따라 포커스 구동 모터(134)를 제어하여 카메라(130)의 포커스가 타겟 장기에 맞춰지도록 조절한다. 예컨대 포커스 조절부(170)는, 오토포커싱 기능을 이용하여 카메라(130)의 포커스를 동물(A)의 표면에 맞춘 다음, 타겟 장기의 깊이 정보만큼 포커스를 이동시켜 타겟 장기에 맞출 수 있다.
표시부(180)는 포커스 조절부(170)에 의해 포커스가 조절되어 촬영된 영상에 추정부(160)로부터 출력되는 위치 정보를 표시할 수 있다. 동물(A)의 촬영 영상에는 타겟 장기 부위가 형광으로 나타나지만, 형광 부분이 타겟 장기 부위보다 넓은 영역에 걸쳐 나타날 수 있으므로 타겟 장기의 위치 정보를 표시하여 주면 장기 관찰에 도움이 될 수 있다.
한편, 동물(A)의 촬영 영상에 형광으로 나타난 부분과 추정부(160)로부터 출력되는 위치 정보가 매칭되지 않는 경우 신경망 모델(151)의 타겟 장기의 위치 추정에 오류가 있는 것으로 볼 수 있다. 따라서 이 경우 재학습부(190)는 입력부(150)를 통해 입력된 동물(A)의 종류, 자세 및 타겟 장기, 카메라(130)에 의해 촬영된 동물(A)의 프리뷰 영상을 입력으로 하고 촬영 영상에 형광으로 나타난 부분의 위치 정보를 출력으로 하는 학습용 데이터를 사용하여 신경망 모델(151)을 재학습시킬 수 있다.
도 6은 본 발명의 일 실시예에 따른 동물 인비보 이미징 장치의 동작 방법의 흐름도를 나타낸다.
610단계에서, 사용자로부터 동물(A)의 종류, 자세, 관찰하고자 하는 타겟 장기를 입력받는다.
620단계에서, 카메라(130)로 동물(A)을 촬영하여 프리뷰 영상을 획득한다. 프리뷰 영상은 동물(A)의 촬영 영상에서 동물(A)의 영역을 크롭한 영상으로 제공될 수 있다.
630단계에서, 3차원 스캐너(140)로 동물(A)의 3차원 형상 정보를 획득한다.
640단계에서, 동물(A)의 종류, 자세, 타겟 장기, 프리뷰 영상 및 3차원 형상 정보를 신경망 모델(151)에 입력함으로써 타겟 장기의 깊이 정보 및 위치 정보를 출력한다.
650단계에서, 깊이 정보에 따라 포커스 구동 모터(134)를 제어하여 카메라(130)의 포커스가 타겟 장기에 맞춰지도록 조절한다.
660단계에서, 카메라(130)로 동물(A)을 형광 촬영하여 포커스 조절된 형광 영상을 획득한다. 포커스 조절을 통해 형광 영역이 정상적으로 나타난 형광 영상이 획득될 수 있다.
670단계에서, 포커스 조절된 형광 영상에 위치 정보를 표시하여 출력한다. 이때 형광 영상과 프리뷰 영상이 오버레이되어 출력될 수 있다.
680단계에서, 동물(A)의 촬영 영상에 형광으로 나타난 부분과 위치 정보가 매칭되지 않으면, 690단계에서, 재학습부(190)는 형광으로 나타난 부분의 위치 정보를 출력으로 하는 학습용 데이터를 사용하여 신경망 모델(151)을 재학습시킨다.
도 7은 본 발명의 일 실시예에 따른 동물 인비보 이미징 장치의 동작의 일 예를 보여준다.
카메라(130)에 의해 촬영된 프리뷰 영상, 사용자로부터 입력된 동물의 종류(Mouse), 자세(Face down), 타겟 장기(간), 및 3차원 스캐너(140)에 의해 측정된 3차원 형상 정보가 신경망 모델(151)에 입력되면, 신경망 모델(151)은 동물(Mouse)의 간에 대한 깊이 정보(2cm) 및 위치 정보(40, 120)를 출력한다. 그러면 깊이 정보(2cm)에 따라 포커스 구동 모터(134)가 제어되어 포커스가 간 부위에 맞춰진 영상이 획득된다.
본 발명의 실시예들에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
본 발명의 실시예들은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 집적 회로 구성들을 채용할 수 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 실시예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 실시예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. "매커니즘", "요소", "수단", "구성"과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
실시예에서 설명하는 특정 실행들은 일 실시예들로서, 어떠한 방법으로도 실시 예의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, "필수적인", "중요하게" 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (10)

  1. 동물을 촬영하기 위한 카메라로서, 포커스 조절을 위한 포커스 렌즈를 구비하는 카메라;
    상기 동물의 3차원 형상 정보를 측정하기 위한 3차원 스캐너;
    상기 동물의 종류, 타겟 장기, 상기 카메라에 의해 촬영된 프리뷰 영상 및 상기 3차원 스캐너에 의해 측정된 3차원 형상 정보를 학습된 신경망 모델에 입력함으로써, 상기 타겟 장기의 깊이 정보를 출력하는 추정부; 및
    상기 깊이 정보에 따라 상기 포커스 렌즈를 구동하는 포커스 구동 모터를 제어하여 포커스를 조절하는 포커스 조절부를 포함하고,
    상기 신경망 모델은, 동물의 종류, 타겟 장기, 동물의 촬영 영상 및 3차원 형상 정보를 입력으로 하고 타겟 장기의 깊이 정보를 출력으로 하는 학습용 데이터 세트를 사용하여 학습된 것인,
    동물 인비보 이미징 장치.
  2. 제1항에 있어서,
    상기 추정부는 상기 타겟 장기의 수평적인 위치 정보를 더욱 출력하고,
    상기 학습용 데이터 세트는 타겟 장기의 수평적인 위치 정보를 더욱 출력으로 하는,
    동물 인비보 이미징 장치.
  3. 제2항에 있어서,
    상기 포커스 조절부에 의해 포커스가 조절되어 촬영된 영상에 상기 위치 정보를 표시하여 출력하는 영상 표시부를 더 포함하는,
    동물 인비보 이미징 장치.
  4. 제2항에 있어서,
    상기 촬영된 영상에서 형광으로 나타난 부분과 상기 출력된 위치 정보가 매칭되지 않는 경우, 상기 형광으로 나타난 부분의 위치 정보를 출력으로 하는 학습용 데이터를 사용하여 상기 신경망 모델을 재학습시키는 재학습부를 더 포함하는,
    동물 인비보 이미징 장치.
  5. 제1항에 있어서,
    상기 추정부는 상기 동물의 자세를 상기 신경망 모델에 더욱 입력하고,
    상기 학습용 데이터 세트는 동물의 자세를 더욱 입력으로 하는,
    동물 인비보 이미징 장치.
  6. 동물을 촬영하기 위한 카메라로서, 포커스 조절을 위한 포커스 렌즈를 구비하는 카메라 및 상기 동물의 3차원 형상 정보를 측정하기 위한 3차원 스캐너를 포함하는 동물 인비보 이미징 장치의 동작 방법으로서,
    상기 동물의 종류, 타겟 장기, 상기 카메라에 의해 촬영된 프리뷰 영상 및 상기 3차원 스캐너에 의해 측정된 3차원 형상 정보를 학습된 신경망 모델에 입력함으로써, 상기 타겟 장기의 깊이 정보를 출력하는 단계; 및
    상기 깊이 정보에 따라 상기 포커스 렌즈를 구동하는 포커스 구동 모터를 제어하여 포커스를 조절하는 단계를 포함하고,
    상기 신경망 모델은, 동물의 종류, 타겟 장기, 동물의 촬영 영상 및 3차원 형상 정보를 입력으로 하고 타겟 장기의 깊이 정보를 출력으로 하는 학습용 데이터 세트를 사용하여 학습된 것인,
    동물 인비보 이미징 장치의 동작 방법.
  7. 제6항에 있어서,
    상기 출력하는 단계는, 상기 타겟 장기의 수평적인 위치 정보를 더욱 출력하고,
    상기 학습용 데이터 세트는 타겟 장기의 수평적인 위치 정보를 더욱 출력으로 하는,
    동물 인비보 이미징 장치의 동작 방법.
  8. 제7항에 있어서,
    상기 포커스를 조절하는 단계를 통해 포커스가 조절되어 촬영된 영상에 상기 위치 정보를 표시하여 출력하는 단계를 더 포함하는,
    동물 인비보 이미징 장치의 동작 방법.
  9. 제7항에 있어서,
    상기 촬영된 영상에서 형광으로 나타난 부분과 상기 출력된 위치 정보가 매칭되지 않는 경우, 상기 형광으로 나타난 부분의 위치 정보를 출력으로 하는 학습용 데이터를 사용하여 상기 신경망 모델을 재학습시키는 단계를 더 포함하는,
    동물 인비보 이미징 장치의 동작 방법.
  10. 제6항에 있어서,
    상기 출력하는 단계는 상기 동물의 자세를 상기 신경망 모델에 더욱 입력하고,
    상기 학습용 데이터 세트는 동물의 자세를 더욱 입력으로 하는,
    동물 인비보 이미징 장치의 동작 방법.
KR1020220045784A 2022-04-13 2022-04-13 동물 인비보 이미징 장치 및 그 동작 방법 KR20230146853A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220045784A KR20230146853A (ko) 2022-04-13 2022-04-13 동물 인비보 이미징 장치 및 그 동작 방법
PCT/KR2023/002518 WO2023200111A1 (ko) 2022-04-13 2023-02-22 동물 인비보 이미징 장치 및 그 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220045784A KR20230146853A (ko) 2022-04-13 2022-04-13 동물 인비보 이미징 장치 및 그 동작 방법

Publications (1)

Publication Number Publication Date
KR20230146853A true KR20230146853A (ko) 2023-10-20

Family

ID=88329840

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220045784A KR20230146853A (ko) 2022-04-13 2022-04-13 동물 인비보 이미징 장치 및 그 동작 방법

Country Status (2)

Country Link
KR (1) KR20230146853A (ko)
WO (1) WO2023200111A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101109695B1 (ko) * 2010-10-20 2012-01-31 주식회사 아이닉스 고속 오토 포커스 제어 장치 및 그 방법
KR20130143434A (ko) * 2012-06-21 2013-12-31 삼성전자주식회사 고강도 집속 초음파의 초점을 결정하는 방법 및 장치
US9878177B2 (en) * 2015-01-28 2018-01-30 Elekta Ab (Publ) Three dimensional localization and tracking for adaptive radiation therapy
JP2021144359A (ja) * 2020-03-10 2021-09-24 Ｎｅｃソリューションイノベータ株式会社 学習装置、推定装置、学習方法、及びプログラム
KR20210144519A (ko) * 2020-05-21 2021-11-30 삼성전자주식회사 깊이 영상을 생성하는 방법 및 장치

Also Published As

Publication number Publication date
WO2023200111A1 (ko) 2023-10-19

Similar Documents

Publication Publication Date Title
KR101271098B1 (ko) 디지털 촬영장치, 추적방법 및 추적방법을 실행시키기 위한프로그램을 저장한 기록매체
KR101130775B1 (ko) 촬영 장치, 화상 영역의 존재 여부 판정 방법, 및 기록 매체
BRPI0900750A2 (pt) dispositivo de determinação de composição, método de determinação de composição, e, programa que faz um dispositivo de determinação de composição executar
JP4458173B2 (ja) 画像記録方法、画像記録装置、およびプログラム
US20220130136A1 (en) Image processing method, training device, and image processing device
CN104333680B (zh) 拍摄装置以及图像处理方法
KR102254971B1 (ko) 인공지능을 이용한 조영증강 영상 및 비조영증강 영상 변환 방법 및 장치
WO2021181520A1 (ja) 画像処理システム、画像処理装置、内視鏡システム、インターフェース及び画像処理方法
JP2021051573A (ja) 画像処理装置、および画像処理装置の制御方法
US11436470B2 (en) Generating simulated image training data
JP7322097B2 (ja) 撮像装置、撮像装置の制御方法、プログラムおよび記録媒体
JP2020071875A (ja) 画像認識に用いる深層学習モデル及び該モデルの訓練装置と方法
JP6301416B2 (ja) 画像処理方法、画像処理装置、および撮像装置
JP2019186911A (ja) 画像処理装置および画像処理方法、ならびに撮像装置
JPWO2017221412A1 (ja) 画像処理装置、学習装置、画像処理方法、識別基準の作成方法、学習方法およびプログラム
KR20230146853A (ko) 동물 인비보 이미징 장치 및 그 동작 방법
Ding et al. Votenet+: An improved deep learning label fusion method for multi-atlas segmentation
JP6960445B2 (ja) 撮像装置、制御方法、プログラム、モデル生成システム、製造方法、及び撮影パラメータ決定システム
JP7403995B2 (ja) 情報処理装置、制御方法およびプログラム
JP7166951B2 (ja) 学習依頼装置、学習装置、推論モデル利用装置、推論モデル利用方法、推論モデル利用プログラム及び撮像装置
JP2003037767A (ja) デジタルカメラ
JP7152244B2 (ja) 学習装置、学習方法およびプログラム
JP2019153874A (ja) 情報記録装置、画像記録装置、操作補助装置、操作補助システム、情報記録方法、画像記録方法及び操作補助方法
CN107306336A (zh) 摄像装置和摄像方法
JP7166837B2 (ja) 教師データ作成装置、教師データ作成方法、教師データ作成プログラム、学習装置及び撮像装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal