KR20220125804A - 레이저 스펙클 힘 피드백 추정 - Google Patents

레이저 스펙클 힘 피드백 추정 Download PDF

Info

Publication number
KR20220125804A
KR20220125804A KR1020227027278A KR20227027278A KR20220125804A KR 20220125804 A KR20220125804 A KR 20220125804A KR 1020227027278 A KR1020227027278 A KR 1020227027278A KR 20227027278 A KR20227027278 A KR 20227027278A KR 20220125804 A KR20220125804 A KR 20220125804A
Authority
KR
South Korea
Prior art keywords
target tissue
tissue region
computer
images
deformation
Prior art date
Application number
KR1020227027278A
Other languages
English (en)
Inventor
존 오벌린
호세인 데그하니 아시케자리
Original Assignee
액티브 서지컬, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 액티브 서지컬, 인크. filed Critical 액티브 서지컬, 인크.
Publication of KR20220125804A publication Critical patent/KR20220125804A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0068—Confocal scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/48—Laser speckle optics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • A61B5/721—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts using a separate sensor to detect motion or using motion information derived from signals other than the physiological signal to be measured
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104—Vascular flow; Blood flow; Perfusion

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Theoretical Computer Science (AREA)
  • Cardiology (AREA)
  • Hematology (AREA)
  • Quality & Reliability (AREA)
  • Psychiatry (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Multimedia (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Lasers (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Force Measurement Appropriate To Specific Purposes (AREA)
  • Laser Surgery Devices (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

목표 조직 영역과의 상호작용 동안에 촉각 피드백을 가능하게 하기 위해 그 목표 조직 영역에 인가되는 추정된 힘을 결정할 수 있는 시스템, 방법, 및 매체가 본 명세서에 제공된다.

Description

레이저 스펙클 힘 피드백 추정
상호 참조
본 출원은 2020년 1월 8일자로 출원된 미국 가특허 출원 제62/958,501호에 대한 우선권을 주장하며, 이 출원은 모든 목적을 위해 그 전체가 참고로 본원에 포통합된다.
기계 작동 및 원격 의료 수술 로봇의 보급이 증가함에 따라 높은 정밀도와 낮은 필수 절개 영역을 통해 상당한 치료 발전이 가능했지만, 그러한 많은 시스템은 간병인에게 촉각 피드백을 제공할 수 없었다. 이러한 촉각 피드백은 종종 수술 중에 중요한 구조를 결정하는 데 유용하다.
본 명세서에는 목표 조직 영역에 인가되는 추정된 힘을 결정하기 위한 컴퓨터 구현 방법이 제공되며, 이 방법은: 목표 조직 영역의 이미지 세트를 획득하는 단계; 적어도 이미지 세트에 기초하여 목표 조직 영역의 관류 특성(perfusion property), 공간 측정치 세트, 또는 둘 모두를 결정하는 단계; 적어도 상기 공간 측정치 세트에 기초하여 목표 조직 영역의 변형을 결정하는 단계; 적어도 목표 조직 영역의 변형, 목표 조직 영역의 관류 특성, 또는 둘 모두에 기초하여 목표 조직 영역의 점탄성 특성을 결정하는 단계; 및 적어도 목표 조직 영역의 점탄성 특성에 기초하여 목표 조직 영역에 인가되는 추정된 힘을 결정하는 단계를 포함한다.
일부 실시예에서, 이미지 세트는 레이저 스펙클 이미지, RGB 이미지, RGB 깊이 이미지, 또는 이들의 임의의 조합을 포함한다. 일부 실시예에서, 레이저 스펙클 이미지는 주관적인 레이저 스펙클 이미지, 객관적인 레이저 스펙클 이미지, 근접장(near-field) 레이저 스펙클 이미지, 또는 이들의 임의의 조합이다. 일부 실시예에서, 이미지 세트는 목표 조직 영역에서 2개 이상의 상이한 파장의 광을 방출하면서 획득된다.
일부 실시예에서, 이미지 세트는 목표 조직 영역에서 약 10 내지 약 1,000개의 복수의 상이한 파장을 갖는 광을 방출하면서 획득된다. 일부 실시예에서, 이미지 세트는, 목표 조직 영역에서 약 10 내지 약 50, 약 10 내지 약 100, 약 10 내지 약 200, 약 10 내지 약 300, 약 10 내지 약 400, 약 10 내지 약 500, 약 10 내지 약 600, 약 10 내지 약 700, 약 10 내지 약 800, 약 10 내지 약 900, 10 내지 약 400, 약 10 내지 약 1,000, 약 50 내지 약 100, 약 50 내지 약 200, 약 50 내지 약 300, 약 50 내지 약 400, 약 50 내지 약 500, 약 50 내지 약 600, 약 50 내지 약 700, 약 50 내지 약 800, 약 50 내지 약 900, 약 50 내지 약 1,000, 약 100 내지 약 200, 약 100 내지 약 300, 약 100 내지 약 400, 약 100 내지 약 500, 약 100 내지 약 600, 약 100 내지 약 700, 약 100 내지 약 800, 약 100 내지 약 900, 약 100 내지 약 1,000, 약 200 내지 약 300, 약 200 내지 약 400, 약 200 내지 약 500, 약 200 내지 약 600, 약 200 내지 약 700, 약 200 내지 약 800, 약 200 내지 약 900, 약 200 내지 약 1,000, 약 300 내지 약 400, 약 300 내지 약 500, 약 300 내지 약 600, 약 300 내지 약 700, 약 300 내지 약 800, 약 300 내지 약 900, 약 300 내지 약 1,000, 약 400 내지 약 500, 약 400 내지 약 600, 약 400 내지 약 700, 약 400 내지 약 800, 약 400 내지 약 900, 약 400 내지 약 1,000, 약 500 내지 약 600, 약 500 내지 약 700, 약 500 내지 약 800, 약 500 내지 약 900, 약 500 내지 약 1,000, 약 600 내지 약 700, 약 600 내지 약 800, 약 600 내지 약 900, 약 600 내지 약 1,000, 약 700 내지 약 800, 약 700 내지 약 900, 약 700 내지 약 1,000, 약 800 내지 약 900, 약 800 내지 약 1,000, 또는 약 900 내지 약 1,000의 복수의 상이한 파장을 갖는 광을 방출하면서 획득된다. 일부 실시예에서, 이미지 세트는 목표 조직 영역에서 약 10, 약 50, 약 100, 약 200, 약 300, 약 500, 약 600, 약 700, 약 800, 약 900, 또는 약 1,000의 복수의 상이한 파장을 갖는 광을 방출하면서 획득된다. 일부 실시예에서, 이미지 세트는 목표 조직 영역에서 적어도 약 10, 약 50, 약 100, 약 200, 약 300, 약 400, 약 500, 약 600의 복수의 상이한 파장을 갖는 광 방출하면서 획득된다. 일부 실시예에서, 이미지 세트는 목표 조직 영역에서 최대 약 50, 약 100, 약 200, 약 300, 약 400, 약 500, 약 600, 약 700, 약 800, 약 900, 또는 약 1,000의 복수의 상이한 파장을 갖는 광을 방출하면서 획득된다.
일부 실시예에서, 목표 조직 영역의 이미지 세트 및 목표 조직 영역의 공간 측정치 세트는, 목표 조직 영역이 변형을 겪을 때 실시간으로 동시에 획득된다. 일부 실시예에서, 목표 조직 영역의 이미지 세트는 체외에서(in-vitro) 획득된다. 일부 실시예에서, 목표 조직 영역의 이미지 세트는 체내에서(in-vivo) 획득된다. 일부 실시예에서, 목표 조직 영역이 미리 결정된 힘에 의해 알려진 변형을 겪는 동안에 목표 조직 영역의 이미지 세트 중 적어도 하나가 획득된다. 일부 실시예에서, 목표 조직 영역은 연조직 영역이다. 일부 실시예에서, 목표 조직 영역의 기계적 특성, 점탄성 특성, 또는 둘 모두를 결정하는 것은, 기계 학습 알고리즘에 의해 수행된다. 일부 실시예에서, 점탄성 특성은 점성 특성, 탄성 특성, 유체 역학 특성, 또는 이들의 임의의 조합을 포함한다. 일부 실시예에서, 방법은 깊이 센서로부터 깊이 측정치를 획득하는 단계를 더 포함하고, 목표 조직 영역의 변형은 또한, 깊이 측정치에 기초한다. 일부 실시예에서, 공간 측정치는 1차원적, 2차원적 또는 3차원적이다. 일부 실시예에서, 깊이 센서는 스테레오 카메라, 비디오 카메라, 비행 시간(time of flight) 센서, 또는 이들의 임의의 조합을 포함한다. 일부 실시예에서, 목표 조직 영역의 변형은 1차원 변형, 2차원 변형, 3차원 변형, 또는 이들의 임의의 조합을 포함한다. 일부 실시예에서, 목표 조직 영역에 인가되는 추정된 힘을 결정하는 것은, 기계 학습 알고리즘에 의해 수행된다. 일부 실시예에서, 힘은 인간 조작자에 의해 인가되고, 방법은 목표 조직 영역에 인가되는 결정된 추정된 힘에 기초하여 조작자에게 피드백을 제공하는 단계를 더 포함한다. 일부 실시예에서, 피드백은 시각적 피드백, 청각적 피드백, 햅틱 피드백, 또는 이들의 임의의 조합을 포함한다. 일부 실시예에서, 시각적 피드백은 추정된 힘에 대응하는, 컬러 코딩된 시각적 피드백, 디스플레이된 값, 맵, 또는 이들의 임의의 조합을 포함한다. 일부 실시예에서, 추정된 힘과 피드백 사이의 관계는 선형, 비선형, 또는 지수적(exponential)이다. 일부 실시예에서, 힘은 자율적 또는 반자율적 디바이스에 의해 인가되고, 방법은 변형된 조직에 의해 인가되는 힘에 기초하여 자율적 또는 반자율적 디바이스에 제어 피드백을 제공하는 단계를 더 포함한다. 일부 실시예에서, 자율적 또는 반자율적 디바이스는 제어 피드백에 기초하여 그 처리를 변경한다. 일부 실시예에서, 방법은 적어도 목표 조직 영역의, (i) 이미지 세트, (ii) 공간 측정치, (iii) 점탄성 특성, (iv) 목표 조직 영역의 변형, 또는 이들의 임의의 조합에 기초하여 목표 조직 내의 유체 유량을 결정하는 단계를 더 포함한다. 일부 실시예에서, 유체는 혈액, 땀, 정액, 타액, 고름, 소변, 공기, 점액, 우유, 담즙, 호르몬, 또는 이들의 임의의 조합이다. 일부 실시예에서, 목표 조직 내의 유체 유량은 기계 학습 알고리즘에 의해 결정된다. 일부 실시예에서, 유체 유량은 기계 학습 알고리즘에 의해 결정된다. 일부 실시예에서, 방법은 적어도 목표 조직 영역의, (i) 이미지 세트, (ii) 공간 측정치, (iii) 점탄성 특성, (iv) 목표 조직 영역의 변형, 또는 이들의 조합에 기초하여 목표 조직의 변형을 결정하는 단계를 더 포함한다. 일부 실시예에서, 목표 조직의 식별은 기계 학습 알고리즘에 의해 결정된다. 일부 실시예에서, 목표 조직의 식별은 목표 조직이 암(cancerous), 양성(benign), 악성(malignant), 또는 건강하다(healthy)는 식별이다.
본 명세서에 제공된 다른 양태는, 컴퓨터 구현 시스템이며, 상기 컴퓨터 구현 시스템은, 적어도 하나의 프로세서, 실행 가능한 명령어를 수행하도록 구성된 운영 체제, 메모리, 및 컴퓨터 프로그램을 포함하는 디지털 프로세싱 디바이스를 포함하며, 상기 컴퓨터 프로그램은, 목표 조직 영역에 인가되는 추정된 힘을 결정하기 위한 애플리케이션을 생성하도록 상기 디지털 프로세싱 디바이스에 의해 실행 가능한 명령어를 포함하고, 상기 애플리케이션은: 목표 조직 영역의 이미지 세트를 획득하는 모듈; 적어도 상기 이미지 세트에 기초하여 상기 목표 조직 영역의 관류 특성, 공간 측정치 세트, 또는 둘 모두를 결정하는 모듈; 적어도 상기 공간 측정치 세트에 기초하여 상기 목표 조직 영역의 변형을 결정하는 모듈; 적어도 상기 목표 조직 영역의 변형, 상기 목표 조직 영역의 관류 특성, 또는 둘 모두에 기초하여 상기 목표 조직 영역의 점탄성 특성을 결정하는 모듈; 및 적어도 상기 목표 조직 영역의 점탄성 특성에 기초하여 상기 목표 조직 영역에 인가되는 추정된 힘을 결정하는 모듈을 포함한다.
일부 실시예에서, 이미지 세트는 레이저 스펙클 이미지, RGB 이미지, RGB 깊이 이미지, 또는 이들의 임의의 조합을 포함한다. 일부 실시예에서, 레이저 스펙클 이미지는 주관적인 레이저 스펙클 이미지, 객관적인 레이저 스펙클 이미지, 근접장 레이저 스펙클 이미지, 또는 이들의 임의의 조합이다. 일부 실시예에서, 이미지 세트는 목표 조직 영역에서 2개 이상의 상이한 파장의 광을 방출하면서 획득된다. 일부 실시예에서, 목표 조직 영역에서 약 10 내지 약 1,000개의 상이한 파장의 광을 방출하면서 이미지 세트가 획득된다. 일부 실시예에서, 목표 조직 영역의 이미지 세트 및 목표 조직 영역의 공간 측정치 세트는 목표 조직 영역이 변형을 겪을 때 실시간으로 동시에 획득된다. 일부 실시예에서, 목표 조직 영역의 이미지 세트는 체외에서 획득된다. 일부 실시예에서, 목표 조직 영역의 이미지 세트는 체내에서 획득된다. 일부 실시예에서, 목표 조직 영역이 미리 결정된 힘에 의해 알려진 변형을 겪는 동안에 목표 조직 영역의 이미지 세트 중 적어도 하나가 획득된다. 일부 실시예에서, 목표 조직 영역은 연조직 영역이다. 일부 실시예에서, 목표 조직 영역의 기계적 특성, 점탄성 특성, 또는 둘 모두를 결정하는 것은, 기계 학습 알고리즘에 의해 수행된다. 일부 실시예에서, 점탄성 특성은 점성 특성, 탄성 특성, 유체 역학 특성, 또는 이들의 임의의 조합을 포함한다. 일부 실시예에서, 애플리케이션은 깊이 센서로부터 깊이 측정치를 획득하는 모듈을 더 포함하고, 목표 조직 영역의 변형은 또한, 깊이 측정치에 기초한다. 일부 실시예에서, 공간 측정치는 1차원적, 2차원적, 또는 3차원적이다. 일부 실시예에서, 깊이 센서는 스테레오 카메라, 비디오 카메라, 비행 시간 센서, 또는 이들의 임의의 조합을 포함한다. 일부 실시예에서, 목표 조직 영역의 변형은 1차원 변형, 2차원 변형, 3차원 변형, 또는 이들의 임의의 조합을 포함한다. 일부 실시예에서, 목표 조직 영역에 인가된 추정된 힘을 결정하는 것은 기계 학습 알고리즘에 의해 수행된다. 일부 실시예에서, 힘은 인간 조작자에 의해 인가되고, 여기서 애플리케이션은 목표 조직 영역에 인가되는 결정된 추정된 힘에 기초하여 조작자에게 피드백을 제공하는 모듈을 더 포함한다. 일부 실시예에서, 피드백은 시각적 피드백, 청각적 피드백, 햅틱 피드백, 또는 이들의 임의의 조합을 포함한다. 일부 실시예에서, 시각적 피드백은 추정된 힘에 대응하는, 컬러 코딩된 시각적 피드백, 디스플레이된 값, 맵, 또는 이들의 임의의 조합을 포함한다. 일부 실시예에서, 추정된 힘과 피드백 사이의 관계는 선형, 비선형 또는 지수적이다. 일부 실시예에서, 힘은 자율적 또는 반자율적 디바이스에 의해 인가되고, 여기서 애플리케이션은 변형된 조직에 의해 인가되는 힘에 기초하여 자율적 또는 반자율적 디바이스에 제어 피드백을 제공하는 모듈을 더 포함한다. 일부 실시예에서, 자율적 또는 반자율적 디바이스는 제어 피드백에 기초하여 그 처리를 변경한다. 일부 실시예에서, 애플리케이션은 적어도 목표 조직 영역의, (i) 이미지 세트, (ii) 공간 측정치, (iii) 점탄성 특성, (iv) 목표 조직 영역의 변형, 또는 이들의 조합에 기초하여 목표 조직 내의 유체 유량을 결정하는 모듈을 더 포함한다. 일부 실시예에서, 유체는 혈액, 땀, 정액, 타액, 고름, 소변, 공기, 점액, 우유, 담즙, 호르몬, 또는 이들의 임의의 조합이다. 일부 실시예에서, 목표 조직 내의 유체 유량은 기계 학습 알고리즘에 의해 결정된다. 일부 실시예에서, 유체 유량은 기계 학습 알고리즘에 의해 결정된다. 일부 실시예에서, 애플리케이션은 적어도 목표 조직 영역의, (i) 이미지 세트, (ii) 공간 측정치, (iii) 점탄성 특성, (iv) 목표 조직 영역의 변형, 또는 이들의 임의의 조합에 기초하여 목표 조직의 식별을 결정하는 모듈을 더 포함한다. 일부 실시예에서, 목표 조직의 식별은 기계 학습 알고리즘에 의해 결정된다. 일부 실시예에서, 목표 조직의 식별은 목표 조직이 암, 양성, 악성, 또는 건강하다는 식별이다.
본 명세서에서 제공된 다른 양태는, 목표 조직 영역에 인가되는 추정된 힘을 결정하기 위한 애플리케이션을 생성하기 위해 프로세서에 의해 실행 가능한 명령어를 포함하는 컴퓨터 프로그램으로 인코딩된 비일시적 컴퓨터 판독 가능 저장 매체이고, 상기 애플리케이션은, 목표 조직 영역의 이미지 세트를 획득하는 모듈; 적어도 상기 이미지 세트에 기초하여 목표 조직 영역의 관류 특성, 공간 측정치 세트, 또는 둘 다를 결정하는 모듈; 적어도 상기 공간 측정치 세트에 기초하여 목표 조직 영역의 변형을 결정하는 모듈; 적어도 목표 조직 영역의 변형, 목표 조직 영역의 관류 특성, 또는 둘 모두에 기초하여 목표 조직 영역의 점탄성 특성을 결정하는 모듈; 및 적어도 목표 조직 영역의 점탄성 특성에 기초하여 목표 조직 영역에 인가되는 추정된 힘을 결정하는 모듈을 포함한다.
일부 실시예에서, 이미지 세트는, 레이저 스펙클 이미지, RGB 이미지, RGB 깊이 이미지, 또는 이들의 임의의 조합을 포함한다. 일부 실시예에서, 레이저 스펙클 이미지는 주관적인 레이저 스펙클 이미지, 객관적인 레이저 스펙클 이미지, 근접장 레이저 스펙클 이미지, 또는 이들의 임의의 조합이다. 일부 실시예에서, 이미지 세트는 목표 조직 영역에서 2개 이상의 상이한 파장의 광을 방출하면서 획득된다. 일부 실시예에서, 목표 조직 영역에서 약 10 내지 약 1,000개의 상이한 파장의 광을 방출하면서 이미지 세트가 획득된다. 일부 실시예에서, 목표 조직 영역의 이미지 세트 및 목표 조직 영역의 공간 측정치 세트는, 목표 조직 영역이 변형을 겪을 때 실시간으로 동시에 획득된다. 일부 실시예에서, 목표 조직 영역의 이미지 세트는 시험관에서 획득된다. 일부 실시예에서, 목표 조직 영역의 이미지 세트는 생체내에서 획득된다. 일부 실시예에서, 목표 조직 영역이 미리 결정된 힘에 의해 알려진 변형을 겪는 동안에 목표 조직 영역의 이미지 세트 중 적어도 하나가 획득된다. 일부 실시예에서, 목표 조직 영역은 연조직 영역이다. 일부 실시예에서, 목표 조직 영역의 기계적 특성, 점탄성 특성, 또는 둘 모두를 결정하는 것은 기계 학습 알고리즘에 의해 수행된다. 일부 실시예에서, 점탄성 특성은 점성 특성, 탄성 특성, 유체 역학 특성, 또는 이들의 임의의 조합을 포함한다. 일부 실시예에서, 애플리케이션은 깊이 센서로부터 깊이 측정치를 획득하는 모듈을 더 포함하고, 목표 조직 영역의 변형은 또한, 깊이 측정치에 기초한다. 일부 실시예에서, 공간 측정치는 1차원적, 2차원적, 또는 3차원적이다. 일부 실시예에서, 깊이 센서는 스테레오 카메라, 비디오 카메라, 비행 시간 센서, 또는 이들의 임의의 조합을 포함한다. 일부 실시예에서, 목표 조직 영역의 변형은 1차원 변형, 2차원 변형, 3차원 변형, 또는 이들의 임의의 조합을 포함한다. 일부 실시예에서, 목표 조직 영역에 인가된 추정된 힘을 결정하는 것은, 기계 학습 알고리즘에 의해 수행된다. 일부 실시예에서, 힘은 인간 조작자에 의해 인가되고, 여기서 애플리케이션은 목표 조직 영역에 인가되는 결정된 추정된 힘에 기초하여 조작자에게 피드백을 제공하는 모듈을 더 포함한다. 일부 실시예에서, 피드백은 시각적 피드백, 청각적 피드백, 햅틱 피드백, 또는 이들의 임의의 조합을 포함한다. 일부 실시예에서, 시각적 피드백은 추정된 힘에 대응하는, 컬러 코딩된 시각적 피드백, 디스플레이된 값, 맵, 또는 이들의 임의의 조합을 포함한다. 일부 실시예에서, 추정된 힘과 피드백 사이의 관계는 선형, 비선형 또는 지수적입니다. 일부 실시예에서, 힘은 자율적 또는 반자율적 디바이스에 의해 인가되고, 애플리케이션은 변형된 조직에 의해 인가되는 힘에 기초하여 자율 또는 반자율 디바이스에 제어 피드백을 제공하는 모듈을 더 포함한다. 일부 실시예에서, 자율적 또는 반자율적 디바이스는 제어 피드백에 기초하여 그 처리를 변경한다. 일부 실시예에서, 애플리케이션은 적어도 목표 조직 영역의, (i) 이미지 세트, (ii) 공간 측정치, (iii) 점탄성 특성, (iv) 목표 조직 영역의 변형, 또는 이들의 임의의 조합에 기초하여 목표 조직 내의 유체 유속을 결정하는 모듈을 더 포함한다. 일부 실시예에서, 유체는 혈액, 땀, 정액, 타액, 고름, 소변, 공기, 점액, 우유, 담즙, 호르몬, 또는 이들의 임의의 조합이다. 일부 실시예에서, 목표 조직 내의 유체 유량은 기계 학습 알고리즘에 의해 결정된다. 일부 실시예에서, 유체 유량은 기계 학습 알고리즘에 의해 결정된다. 일부 실시예에서, 애플리케이션은 적어도 목표 조직 영역의, (i) 이미지 세트, (ii) 공간 측정치, (iii) 점탄성 특성, (iv) 목표 조직 영역의 변형, 또는 이들의 임의의 조합에 기초하여 목표 조직의 식별을 결정하는 모듈을 더 포함한다. 일부 실시예에서, 목표 조직의 식별은 기계 학습 알고리즘에 의해 결정된다. 일부 실시예에서, 목표 조직의 식별은, 목표 조직이 암, 양성, 악성 또는 건강하다는 식별이다.
본 명세서에 제공된 또 다른 양태는, 목표 조직 영역의 탄성 특성을 결정하기 위해 신경망을 트레이닝하기 위한 컴퓨터 구현 방법이고, 상기 방법은, 복수의 세트의 이미지 세트를 포함하는 제1 트레이닝 세트를 생성하는 단계 - 상기 이미지 세트 각각은 정지된(at rest) 목표 조직 영역의 제1 스펙클 이미지 및 알려진 힘에 의해 변형되는 목표 조직 영역의 제2 스펙클 이미지를 포함함 -; 제1 트레이닝 세트를 사용하여 제1 스테이지에서 신경망을 트레이닝시키는 단계; 상기 제1 트레이닝 세트 그리고 제1 트레이닝 스테이지 이후에 탄성 특성 값이 부정확하게 결정된 이미지 세트를 포함하는 제2 트레이닝 세트를 생성하는 단계; 및 제2 트레이닝 세트를 사용하여 제2 스테이지에서 신경망을 트레이닝시키는 단계를 포함한다. 일부 실시예들에서, 이미지 세트는 주관적인 이미지들의 세트, 객관적인 이미지들의 세트, 근접장 이미지들의 세트, 또는 이들의 임의의 조합을 포함한다. 일부 실시예에서, 이미지 세트는 목표 조직 영역에서 적어도 10개의 상이한 파장의 광을 방출하면서 획득된다. 일부 실시예에서, 목표 조직 영역에서 약 10 내지 약 1,000개의 상이한 파장의 광을 방출하면서 이미지 세트가 획득된다. 일부 실시예에서, 점탄성 특성은 점성 특성, 탄성 특성, 유체 역학 특성, 또는 이들의 임의의 조합을 포함한다. 일부 실시예에서, 공간 측정치는 1차원적, 2차원적, 또는 3차원적이다.
본 개시내용의 다른 양태는, 하나 이상의 컴퓨터 프로세서에 의한 실행 시에, 본 명세서에서 위의 또는 다른 곳의 방법들 중 임의의 방법을 구현하는 기계 실행 가능 코드를 포함하는 비일시적 컴퓨터 판독 가능 매체를 제공한다.
본 개시내용의 다른 양태는 하나 이상의 컴퓨터 프로세서 및 이에 연결된 컴퓨터 메모리를 포함하는 시스템을 제공한다. 컴퓨터 메모리는 하나 이상의 컴퓨터 프로세서에 의해 실행될 때, 본 명세서의 위의 또는 다른 곳에서의 방법들 중 임의의 방법을 구현하는 기계 실행 가능 코드를 포함한다.
본 개시내용의 추가적인 양태 및 이점은, 본 개시내용의 예시적인 실시예만이 도시되고 설명되는 다음의 상세한 설명으로부터 당업자에게 용이하게 명백해질 것이다. 인식되는 바와 같이, 본 개시내용은 다른 및 상이한 실시예가 가능하고, 그의 여러 세부사항은 모두가 개시내용으로부터 벗어남이 없이 다양한 명백한 측면에서 수정될 수 있다. 따라서, 도면 및 설명은 본질적으로 예시적인 것으로 간주되어야 하며, 제한적인 것으로 간주되어서는 안된다.
참조에 의한 통합
본 명세서에 언급된 모든 간행물, 특허 및 특허 출원은, 각각의 개별 간행물, 특허 또는 특허 출원이 참조로 통합되도록 구체적이고 개별적으로 표시된 것과 동일한 정도로 참조로 본 명세서에 통합된다. 참고로 포함된 간행물 및 특허 또는 특허 출원이 명세서에 포함된 개시내용과 모순되는 한, 명세서는 임의의 그러한 모순되는 자료를 대체 및/또는 우선하도록 의도된다.
본 개시내용의 신규 특징은 첨부된 청구범위에서 구체적으로 설명된다. 본 개시내용의 특징 및 이점의 더 나은 이해는, 개시내용의 원리가 활용되는 예시적인 실시예를 설명하는 다음의 상세한 설명 및 첨부 도면을 참조하여 얻어질 것이다.
도 1은 본 명세서의 실시예에 따른 추정된 힘을 결정하기 위한 방법의 개략도를 도시한다.
도 2는 본 명세서의 실시예에 따른 목표 조직 영역의 점탄성 특성을 결정하기 위해 신경망을 트레이닝하기 위한 방법의 개략도를 도시한다.
도 3은 본 명세서의 실시예에 따른 다양한 광 주파수의 개략도를 도시한다.
도 4는 본 명세서의 실시예에 따른 목표 조직 영역의 점탄성 특성을 결정하기 위한 기계 학습 알고리즘의 개략도를 도시한다.
도 5a는 본 명세서의 실시예에 따른 목표 조직 영역의 이미지 세트를 획득하기 위한 디바이스의 이미지를 도시한다.
도 5b는 본 명세서의 실시예에 따른 목표 조직 영역의 이미지 세트를 획득하기 위한 복강경을 갖는 디바이스의 이미지를 도시한다.
도 6은 본 명세서의 실시예에 따른 목표 조직 영역의 이미지 세트를 전송하기 위한 연결 디바이스의 이미지를 도시한다.
도 7은 본 명세서의 실시예에 따른 목표 조직 영역의 이미지 세트를 수집하고 전송하기 위한 시스템의 이미지를 도시한다.
도 8a는 샘플 조직 영역의 이미지를 도시한다.
도 8b는 주사된 샘플 조직 영역의 이미지를 도시한다.
도 9a는 본 명세서의 실시예에 따른 목표 조직 영역의 다른 이미지를 도시한다.
도 9b는 본 명세서의 실시예에 따른 목표 조직 영역 내의 관류의 이미지를 도시한다.
도 9c는 본 명세서의 실시예에 따른, 목표 조직 영역 내의 관류 이미지와 중첩된 목표 조직 영역의 이미지를 도시한다.
도 10a는 ICG 염료가 주입된 절제되지 않은 목표 조직 영역의 이미지를 도시한다.
도 10b는 본 명세서의 실시예에 따른, 결정된 관류 특성과 중첩되는 주입된 절제되지 않은 목표 조직 영역의 이미지를 도시한다.
도 10c는 ICG 염료가 주입된 절제된 목표 조직 영역의 이미지를 도시한다.
도 10d는 본 명세서의 실시예에 따른, 결정된 관류 특성과 중첩되는 주입된 절제된 목표 조직 영역의 이미지를 도시한다.
도 11은 본 명세서의 실시예에 따른, 미리 결정된 힘에 의해 알려진 변형을 겪는 목표 조직 영역의 스펙클 이미지를 캡처하기 위한 예시적인 설정을 도시한다.
도 12는 컴퓨팅 디바이스의 비제한적인 예를 도시하며, 이 경우에는, 본 명세서의 실시예에 따른, 하나 이상의 프로세서, 메모리, 저장 장치, 및 네트워크 인터페이스를 갖는 디바이스를 도시한다.
기계 작동 및 원격 의료 수술 로봇 및 메커니즘은, 간병인에게 촉각 피드백을 제공할 수 없기 때문에, 이러한 피드백을 가능하게 하기 위해 목표 조직의 기계적 특성을 결정할 수 있는 시스템, 방법 ,및 매체에 대한 충족되지 않은 요구가 있다. 본 개시내용은 적어도 상기 요구를 다룬다.
추정된 힘을 결정하기 위한 방법, 시스템, 및 매체
본 명세서에서는 목표 조직 영역에 인가되는 추정된 힘을 결정하기 위한 컴퓨터 구현 방법, 시스템, 및 매체가 제공된다. 일부 실시예에서, 도 1에 도시된 바와 같이, 방법은, 목표 조직 영역의 이미지 세트를 획득하는 단계(101); 목표 조직 영역의 관류 특성, 공간 측정치 세트, 또는 둘 모두를 결정하는 단계(102); 목표 조직 영역의 변형을 결정하는 단계(103); 목표 조직 영역의 점탄성 특성을 결정하는 단계(104); 및 목표 조직 영역에 인가되는 추정된 힘을 결정하는 단계(105)를 포함한다. 일부 실시예에서, 목표 조직 영역에 인가되는 추정된 힘은, 적어도 목표 조직 영역의 점탄성 특성에 기초하여 결정된다.
일부 실시예에서, 목표 조직은 연(soft)조직이다. 일부 실시예에서, 목표 조직은 상피 조직, 결합 조직, 근육 조직, 신경 조직, 또는 이들의 임의의 조합이다. 일부 실시예에서, 목표 조직 영역은 간병인에 의해 치료를 받는 치료 영역이다. 일부 실시예에서, 목표 조직 영역은 본 명세서에서 증분을 포함하여 약 2 mm², 5 mm², 10 mm², 20 mm², 50 mm², 100 mm², 200 mm², 500 mm², 1,000 mm², 10,000 mm², 100,000 mm², 1,000,000 mm2 또는 그 이상의 면적을 가진다. 일부 실시예에서, 목표 조직은 체외이다. 일부 실시예에서, 목표 조직은 체내이다..
관류 특성
도 8a 및 도 8b에 따른 목표 조직에서 관류를 결정하는 현재 방법은, 일반적으로 형광 염료(예를 들어, 인도시아닌 그린(ICG; indocyanine green) 염료)를 환자에게 주입해야 한다. 주요 관류 구조는 도 8b에서 볼 수 있는 반면에, 이러한 주입에는 몇 가지 단점을 갖는다. 먼저, 염료가 목표 조직에 도달하는 데 약 5분 내지 약 24시간이 필요하기 때문에, 이러한 절차는 목표 조직의 수술 전에 계획되어야 하고/하거나 시각화 효과를 지연시켜야 한다. 성공적인 수술을 보장하기 위해 잘못될 수 있는 임의의 추가 계획 및 치료 단계는 피해야 한다. 환자들 사이에 이러한 큰 염료 시각화 변화는 그 사용을 더욱 어렵게 한다. 또한, 임상의는 염료의 투여량에 따라 비용을 청구하므로, 시기가 맞지 않거나 시기 적절하지 않은 주입은 비용이 많이 든다. 둘째로, 염료의 시각화 기능은 혈류를 통해 흐르면서 소멸되어, 사용 기회가 매우 좁다. 마지막으로, 이러한 염료는 생물학적 상호작용에 기초하여 모든 환자에 대하여 표시되지 않는다.
대조적으로, 일부 실시예에서, 본 명세서의 방법, 시스템, 및 매체는 염료 또는 다른 주입된 시각화 매체의 사용을 필요로 하지 않는다. 또한 본 명세서의 방법, 시스템 및 매체는, 사용 계획이 거의 또는 전혀 필요하지 않고, 임의의 대기 기간없이 즉시 사용될 수 있으며, 그리고 추가 비용이나 절차를 유발하지 않고 수술 전반에 걸쳐 계속 사용될 수 있다.
또한, 도 10a 내지 도 10d에 따라, 본 명세서의 시스템, 방법 및 매체는 현재 이용 가능한 ICG 다이보다 더욱 더 관류 특성의 영역을 결정할 수 있다. 도 10a에 따라, ICG 염료로 절제되지 않은 목표 조직을 시각화했지만, 즉각적인 방법, 시스템, 및 매체를 통해, 도 10b에 따라, 동일한 감소된 관류 영역(100A 및 100B), ICG 염료로 시각화된 조직의 감소된 관류 영역(100C)을 도시하고, 도 10c에 따라, 절제에 의해 유도되는 감소된 관류 영역을 검출할 수 없다. 이에 반해, 도 10d에 따르면, 본 명세서의 방법, 시스템, 및 매체는, 감소된 관류의 나머지 영역(110D)에 더하여 절제(110)에 의해 유도되는 감소된 관류 영역을 검출할 수 있다.
일부 실시예에서, 목표 조직 영역의 관류 특성은 적어도 이미지 세트에 기초하여 결정된다. 일부 실시예에서, 관류는 유체가 조직으로 전달되는 속도, 또는 단위 조직 질량당 단위 시간당 유체의 부피를 m³/(s·kg) 또는 ml/min/g 단위로 측정한다. 일부 실시예에서, 유체는 혈액, 땀, 정액, 타액, 고름, 소변, 공기, 점액, 우유, 담즙, 호르몬, 또는 이들의 임의의 조합이다. 일부 실시예에서, 관류 특성은 산소 농도계, 맥박 모니터, 또는 이들의 임의의 조합에 의해 수집된 측정에 의해 추가로 결정된다. 일부 실시예에서, 관류 특성은 기관 또는 조직의 미리 결정된 관류 특성에 기초하여 추가로 결정된다. 도 9a는 목표 조직 영역의 예시적인 이미지를 도시한다. 도 9b는 목표 조직 영역의 관류의 예시적인 이미지를 도시한다. 도 9c는 목표 조직 영역의 관류 이미지와 중첩된 목표 조직 영역의 예시적인 이미지를 도시한다. 도시된 바와 같이, 이미지에 추가하여 목표 조직의 관류를 볼 수 있는 능력은, 외과 수술자가 더 높은 관류 및 더 낮은 관류를 갖는 영역을 결정하여 그에 따라 목표 조직 부분을 치료 및/또는 회피할 수 있게 한다. 관류가 높은 영역은 일반적으로 수술 중 손상되면 환자에게 해롭거나 치명적일 수 있는 중요한 구조를 나타낸다. 자궁적출술의 약 2%는 이러한 중요한 구조의 손상으로 인해 합병증을 유발하는 것으로 추정되는 반면에, 이러한 합병증의 치료 비용은 약 10억 달러이다.
공간 측정치
일부 실시예에서, 목표 조직 영역의 공간 측정치 세트는 적어도 이미지 세트에 기초하여 결정된다. 일부 실시예에서, 목표 조직 영역의 변형은 적어도 공간 측정치 세트에 기초하여 결정된다. 일부 실시예에서, 목표 조직 영역의 이미지는 목표 조직 영역의 2차원 이미지를 포함하고, 여기서 목표 조직 영역의 공간 측정치 세트는, 목표 조직 영역의 2차원 이미지에 기초하여 결정된다. 일부 실시예에서, 목표 조직 영역의 이미지는 목표 조직 영역의 3차원 이미지를 포함하고, 여기서 목표 조직 영역의 공간 측정치 세트는 목표 조직 영역의 3차원 이미지에 기초하여 결정된다. 일부 실시예에서, 목표 조직 영역의 공간 측정치 세트는 2차원적이다. 일부 실시예에서, 목표 조직 영역의 공간 측정치 세트는 2차원적이며, 여기서 1차원은 목표 조직 영역에 수직이다. 일부 실시예에서, 목표 조직 영역의 공간 측정치 세트는 3차원적이다.
점탄성 특성
일부 실시예에서, 목표 조직 영역의 점탄성 특성은, 적어도 목표 조직 영역의 변형, 목표 조직 영역의 관류 특성, 또는 둘 모두에 기초하여 결정된다. 일부 실시예에서, 점탄성 특성은 점도 특성, 탄성 특성, 유체 역학 특성, 또는 이들의 임의의 조합을 포함한다. 일부 실시예에서, 점탄성 특성은 강성을 포함한다. 일부 실시예에서, 점도 특성은 목표 조직이 힘을 받아 변형되는 속도와 상관관계가 있다. 일부 실시예에서, 탄성 특성은 힘을 받는 변형 거리와 상관관계가 있다. 일부 실시예에서, 점도 특성은 동적(kinematic) 점도, 동(dymamic)점성, 또는 둘 다이다. 일부 실시예에서, 유체 역학 특성은 흐름 저항, 맥박, 유체 압력, 유체 체적, 유체 온도, 유체 밀도, 또는 이들의 임의의 조합이다.
이미징 유형
도 5a 및 도 5b는 각각 복강경 없이 그리고 복강경을 사용하여, 목표 조직 영역의 이미지 세트를 획득하기 위한 디바이스의 이미지를 도시한다. 도 6은 목표 조직 영역의 이미지 세트를 전송하기 위한 연결 디바이스의 이미지를 도시한다. 도 7은 목표 조직 영역의 이미지 세트를 수집하고 전송하기 위한 시스템의 이미지를 도시한다.
일부 실시예에서, 이미지 세트는 레이저 스펙클 이미지, 레드-그린-블루(RGB) 이미지, RGB-깊이 이미지, 또는 이들의 임의의 조합을 포함한다. 일부 실시예에서, 이미지 세트는 레이저 스펙클 비디오, 레드-그린-블루(RGB) 비디오, RGB-깊이 비디오, 또는 이들의 임의의 조합을 포함한다. 일부 실시예에서, RGB-깊이 이미지는 깊이 측정으로 중첩된 RGB 이미지를 포함한다. 일부 실시예에서, 레이저 스펙클 이미지는, 주관적인 레이저 스펙클 이미지, 객관적인 레이저 스펙클 이미지, 근접장 레이저 스펙클 이미지, 또는 이들의 임의의 조합이다. 일부 실시예에서, 샘플이 간섭성 광(예를 들어, 레이저 빔)으로 직접 조명되는 동안에 주관적인 레이저 스펙클 이미지가 캡처된다. 일부 실시예에서, 주관적인 레이저 스펙클 이미지는 예를 들어 렌즈 조리개의 크기 및 이미징 시스템의 위치와 같은 관찰 시스템 파라미터에 의존한다. 일부 실시예에서, 샘플이 간섭성 광(예를 들어, 레이저 빔)으로 간접적으로 조명되는 동안에 주관적인 레이저 스펙클 이미지가 캡처된다. 일부 실시예에서, 레이저 스펙클 이미지는 카메라에 의해 캡처된다.
일부 실시예에서, 이미지 세트는 목표 조직 영역에서 2개 이상의 상이한 파장의 광을 방출하면서 획득된다. 일부 실시예에서, 목표 조직 영역에서 약 10 내지 약 1,000개의 상이한 파장의 광을 방출하면서 이미지 세트가 획득된다. 일부 실시예에서, 도 3에 따라서, 이미지 세트는 파장(301), 레이저 파장(302) 및 근적외선 파장(303)의 초분광(hyperspectral) 조합을 방출하면서 획득된다. 일부 실시예에서, 목표 조직 영역의 이미지 세트 및 목표 조직 영역의 공간 측정치 세트는 실시간으로 동시에 획득된다. 일부 실시예에서, 목표 조직 영역의 이미지 세트 및 목표 조직 영역의 공간 측정치 세트는 목표 조직 영역이 변형을 겪을 때 실시간으로 동시에 획득된다. 일부 실시예에서, 목표 조직 영역의 이미지 세트는 시험관에서 획득된다. 일부 실시예에서, 목표 조직 영역의 이미지 세트는 생체 내에서 획득된다. 일부 실시예에서, 목표 조직 영역이 미리 결정된 힘에 의해 알려진 변형을 겪는 동안에 목표 조직 영역의 이미지 세트 중 적어도 하나가 획득된다. 일부 실시예에서, 목표 조직 영역이 미리 결정된 힘에 의해 알려진 변형을 겪는 동안에 목표 조직 영역의 이미지 세트의 제1 이미지가 획득된다. 도 11은 목표 조직 영역(1101)이 미리 결정된 힘(1103)에 의해 알려진 변형을 겪는 동안에 목표 조직 영역(1101)의 스펙클 이미지를 캡처하기 위한 예시적인 설정을 도시한다. 도시된 바와 같이, 스레드(1102)는 알려진 미리 결정된 힘(1103)을 부여하는 목표 조직 영역(1101)에 부착되는 반면에, 스펙클 이미지는 이미지 캡처링 디바이스(1104)에 의해 캡처된다. 도면에 도시된 바와 같이, 스레드(1102)는 스레드(1102)를 통해 목표 조직 영역(1101)에 수직 인장의 미리 결정된 힘(1103)을 부여한다. 추가적으로 또는 대안적으로, 스레드(1102)는 목표 조직 영역(1101)에 수직 압축력, 또는 미리 결정된 전단력(1103)을 부여한다.
일부 실시예에서, 이미지 세트는 이미지 캡처링 디바이스와 목표 조직 사이에서 동일한 배향으로 모두 캡처된다. 일부 실시예에서, 이미지 세트의 적어도 일부는 이미지 캡처링 디바이스와 목표 조직 사이에서 동일한 배향으로 모두 캡처된다.
깊이 측정
일부 실시예에서, 방법은 깊이 센서로부터 깊이 측정치를 획득하는 단계를 더 포함한다. 일부 실시예에서, 깊이 센서는, 스테레오 삼각측량 센서, 구조화된 광 센서, 비디오 카메라, 비행 시간 센서, 간섭계, 코딩된 조리개, 또는 이들의 임의의 조합이다. 일부 실시예에서, 목표 조직 영역의 변형은 또한 깊이 측정치에 기초한다. 일부 실시예에서, 공간 측정치는 1차원적, 2차원적, 또는 3차원적이다. 일부 실시예에서, 목표 조직 영역의 변형은, 1차원 변형, 2차원 변형, 3차원 변형, 또는 이들의 임의의 조합을 포함한다.
피드백
일부 실시예에서, 힘은 인간 조작자에 의해 인가된다. 일부 실시예에서, 방법은 조작자에게 피드백을 제공하는 단계를 더 포함한다. 일부 실시예에서, 방법은 목표 조직 영역에 인가되는 결정된 추정된 힘에 기초하여 조작자에게 피드백을 제공하는 단계를 더 포함한다. 일부 실시예에서, 피드백은 시각적 피드백, 청각적 피드백, 햅틱 피드백, 또는 이들의 임의의 조합을 포함한다. 일부 실시예에서, 시각적 피드백은 추정된 힘에 대응하는, 컬러 코딩된 시각적 피드백, 디스플레이된 값, 맵, 또는 이들의 임의의 조합을 포함한다. 일부 실시예에서, 추정된 힘과 피드백 사이의 관계는 선형, 비선형 또는 지수적이다.
일부 실시예에서, 힘은 자율적 또는 반자율적 디바이스에 의해 인가된다. 일부 실시예에서, 방법은 변형된 조직에 의해 인가되는 힘에 기초하여 자율 또는 반자율 디바이스에 제어 피드백을 제공하는 단계를 더 포함한다. 일부 실시예에서, 자율적 또는 반자율적 디바이스는 제어 피드백에 기초하여 그 처리를 변경한다.
유량 및 식별
일부 실시예에서, 방법은 목표 조직 내의 유체 유량을 결정하는 단계를 더 포함한다. 일부 실시예에서, 유량은 적어도 목표 조직 영역의 (i) 이미지 세트, (ii) 공간 측정치, (iii) 점탄성 특성, (iv) 목표 조직 영역의 변형, 또는 이들의 임의의 조합에 기초한다. 일부 실시예에서, 유체는 혈액, 땀, 정액, 타액, 고름, 소변, 공기, 점액, 우유, 담즙, 호르몬, 또는 이들의 임의의 조합이다. 일부 실시예에서, 목표 조직 내의 유체 유속은 기계 학습 알고리즘에 의해 결정된다. 일부 실시예에서, 유체 유량은 기계 학습 알고리즘에 의해 결정된다. 일부 실시예에서, 방법은 적어도 목표 조직 영역의, (i) 이미지 세트, (ii) 공간 측정치, (iii) 점탄성 특성, (iv) 목표 조직 영역의 변형, 또는 이들의 임의의 조합에 기초하여, 목표 조직의 식별을 결정하는 단계를 포함한다. 일부 실시예에서, 목표 조직의 식별은 기계 학습 알고리즘에 의해 결정된다. 일부 실시예에서, 목표 조직의 식별은, 목표 조직이 암, 양성, 악성, 또는 건강하다는 식별이다..
기계 학습
일부 실시예에서, 목표 조직 영역의 기계적 특성, 점탄성 특성, 또는 양자 모두를 결정하는 것은 기계 학습 알고리즘에 의해 수행된다. 일부 실시예에서, 목표 조직 영역에 인가된 추정된 힘을 결정하는 것은 기계 학습 알고리즘에 의해 수행된다. 일부 실시예에서, 기계 학습 알고리즘은 신경망을 사용한다..
본 명세서의 실시예와 함께 사용될 수 있는 기계 학습 알고리즘의 예는 회귀 기반 학습 알고리즘, 선형 또는 비선형 알고리즘, 피드포워드 신경망, 생성적 적대 네트워크(GAN), 또는 깊은 잔차 네트워크를 포함할 수 있다. 기계 학습 알고리즘은, 예를 들어, 비지도(unsupervised) 학습 분류기, 지도 학습 분류기, 또는 이들의 조합을 포함할 수 있다. 비지도 학습 분류기는 예를 들어 클러스터링, 계층적 클러스터링, k-평균, 혼합 모델, DBSCAN, OPTICS 알고리즘, 이상 검출, 로컬 이상값(outlier) 요인, 신경망, 자동 인코더, 심층 신념망, 헤비안 학습, 생성적 적대 네트워크, 자기 조직화 맵, 예상-최대화 알고리즘(EM), 모멘트 방법, 블라인드 신호 분리 기술, 주성분 분석, 독립 성분 분석, 비음수 행렬 분해, 특이값 분해, 또는 이들의 조합을 포함할 수 있다. 지도 학습 분류기는, 예를 들어 지원 벡터 머신, 선형 회귀, 로지스틱 회귀, 선형 판별 분석, 결정 트리, k-최근접 이웃 알고리즘, 신경망, 유사성 학습, 또는 이들의 조합을 포함할 수 있다. 일부 실시예에서, 기계 학습 알고리즘은 딥 러닝 신경망을 포함할 수 있다. 딥 러닝 신경망은 CNN(convolutional neural network)을 포함할 수 있다. CNN은 예를 들어 U-Net, ImageNet, LeNet-5, AlexNet, ZFNet, GoogleNet, VGGNet, ResNet18 또는 ResNet 등을 포함할 수 있다.
도 4는 목표 조직 영역에 인가된 추정된 힘을 결정하기 위한 기계 학습 알고리즘의 예시적인 개략적인 흐름도를 도시한다. 도시된 바와 같이, 예시적인 알고리즘은, 제1 입력 스펙클(x0)(401A) 및 제2 입력 스펙클(xt)(401B)을 수신하는 단계; 인코더(402)를 통해 제1 입력 스펙클(h0)(403A) 및 제2 입력 스펙클(h_t)(403B)의 숨겨진 추상적(hidden abstract) 표현을 결정하고, 제1 입력 스펙클(h0) 및 제2 입력 스펙클(h_t)의 추상적 표현을 비교하는 단계(404); 및 출력력을 결정하는 단계(405)를 포함한다. 일부 실시예에서, 제1 입력 스펙클(h0)(403A) 및 제2 입력 스펙클(h_t)(403B) 중 적어도 하나는, 미리 결정된 힘이 목표 조직 영역에 인가되는 동안에 캡처된다. 둘 이상의 스펙클 이미지 사이의 변화는, 조직의 움직임 아티팩트, 내부의 유체 흐름, 또는 외력에 의해 발생될 수 있으므로, 스펙클 이미지 중 하나 이상의 이미지 동안에 인가되는 미리 결정된 힘, 및 결정된 관류 특성은, 본 명세서의 기계 학습 알고리즘으로 하여금 후속 스펙클 이미지에서의 목표 조직 영역의 점탄성 특성의 변화를 구별하게 한다.
일부 실시예에서, 기계 학습 알고리즘은 지도 기계 학습 알고리즘이다. 일부 실시예에서, 이용되는 기계 학습 알고리즘은, 사람이 주석을 달은 라벨 및 반 감독된 라벨을 포함하는 하나 이상의 형태의 라벨을 사용하지만 이에 제한되지 않는다. 사람이 주석을 달은 라벨은 손으로 만든 휴리스틱에 의해 제공될 수 있다. 예를 들어, 손으로 만든 휴리스틱은, 목표 조직 영역, 공간 측정치, 또는 둘 다의 이미지 간의 차이를 검사하는 것을 포함할 수 있다. 반감독된 라벨은 클러스터링 기술을 사용하여 이전의 사람이 주석을 달은 라벨 및 이전 반감독된 라벨에 의해 표시된 것과 유사한 목표 조직 영역, 공간 측정치, 또는 둘 다의 이미지를 찾도록 결정될 수 있다. 반감독 라벨은 XGBoost, 신경망, 또는 둘 다를 사용할 수 있다.
원격 감독 방법은 손으로 주석을 달은 작은 트레이닝 세트에 의해 시드된 큰 트레이닝 세트를 생성할 수 있다. 원격 감독 방법은 트레이닝 세트를 '포지티브(positive)' 클래스로서 사용하는 포지티브-언라벨링된 학습을 포함할 수 있다. 원격 감독 방법은 로지스틱 회귀 모델, 순환(recurrent) 신경망 또는 둘 다를 사용할 수 있다. 순환 신경망은 자연어 처리(Natural Language Processing; NLP) 기계 학습에 유리할 수 있다.
기계 학습 알고리즘의 예는, 지원 벡터 머신(support vector machine; SVM), 나이브 베이즈(naive Bayes) 분류, 랜덤 포레스트, 신경망, 딥 러닝, 분류 및 회귀를 위한 기타 지도 학습 알고리즘 또는 비지도 학습 알고리즘을 포함할 수 있다. 기계 학습 알고리즘은 하나 이상의 트레이닝 데이터 세트를 사용하여 트레이닝될 수 있다.
일부 실시예에서, 기계 학습 알고리즘은 회귀 모델링을 활용하고, 여기서 예측 변수와 종속 변수 간의 관계가 결정되고 가중된다. 일 실시예에서, 예를 들어 점탄성 특성은 종속 변수일 수 있고, 목표 조직 영역의 이미지, 공간 측정치, 또는 둘 다로부터 유도된다.
일부 실시예에서, 기계 학습 알고리즘은 카탈로그 이미지를 선택하고 프로젝트 범위를 추천하는 데 사용된다. 다변량 선형 회귀 모델 알고리즘의 비제한적인 예는 다음과 같으며 즉, 확률 = A0 + A1(X1) + A2(X2) + A3(X3) + A4(X4) + A5(X5) + A6(X6) + A7(X7)...여기서, Ai(A1, A2, A3, A4, A5, A6, A7, ...)는 회귀 모델링 중에 발견된 "가중치" 또는 계수이고; Xi(X1, X2, X3, X4, X5, X6, X7, ...)는 사용자로부터 수집된 데이터이다. 임의의 수의 Ai 및 Xi 변수는 모델에 포함될 수 있다. 예를 들어, 7개의 Xi 항이 있는 비제한적인 예에서, X1은 이미지의 수이고, X2는 공간 측정의 수이고, X3은 목표 조직 영역의 점탄성 특성이다. 일부 실시예에서, 프로그래밍 언어 "R"은 모델을 실행하는 데 사용된다.
일부 실시예에서, 트레이닝은 다중 단계를 포함한다. 제1 단계에서, 예측 변수에 확률 가중치를 할당함으로써 초기 모델을 구성한다. 제2 단계에서, 초기 모델을 사용하여 목표 조직 영역의 점탄성 특성을 "추천"한다. 제3 단계에서, 검증(validation) 모듈은 목표 조직 영역의 점탄성 특성에 관한 검증된 데이터를 수락하고, 검증된 데이터를 재건(renovation) 확률 계산으로 피드백한다. 제1 단계, 제2 단계, 및 제3 단계 중 적어도 하나는, 연속적으로 또는 설정된 간격으로 1회 이상 반복될 수 있다.
신경망을 트레이닝하기 위한 방법
본 명세서에서 제공되는 다른 양태는, 목표 조직 영역의 탄성 특성을 결정하기 위해 신경망을 트레이닝하기 위한 컴퓨터 구현 방법이다. 일부 실시예에서, 도 2에 따르면, 방법은, 제1 트레이닝 세트를 생성하는 단계(201); 제1 트레이닝 세트를 사용하여 제1 스테이지에서 신경망을 트레이닝하는 단계(202); 제2 트레이닝 세트를 생성하는 단계(203); 및 제2 트레이닝 세트를 사용하여 제2 스테이지에서 신경망을 트레이닝하는 단계(204)를 포함한다.
일부 실시예에서, 제1 트레이닝 세트는 복수의 세트의 이미지 세트를 포함한다. 일부 실시예에서, 이미지들의 각각의 세트는 정지된 목표 조직 영역의 제1 스펙클 이미지 및 목표 조직 영역의 제2 스펙클 이미지를 포함한다. 일부 실시예에서, 목표 조직 영역이 변형되는 동안에 제2 스펙클 이미지가 캡처된다. 일부 실시예에서, 목표 조직 영역이 알려진 힘에 의해 변형되는 동안에 제2 스펙클 이미지가 캡처된다. 일부 실시예에서, 제2 트레이닝 세트는 제1 트레이닝 세트 그리고 탄성 특성 값이 제1 트레이닝 스테이지 후에 부정확하게 결정된 이미지 세트를 포함한다.
일부 실시예에서, 이미지 세트는 주관적인 이미지들의 세트, 객관적인 이미지들의 세트, 근접장 이미지들의 세트, 또는 이들의 임의의 조합을 포함한다. 일부 실시예에서, 목표 조직 영역에서 적어도 10개의 상이한 파장의 광을 방출하면서 이미지 세트가 획득된다. 일부 실시예에서, 목표 조직 영역에서 약 10 내지 약 1,000개의 상이한 파장의 광을 방출하면서 이미지 세트가 획득된다. 일부 실시예에서, 점탄성 특성은 점성 특성, 탄성 특성, 유체 역학 특성, 또는 이들의 임의의 조합을 포함한다. 일부 실시예에서, 공간 측정치는 1차원적, 2차원적, 또는 3차원적이다.
대안적인 실시예
다른 양태에서, 본 개시내용은 조직 변형을 추적하는 방법을 제공한다. 상기 방법은 (a) 스칼라 광류 판독값(reading)을 획득하는 단계 - 상기 스칼라 광류 판독값은 하나 이상의 레이저 스펙클 신호에 대응함 -; (b) 조직 영역에 대한 픽셀 단위(pixel-wise) 모션 크기 추정치를 결정하기 위해 상기 스칼라 광류 판독값을 사용하는 단계; 및 (c) 조직 영역의 변형을 추적하기 위해 시간 및 공간에 걸쳐 상기 픽셀 단위 모션 크기 추정치를 통합하는 단계를 포함한다. 일부 실시예에서, 하나 이상의 레이저 스펙클 신호는, 조직 영역의 변형과 연관되고, 이에 기초하고/하거나 그로부터 유도될 수 있다. 일부 실시예에서, 하나 이상의 레이저 스펙클 신호는 조직 영역의 변형 동안에 획득될 수 있다. 일부 실시예에서, 픽셀 단위 모션 크기 추정치는 무방향 모션 추정치를 포함할 수 있다. 일부 경우에, 방법은 (i) 픽셀 단위 모션 추정치를 (ii) 조직 영역의 깊이 및/또는 RGB-D 데이터와 결합하여 픽셀 단위 변위 맵을 생성하는 단계를 더 포함할 수 있다. 픽셀 단위 변위 맵은 하나 이상의 픽셀에서(또는 조직 영역의 이미지의 픽셀당) 조직 영역의 변형에 대한 시각적 또는 데이터 기반 표현을 포함할 수 있다.
용어 및 정의
달리 정의되지 않는 한, 여기에서 사용되는 모든 기술 용어는 본 개시내용이 속하는 기술 분야의 당업자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다.
본 명세서에 사용된 바와 같이, 단수 형태 "a", "an" 및 "the"는 문맥이 명백하게 달리 지시하지 않는 한 복수 참조를 포함한다. 본 명세서에서 "또는"에 대한 어떤 언급은 달리 언급되지 않는 한 "및/또는"을 포함하도록 의도된다.
본 명세서에 사용된 바와 같이, 일부 경우에 용어 "약"은 대략적으로 언급된 양이 되는 양을 지칭한다.
본 명세서에 사용된 바와 같이, 용어 "약"은 증분을 포함하여 10%, 5%, 또는 1%만큼 언급된 양에 가까운 양을 지칭한다.
본 명세서에 사용된 바와 같이, 백분율과 관련하여 용어 "약"은 증분을 포함하여 10%, 5% 또는 1%만큼 명시된 백분율보다 크거나 작은 양을 지칭한다.
본 명세서에 사용된 바와 같이, "적어도 하나", "하나 이상", 및 "및/또는"이라는 문구는, 동작시 접속 및 분리 둘 모두인 개방형 표현이다. 예를 들어, "A, B, 및 C 중 적어도 하나", "A, B, 또는 C 중 적어도 하나", "A, B, 및 C 중 하나 이상", "A, B, 또는 C 중 하나 이상" 및 "A, B 및/또는 C"는, A 단독, B 단독, C 단독, A와 B 함께, A와 C 함께, B와 C 함께, 또는 A, B 및 C 함께를 의미한다.
본 명세서에 사용된 바와 같이, 용어 "관류"는 장기 또는 조직을 통한 유체의 통과 측정을 의미한다. 일부 실시예에서, 관류는 혈액이 조직으로 전달되는 속도, 또는 단위 조직 질량당 단위 시간당 혈액 부피(혈류)로서 측정된다. 일부 실시예에서, 관류는 m³/(s·kg) 또는 ml/min/g 단위로 측정된다.
본 명세서에 사용된 바와 같이, "스펙클 이미지(speckle image)"라는 용어는 가간섭성 파동(wave) 집합의 상호 간섭에 의해 생성되는 패턴을 지칭한다. 일부 실시예에서, 파동은 상이한 위상 및 진폭을 갖는 동일한 주파수를 가지며, 이는 진폭이 무작위로 변하는 결과 파동을 제공하기 위해 함께 추가된다.
컴퓨팅 시스템
도 12를 참조하면, 컴퓨터 시스템(1200)(예를 들어, 처리 또는 컴퓨팅 시스템)을 포함하는 예시적인 기계를 묘사하는 블록도가 도시되어 있으며, 여기서 명령어 세트가 디바이스로 하여금, 본 개시내용의 정적 코드 스케줄링을 위한 양태 및/또는 방법론 중 임의의 하나 이상을 수행하거나 실행하게 하기 위해 실행될 수 있다. 도 12의 구성요소는, 예시일 뿐이며 특정 실시예를 구현하는 임의의 하드웨어, 소프트웨어, 임베디드 로직 구성요소, 또는 2 이상의 이러한 구성요소의 조합의 사용 또는 기능의 범위를 제한하지 않는다.
컴퓨터 시스템(1200)은 버스(1240)를 통해, 서로 및 다른 구성요소와 통신하는 하나 이상의 프로세서(1201), 메모리(1203), 및 저장 장치(storage)(1208)를 포함할 수 있다. 버스(1240)는 또한, 디스플레이(1232), 하나 이상의 입력 디바이스(1233)(이는 예를 들어, 키패드, 키보드, 마우스, 스타일러스 등을 포함할 수 있음), 하나 이상의 출력 디바이스(1234), 하나 이상의 저장 디바이스(1235), 및 다양한 유형의 저장 매체(1236)를 포함한다. 이러한 모든 요소는, 직접 또는 하나 이상의 인터페이스 또는 어댑터를 통해 버스(1240)에 인터페이싱될 수 있다. 예를 들어, 다양한 유형의 저장 매체(1236)는 저장 매체 인터페이스(1226)를 통해 버스(1240)와 인터페이싱될 수 있다. 컴퓨터 시스템(1200)은, 하나 이상의 집적 회로(IC), 인쇄 회로 기판(PCB), 모바일 핸드헬드 장치(예를 들어, 이동 전화 또는 PDA), 랩톱 또는 노트북 컴퓨터, 분산 컴퓨터 시스템, 컴퓨팅 그리드, 또는 서버 를 포함하지만 이에 제한되지 않는 임의의 적절한 물리적 형태를 가질 수 있다.
컴퓨터 시스템(1200)은 기능을 수행하는 하나 이상의 프로세서(들)(1201)(예를 들어, 중앙 처리 장치(CPU) 또는 범용 그래픽 처리 장치(GPGPU))를 포함한다. 프로세서(들)(1201)는 명령어, 데이터 또는 컴퓨터 주소의 임시 로컬 저장을 위한 캐시 메모리 유닛(1202)을 선택적으로 포함한다. 프로세서(들)(1201)는 컴퓨터 판독 가능 명령어의 실행을 지원하도록 구성된다. 컴퓨터 시스템(1200)은, 프로세서(들)(1201)가 메모리(1203), 저장 장치(1208), 저장 디바이스(1235), 및/또는 저장 매체(1236)와 같은 하나 이상의 유형의 컴퓨터 판독 가능 저장 매체에 구현된 비일시적 프로세서 실행 가능 명령어를 실행한 결과로서 도 12에 도시된 구성요소에 대한 기능을 제공할 수 있다. 컴퓨터 판독 가능 매체는 특정 실시예를 구현하는 소프트웨어를 저장할 수 있고, 프로세서(들)(1201)는 소프트웨어를 실행할 수 있다. 메모리(1203)는, 네트워크 인터페이스(1220)와 같은 적절한 인터페이스를 통해 (대량 저장 디바이스(들)(1235, 1236)와 같은) 하나 이상의 다른 컴퓨터 판독 가능 매체로부터, 또는 하나 이상의 다른 소스로부터 소프트웨어를 판독할 수 있다. 소프트웨어는 프로세서(들)(1201)로 하여금 본 명세서에 기술되거나 예시된 하나 이상의 프로세스 또는 상기 하나 이상의 프로세스의 하나 이상의 단계를 수행하게 할 수 있다. 이러한 프로세스 또는 단계를 수행하는 것은, 메모리(1203)에 저장된 데이터 구조를 정의하고 소프트웨어에 의해 지시된 대로 데이터 구조를 수정하는 것을 포함할 수 있다.
메모리(1203)는 랜덤 액세스 메모리 구성요소(예를 들어, RAM(1204))(예를 들어, 정적 RAM(SRAM), 동적 RAM(DRAM), 강유전체 랜덤 액세스 메모리(FRAM), 상변화 랜덤 액세스 메모리(PRAM) 등), 판독 전용 메모리 구성요소(예를 들어, ROM(1205)), 및 이들의 임의의 조합을 포함하지만 이에 제한되지 않는 다양한 구성요소(예를 들어, 기계 판독 가능 매체)를 포함할 수 있다. ROM(1205)은 프로세서(들)(1201)에 단방향으로 데이터 및 명령어를 통신하도록 작용할 수 있고, RAM(1204)은 프로세서(들)(1201)와 양방향으로 데이터 및 명령어를 통신하도록 작용할 수 있다. ROM(1205) 및 RAM(1204)은 아래에서 설명되는 임의의 적절한 유형의 컴퓨터 판독 가능 매체를 포함할 수 있다. 일 예에서, 시작 동안과 같이 컴퓨터 시스템(1200) 내의 요소들 간의 정보 전송을 돕는 기본 루틴을 포함하는 기본 입/출력 시스템(1206)(BIOS)은, 메모리(1203)에 저장될 수 있다.
고정 저장 장치(1208)는 선택적으로 저장 제어 유닛(1207)을 통해 프로세서(들)(1201)에 양방향으로 연결된다. 고정 저장 장치(1208)는 추가 데이터 저장 용량을 제공하고, 본 명세서에서 설명된 임의의 적절한 유형의 컴퓨터 판독 가능 매체를 포함할 수도 있다. 저장 장치(1208)는 운영 체제(1209), 실행 가능물(등)(1210), 데이터(1211), 애플리케이션(1212)(애플리케이션 프로그램) 등을 저장하는 데 사용될 수 있다. 저장 장치(1208)는 또한, 광 디스크 드라이브, 솔리드 스테이트 메모리 디바이스(예를 들어, 플래시 기반 시스템), 또는 상기의 것 중 임의의 것의 조합을 포함할 수 있다. 저장 장치(1208)의 정보는, 적절한 경우에, 메모리(1203)의 가상 메모리로서 통합될 수 있다.
일 예에서, 저장 디바이스(들)(1235)는 저장 디바이스 인터페이스(1225)를 통해 (예를 들어, 외부 포트 커넥터(미도시)를 통해) 컴퓨터 시스템(1200)과 제거 가능하게 인터페이싱될 수 있다. 특히, 저장 디바이스(들)(1235) 및 연관 기계 판독 가능 매체는 컴퓨터 시스템(1200)에 대한 기계 판독 가능 명령어, 데이터 구조, 프로그램 모듈, 및/또는 기타 데이터의 비휘발성 및/또는 휘발성 저장을 제공할 수 있다. 일 예로, 소프트웨어는 저장 디바이스(들)(1235)의 기계 판독 가능 매체 내에, 완전히 또는 부분적으로 상주할 수 있다. 다른 예에서, 소프트웨어는 프로세서(들)(1201) 내에, 완전히 또는 부분적으로 상주할 수 있다.
버스(1240)는 매우 다양한 서브시스템을 연결한다. 본 명세서에서, 버스에 대한 언급은 적절한 경우에, 공통 기능을 제공하는 하나 이상의 디지털 신호 라인을 포함할 수 있다. 버스(1240)는 다양한 버스 아키텍처 중 임의의 것을 사용하여, 메모리 버스, 메모리 제어기, 주변 버스, 로컬 버스, 및 이들의 임의의 조합을 포함하지만 이에 제한되지 않는 임의의 여러 유형의 버스 구조일 수 있다. 예로서 제한 없이, 이러한 아키텍처는, ISA(Industry Standard Architecture) 버스, EISA(Enhanced ISA) 버스, MCA(Micro Channel Architecture) 버스, VLB(Video Electronics Standards Association local bus), PCI(Peripheral Component Interconnect) 버스, PCI-X(PCI-Express) 버스, AGP(Accelerated Graphics Port) 버스, HTX(HyperTransport) 버스, SATA(Serial Advanced Technology Attachment) 버스, 및 이들의 임의의 조합을 포함한다.
컴퓨터 시스템(1200)은 또한 입력 장치(1233)를 포함할 수 있다. 일 예에서, 컴퓨터 시스템(1200)의 사용자는 입력 디바이스(들)(1233)를 통해 컴퓨터 시스템(1200) 내에 커맨드 및/또는 다른 정보를 입력할 수 있다. 입력 디바이스(들)(1233)의 예는, 영숫자 입력 디바이스(예를 들어, 키보드), 포인팅 디바이스(예를 들어, 마우스 또는 터치패드), 터치패드, 터치 스크린, 멀티 터치 스크린, 조이스틱, 스타일러스, 게임 패드, 오디오 입력 디바이스(예를 들어, 마이크, 음성 응답 시스템 등), 광학 스캐너, 비디오 또는 정지 이미지 캡처 디바이스(예를 들어, 카메라), 및 이들의 임의의 조합을 포함하지만 이에 제한되지는 않는다. 일부 실시예에서, 입력 디바이스로는 Kinect, Leap Motion 등이 있다. 입력 디바이스(들)(1233)는 직렬, 병렬, 게임 포트, USB, FIREWIRE, THUNDERBOLT, 또는 전술한 것의 임의의 조합을 포함하지만 이에 제한되지 않는 다양한 입력 인터페이스(1223)(예를 들어, 입력 인터페이스(1223)) 중 임의의 것을 통해 버스(1240)에 인터페이싱될 수 있다.
특정 실시예에서, 컴퓨터 시스템(1200)이 네트워크(1230)에 연결될 때, 컴퓨터 시스템(1200)은 네트워크(1230)에 연결된 다른 디바이스, 특히 모바일 디바이스 및 엔터프라이즈 시스템, 분산 컴퓨팅 시스템, 클라우드 저장 시스템, 클라우드 컴퓨팅 시스템 등과 통신할 수 있다. 컴퓨터 시스템(1200)과 주고받는 통신은 네트워크 인터페이스(1220)를 통해 전송될 수 있다. 예를 들어, 네트워크 인터페이스(1220)는, 네트워크(1230)로부터 하나 이상의 패킷(예를 들어, 인터넷 프로토콜(IP) 패킷)의 형태로 들어오는 통신(예를 들어, 다른 디바이스로부터의 요청 또는 응답)을 수신할 수 있고, 컴퓨터 시스템(1200)은 들어오는 통신을 처리용 메모리(1203)에 저장할 수 있다. 컴퓨터 시스템(1200)은 메모리(1203)에 하나 이상의 패킷의 형태로 나가는 통신(예를 들어, 다른 디바이스에 대한 요청 또는 응답)을 유사하게 저장할 수 있고, 네트워크 인터페이스(1220)로부터 네트워크(1230)로 통신할 수 있다. 프로세서(들)(1201)은 처리를 위해 메모리(1203)에 저장된 이들 통신 패킷에 액세스할 수 있다.
네트워크 인터페이스(1220)의 예는, 네트워크 인터페이스 카드, 모뎀, 및 이들의 임의의 조합을 포함하지만 이에 제한되지는 않는다. 네트워크(1230) 또는 네트워크 세그먼트(1230)의 예에는, 분산 컴퓨팅 시스템, 클라우드 컴퓨팅 시스템, WAN(광역 네트워크, wide area network)(예를 들어, 인터넷, 기업 네트워크), 근거리 통신망(LAN)(예를 들어, 사무실, 건물, 캠퍼스 또는 기타 비교적 작은 지리적 공간과 연관된 네트워크), 전화 네트워크, 2개의 컴퓨팅 디바이스 간의 직접 연결, P2P(peer-to-peer) 네트워크, 및 이들의 임의의 조합을 포함하지만 이에 제한되지는 않는다. 네트워크(1230)와 같은 네트워크는, 유선 및/또는 무선 통신 모드를 사용할 수 있다. 일반적으로, 임의의 네트워크 토폴로지를 사용할 수 있다.
정보 및 데이터는 디스플레이(1232)를 통해 표시될 수 있다. 디스플레이(1232)의 예는, 음극선관(CRT); 액정 디스플레이(LCD); 박막 트랜지스터 액정 디스플레이(TFT-LCD); 수동-매트릭스 OLED(PMOLED) 또는 능동-매트릭스 OLED(AMOLED) 디스플레이, 플라즈마 디스플레이, 및 이들의 임의의 조합과 같은 유기 액정 디스플레이(OLED)를 포함하지만 이에 제한되지는 않는다. 디스플레이(1232)는 버스(1240)를 통해, 프로세서(들)(1201), 메모리(1203), 및 고정 저장 장치(1208) 뿐만 아니라 입력 디바이스(들)(1233)와 같은 다른 디바이스들과 인터페이싱될 수 있다. 디스플레이(1232)는 비디오 인터페이스(1222)를 통해 버스(1240)에 링크되고, 디스플레이(1232)와 버스(1240) 사이의 데이터 전송은, 그래픽 제어기(1221)를 통해 제어될 수 있다. 일부 실시예에서, 디스플레이는 비디오 프로젝터이다. 일부 실시예에서, 디스플레이는 VR 헤드셋과 같은 HMD(head-mounted display)이다. 추가 실시예에서, 적절한 VR 헤드셋은, 비제한적인 예로서, HTC Vive, Oculus Rift, Samsung Gear VR, Microsoft HoloLens, Razer OSVR, FOVE VR, Zeiss VR One, Avegant Glyph, Freefly VR 헤드셋 등을 포함한다. 또 다른 실시예에서, 디스플레이는 본 명세서에에 개시된 것과 같은 디바이스들의 조합이다.
디스플레이(1232)에 더하여, 컴퓨터 시스템(1200)은 오디오 스피커, 프린터, 저장 장치, 및 이들의 임의의 조합을 포함하지만 이에 제한되지 않는 하나 이상의 다른 주변 출력 디바이스(1234)를 포함할 수 있다. 이러한 주변 출력 디바이스는 출력 인터페이스(1224)를 통해 버스(1240)에 연결될 수 있다. 출력 인터페이스(1224)의 예는, 직렬 포트, 병렬 연결, USB 포트, FIREWIRE 포트, THUNDERBOLT 포트, 및 이들의 임의의 조합을 포함하지만 이에 제한되지는 않는다.
추가로 또는 대안으로서, 컴퓨터 시스템(1200)은, 본 명세서에서 설명되거나 예시된 하나 이상의 프로세스 또는 하나 이상의 프로세스의 하나 이상의 단계를 실행하기 위해 소프트웨어 대신에 또는 이와 함께 작동할 수 있는 회로에 내장되거나 달리 구현된 로직의 결과로서 기능을 제공할 수 있다. 본 개시내용에서의 소프트웨어에 대한 언급은 로직을 포함할 수 있고, 로직에 대한 언급은 소프트웨어를 포함할 수 있다. 또한, 컴퓨터 판독 가능 매체에 대한 언급은, 적절한 경우, 실행을 위한 소프트웨어를 저장하는 회로(예를 들어, IC), 실행을 위한 로직을 구현하는 회로, 또는 둘 다를 포함할 수 있다. 본 개시내용은 하드웨어, 소프트웨어, 또는 둘 다의 임의의 적절한 조합을 포함한다.
당업자는 본 명세서에 개시된 실시예와 관련하여 설명된 다양한 예시적인 논리 블록, 모듈, 회로, 및 알고리즘 단계가, 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양자의 조합으로서 구현될 수 있다는 것을 인식할 것이다. 하드웨어와 소프트웨어의 이러한 호환성을 명확하게 설명하기 위해, 다양한 예시적인 구성요소, 블록, 모듈, 회로 및 단계가 일반적으로 이들의 기능면에서 위에서 설명되어 있다.
본 명세서에 개시된 실시예와 관련하여 설명된 다양한 예시적인 논리 블록, 모듈, 및 회로는, 여기에 설명된 기능을 수행하도록 설계된, 범용 프로세서, 디지털 신호 프로세서(DSP), 주문형 집적 회로(ASIC), 필드 프로그래머블 게이트 어레이(FPGA) 또는 다른 프로그램 가능 논리 디바이스, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 구성요소, 또는 이들의 임의의 조합으로 구현되거나 수행될 수 있다. 범용 프로세서는 마이크로프로세서일 수 있지만, 대안으로, 프로세서는 임의의 기존 프로세서, 제어기, 마이크로컨트롤러, 또는 상태 머신일 수 있다. 프로세서는 또한, 컴퓨팅 디바이스의 조합, 예를 들어 DSP와 마이크로프로세서의 조합, 복수의 마이크로프로세서, DSP 코어와 관련된 하나 이상의 마이크로프로세서, 또는 임의의 다른 그러한 구성으로서 구현될 수 있다.
본 명세서에서 개시된 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계는, 하드웨어, 하나 이상의 프로세서(들)에 의해 실행되는 소프트웨어 모듈, 또는 둘의 조합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 분리형 디스크, CD-ROM, 또는 당해 분야에 알려진 임의의 다른 형태의 저장 매체에 상주할 수 있다. 예시적인 저장 매체는 프로세서가 저장 매체로부터 정보를 판독하고 상기 저장 매체에 정보를 기록할 수 있도록 프로세서에 연결된다. 대안으로, 저장 매체는 프로세서에 통합될 수 있다. 프로세서 및 저장 매체는 ASIC에 상주할 수 있다. ASIC은 사용자 터미널에 상주할 수 있습니다. 대안으로, 프로세서 및 저장 매체는 사용자 단말에서 별개의 구성요소로서 상주할 수 있다.
본 명세서의 설명에 따르면, 적절한 컴퓨팅 디바이스는 비제한적인 예로서, 서버 컴퓨터, 데스크탑 컴퓨터, 랩톱 컴퓨터, 노트북 컴퓨터, 서브-노트북 컴퓨터, 넷북 컴퓨터, 넷패드 컴퓨터, 셋톱 컴퓨터, 미디어 스트리밍 디바이스, 핸드헬드 컴퓨터, 인터넷 기기, 모바일 스마트폰, 태블릿 컴퓨터, 개인 정보 단말기, 비디오 게임 콘솔, 및 차량을 포함한다. 당업자는 또한, 선택적인 컴퓨터 네트워크 연결을 갖는 선택된 텔레비전, 비디오 플레이어, 및 디지털 음악 플레이어가 본 명세서에서 설명된 시스템에서 사용하기에 적합하다는 것을 인식할 것이다. 다양한 실시예에서, 적절한 태블릿 컴퓨터는, 당업자에게 공지된 소책자, 슬레이트 및 컨버터블 구성을 갖는 것을 포함한다.
일부 실시예에서, 컴퓨팅 디바이스는 실행 가능한 명령어를 수행하도록 구성된 운영 체제를 포함한다. 운영 체제는 예를 들어, 디바이스의 하드웨어를 관리하고 애플리케이션의 실행을 위한 서비스를 제공하는 프로그램 및 데이터를 포함하는 소프트웨어이다. 당업자는 적절한 서버 운영 체제가 비제한적인 예로서 FreeBSD, OpenBSD, NetBSD®, Linux, Apple® Mac OS X Server®, Oracle® Solaris®, Windows Server®, 및 Novell® NetWare®를 포함할 수 있다. 당업자는 적절한 개인용 컴퓨터 운영 체제가 비제한적인 예로서 Microsoft® Windows®, Apple® Mac OS X®, UNIX®, 및 GNU/Linux®와 같은 UNIX 유사 운영 체제를 포함한다는 것을 인식할 것이다. 일부 실시예에서, 운영 체제는 클라우드 컴퓨팅에 의해 제공된다. 당업자는 또한, 적절한 모바일 스마트폰 운영 체제가 비제한적인 예로서, Nokia® Symbian® OS, Apple® iOS®, Research In Motion® BlackBerry OS®, Google® Android®, Microsoft® Windows Phone® OS, Microsoft® Windows Mobile® OS, Linux®, 및 Palm® WebOS®를 포함한다는 것을 인식할 것이다. 당업자는 또한 적절한 미디어 스트리밍 디바이스 운영 체제가 비제한적인 예로서 Apple TV®, Roku®, Boxee®, Google TV®, Google Chromecast®, Amazon Fire®, 및 Samsung® HomeSync®를 포함한다는 것을 인식할 것이다. 당업자는 또한, 적절한 비디오 게임 콘솔 운영 체제가 비제한적인 예로서 Sony® PS3®, Sony® PS4®, Microsoft® Xbox 360®, Microsoft Xbox One, Nintendo® Wii®, Nintendo® Wii U®, 및 Ouya®를 포함한다는 것을 인식할 것이다.
비일시적 컴퓨터 판독 가능 저장 매체
일부 실시예에서, 본 명세서에 개시된 플랫폼, 시스템, 매체, 및 방법은 선택적으로 네트워크화된 컴퓨팅 디바이스의 운영 체제에 의해 실행 가능한 명령어를 포함하는 프로그램으로 인코딩된 하나 이상의 비일시적 컴퓨터 판독 가능 저장 매체를 포함한다. 추가 실시예에서, 컴퓨터 판독 가능 저장 매체는 컴퓨팅 디바이스의 유형의(tangible) 구성요소이다. 또 다른 실시예에서, 컴퓨터 판독 가능 저장 매체는 컴퓨팅 디바이스로부터 선택적으로 제거 가능하다. 일부 실시예에서, 컴퓨터 판독 가능 저장 매체는 비제한적인 예로서, CD-ROM, DVD, 플래시 메모리 디바이스, 솔리드 스테이트 메모리, 자기 디스크 드라이브, 자기 테이프 드라이브, 광 디스크 드라이브, 클라우드 컴퓨팅 시스템 및 서비스를 포함하는 분산 컴퓨팅 시스템 등을 포함한다. 일부 경우에는, 프로그램과 명령어는 매체에 영구적으로, 실질적으로 영구적으로, 반영구적으로, 또는 비일시적으로 인코딩된다.
컴퓨터 프로그램
일부 실시예에서, 본 명세서에 개시된 플랫폼, 시스템, 매체, 및 방법은 적어도 하나의 컴퓨터 프로그램, 또는 그 사용을 포함한다. 컴퓨터 프로그램은 지정된 작업을 수행하도록 작성된 컴퓨팅 디바이스의 CPU의 하나 이상의 프로세서(들)에 의해 실행 가능한 일련의 명령어를 포함한다. 컴퓨터 판독 가능 명령어는, 특정 작업을 수행하거나 특정 추상 데이터 유형을 구현하는 기능, 객체, API(응용 프로그래밍 인터페이스), 컴퓨팅 데이터 구조 등과 같은 프로그램 모듈로서 구현될 수 있다. 본 명세서에 제공된 개시 내용에 비추어, 당업자는 컴퓨터 프로그램이 다양한 언어의 다양한 버전으로 작성될 수 있음을 인식할 것이다.
컴퓨터 판독 가능 명령어의 기능은 다양한 환경에서 원하는 대로 결합되거나 배포될 수 있다. 일부 실시예에서, 컴퓨터 프로그램은 하나의 명령어 시퀀스를 포함한다. 일부 실시예에서, 컴퓨터 프로그램은 복수의 명령어 시퀀스를 포함한다. 일부 실시예에서, 컴퓨터 프로그램은 하나의 위치로부터 제공된다. 다른 실시예에서, 컴퓨터 프로그램은 복수의 위치로부터 제공된다. 다양한 실시예에서, 컴퓨터 프로그램은 하나 이상의 소프트웨어 모듈을 포함한다. 다양한 실시예에서, 컴퓨터 프로그램은, 부분적으로 또는 전체적으로, 하나 이상의 웹 애플리케이션, 하나 이상의 모바일 애플리케이션, 하나 이상의 독립형 애플리케이션, 하나 이상의 웹 브라우저 플러그인, 확장, 애드인(add-ins) 또는 부가, 또는 이들의 조합을 포함한다.
소프트웨어 모듈
일부 실시예에서, 본 명세서에 개시된 플랫폼, 시스템, 매체, 및 방법은 소프트웨어, 서버, 및/또는 데이터베이스 모듈, 또는 이들의 사용을 포함한다. 본 명세서에 제공된 개시내용을 고려하여, 소프트웨어 모듈은 당해 기술 분야에 공지된 기계, 소프트웨어, 및 언어를 사용하여 당업자에게 공지된 기술에 의해 생성된다. 본 명세서에 개시된 소프트웨어 모듈은, 복수의 방식으로 구현된다. 다양한 실시예에서, 소프트웨어 모듈은 파일, 코드 섹션, 프로그래밍 객체, 프로그래밍 구조, 또는 이들의 조합을 포함한다. 추가의 다양한 실시예에서, 소프트웨어 모듈은 복수의 파일, 복수의 코드 섹션, 복수의 프로그래밍 객체, 복수의 프로그래밍 구조, 또는 이들의 조합을 포함한다. 다양한 실시예에서, 하나 이상의 소프트웨어 모듈은 비제한적인 예로서, 웹 애플리케이션, 모바일 애플리케이션, 및 독립형 애플리케이션을 포함한다. 일부 실시예에서, 소프트웨어 모듈은 하나의 컴퓨터 프로그램 또는 애플리케이션 내에 있다. 다른 실시예에서, 소프트웨어 모듈은 하나 이상의 컴퓨터 프로그램 또는 애플리케이션 내에 있다. 일부 실시예에서, 소프트웨어 모듈은 하나의 기계에서 호스팅된다. 다른 실시예에서, 소프트웨어 모듈은 2 이상의 기계에서 호스팅된다. 추가 실시예에서, 소프트웨어 모듈은 클라우드 컴퓨팅 플랫폼과 같은 분산 컴퓨팅 플랫폼에서 호스팅된다. 일부 실시예에서, 소프트웨어 모듈은 하나의 위치에 있는 하나 이상의 기계에서 호스팅된다. 다른 실시예에서, 소프트웨어 모듈은 2 이상의 위치에 있는 하나 이상의 기계에서 호스팅된다.
데이터베이스
일부 실시예에서, 본 명세서에 개시된 플랫폼, 시스템, 매체, 및 방법은 하나 이상의 데이터베이스, 또는 이들의 사용을 포함한다. 본 명세서에 제공된 개시내용을 고려하여, 당업자는 많은 데이터베이스가 이미지, 유량, 힘, 탄성, 관류, 점탄성 정보, 또는 이들의 임의의 조합의 저장 및 검색에 적합하다는 것을 인식할 것이다. 다양한 실시예에서, 적합한 데이터베이스는 비제한적인 예로서, 관계형 데이터베이스, 비관계형 데이터베이스, 객체 지향 데이터베이스, 객체 데이터베이스, 엔티티-관계 모델 데이터베이스, 연관 데이터베이스, 및 XML 데이터베이스를 포함한다. 추가의 비제한적인 예는, SQL, PostgreSQL, MySQL, 오라클(Oracle), DB2, 및 Sybase를 포함한다. 일부 실시예에서, 데이터베이스는 인터넷 기반이다. 추가 실시예에서, 데이터베이스는 웹 기반이다. 또 다른 실시예에서, 데이터베이스는 클라우드 컴퓨팅 기반이다. 특정 실시예에서, 데이터베이스는 분산 데이터베이스이다. 다른 실시예에서, 데이터베이스는 하나 이상의 로컬 컴퓨터 저장 디바이스에 기초한다.

Claims (99)

  1. 목표 조직 영역에 인가되는 추정된 힘을 결정하기 위한 컴퓨터 구현 방법으로서,
    (a) 상기 목표 조직 영역의 이미지 세트를 획득하는 단계;
    (b) 적어도 상기 이미지 세트에 기초하여 상기 목표 조직 영역의 관류(perfusion) 특성, 공간 측정치 세트, 또는 둘 모두를 결정하는 단계;
    (c) 적어도 상기 공간 측정치 세트에 기초하여 상기 목표 조직 영역의 변형을 결정하는 단계;
    (d) 적어도 상기 목표 조직 영역의 변형, 상기 목표 조직 영역의 관류 특성, 또는 둘 모두에 기초하여 상기 목표 조직 영역의 점탄성 특성을 결정하는 단계; 및
    (e) 적어도 상기 목표 조직 영역의 점탄성 특성에 기초하여 상기 목표 조직 영역에 인가되는 상기 추정된 힘을 결정하는 단계
    를 포함하는 컴퓨터 구현 방법.
  2. 제1항에 있어서, 상기 이미지 세트는 레이저 스펙클(speckle) 이미지, RGB 이미지, RGB 깊이 이미지, 또는 이들의 임의의 조합을 포함하는 컴퓨터 구현 방법.
  3. 제1항 또는 제2항에 있어서, 상기 레이저 스펙클 이미지는 주관적인 레이저 스펙클 이미지, 객관적인 레이저 스펙클 이미지, 근접장(near-field) 레이저 스펙클 이미지, 또는 이들의 임의의 조합인 것인 컴퓨터 구현 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 이미지 세트는 상기 목표 조직 영역에서 2개 이상의 상이한 파장의 광을 방출하면서 획득되는 것인 컴퓨터 구현 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 이미지 세트는 상기 목표 조직 영역에서 약 10 내지 약 1,000개의 상이한 파장의 광을 방출하면서 획득되는 것인 컴퓨터 구현 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 목표 조직 영역의 이미지 세트 및 상기 목표 조직 영역의 공간 측정치 세트는 상기 목표 조직 영역이 변형을 겪을 때 실시간으로 동시에 획득되는 것인 컴퓨터 구현 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 목표 조직 영역의 이미지 세트는 체외에서(in-vitro) 획득되는 것인 컴퓨터 구현 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 목표 조직 영역의 이미지 세트는 체내에서(in-vivo) 획득되는 것인 컴퓨터 구현 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서, 상기 목표 조직 영역이 미리 결정된 힘에 의해 알려진 변형을 겪는 동안에 상기 목표 조직 영역의 이미지 세트 중 적어도 하나가 획득되는 것인 컴퓨터 구현 방법.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서, 상기 목표 조직 영역은 연조직(soft tissue) 영역인 것인 컴퓨터 구현 방법.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서, 상기 목표 조직 영역의 기계적 특성, 점탄성 특성, 또는 둘 모두를 결정하는 단계는, 기계 학습 알고리즘에 의해 수행되는 것인 컴퓨터 구현 방법.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서, 상기 점탄성 특성은 점성 특성, 탄성 특성, 유체 역학 특성, 또는 이들의 임의의 조합을 포함하는 것인 컴퓨터 구현 방법.
  13. 제1항 내지 제12항 중 어느 한 항에 있어서, 깊이 센서로부터 깊이 측정치를 획득하는 단계를 더 포함하고, 상기 목표 조직 영역의 변형은 또한, 상기 깊이 측정치에 기초하는 것인 컴퓨터 구현 방법.
  14. 제1항 내지 제13항 중 어느 한 항에 있어서, 상기 공간 측정치는 1차원적, 2차원적, 또는 3차원적인 것인 컴퓨터 구현 방법.
  15. 제1항 내지 제14항 중 어느 한 항에 있어서, 상기 깊이 센서는 스테레오 카메라, 비디오 카메라, 비행 시간(time of flight) 센서, 또는 이들의 임의의 조합을 포함하는 것인 컴퓨터 구현 방법.
  16. 제1항 내지 제15항 중 어느 한 항에 있어서, 상기 목표 조직 영역의 변형은 1차원 변형, 2차원 변형, 3차원 변형, 또는 이들의 임의의 조합을 포함하는 것인 컴퓨터 구현 방법.
  17. 제1항 내지 제16항 중 어느 한 항에 있어서, 상기 목표 조직 영역에 인가되는 추정된 힘을 결정하는 단계는, 기계 학습 알고리즘에 의해 수행되는 것인 컴퓨터 구현 방법.
  18. 제1항 내지 제17항 중 어느 한 항에 있어서, 상기 힘은 인간 조작자에 의해 인가되고, 상기 방법은 상기 목표 조직 영역에 인가되는 결정된 추정된 힘에 기초하여 조작자에게 피드백을 제공하는 단계를 더 포함하는 컴퓨터 구현 방법.
  19. 제1항 내지 제18항 중 어느 한 항에 있어서, 상기 피드백은 시각적 피드백, 청각적 피드백, 햅틱 피드백, 또는 이들의 임의의 조합을 포함하는 것인 컴퓨터 구현 방법.
  20. 제1항 내지 제19항 중 어느 한 항에 있어서, 상기 시각적 피드백은 상기 추정된 힘에 대응하는, 컬러 코딩된 시각적 피드백, 디스플레이된 값, 맵, 또는 이들의 임의의 조합을 포함하는 것인 컴퓨터 구현 방법.
  21. 제1항 내지 제20항 중 어느 한 항에 있어서, 상기 추정된 힘과 상기 피드백 사이의 관계는 선형, 비선형, 또는 지수적인 것인 컴퓨터 구현 방법.
  22. 제1항 내지 제21항 중 어느 한 항에 있어서, 상기 힘은 자율 또는 반자율 디바이스에 의해 인가되고, 상기 방법은 상기 변형된 조직에 의해 인가되는 힘에 기초하여 자율 또는 반자율 디바이스에 제어 피드백을 제공하는 단계를 더 포함하는 컴퓨터 구현 방법.
  23. 제1항 내지 제22항 중 어느 한 항에 있어서, 상기 자율 또는 반자율 디바이스는 상기 제어 피드백에 기초하여 그 처리를 변경하는 것인 컴퓨터 구현 방법.
  24. 제1항 내지 제23항 중 어느 한 항에 있어서, 적어도 (i) 상기 이미지 세트, (ii) 상기 공간 측정치, (iii) 상기 목표 조직 영역의 점탄성 특성, (iv) 상기 목표 조직 영역의 변형, 또는 이들의 임의의 조합에 기초하여 상기 목표 조직 내의 유체 유량(fluid flow rate)을 결정하는 단계를 더 포함하는 컴퓨터 구현 방법.
  25. 제1항 내지 제24항 중 어느 한 항에 있어서, 상기 유체는 혈액, 땀, 정액, 타액, 고름, 소변, 공기, 점액, 우유, 담즙, 호르몬, 또는 이들의 임의의 조합인 것인 컴퓨터 구현 방법.
  26. 제1항 내지 제25항 중 어느 한 항에 있어서, 상기 목표 조직 내의 유체 유량은 기계 학습 알고리즘에 의해 결정되는 것인 컴퓨터 구현 방법.
  27. 제1항 내지 제26항 중 어느 한 항에 있어서, 상기 유체 유량은 기계 학습 알고리즘에 의해 결정되는 것인 컴퓨터 구현 방법.
  28. 제1항 내지 제27항 중 어느 한 항에 있어서, 적어도 (i) 상기 이미지 세트, (ii) 상기 공간 측정치, (iii) 상기 목표 조직 영역의 점탄성 특성, (iv) 상기 목표 조직 영역의 변형, 또는 이들의 임의의 조합에 기초하여 상기 목표 조직의 식별(identification)을 결정하는 단계를 더 포함하는 컴퓨터 구현 방법.
  29. 제1항 내지 제28항 중 어느 한 항에 있어서, 상기 목표 조직의 식별은 기계 학습 알고리즘에 의해 결정되는 것인 컴퓨터 구현 방법.
  30. 제1항 내지 제29항 중 어느 한 항에 있어서, 상기 목표 조직의 식별은 상기 목표 조직이 암(cancerous), 양성(benign), 악성(malignant), 또는 건강하다(healthy)는 식별인 것인 컴퓨터 구현 방법.
  31. 적어도 하나의 프로세서, 실행 가능한 명령어를 수행하도록 구성된 운영 체제, 메모리, 및 컴퓨터 프로그램을 포함하는 디지털 프로세싱 디바이스를 포함하는 컴퓨터 구현 시스템에 있어서,
    상기 컴퓨터 프로그램은, 목표 조직 영역에 인가되는 추정된 힘을 결정하기 위한 애플리케이션을 생성하도록 상기 디지털 프로세싱 디바이스에 의해 실행 가능한 명령어를 포함하고, 상기 애플리케이션은:
    (a) 목표 조직 영역의 이미지 세트를 획득하는 모듈;
    (b) 적어도 상기 이미지 세트에 기초하여 상기 목표 조직 영역의 관류 특성, 공간 측정치 세트, 또는 둘 모두를 결정하는 모듈;
    (c) 적어도 상기 공간 측정치 세트에 기초하여 상기 목표 조직 영역의 변형을 결정하는 모듈;
    (d) 적어도 상기 목표 조직 영역의 변형, 상기 목표 조직 영역의 관류 특성, 또는 둘 모두에 기초하여 상기 목표 조직 영역의 점탄성 특성을 결정하는 모듈; 및
    (e) 적어도 상기 목표 조직 영역의 점탄성 특성에 기초하여 상기 목표 조직 영역에 인가되는 추정된 힘을 결정하는 모듈
    을 포함하는 것인 컴퓨터 구현 시스템.
  32. 제31항에 있어서, 상기 이미지 세트는 레이저 스펙클 이미지, RGB 이미지, RGB 깊이 이미지, 또는 이들의 임의의 조합을 포함하는 컴퓨터 구현 시스템.
  33. 제31항 또는 제32항에 있어서, 상기 레이저 스펙클 이미지는 주관적인 레이저 스펙클 이미지, 객관적인 레이저 스펙클 이미지, 근접장 레이저 스펙클 이미지, 또는 이들의 임의의 조합인 것인 컴퓨터 구현 시스템.
  34. 제31항 내지 제33항 중 어느 한 항에 있어서, 상기 이미지 세트는 상기 목표 조직 영역에서 2개 이상의 상이한 파장의 광을 방출하면서 획득되는 것인 컴퓨터 구현 시스템.
  35. 제31항 내지 제34항 중 어느 한 항에 있어서, 상기 이미지 세트는 상기 목표 조직 영역에서 약 10 내지 약 1,000개의 상이한 파장의 광을 방출하면서 획득되는 것인 컴퓨터 구현 시스템.
  36. 제31항 내지 제35항 중 어느 한 항에 있어서, 상기 목표 조직 영역의 이미지 세트 및 상기 목표 조직 영역의 공간 측정치 세트는 상기 목표 조직 영역이 변형을 겪을 때 실시간으로 동시에 획득되는 것인 컴퓨터 구현 시스템.
  37. 제31항 내지 제36항 중 어느 한 항에 있어서, 상기 목표 조직 영역의 이미지 세트는 체외에서 획득되는 것인 컴퓨터 구현 시스템.
  38. 제31항 내지 제37항 중 어느 한 항에 있어서, 상기 목표 조직 영역의 이미지 세트는 체내에서 획득되는 것인 컴퓨터 구현 시스템.
  39. 제31항 내지 제38항 중 어느 한 항에 있어서, 상기 목표 조직 영역이 미리 결정된 힘에 의해 알려진 변형을 겪는 동안에 상기 목표 조직 영역의 이미지 세트 중 적어도 하나가 획득되는 것인 컴퓨터 구현 시스템.
  40. 제31항 내지 제39항 중 어느 한 항에 있어서, 상기 목표 조직 영역은 연조직 영역인 것인 컴퓨터 구현 시스템.
  41. 제31항 내지 제40항 중 어느 한 항에 있어서, 상기 목표 조직 영역의 기계적 특성, 점탄성 특성, 또는 둘 모두를 결정하는 것은, 기계 학습 알고리즘에 의해 수행되는 것인 컴퓨터 구현 시스템.
  42. 제31항 내지 제41항 중 어느 한 항에 있어서, 상기 점탄성 특성은 점성 특성, 탄성 특성, 유체 역학 특성, 또는 이들의 임의의 조합을 포함하는 것인 컴퓨터 구현 시스템.
  43. 제31항 내지 제42항 중 어느 한 항에 있어서, 상기 애플리케이션은 깊이 센서로부터 깊이 측정치를 획득하는 모듈을 더 포함하고, 상기 목표 조직 영역의 변형은 또한, 상기 깊이 측정치에 기초하는 것인 컴퓨터 구현 시스템.
  44. 제31항 내지 제43항 중 어느 한 항에 있어서, 상기 공간 측정치는 1차원적, 2차원적, 또는 3차원적인 것인 컴퓨터 구현 시스템.
  45. 제11항 내지 제44항 중 어느 한 항에 있어서, 상기 깊이 센서는 스테레오 카메라, 비디오 카메라, 비행 시간 센서, 또는 이들의 임의의 조합을 포함하는 것인 컴퓨터 구현 시스템.
  46. 제31항 내지 제45항 중 어느 한 항에 있어서, 상기 목표 조직 영역의 변형은 1차원 변형, 2차원 변형, 3차원 변형, 또는 이들의 임의의 조합을 포함하는 것인 컴퓨터 구현 시스템.
  47. 제31항 내지 제46항 중 어느 한 항에 있어서, 상기 목표 조직 영역에 인가되는 추정된 힘을 결정하는 것은, 기계 학습 알고리즘에 의해 수행되는 것인 컴퓨터 구현 시스템.
  48. 제31항 내지 제47항 중 어느 한 항에 있어서, 상기 힘은 인간 조작자에 의해 인가되고, 상기 애플리케이션은 상기 목표 조직 영역에 인가되는 상기 결정된 추정된 힘에 기초하여 상기 조작자에게 피드백을 제공하는 모듈을 더 포함하는 컴퓨터 구현 시스템.
  49. 제31항 내지 제48항 중 어느 한 항에 있어서, 상기 피드백은 시각적 피드백, 청각적 피드백, 햅틱 피드백, 또는 이들의 임의의 조합을 포함하는 컴퓨터 구현 시스템.
  50. 제31항 내지 제49항 중 어느 한 항에 있어서, 상기 시각적 피드백은 상기 추정된 힘에 대응하는, 컬러 코딩된 시각적 피드백, 디스플레이된 값, 맵, 또는 이들의 임의의 조합을 포함하는 것인 컴퓨터 구현 시스템.
  51. 제31항 내지 제50항 중 어느 한 항에 있어서, 상기 추정된 힘과 상기 피드백 사이의 관계는 선형, 비선형, 또는 지수적인 것인 컴퓨터 구현 시스템.
  52. 제31항 내지 제51항 중 어느 한 항에 있어서, 상기 힘은 자율 또는 반자율 디바이스에 의해 인가되고, 상기 애플리케이션은 상기 변형된 조직에 의해 인가되는 힘에 기초하여 자율 또는 반자율 디바이스에 제어 피드백을 제공하는 모듈을 더 포함하는 것인 컴퓨터 구현 시스템.
  53. 제31항 내지 제52항 중 어느 한 항에 있어서, 상기 자율 또는 반자율 디바이스는 상기 제어 피드백에 기초하여 그 처리를 변경하는 것인 컴퓨터 구현 시스템.
  54. 제31항 내지 제53항 중 어느 한 항에 있어서, 상기 애플리케이션은 적어도 상기 목표 조직 영역의, (i) 상기 이미지 세트, (ii) 상기 공간 측정치, (iii) 상기 점탄성 특성, (iv) 상기 목표 조직 영역의 변형, 또는 이들의 임의의 조합에 기초하여 상기 목표 조직 내의 유체 유량을 결정하는 모듈을 더 포함하는 컴퓨터 구현 시스템.
  55. 제31항 내지 제54항 중 어느 한 항에 있어서, 상기 유체는 혈액, 땀, 정액, 타액, 고름, 소변, 공기, 점액, 우유, 담즙, 호르몬, 또는 이들의 임의의 조합인 것인 컴퓨터 구현 시스템.
  56. 제31항 내지 제55항 중 어느 한 항에 있어서, 상기 목표 조직 내의 유체 유량은 기계 학습 알고리즘에 의해 결정되는 것인 컴퓨터 구현 시스템.
  57. 제31항 내지 제56항 중 어느 한 항에 있어서, 상기 유체 유량은 기계 학습 알고리즘에 의해 결정되는 것인 컴퓨터 구현 시스템.
  58. 제31항 내지 제57항 중 어느 한 항에 있어서, 상기 애플리케이션은, 적어도 상기 목표 조직 영역의, (i) 상기 이미지 세트, (ii) 상기 공간 측정치, (iii) 상기 점탄성 특성, (iv) 상기 목표 조직 영역의 변형, 또는 이들의 임의의 조합에 기초하여 상기 목표 조직의 식별을 결정하는 모듈을 더 포함하는 컴퓨터 구현 시스템.
  59. 제31항 내지 제58항 중 어느 한 항에 있어서, 상기 목표 조직의 식별은 기계 학습 알고리즘에 의해 결정되는 것인 컴퓨터 구현 시스템.
  60. 제31항 내지 제59항 중 어느 한 항에 있어서, 상기 목표 조직의 식별은 상기 목표 조직이 암, 양성, 악성, 또는 건강하다는 식별인 것인 컴퓨터 구현 시스템.
  61. 목표 조직 영역에 인가되는 추정된 힘을 결정하기 위한 애플리케이션을 생성하기 위해 프로세서에 의해 실행가능한 명령어를 포함하는 컴퓨터 프로그램으로 인코딩된 비일시적 컴퓨터 판독 가능 저장 매체에 있어서,
    상기 애플리케이션은:
    (a) 목표 조직 영역의 이미지 세트를 획득하는 모듈;
    (b) 적어도 상기 이미지 세트에 기초하여 상기 목표 조직 영역의 관류 특성, 공간 측정치 세트, 또는 둘 모두를 결정하는 모듈;
    (c) 적어도 상기 공간 측정치 세트에 기초하여 상기 목표 조직 영역의 변형을 결정하는 모듈;
    (d) 적어도 상기 목표 조직 영역의 변형, 상기 목표 조직 영역의 관류 특성, 또는 둘 모두에 기초하여 상기 목표 조직 영역의 점탄성 특성을 결정하는 모듈; 및
    (e) 적어도 상기 목표 조직 영역의 점탄성 특성에 기초하여 상기 목표 조직 영역에 인가되는 추정된 힘을 결정하는 모듈
    을 포함하는 것인 비일시적 컴퓨터 판독 가능 저장 매체.
  62. 제61항에 있어서, 상기 이미지 세트는 레이저 스펙클 이미지, RGB 이미지, RGB 깊이 이미지, 또는 이들의 임의의 조합을 포함하는 비일시적 컴퓨터 판독 가능 저장 매체.
  63. 제61항 또는 제62항에 있어서, 상기 레이저 스펙클 이미지는 주관적인 레이저 스펙클 이미지, 객관적인 레이저 스펙클 이미지, 근접장 레이저 스펙클 이미지, 또는 이들의 임의의 조합인 것인 비일시적 컴퓨터 판독 가능 저장 매체.
  64. 제61항 내지 제63항 중 어느 한 항에 있어서, 상기 이미지 세트는 상기 목표 조직 영역에서 2개 이상의 상이한 파장의 광을 방출하면서 획득되는 것인 비일시적 컴퓨터 판독 가능 저장 매체.
  65. 제61항 내지 제64항 중 어느 한 항에 있어서, 상기 이미지 세트는 상기 목표 조직 영역에서 약 10 내지 약 1,000개의 상이한 파장의 광을 방출하면서 획득되는 것인 비일시적 컴퓨터 판독 가능 저장 매체.
  66. 제61항 내지 제65항 중 어느 한 항에 있어서, 상기 목표 조직 영역의 이미지 세트 및 상기 목표 조직 영역의 공간 측정치 세트는 상기 목표 조직 영역이 변형을 겪을 때 실시간으로 동시에 획득되는 것인 비일시적 컴퓨터 판독 가능 저장 매체.
  67. 제61항 내지 제66항 중 어느 한 항에 있어서, 상기 목표 조직 영역의 이미지 세트는 체외에서 획득되는 것인 비일시적 컴퓨터 판독 가능 저장 매체.
  68. 제61항 내지 제67항 중 어느 한 항에 있어서, 상기 목표 조직 영역의 이미지 세트는 체내에서 획득되는 것인 비일시적 컴퓨터 판독 가능 저장 매체.
  69. 제61항 내지 제68항 중 어느 한 항에 있어서, 상기 목표 조직 영역이 미리 결정된 힘에 의해 알려진 변형을 겪는 동안에 상기 목표 조직 영역의 이미지 세트 중 적어도 하나가 획득되는 것인 비일시적 컴퓨터 판독 가능 저장 매체.
  70. 제61항 내지 제69항 중 어느 한 항에 있어서, 상기 목표 조직 영역은 연조직 영역인 것인 비일시적 컴퓨터 판독 가능 저장 매체.
  71. 제61항 내지 제70항 중 어느 한 항에 있어서, 상기 목표 조직 영역의 기계적 특성, 점탄성 특성, 또는 둘 모두를 결정하는 것은, 기계 학습 알고리즘에 의해 수행되는 것인 비일시적 컴퓨터 판독 가능 저장 매체.
  72. 제61항 내지 제71항 중 어느 한 항에 있어서, 상기 점탄성 특성은 점성 특성, 탄성 특성, 유체 역학 특성, 또는 이들의 임의의 조합을 포함하는 것인 비일시적 컴퓨터 판독 가능 저장 매체.
  73. 제61항 내지 제72항 중 어느 한 항에 있어서, 상기 애플리케이션은, 깊이 센서로부터 깊이 측정치를 획득하는 모듈을 더 포함하고, 상기 목표 조직 영역의 변형은 또한, 상기 깊이 측정치에 기초하는 것인 비일시적 컴퓨터 판독 가능 저장 매체.
  74. 제61항 내지 제73항 중 어느 한 항에 있어서, 상기 공간 측정치는 1차원적, 2차원적, 또는 3차원적인 것인 비일시적 컴퓨터 판독 가능 저장 매체.
  75. 제61항 내지 제74항 중 어느 한 항에 있어서, 상기 깊이 센서는 스테레오 카메라, 비디오 카메라, 비행 시간 센서, 또는 이들의 임의의 조합을 포함하는 것인 비일시적 컴퓨터 판독 가능 저장 매체.
  76. 제61항 내지 제75항 중 어느 한 항에 있어서, 상기 목표 조직 영역의 변형은 1차원 변형, 2차원 변형, 3차원 변형, 또는 이들의 임의의 조합을 포함하는 것인 비일시적 컴퓨터 판독 가능 저장 매체.
  77. 제61항 내지 제76항 중 어느 한 항에 있어서, 상기 목표 조직 영역에 인가되는 추정된 힘을 결정하는 것은, 기계 학습 알고리즘에 의해 수행되는 것인 비일시적 컴퓨터 판독 가능 저장 매체.
  78. 제61항 내지 제77항 중 어느 한 항에 있어서, 상기 힘은 인간 조작자에 의해 인가되고, 상기 애플리케이션은 상기 목표 조직 영역에 인가되는 상기 결정된 추정된 힘에 기초하여 상기 조작자에게 피드백을 제공하는 모듈을 더 포함하는 비일시적 컴퓨터 판독 가능 저장 매체.
  79. 제61항 내지 제78항 중 어느 한 항에 있어서, 상기 피드백은 시각적 피드백, 청각적 피드백, 햅틱 피드백, 또는 이들의 임의의 조합을 포함하는 것인 비일시적 컴퓨터 판독 가능 저장 매체.
  80. 제61항 내지 제79항 중 어느 한 항에 있어서, 상기 시각적 피드백은 상기 추정된 힘에 대응하는, 컬러 코딩된 시각적 피드백, 디스플레이된 값, 맵, 또는 이들의 임의의 조합을 포함하는 것인 비일시적 컴퓨터 판독 가능 저장 매체.
  81. 제61항 내지 제80항 중 어느 한 항에 있어서, 상기 추정된 힘과 상기 피드백 사이의 관계는 선형, 비선형, 또는 지수적인 것인 비일시적 컴퓨터 판독 가능 저장 매체.
  82. 제61항 내지 제81항 중 어느 한 항에 있어서, 상기 힘은 자율 또는 반자율 디바이스에 의해 인가되고, 상기 애플리케이션은 상기 변형된 조직에 의해 인가되는 힘에 기초하여 상기 자율 또는 반자율 디바이스에 제어 피드백을 제공하는 모듈을 더 포함하는 비일시적 컴퓨터 판독 가능 저장 매체.
  83. 제61항 내지 제82항 중 어느 한 항에 있어서, 상기 자율 또는 반자율 디바이스는 상기 제어 피드백에 기초하여 그 처리를 변경하는 것인 비일시적 컴퓨터 판독 가능 저장 매체.
  84. 제61항 내지 제83항 중 어느 한 항에 있어서, 상기 애플리케이션은, 적어도 상기 목표 조직 영역의, (i) 상기 이미지 세트, (ii) 상기 공간 측정치, (iii) 상기 점탄성 특성, (iv) 상기 목표 조직 영역의 변형, 또는 이들의 임의의 조합에 기초하여 상기 목표 조직 내의 유체 유량을 결정하는 모듈을 더 포함하는 비일시적 컴퓨터 판독 가능 저장 매체.
  85. 제61항 내지 제84항 중 어느 한 항에 있어서, 상기 유체는 혈액, 땀, 정액, 타액, 고름, 소변, 공기, 점액, 우유, 담즙, 호르몬, 또는 이들의 임의의 조합인 것인 비일시적 컴퓨터 판독 가능 저장 매체.
  86. 제61항 내지 제85항 중 어느 한 항에 있어서, 상기 목표 조직 내의 유체 유량은 기계 학습 알고리즘에 의해 결정되는 것인 비일시적 컴퓨터 판독 가능 저장 매체.
  87. 제61항 내지 제86항 중 어느 한 항에 있어서, 상기 유체 유량은 기계 학습 알고리즘에 의해 결정되는 것인 비일시적 컴퓨터 판독 가능 저장 매체.
  88. 제61항 내지 제87항 중 어느 한 항에 있어서, 상기 애플리케이션은, 적어도 상기 목표 조직 영역의, (i) 상기 이미지 세트, (ii) 상기 공간 측정치, (iii) 상기 점탄성 특성, (iv) 상기 목표 조직 영역의 변형, 또는 이들의 임의의 조합에 기초하여 상기 목표 조직의 식별을 결정하는 모듈을 더 포함하는 비일시적 컴퓨터 판독 가능 저장 매체.
  89. 제61항 내지 제88항 중 어느 한 항에 있어서, 상기 목표 조직의 식별은 기계 학습 알고리즘에 의해 결정되는 것인 비일시적 컴퓨터 판독 가능 저장 매체.
  90. 제61항 내지 제89항 중 어느 한 항에 있어서, 상기 목표 조직의 식별은 상기 목표 조직이 암, 양성, 악성, 또는 건강하다는 식별인 것인 비일시적 컴퓨터 판독 가능 저장 매체.
  91. 목표 조직 영역의 탄성 특성을 결정하기 위해 신경망을 트레이닝하기 위한 컴퓨터 구현 방법에 있어서,
    (a) 복수의 세트의 이미지 세트를 포함하는 제1 트레이닝 세트를 생성하는 단계 - 각 이미지 세트는 정지된 목표 조직 영역의 제1 스펙클 이미지 및 알려진 힘에 의해 변형되는 상기 목표 조직 영역의 제2 스펙클 이미지를 포함함 -;
    (b) 상기 제1 트레이닝 세트를 사용하여 제1 스테이지에서 상기 신경망을 트레이닝하는 단계;
    (c) 상기 제1 트레이닝 세트 그리고 탄성 특성 값이 트레이닝의 제1 스테이지 이후에 잘못 결정된 이미지 세트를 포함하는 제2 트레이닝 세트를 생성하는 단계; 및
    (d) 상기 제2 트레이닝 세트를 사용하여 제2 스테이지에서 상기 신경망을 트레이닝하는 단계
    를 포함하는 컴퓨터 구현 방법.
  92. 제91항에 있어서, 상기 이미지 세트는, 주관적 이미지 세트, 객관적 이미지 세트, 근접장 이미지 세트, 또는 이들의 임의의 조합을 포함하는 컴퓨터 구현 방법.
  93. 제91항 또는 제92항에 있어서, 상기 이미지 세트는 상기 목표 조직 영역에서 적어도 10개의 상이한 파장의 광을 방출하면서 획득되는 것인 컴퓨터 구현 방법.
  94. 제91항 내지 제93항 중 어느 한 항에 있어서, 상기 이미지 세트는 상기 목표 조직 영역에서 약 10 내지 약 1,000개의 상이한 파장의 광을 방출하면서 획득되는 것인 컴퓨터 구현 방법.
  95. 제91항 내지 제94항 중 어느 한 항에 있어서, 상기 점탄성 특성은 점성 특성, 탄성 특성, 유체 역학 특성, 또는 이들의 임의의 조합을 포함하는 것인 컴퓨터 구현 방법.
  96. 제91항 내지 제95항 중 어느 한 항에 있어서, 상기 공간 측정치는 1차원적, 2차원적, 또는 3차원적인 것인 컴퓨터 구현 방법.
  97. 조직 변형을 추적하는 방법으로서,
    (a) 스칼라 광류(optical flow) 판독값을 획득하는 단계 - 상기 스칼라 광류 판독값은 하나 이상의 레이저 스펙클 신호에 대응함 -;
    (b) 조직 영역에 대한 픽셀 단위 모션 크기 추정치를 결정하기 위해 상기 스칼라 광류 판독값을 사용하는 단계; 및
    (c) 상기 조직 영역의 변형을 추적하기 위해 시간 및 공간에 걸쳐 상기 픽셀 단위 모션 크기 추정치를 통합하는 단계 - 상기 하나 이상의 레이저 스펙클 신호는 상기 조직 영역의 상기 변형과 연관됨 -
    를 포함하는 조직 변형을 추적하는 방법.
  98. 제97항에 있어서, 픽셀 단위 변위 맵을 생성하도록 (i) 상기 픽셀 단위 모션 추정치를 (ii) 상기 조직 영역의 깊이 또는 RGB-D 데이터와 결합하는 단계를 더 포함하는 조직 변형을 추적하는 방법.
  99. 제97항에 있어서, 상기 픽셀 단위 모션 크기 추정치는 무방향 모션 추정치를 포함하는 것인 조직 변형을 추적하는 방법.
KR1020227027278A 2020-01-08 2021-01-07 레이저 스펙클 힘 피드백 추정 KR20220125804A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202062958501P 2020-01-08 2020-01-08
US62/958,501 2020-01-08
PCT/US2021/012524 WO2021142138A1 (en) 2020-01-08 2021-01-07 Laser speckle force feedback estimation

Publications (1)

Publication Number Publication Date
KR20220125804A true KR20220125804A (ko) 2022-09-14

Family

ID=76788882

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227027278A KR20220125804A (ko) 2020-01-08 2021-01-07 레이저 스펙클 힘 피드백 추정

Country Status (8)

Country Link
US (1) US20220409065A1 (ko)
EP (1) EP4087474A4 (ko)
JP (1) JP2023509772A (ko)
KR (1) KR20220125804A (ko)
CN (1) CN115243610A (ko)
CA (1) CA3164149A1 (ko)
IL (1) IL294553A (ko)
WO (1) WO2021142138A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023049401A1 (en) * 2021-09-24 2023-03-30 Activ Surgical, Inc. Systems and methods for perfusion quantification
WO2024030827A2 (en) * 2022-08-02 2024-02-08 The Regents Of The University Of California Systems and methods of non-contact force sensing

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009140660A2 (en) * 2008-05-16 2009-11-19 Drexel University System and method for evaluating tissue
CN104382650B (zh) * 2008-05-28 2017-04-12 泰克尼恩研究和发展基金有限公司 用于柔性针操纵的超声引导机器人
WO2011153268A2 (en) * 2010-06-01 2011-12-08 The Trustees Of Columbia University In The City Of New York Devices, methods, and systems for measuring elastic properties of biological tissues
US8668647B2 (en) * 2010-10-15 2014-03-11 The University Of British Columbia Bandpass sampling for elastography
US9138148B2 (en) * 2011-04-13 2015-09-22 St. Jude Medical, Inc. High speed elastographic property mapping of lumens utilizing micropalpation delivered from an OCT-equipped catheter tip
GB201415649D0 (en) * 2014-09-04 2014-10-22 Univ Heriot Watt A membrane sensor for dynamic instrumented palpatation of soft materials
WO2017039774A2 (en) * 2015-06-11 2017-03-09 University Of Florida Research Foundation, Incorporated Monodisperse, ir-absorbing nanoparticles and related methods and devices
TWI568408B (zh) * 2015-12-23 2017-02-01 財團法人工業技術研究院 一種眼壓檢測裝置及其檢測方法
WO2017139774A1 (en) * 2016-02-12 2017-08-17 The General Hospital Corporation Laser speckle micro-rheology in characterization of biomechanical properties of tissues
CN108613979B (zh) * 2018-03-12 2020-08-11 华中科技大学鄂州工业技术研究院 用于粘弹性定量检测的激光散斑图像处理装置及方法
CN115379791A (zh) * 2020-02-14 2022-11-22 艾科缇弗外科公司 用于处理激光散斑信号的系统和方法

Also Published As

Publication number Publication date
CN115243610A (zh) 2022-10-25
WO2021142138A1 (en) 2021-07-15
EP4087474A1 (en) 2022-11-16
CA3164149A1 (en) 2021-07-15
US20220409065A1 (en) 2022-12-29
EP4087474A4 (en) 2024-03-06
JP2023509772A (ja) 2023-03-09
IL294553A (en) 2022-09-01

Similar Documents

Publication Publication Date Title
US11625850B2 (en) System for guiding medically invasive devices relative to other medical devices via image processing
Sim et al. Augmented and virtual reality in surgery—the digital surgical environment: applications, limitations and legal pitfalls
Pepe et al. A marker-less registration approach for mixed reality–aided maxillofacial surgery: a pilot evaluation
US20220409065A1 (en) Laser speckle force feedback estimation
US20170188930A1 (en) Animation-based autism spectrum disorder assessment
WO2018187748A1 (en) Systems and methods for mixed reality medical training
CN109074165A (zh) 基于用户的大脑活动和凝视修改用户界面
US20190362651A1 (en) System for simulation of soft bodies
US20230095492A1 (en) Methods and systems using fractional rank precision and mean average precision as test-retest reliability measures
US20220293014A1 (en) Virtual reality medical simulation
Mishra et al. Artificial intelligence and ophthalmic surgery
CN117480469A (zh) 眼睛模型注册
KR20180008324A (ko) 임상시험에서 전자식 시험대상자 동의 프로세스를 관리하기 위한 방법 및 시스템
CN116741330A (zh) 诊疗报告生成方法、装置、设备及存储介质
Lukashova-Sanz et al. Saliency-aware subtle augmentation improves human visual search performance in VR
Lukashova-Sanz et al. Context matters during pick-and-place in VR: Impact on search and transport phases
US20240130696A1 (en) Enhanced invasive imaging systems and methods
US20230380740A1 (en) Sensor-based training intervention