KR20140127887A - 영상 내시경 시스템 - Google Patents

영상 내시경 시스템 Download PDF

Info

Publication number
KR20140127887A
KR20140127887A KR1020147026046A KR20147026046A KR20140127887A KR 20140127887 A KR20140127887 A KR 20140127887A KR 1020147026046 A KR1020147026046 A KR 1020147026046A KR 20147026046 A KR20147026046 A KR 20147026046A KR 20140127887 A KR20140127887 A KR 20140127887A
Authority
KR
South Korea
Prior art keywords
pixels
color space
image data
feature
group
Prior art date
Application number
KR1020147026046A
Other languages
English (en)
Other versions
KR102028780B1 (ko
Inventor
게오르게 미할카
바오두이 트란
카를로스 에이. 로드리게즈
Original Assignee
스미스 앤드 네퓨, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스미스 앤드 네퓨, 인크. filed Critical 스미스 앤드 네퓨, 인크.
Publication of KR20140127887A publication Critical patent/KR20140127887A/ko
Application granted granted Critical
Publication of KR102028780B1 publication Critical patent/KR102028780B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00025—Operational features of endoscopes characterised by power management
    • A61B1/00027—Operational features of endoscopes characterised by power management characterised by power supply
    • A61B1/00029—Operational features of endoscopes characterised by power management characterised by power supply externally powered, e.g. wireless
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00112—Connection or coupling means
    • A61B1/00121—Connectors, fasteners and adapters, e.g. on the endoscope handle
    • A61B1/00124—Connectors, fasteners and adapters, e.g. on the endoscope handle electrical, e.g. electrical plug-and-socket connection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00131—Accessories for endoscopes
    • A61B1/00135—Oversleeves mounted on the endoscope prior to insertion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0669—Endoscope light sources at proximal end of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0676—Endoscope light sources at distal tip of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0684—Endoscope light sources using light emitting diodes [LED]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/317—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for bones or joints, e.g. osteoscopes, arthroscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2461—Illumination
    • G02B23/2469—Illumination using optical fibres
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6002—Corrections within particular colour systems
    • H04N1/6008—Corrections within particular colour systems with primary colour signals, e.g. RGB or CMY(K)
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00103—Constructional details of the endoscope body designed for single use
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Quality & Reliability (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

영상 내시경 장치에 의해 포착된 화상을 나타내는 화상 데이터가 제1 색 공간으로부터 제2 색 공간으로 변환된다. 제2 색 공간 내의 화상 데이터는 화상 내의 특징부의 위치를 결정하기 위해 사용된다.

Description

영상 내시경 시스템 {VIDEO ENDOSCOPIC SYSTEM}
관련 출원에 대한 상호 참조
본 출원은 2012년 2월 23일자로 출원된 미국 가특허 출원 제61/602,106호, 2012년 7월 6일자로 출원된 미국 가특허 출원 제61/668,743호, 및 2012년 10월 1일자로 출원된 미국 가특허 출원 제61/708,157호에 기초하여 우선권을 주장한다.
본 출원은 영상 내시경 시스템에 관한 것이다.
의료용 내시경은 작은 천공을 통해 (복강경/흉강경 수술과 같은) 수술 중에 신체 내의 영역(예컨대, 공동, 관절)을 검사하기 위해 사용된다. 몇몇 경우에, 내시경은 근위 손잡이로부터 삽입 튜브를 통해 내시경의 원위 관찰 팁으로 연장하는 광섬유의 세트를 갖춘 강성 또는 가요성 세장형 삽입 튜브를 포함한다. 광원이 검사되는 영역이 조명되도록 광섬유에 광을 제공한다.
일 태양에서, 영상 내시경 장치에 의해 포착된 화상을 나타내는 화상 데이터가 접근된다. 화상 데이터는 제1 색 공간 내에서 엔코딩된다. 접근된 화상 데이터는 제1 색 공간으로부터 제2 색 공간으로 변환된다. 제2 색 공간은 제1 색 공간과 상이하다. 화상 내의 특징부의 위치가 제2 색 공간 내에서 화상 데이터를 분석함으로써 식별된다. 화상 내의 특징부의 위치를 표시하는 세분화 데이터가 저장되고, 세분화 데이터에 기초하여, 화상이 특징부의 식별된 위치의 표시와 함께 디스플레이된다.
구현예는 다음의 특징들 중 하나 이상을 포함할 수 있다. 특징부의 식별된 위치의 표시와 함께 화상을 디스플레이하는 단계는 화상 데이터를 제2 색 공간으로부터 제3 색 공간으로 변환하는 단계, 및 세분화 데이터 및 제3 색 공간 내의 화상 데이터에 기초하여, 특징부의 식별된 위치의 표시와 함께 화상을 디스플레이하는 단계를 포함할 수 있다. 하나 이상의 특징부는 조직의 유형, 해부학적 구조물, 또는 환자 내로 도입되는 외부 물체를 포함할 수 있다.
제2 색 공간 내에서 화상 데이터를 분석함으로써 화상 내의 특징부의 위치를 식별하는 단계는 제2 색 공간 내의 화상 데이터에 기초하여 화상 데이터 내의 픽셀의 색상 값의 히스토그램을 발생시키는 단계, 및 특징부에 대응하는 히스토그램 내의 색상의 범위 내에 드는 픽셀을 식별하는 단계를 포함할 수 있고, 세분화 데이터는 특징부에 대응하는 히스토그램 내의 색상의 범위 내에 드는 픽셀을 표시한다.
제2 색 공간 내에서 화상 데이터를 분석함으로써 화상 내의 특징부의 위치를 식별하는 단계는 픽셀의 색상 값에 기초하여 제2 색 공간 내의 화상 데이터 내의 픽셀을 그룹으로 그룹화하는 단계; 픽셀의 그룹들 중에서 픽셀의 제1 그룹을 결정하는 단계; 픽셀의 그룹들 중에서 픽셀의 제2 그룹을 결정하는 단계; 및 픽셀의 제1 그룹과 제2 그룹 사이의 상대 색 차이에 기초하여 픽셀의 제1 그룹 또는 제2 그룹 중 하나를 선택하는 단계를 포함할 수 있고, 세분화 데이터는 픽셀의 선택된 그룹을 표시한다. 픽셀을 그룹화하는 단계는 제2 색 공간 내의 화상 데이터에 기초하여 화상 데이터 내의 픽셀의 색상 값의 히스토그램을 발생시키는 단계를 포함할 수 있다. 픽셀의 제1 그룹을 결정하는 단계는 히스토그램 내의 색상의 제1 범위 내에 드는 픽셀의 제1 세트를 결정하는 단계를 포함할 수 있다. 픽셀의 제2 그룹을 결정하는 단계는 히스토그램 내의 색상의 제2 범위 내에 드는 픽셀의 제2 세트를 결정하는 단계를 포함할 수 있다. 픽셀의 제1 그룹 또는 제2 그룹 중 하나를 선택하는 단계는 색상의 제1 범위와 색상의 제2 범위 사이의 상대 색 차이에 기초하여 픽셀의 제1 세트 또는 제2 세트 중 하나를 선택하는 단계를 포함할 수 있다.
제1 색 공간은 RGB, YUV, YPrPb, 또는 YcrCb 중 하나일 수 있다. 제2 색 공간은 HSV, Lab, 또는 HSY 중 하나일 수 있다.
다른 태양에서, 시스템은 영상 내시경 장치 및 컴퓨팅 장치를 포함한다. 영상 내시경 장치는 영상 내시경 장치에 의해 포착된 화상을 나타내는 화상 데이터를 발생시키도록 구성되고, 화상 데이터는 제1 색 공간 내에서 엔코딩되고, 화상 데이터를 컴퓨팅 장치로 송신한다. 컴퓨팅 장치는 영상 내시경 장치에 의해 송신된 화상 데이터를 수신하고; 수신된 화상 데이터를 제1 색 공간으로부터 제1 색 공간과 상이한 제2 색 공간으로 변환하고; 제2 색 공간 내에서 화상 데이터를 분석함으로써 화상 내의 특징부의 위치를 식별하고; 화상 내의 특징부의 위치를 표시하는 세분화 데이터를 저장하고; 세분화 데이터에 기초하여, 특징부의 식별된 위치의 표시와 함께 디스플레이 장치 상에서 화상을 디스플레이하도록 구성된다.
구현예는 다음의 특징들 중 하나 이상을 포함할 수 있다. 예를 들어, 특징부의 식별된 위치의 표시와 함께 디스플레이 장치 상에서 화상을 디스플레이하기 위해, 컴퓨팅 장치는 화상 데이터를 제2 색 공간으로부터 제3 색 공간으로 변환하고, 세분화 데이터 및 제3 색 공간 내의 화상 데이터에 기초하여, 특징부의 식별된 위치의 표시와 함께 디스플레이 장치 상에서 화상을 디스플레이하도록, 구성될 수 있다. 하나 이상의 특징부는 조직의 유형, 해부학적 구조물, 또는 환자 내로 도입되는 외부 물체를 포함할 수 있다.
제2 색 공간 내에서 화상 데이터를 분석함으로써 화상 내의 특징부의 위치를 식별하기 위해, 컴퓨팅 장치는 제2 색 공간 내의 화상 데이터에 기초하여 화상 데이터 내의 픽셀의 색상 값의 히스토그램을 발생시키고, 특징부에 대응하는 히스토그램 내의 색상의 범위 내에 드는 픽셀을 식별하도록, 구성될 수 있고, 세분화 데이터는 특징부에 대응하는 히스토그램 내의 색상의 범위 내에 드는 픽셀을 표시한다.
제2 색 공간 내에서 화상 데이터를 분석함으로써 화상 내의 특징부의 위치를 식별하기 위해, 컴퓨팅 장치는 픽셀의 색상 값에 기초하여 제2 색 공간 내의 화상 데이터 내의 픽셀을 그룹으로 그룹화하고; 픽셀의 그룹들 중에서 픽셀의 제1 그룹을 결정하고; 픽셀의 그룹들 중에서 픽셀의 제2 그룹을 결정하고; 픽셀의 제1 그룹과 제2 그룹 사이의 상대 색 차이에 기초하여 픽셀의 제1 그룹 또는 제2 그룹 중 하나를 선택하도록, 구성될 수 있고; 세분화 데이터는 픽셀의 선택된 그룹을 표시한다.
픽셀을 그룹화하기 위해, 컴퓨팅 장치는 제2 색 공간 내의 화상 데이터에 기초하여 화상 데이터 내의 픽셀의 색상 값의 히스토그램을 발생시키도록 구성될 수 있다. 픽셀의 제1 그룹을 결정하기 위해, 컴퓨팅 장치는 히스토그램 내의 색상의 제1 범위 내에 드는 픽셀의 제1 세트를 결정하도록 구성될 수 있다. 픽셀의 제2 그룹을 결정하기 위해, 컴퓨팅 장치는 히스토그램 내의 색상의 제2 범위 내에 드는 픽셀의 제2 세트를 결정하도록 구성될 수 있다. 픽셀의 제1 그룹 또는 제2 그룹 중 하나를 선택하기 위해, 컴퓨팅 장치는 색상의 제1 범위와 색상의 제2 범위 사이의 상대 색 차이에 기초하여 픽셀의 제1 세트 또는 제2 세트 중 하나를 선택하도록 구성될 수 있다.
제1 색 공간은 RGB, YUV, YPrPb, 또는 YcrCb 중 하나일 수 있다. 제2 색 공간은 HSV, Lab, 또는 HSY 중 하나일 수 있다.
다른 태양에서, 영상 내시경 장치에 의해 포착된 영상을 나타내는 화상 데이터가 접근된다. 화상 데이터는 제1 색 공간 내에서 엔코딩된다. 접근된 화상 데이터는 제1 색 공간으로부터 제2 색 공간으로 변환되고, 제2 색 공간은 제1 색 공간과 상이하다. 대표 특징부의 위치가 제2 색 공간 내에서 화상 데이터를 분석함으로써 영상 내에서 식별된다. 대표 특징부의 위치가 화상 데이터의 복수의 프레임에 걸쳐 추적된다. 해부학적 모델이 추적된 대표 특징부에 기초하여 발생된다. 영상 내의 목표 해부학적 특징부의 위치가 해부학적 모델에 기초하여 결정된다. 영상은 목표 특징부의 위치의 표시와 함께 디스플레이된다.
구현예는 다음의 특징들 중 하나 이상을 포함할 수 있다. 예를 들어, 목표 해부학적 특징부의 위치를 결정하는 단계는 해부학적 모델, 및 모델의 양태와 목표 해부학적 특징부의 양태 사이의 공지된 해부학적 관계에 기초하여, 목표 해부학적 특징부의 위치를 결정하는 단계를 포함할 수 있다. 추적된 대표 특징부에 기초하여 해부학적 모델을 발생시키는 단계는 복수의 프레임들 사이에서의 대표 특징부의 위치의 변화에 기초하여 대표 특징부의 이동을 결정하는 단계, 및 대표 특징부의 이동에 기초하여 해부학적 모델을 발생시키는 단계를 포함할 수 있다.
제2 색 공간 내에서 화상 데이터를 분석함으로써 화상 내의 대표 특징부의 위치를 식별하는 단계는 제2 색 공간 내의 화상 데이터에 기초하여 화상 데이터 내의 픽셀의 색상 값의 히스토그램을 발생시키는 단계, 및 특징부에 대응하는 히스토그램 내의 색상의 범위 내에 드는 픽셀을 식별하는 단계를 포함할 수 있고, 세분화 데이터는 특징부에 대응하는 히스토그램 내의 색상의 범위 내에 드는 픽셀을 표시한다.
제2 색 공간 내에서 화상 데이터를 분석함으로써 화상 내의 대표 특징부의 위치를 식별하는 단계는 픽셀의 색상 값에 기초하여 제2 색 공간 내의 화상 데이터 내의 픽셀을 그룹으로 그룹화하는 단계; 픽셀의 그룹들 중에서 픽셀의 제1 그룹을 결정하는 단계; 픽셀의 그룹들 중 픽셀의 제2 그룹을 결정하는 단계; 및 픽셀의 제1 그룹과 제2 그룹 사이의 상대 색 차이에 기초하여 픽셀의 제1 그룹 또는 제2 그룹 중 하나를 선택하는 단계를 포함할 수 있고, 세분화 데이터는 픽셀의 선택된 그룹을 표시한다.
픽셀을 그룹화하는 단계는 제2 색 공간 내의 화상 데이터에 기초하여 화상 데이터 내의 픽셀의 색상 값의 히스토그램을 발생시키는 단계를 포함할 수 있다. 픽셀의 제1 그룹을 결정하는 단계는 히스토그램 내의 색상의 제1 범위 내에 드는 픽셀의 제1 세트를 결정하는 단계를 포함할 수 있다. 픽셀의 제2 그룹을 결정하는 단계는 히스토그램 내의 색상의 제2 범위 내에 드는 픽셀의 제2 세트를 결정하는 단계를 포함할 수 있다. 픽셀의 제1 그룹 또는 제2 그룹 중 하나를 선택하는 단계는 색상의 제1 범위와 색상의 제2 범위 사이의 상대 색 차이에 기초하여 픽셀의 제1 세트 또는 제2 세트 중 하나를 선택하는 단계를 포함할 수 있다.
제1 색 공간은 RGB, YUV, YPrPb, 또는 YcrCb 중 하나일 수 있다. 제2 색 공간은 HSV, Lab, 또는 HSY 중 하나일 수 있다.
다른 태양에서, 시스템은 영상 내시경 장치 및 컴퓨팅 장치를 포함한다. 영상 내시경 장치는 영상 내시경 장치에 의해 포착된 영상을 나타내는 화상 데이터를 발생시키고, 화상 데이터를 컴퓨팅 장치로 송신하도록, 구성되고, 화상 데이터는 제1 색 공간 내에서 엔코딩된다. 컴퓨팅 장치는 영상 내시경 장치에 의해 송신된 화상 데이터를 수신하고; 수신된 화상 데이터를 제1 색 공간으로부터 제2 색 공간 - 제2 색 공간은 제1 색 공간과 상이함 - 으로 변환하고; 제2 색 공간 내에서 화상 데이터를 분석함으로써 영상 내의 대표 특징부의 위치를 식별하고; 화상 데이터의 복수의 프레임에 걸쳐 대표 특징부의 위치를 추적하고; 추적된 대표 특징부에 기초하여 해부학적 모델을 발생시키고; 해부학적 모델에 기초하여 영상 데이터 내의 목표 해부학적 특징부의 위치를 결정하고; 목표 특징부의 위치의 표시와 함께 디스플레이 장치 상에서 영상을 디스플레이하도록, 구성된다.
구현예는 다음의 특징들 중 하나 이상을 포함할 수 있다. 예를 들어, 목표 해부학적 특징부의 위치를 결정하기 위해, 컴퓨팅 장치는 해부학적 모델, 및 모델의 양태와 목표 해부학적 특징부의 양태 사이의 공지된 해부학적 관계에 기초하여 목표 해부학적 특징부의 위치를 결정하도록 구성될 수 있다. 추적된 대표 특징부에 기초하여 해부학적 모델을 발생시키기 위해, 컴퓨팅 장치는 복수의 프레임들 사이에서의 대표 특징부의 위치의 변화에 기초하여 대표 특징부의 이동을 결정하고, 대표 특징부의 이동에 기초하여 해부학적 모델을 발생시키도록, 구성될 수 있다.
제2 색 공간 내에서 화상 데이터를 분석함으로써 화상 내의 특징부의 위치를 식별하기 위해, 컴퓨팅 장치는 제2 색 공간 내의 화상 데이터에 기초하여 화상 데이터 내의 픽셀의 색상 값의 히스토그램을 발생시키고; 특징부에 대응하는 히스토그램 내의 색상의 범위 내에 드는 픽셀을 식별하도록, 구성될 수 있고, 세분화 데이터는 특징부에 대응하는 히스토그램 내의 색상의 범위 내에 드는 픽셀을 표시한다.
제2 색 공간 내에서 화상 데이터를 분석함으로써 화상 내의 특징부의 위치를 식별하기 위해, 컴퓨팅 장치는 픽셀의 색상 값에 기초하여 제2 색 공간 내의 화상 데이터 내의 픽셀을 그룹으로 그룹화하고; 픽셀의 그룹들 중에서 픽셀의 제1 그룹을 결정하고; 픽셀의 그룹들 중에서 픽셀의 제2 그룹을 결정하고; 픽셀의 제1 그룹과 제2 그룹 사이의 상대 색 차이에 기초하여 픽셀의 제1 그룹 또는 제2 그룹 중 하나를 선택하도록 구성될 수 있고, 세분화 데이터는 픽셀의 선택된 그룹을 표시한다.
픽셀을 그룹화하기 위해, 컴퓨팅 장치는 제2 색 공간 내의 화상 데이터에 기초하여 화상 데이터 내의 픽셀의 색상 값의 히스토그램을 발생시키도록 구성될 수 있다. 픽셀의 제1 그룹을 결정하기 위해, 컴퓨팅 장치는 히스토그램 내의 색상의 제1 범위 내에 드는 픽셀의 제1 세트를 결정하도록 구성될 수 있다. 픽셀의 제2 그룹을 결정하기 위해, 컴퓨팅 장치는 히스토그램 내의 색상의 제2 범위 내에 드는 픽셀의 제2 세트를 결정하도록 구성될 수 있다. 픽셀의 제1 그룹 또는 제2 그룹 중 하나를 선택하기 위해, 컴퓨팅 장치는 색상의 제1 범위와 색상의 제2 범위 사이의 상대 색 차이에 기초하여 픽셀의 제1 세트 또는 제2 세트 중 하나를 선택하도록 구성될 수 있다.
제1 색 공간은 RGB, YUV, YPrPb, 또는 YcrCb 중 하나일 수 있다. 제2 색 공간은 HSV, Lab, 또는 HSY 중 하나일 수 있다.
하나 이상의 구현예의 세부가 첨부된 도면 및 아래의 설명에서 설명된다. 다른 특징, 목적, 및 장점은 설명 및 도면과, 특허청구범위로부터 명백해질 것이다.
도 1은 의료 시스템의 일례를 도시하는 블록 선도이다.
도 2a - 도 2d는 도 1의 시스템과 함께 사용될 수 있는 영상 관절경의 일례를 도시한다.
도 3은 도 1의 시스템과 함께 사용될 수 있는 영상 관절경의 대안적인 예를 도시한다.
도 4는 화상 데이터 내의 특징부들을 세분화하여, 세분화와 함께 대응하는 화상을 디스플레이하기 위한 과정의 일례를 도시한다.
도 5a는 RGB 공간 내에서 포착된 자가 형광 화상의 일례를 도시하는 도면이다.
도 5b는 화상이 대안적인 색 공간으로 변환된 후의 도 5a의 화상에 기초하여 발생된 히스토그램의 일례를 도시한다.
도 5c는 도 5b의 모집단으로부터 도출된 세분화 마스크와 함께 화상의 일례를 도시하는 도면이다.
도 6은 화상 데이터 내의 특징부를 식별하고, 해부학적 모델 내에서 그러한 특징부를 사용하기 위한 과정의 일례를 도시한다.
도 1은 의료 시스템(100)의 일례를 도시하는 블록 선도이다. 의료 시스템(100)은 영상 관절경 및 화상 포착 장치와 같은 영상 내시경 장치(102), 컴퓨팅 장치(104), 및 디스플레이 장치(106)를 포함한다. 대체로, 영상 내시경 장치(102)는 내부 해부학적 구조물의 화상 데이터를 (예컨대, 영상/프레임 포착 장치를 거쳐) 화상 데이터(103)를 수신하는 컴퓨팅 장치(104)로 보낸다. 컴퓨팅 장치(104)는 화상 데이터 내의 목표 조직 또는 해부학적 구조물을 다른 조직 또는 구조물로부터 세분화하기 위한 화상 데이터에 대한 처리를 수행하고, 의사와 같은 사용자에게 세분화를 전달하는 방식으로 디스플레이 장치(106) 상에서 대응하는 화상을 디스플레이한다.
특히, 영상 내시경 장치(102)는 근위 손잡이로부터 삽입 튜브를 통해 내시경의 원위 관찰 팁으로 연장하는 광섬유의 세트를 갖춘 강성 또는 가요성 세장형 삽입 튜브를 포함한다. 영상 내시경 장치는 환자의 작은 개방부를 통해 삽입 튜브를 삽입함으로써 (복강경/관절경 수술과 같은) 수술 중에 환자의 신체 내의 영역(예컨대, 공동, 관절)을 검사하기 위해 사용된다. 하나 이상의 광원이 영상 내시경 장치(102)의 본체 내에 포함되고, 관찰 팁으로 광을 운반하는 광섬유에 광을 제공한다. 광원은 광대역 가시광의 제공과 조직 또는 물체의 자가 형광을 일으키기에 적합한 협대역 광의 제공 사이에서 절환될 수 있다. 각 경우에, 영상 내시경 장치의 광학 시스템은 화상을 화상에 대응하는 화상 데이터를 포함하는 영상 신호로 변환하는 카메라 조립체로 결과적인 화상을 전달한다.
컴퓨팅 장치(104)는 영상 내시경 장치(102)로부터 영상 신호를 수신하고, 영상 내시경 장치(102)에 전력을 제공하며 그와의 양방향 통신을 제공하는, 카메라 인터페이스(104a)를 포함한다. 컴퓨팅 장치(104)는 개인용 컴퓨터, 워크스테이션, 휴대용 컴퓨팅 장치, 콘솔, 랩탑, 네트워크 터미널, 내장형 장치 등과 같은 임의의 적절한 유형의 컴퓨팅 장치일 수 있다. 컴퓨팅 장치(104)는 영상 입력(104a)을 메모리 시스템(104b), 프로세서(104c), 및 입출력 인터페이스(114)에 함께 결합시키는 데이터 버스 또는 다른 회로와 같은 상호 연결 메커니즘을 포함한다.
메모리 시스템(104b)은, 예를 들어, 플로피 디스크, 하드 디스크, 읽기 전용 메모리(ROM), 또는 임의 접근 메모리(RAM)를 포함할 수 있는 임의의 적절한 유형의 컴퓨터 판독 가능 장치이다. 메모리 시스템(104b)은 시각화 어플리케이션(108a)을 저장한다. 저장된 시각화 어플리케이션(108a)은 프로세서(104c)에 의해 실행될 때, 프로세서가 아래에서 설명되는 작동을 수행하게 하는 지시를 포함할 수 있다. 컴퓨팅 장치(104)의 작동 중에, 프로세서(104c)는 시각화 어플리케이션(108a)을 실행하기 위해 상호 연결부를 거쳐 메모리 시스템(104b)에 접근한다. 다른 구현예에서, 프로세서(104c) 및 메모리 시스템(104b)은 시각화 어플리케이션(108b)의 로직을 실행하도록 프로그램될 수 있는 현장 프로그램 가능 게이트 어레이(FPGA)로 대체될 수 있다.
시각화 어플리케이션(108b)을 실행하는 것은 영상 신호 내의 화상 데이터 내의 목표 조직 또는 해부학적 구조물을 다른 조직 또는 구조물로부터 세분화하는 방식으로 프로세서(104c)가 영상 신호를 처리하게 한다. 예를 들어, 프로세서(104c)는 화상 데이터를 제1 색 공간(예를 들어, 내시경 장치(102)에 의해 생성되는 RGB 색 공간)으로부터 세분화에 적합한 제2 색 공간(예를 들어, HSV 색 공간)으로 변환하고, 세분화를 수행하기 위한 변환된 화상 데이터에 대한 처리를 수행한다. 프로세서(104c)는 그 다음 세분화 데이터를 유지하면서 화상 데이터를 다시 제1 색 공간 (또는 디스플레이에 적합한 상이한 색 공간)으로 변환하고, 목표 조직 또는 구조물을 다른 조직 또는 구조물로부터 세분화하는 방식으로 디스플레이 장치(106) 상에서 영상을 디스플레이하기 위해 화상 데이터 및 세분화 데이터를 사용한다.
다른 예에서, 프로세서(104c)는 화상 데이터를 제1 색 공간으로부터 세분화에 적합한 제2 색 공간으로 변환하고, 대표 특징부를 식별하기 위해 세분화를 수행하기 위한 변환된 화상 데이터에 대한 처리를 수행한다. 프로세서(104c)는 그 다음 대표 특징부를 추적하고, 해부학적 모델을 발생시키기 위해 대표 특징부의 운동을 사용한다. 프로세서(104c)는 모델에 기초하여 목표 특징부를 식별하고, 목표 특징부의 위치의 표시와 함께 영상을 디스플레이한다.
도 2a - 도 2d는, 예를 들어, 영상 내시경 장치(102)로서, 시스템(100)과 함께 사용될 수 있는 영상 관절경(200)의 일례를 도시한다. 영상 관절경(200)은 강성 삽입 튜브(202) 및 근위 본체(204)를 포함한다. 근위 본체(204)는 삽입 조립체(206), 포커스 조립체(208), 및 카메라 부착 조립체(210)를 포함한다. 카메라 부착 조립체는, 예를 들어, C-마운트 커플링(214)을 통해 영상 카메라 조립체(212)(카메라 헤드로도 불림)와 결합한다. C-마운트 커플링을 사용하는 것은 영상 관절경(200) 및 카메라 헤드(212)가 탈착되어 분리되어 멸균되도록 허용할 수 있다. 다른 구현예에서, 관절경(200)은 C-마운트 이외의 관절경 결합기에 의해 카메라 헤드(212)에 결합된다.
삽입 조립체(206)는 삽입 조립체(206) 및 포커스 조립체(208)가 조인트(216) 둘레에서 서로에 대해 회전될 수 있도록, 포커스 조립체(208)에 결합된다. 삽입 조립체(206)의 회전은 삽입 튜브(202)의 원위 단부의 배향을 변화시킴으로써 시계를 변화시킨다.
삽입 조립체(206)는 조명 광섬유(222)에 의해 삽입 튜브(202)의 원위 단부로 그리고 그로부터 전달되는 광을 발생시키기 위한 고체 상태 광원(220)을 수용하는 조명 기둥(218)을 포함한다. 고체 상태 광원(220)은, 예를 들어, 2개의 LED 광원(220a, 220b)을 포함한다.
제1 LED 광원(220a)은, 예를 들어, 인(phosphor) 변환을 사용하여 가시 광대역 내에서 발산하는 광대역 LED 광원이다. 예를 들어, 광대역 LED 광원(220a)은 백색광을 발산할 수 있다. 가시광은, 예를 들어, 가시 범위 내에서 높은 전달률을 갖는 유리 섬유 다발(222a)을 통해 전달된다. 섬유 다발(222a)은, 예를 들어, 광대역 LED 광원(220a)에 맞대어 결합되고, 높은 결합 효율 및 전체 시계의 조명을 제공할 수 있는 약 0.86NA의 높은 개구수를 포함한다.
제2 LED 광원은 자가 형광 촬영 시에 사용될 수 있는 좁은 대역의 여기광(예를 들어, 395nm)을 발산하는 협대역 LED 광원이다. 낮은 파장의 광은 더 낮은 파장에서의 전달에 대해 최적화된 플라스틱의 단일 또는 다중 섬유 다발(222b)을 통해 전달된다.
조명은 필요한 대로 가시 여기와 형광 여기 사이에서 사용자에 의해 절환될 수 있다. 절환 가능한 광원을 갖는 것은 장치가 조직 유형을 구분하기 위해 수술 시에 사용되도록 허용할 수 있다. 예를 들어, 전방 십자 인대(ACL) 파열이 있는 환자에게서, 장치(200)는 관심 조직(삽입부에서의 ACL의 잔여부)이 드릴 터널이 재건을 위해 뼈로 진입해야 하는 경우를 결정할 목적으로 식별될 수 있도록, 협대역 자가 형광(AF) 모드로 절환될 수 있다. 절환 가능한 광 모드에서, 장치(200)는 원하는 삽입 부위에서 드릴 가이드/캐뉼라의 정밀한 위치 설정을 허용하기 위해 가시광 모드와 자가 형광 모드 사이에서 상호 절환될 수 있다. 예를 들어, 의사는 초기에 자가 형광을 사용하여 관심 조직을 시각화하고, (드릴 가이드 단부가 가시광 내에서 시각화하기가 더 용이하기 때문에) 가시광을 사용하여 가이드를 위치시키도록 시도하고, 그 다음 자가 형광을 사용하여 관심 조직에 대한 드릴 가이드 위치 설정을 점검하고, (가이드가 적절하게 위치될 때까지 반복)할 수 있다. 이후의 시술이 수행될 수 있도록, 손상된 연골 및/또는 반월판 조직을 포함한, 다른 유형의 조직이 또한 자가 형광 모드를 사용하여 식별될 수 있다.
포커스 조립체(208)는 섕크 부분(223), 포커싱 광학 장치(224)의 세트, 및 포커스 링(226)을 포함한다. 포커싱 링(226)은 섕크 부분(223) 및 카메라 부착 조립체(210)에 대해 회전하도록 구성된다. 포커싱 링(226)을 돌리는 것은 장치(200)의 종축을 따라 축방향으로 포커싱 광학 장치(228)를 조정하고, 이는 조명되는 화상을 포커싱한다.
작동 중에, 선택된 광원(220a 또는 220b)은 조명 광섬유(222)를 통해 조작 영역에 조명을 제공한다. 조작 영역으로부터 조명되는 화상은 광학 경로를 통해 카메라 조립체(212)로 전달된다. 광학 경로는 삽입 튜브(202)의 원위 단부로부터, 삽입 튜브(202) 내의 화상 광섬유(224)를 통해, 포커싱 조립체(208) 내의 포커싱 광학 장치(228)의 세트를 통해, 화상을 화상 데이터로 변환하기 위한 전하 결합 장치(CCD) 조립체(230)를 포함하는 영상 카메라 조립체(212)로 연장한다. CCD 조립체는, 예를 들어, RGB 화상 데이터를 발생시키기 위한 적색 CCD, 녹색 CCD, 및 청색 CCD를 포함할 수 있다. 다른 경우에, CCD 조립체는, 예를 들어, RGB 데이터를 송출하기 위한 바이어(Bayer) 패턴 구성을 구비한 단일 센서를 포함할 수 있다. 화상 데이터는 영상 신호로 컴퓨팅 장치(104)로 전달된다.
장치(200)는 또한 카메라 헤드(212)로부터 광원(220)으로 전력을 제공하기 위한 슬립 링 및 와이어의 세트를 포함한다. 특히, 영상 관절경(200)은 C-마운트 슬립 링(232), 포커스 조립체 슬립 링(234), 및 삽입 조립체 슬립 링(236)을 포함한다. 영상 관절경(200)은 또한 C-마운트 슬립 링(232)과 포커스 조립체 슬립 링(234) 사이에서 연장하는 와이어(238), 및 포커스 조립체 슬립 링(234)과 삽입 조립체 슬립 링(240) 사이에서 연장하는 와이어(240)를 포함한다. 와이어의 최종 세트는 삽입 조립체 슬립 링(240) 및 광원(220)으로부터 연장한다. 전류가 카메라 헤드(212)로부터 C-마운트 슬립 링(232)을 가로질러, 와이어(234)를 통해, 포커스 조립체 슬립 링(234)을 가로질러, 와이어(240)를 통해, 삽입 조립체 슬립 링(236)을 가로질러, 마지막으로 와이어(242)를 통해, 광원(220)으로 제공된다. 슬립 링(232, 234, 236)의 사용은 카메라 헤드(212), 포커스 링(208), 섕크 부분(223), 및 삽입 조립체(206)가, 여전히 전력이 카메라 헤드(212)로부터 광원(220)으로 전달되게 하면서, 필요한 대로 서로에 대해 회전하도록 허용한다.
도 3은, 예를 들어, 영상 내시경 장치(102)로서, 시스템(100)과 함께 사용될 수 있는 영상 관절경(300)의 대안적인 예를 도시한다. 이러한 대안예에서, 전력은 카메라 헤드로부터 무선 전력 전달 시스템을 통해 영상 관절경으로 전달된다. 특히, 영상 관절경(300)에서, C-마운트 슬립 링(232)은 2개의 코일(302, 304)로 대체된다. 제1 코일(302)(발신기)은 카메라 헤드(312) 내에 위치되고, 제2 코일(304)(수신기)은 카메라 부착 조립체(310) 내에서 영상 관절경 내에 위치된다. 제1 코일(302)은 근접장을 사용하는 유도 커플링을 사용하여 제2 코일(304)로 전력을 전달한다. 전력은 그 다음 장치(200)에 대해 설명된 바와 동일한 방식으로 제2 (수신) 코일(304)로부터 전기 와이어 및 슬립 링을 통해 광원으로 전달된다.
대안예에서, 제2 코일(304)은 조명 기둥(218) 내에 또는 삽입 조립체(208) 내의 다른 곳에 위치될 수 있다. 이러한 대안예에서, 전력은 원격장 커플링을 통해 제2 코일(304)로 전달된다. 제2 코일(304)이 삽입 조립체 내에 위치되므로, 포커스 조립체(208) 내의 슬립 링 및 와이어는 필요치 않다.
도 4는 화상 데이터 내의 특징부를 세분화하고, 세분화와 함께 대응하는 화상을 디스플레이하기 위한 과정(400)의 일례를 도시한다. 과정(400)은, 예를 들어, 시각화 어플리케이션(108b)을 실행할 때 프로세서(104c)에 의해 구현되지만, 다른 시스템 또는 구성이 과정(400)을 수행할 수 있다. 과정(400)은 해부학적 양태 또는 외부 물체가 시계 내로 도입되면, 화상 시야 내에서 관심 영역을 더 양호하게 시각화하기 위해 영상 내시경 장치에 의해 포착된 화상을 향상시킨다.
프로세서(104c)는 영상 관절경과 같은 영상 내시경 장치에 의해 포착된 화상을 나타내는 화상 데이터에 접근한다 (402). 화상 데이터는, 예를 들어, 협대역 광원(220b)을 사용하여 포착된 자가 형광 화상, 또는, 예를 들어, 광대역 광원(220a)을 사용하여 포착된 가시광 화상에 대응할 수 있다. 화상은 환자의 내부 조직 또는 해부학적 구조물의 것일 수 있다. 화상 데이터는 화상의 포착에 적절한 제1 색 공간(포착 색 공간)을 사용하여 엔코딩된다. 예를 들어, 제1 색 공간은 RGB, YUV, YPrPb, 또는 YcrCb 색 공간 중 하나이다.
프로세서(104c)는 접근된 화상 데이터를 제1 색 공간으로부터 제1 색 공간과 상이한 제2 색 공간으로 변환한다 (404). 제2 색 공간은 하나 이상의 관심 영역의 세분화에 적절하다 (세분화 색 공간). 세분화 색 공간으로서의 색 공간의 적절성은 개별 색들을 구분하고, 색의 조건등색 아티팩트를 감소시키고, 실시간 처리 유닛 내에서의 지원을 위한 가장 간편한 구현을 허용하는 능력에 의해 결정된다. 제2 색 공간은, 예를 들어, HSV, Lab, 또는 HSY일 수 있다.
프로세서(104c)는 제2 색 공간 내에서 화상 데이터를 분석함으로써 화상 데이터 내의 특징부의 위치를 식별한다 (406). 특징부는 조직, 해부학적 구조물, 또는 환자 내로 도입되는 외부 물체를 포함할 수 있다. 특징부를 결정하기 위해, 프로세서(104c)는, 예를 들어, 특징부를 결정하기 위해 제2 색 공간 내에서 화상 데이터에 대한 색 세분화를 수행할 수 있다. 일례로, 형광 화상이 제2 색 공간(예를 들어, HSV)으로 변환된 후에, 프로세서(104c)는, 예를 들어, 제2 색 공간 내의 화상 데이터 내의 픽셀의 색상 값의 히스토그램을 발생시킴으로써, 화상 내의 색상의 분포를 분석할 수 있다. 히스토그램 내의 상이한 모집단에 대응하는 픽셀의 그룹(즉, 색상의 상이한 범위)은 화상 내의 상이한 조직에 대응할 수 있다. 프로세서(104c)는 관심 조직 (또는 다른 특징부)에 대응하는 히스토그램 데이터 내의 모집단(색상의 범위) 내에 드는 픽셀을 식별하고, 그러한 모집단 내에 드는 픽셀을 표시하는 세분화 데이터를 발생시킬 수 있다.
다른 예에서, 프로세서(104c)는 특정 조직을 식별하기 위해 또는 관심 조직에 대응하는 화상의 영역을 화상의 다른 영역으로부터 분리하기 위해, 상대 색 차이를 사용할 수 있다. 예를 들어, 소정의 경우에, 대퇴골 ACL 조직의 색상은 전형적으로 화상의 배경 부분 및 다른 조직의 색상과 상이하다. 자가 형광 화상에서, 예를 들어, ACL에 대응하는 영역은 흔히 대체로 청색을 가지며, 배경 영역은 전형적으로 더 보라색으로 보인다. 따라서, 화상의 배경 영역은 그러므로 전형적으로 ACL 조직을 보여주는 영역에 비해 적색 편이된다. 프로세서(104c)는 배경으로부터 ACL 조직을 구분하기 위해 이러한 정보를 사용할 수 있다.
예를 들어, 자가 형광 무릎 화상 내의 픽셀은 픽셀의 색상 값에 따라 (예를 들어, 히스토그램 또는 다른 기술을 사용하여) 그룹화될 수 있다. 픽셀의 제1 그룹 및 제2 그룹이 그 다음 그룹들 중에서 식별된다. 예를 들어, 히스토그램이 사용될 때, 프로세서(104c)는 히스토그램 내의 색상의 제1 범위 및 제2 범위 내에 각각 드는 픽셀의 제1 세트 및 제2 세트를 결정할 수 있다. 제1 그룹 및 제2 그룹은, 예를 들어, 먼저 최소 포화 값 및 최소 강도 값을 만족시키지 않는 무관한 정보를 제거하고, 그 다음 히스토그램 내의 구분된 모집단들을 식별하기 위해 잔여 모집단들을 가우스 분포에 연관시키거나, 대안적으로 저역 필터링 및 아웃라이어(outlier) 제거를 포함한 다단계 검출 알고리즘을 채용하고, 그 다음 처리된 색상 히스토그램 분포 내에서 구분된 모집단들을 식별할 목적으로 제1 도함수 및 제2 도함수의 임계화에 의해 모집단을 검출함으로써, 식별될 수 있다. 제1 그룹 및 제2 그룹으로부터, 프로세서(104c)는 (다른 그룹에 비해) 더 청색인 픽셀을 구비한 그룹을 ACL 조직에 대응하는 것으로 선택하고, 이러한 픽셀을 표시하는 세분화 데이터를 발생시킨다. 히스토그램이 사용될 때, 프로세서(104c)는 더 청색인 색상의 범위 내에 드는 픽셀의 세트를 선택할 수 있다.
유사한 방식으로, 색상에 대응하는 픽셀의 분포의 분석이 화상 내의 추가의 영역 또는 상이한 영역을 표시할 수 있다. 몇몇 구현예에서, 가장 많은 수의 픽셀을 포함하는 픽셀의 그룹이 배경으로서 지정될 수 있고, 이는 배경이 전형적으로 화상의 최대 영역이기 때문이다.
몇몇 상황에서, 상이한 광학 장치들, 카메라 센서들, 및 처리 시스템들의 상호 작동성이 화상 내의 색상의 분포를 분석함으로써 향상된다. 동일한 조명 조건 하에서, 상이한 장치 및 장치 구성은 상이한 절대 색상의 범위를 생성할 수 있다. 그럼에도, 화상 내의 색상의 분포(예컨대, 화상의 상이한 영역들 사이에서의 색상의 차이)의 분석은 이러한 변동에 불구하고 신뢰할 수 있는 정확성을 허용할 수 있다.
프로세서(104c)는 화상 데이터 내의 특징부의 위치를 표시하는 세분화 데이터를 저장하고 (408), 화상 데이터를 제2 색 공간으로부터 제3 색 공간으로 변환한다 (410). 제3 색 공간은 디스플레이 장치 상에서의 디스플레이에 적절하고, 예를 들어, RGB, YUV, YPrPb, 또는 YcrCb 중 하나일 수 있다.
제3 색 공간 내의 세분화 데이터 및 화상 데이터에 기초하여, 프로세서(104c)는 특징부의 식별된 위치의 표시와 함께 화상을 디스플레이한다 (412). 특징부의 위치는, 예를 들어, 처리 이전에 원래의 화상의 그레이스케일 표현 상으로 의색(pseudo colour)을 중첩시키기 위해 사용되는 2진 마스크에 의해 식별될 수 있다. 다른 예로서, 세분화 데이터는 표준 RGB 채널들 중 하나에 직접 맵핑되며, 세분화가 그러한 디스플레이 채널들 중 하나 내에서만 보이도록 잔여 채널들로부터 배제되는 마스크를 발생시키기 위해 사용될 수 있다. 또한, 예를 들어, 세분화 데이터는 중첩하여 원래의 화상 상으로 알파(α) 블렌딩되는 윤곽 영역을 생성하기 위해 추가로 처리될 수 있다.
시스템(100)에 대해 위에서 설명되었지만, 과정(400)은 자가 형광, 형광, 또는 가시 에너지 화상을 포착하기 위한 특정 매체와 독립적으로 수행될 수 있다. 몇몇 구현예에서, 조직 경계(예컨대, 모서리) 또는 다른 관심 영역이 검출되어, 영상 관절경(200)과 같은 영상 관절경으로부터의 실시간 영상 출력과 중첩된다.
몇몇 경우에, 과정(400)은 미리 한정된 보정이 없이 관심 특징부를 시각화하는 것을 보조하기 위해 수행될 수 있다. 다른 과정은 여기 조명 하에서 광학 장치, 카메라 센서, 임의의 기존의 처리 파이프라인을 통해 시스템의 신호 응답의 선험적 지식을 요구할 수 있고, 목표 조직 또는 물체의 신호 응답을 배경 시스템 응답의 것으로부터 적절하게 분리하기 위해, 각각의 개별 시스템의 광학 및 전자 응답의 변동을 교정하기 위한 보정을 지원할 필요가 있을 수 있다. 과정(400)은 적절한 상황 하에서 그러한 보정을 필요치 않을 수 있다.
도 5a는 RGB 공간 내에서 포착된 자가 형광 화상(500)의 일례를 도시하는 도면이다. 화상(500)은, 예를 들어, 협대역 광원(220b)을 사용하여 포착될 수 있다. 화상은 대퇴골 ACL 점유 영역(502a, 502b) 및 대퇴골과로부터의 연골(504a, 504b)을 포함하는, 사람의 무릎으로부터의 조직 샘플의 것이다. 이러한 구조물 모두는 콜라겐을 갖지만, ACL은 상이한 유형의 콜라겐을 갖고, 이는 대퇴골 점유부(502a, 502b)는 밝은 청색으로 형광하고, 연골(504a, 504b)은 보라색으로 형광하게 한다. ACL 점유부는 이러한 예에서, 관심 해부학적 특징부이다.
도 5b는 화상(500)이 HSV와 같은 대안적인 색 공간으로 변환된 후의 화상(500)에 기초하여 발생된 히스토그램(520)의 일례를 도시한다. 히스토그램은 픽셀의 3개의 주요 그룹을 포함한다. 제1 그룹(522)은 대략 200°에 중심 설정된다. 제2 그룹(524)은 대략 275°에 중심 설정된다. 제3 그룹(526)은 대략 315°에 중심 설정된다. 제3 그룹(526)은 최고 개수의 픽셀을 포함하고, 그러므로 배경으로서 지정될 수 있다 (몇몇 구현예에서, 이러한 픽셀은 히스토그램을 형성하기 전에 필터링될 수 있다). 이러한 경우에, 제1 그룹(522) 및 제2 그룹(524)은 2가지 유형의 조직에 대응한다. ACL 조직이 대퇴골과의 연골에 비해 더 청색이므로, 픽셀의 더 청색인 그룹(제1 그룹(522))은 ACL 조직에 대응하는 것으로 선택된다.
도 5c는 히스토그램(520)의 모집단으로부터 도출된 세분화 마스크(532)와 함께 화상(530)의 일례를 도시하는 도면이다. 세분화 마스크는 ACL 점유부(관심 해부학적 특징부)의 위치를 표시한다. 이러한 경우에, 원래의 화상은 디스플레이의 녹색 채널 상으로 보내지고, 세분화 마스크는 디스플레이의 적색 채널 상으로 보내진다. 이는 적색 세분화 마스크(532)가 관심 특징부(ACL 점유부) 위에 보이게 하고, 해부학적 특징부의 잔여부는 녹색으로 보인다.
도 6은 화상 데이터 내의 특징부를 식별하고 그러한 특징부를 해부학적 모델 내에서 사용하기 위한 과정(600)의 일례를 도시한다. 과정(600)은, 예를 들어, 시각화 어플리케이션(108b)을 실행할 때 프로세서(104c)에 의해 구현되지만, 다른 시스템 또는 구성이 과정(400)을 수행할 수 있다.
대체로, 과정(600)은 공지된 해부학적 지점들로 구성된 특징부 기반 모델을 구축하기 위해, 촬영된 해부학적 구조물 내의 대표 특징부를 식별하여 그러한 대표 특징부를 잠재적으로 다른 대표 특징부와 함께 사용하기 위해, 과정(400)에 대해 설명된 바와 같은, 세분화를 위한 색 공간 변환을 사용한다. 이러한 모델은 그 다음 시계 내의 목표 해부학적 특징부 또는 영역을 식별하고, 목표 특징부 또는 영역을 이들을 다른 영역으로부터 구분하는 방식으로 디스플레이하기 위해 사용될 수 있다. 몇몇 경우에, 자가 형광 촬영 데이터가 촬영된 조직을 나타내는 특징부 기반 모델의 성능을 향상시킬 수 있다.
프로세서(104c)는, 예를 들어, 관절경으로부터의 실시간 영상의 형태로, 제1 색 공간 내에서 엔코팅된 화상 데이터에 접근한다 (602). 화상 데이터는, 예를 들어, 협대역 광원(220b)을 사용하여 포착된 자가 형광 화상, 또는, 예를 들어, 광대역 광원(220a)을 사용하여 포착된 가시광 화상에 대응할 수 있다. 화상은 환자의 내부 조직 또는 해부학적 구조물의 것일 수 있다. 화상 데이터는 화상의 포착에 적절한 제1 색 공간(디스플레이 색 공간)을 사용하여 엔코딩된다. 예를 들어, 제1 색 공간은 RGB, YUV, YPrPb, 또는 YcrCb 색 공간 중 하나이다.
프로세서(104c)는 접근된 화상 데이터를 제1 색 공간으로부터 제1 색 공간과 상이한 제2 색 공간으로 변환한다 (604). 제2 색 공간은 단계(404)에 대해 위에서 설명된 바와 같이, 하나 이상의 관심 영역의 세분화에 적절하다 (세분화 색 공간).
프로세서(104c)는 제2 색 공간 내에서 화상 데이터를 분석함으로써 화상 데이터 내의 하나 이상의 대표 특징부의 위치를 식별한다 (606). 프로세서(104c)는, 예를 들어, 단계(406)에 대해 위에서 설명된 기술들 중 하나를 사용하여 그렇게 한다. 프로세서(104c)는 또한 제1 색 공간 또는 제2 색 공간 내의 화상 데이터를 사용하여, 점 또는 모서리와 같은 추가의 대표 특징부의 위치를 식별할 수 있다.
프로세서는 영상의 복수의 프레임을 가로질러 대표 특징부의 위치를 추적한다 (608). 영상의 복수의 프레임은 대상에 대한 상이한 위치들에서 대표 특징부를 포착할 수 있다 (예컨대, 영상은 복수의 시각에서 포착된다). 추적된 특징부의 위치의 변화에 기초하여, 프로세서는, 예를 들어, 특징부가 이동한 방식을 평가하기 위해 운동 평가 기술을 사용한다. 예를 들어, 프로세서는 추적된 특징부가 이동한 방식을 설명하는 운동 벡터를 결정한다.
프로세서는 추적된 특징부의 이동에 기초하여 3차원(3D) 특징부 기반 해부학적 모델을 발생시킨다 (610). 3D 모델이 발생되면, 프로세서는 목표 해부학적 특징부의 위치를 결정한다 (612). 예를 들어, 모델이 대퇴골의 일 부분을 나타낼 때, ACL 또는 PCL 위치는 모델의 양태에 기초하여 결정될 수 있다. 프로세서는 해부학적 특징부의 비율, 규모, 및 다른 특질과 같은 공지된 해부학적 관계를 고려함으로써 해부학적 특징부의 위치를 평가할 수 있다. 예를 들어, 대퇴골과의 곡률은 3D 모델에 기초하여 결정될 수 있다. 이러한 곡률 값을 사용하여, ACL, PCL, 또는 다른 특징부의 위치가 무릎 특징부의 크기 및 위치를 설명하는 공지된 비율에 기초하여, 3D 모델에 대해 결정될 수 있다.
프로세서는 그 다음 목표 해부학적 특징부의 위치의 표시와 함께 화상 데이터에 대응하는 화상을 디스플레이한다 (614). 예를 들어, 관심 해부학적 특징부의 위치는 관절경으로부터 공급되는 실시간 영상 위에서 중첩되어 표시된다. 프로세서는 추적된 특징부의 위치를 계속하여 추적한다. 대상의 시야가 변화함에 따라, 프로세서는 관심 해부학적 특징부의 위치의 변화를 보여주기 위해 영상 디스플레이를 갱신한다. 본원에서 전체적으로 참조로 통합된, 2010년 12월 14일자로 출원된 미국 특허 출원 제12,967,435호(미국 특허 출원 공개 제2011/0141140호로 공개됨)에 설명된 것을 포함한, 추가의 특징부 위치 결정 및 시각화 기술이 사용될 수 있다.
다수의 구현예가 설명되었다. 그럼에도, 다양한 변형예가 이루어질 수 있음이 이해될 것이다. 예를 들어, 화상 처리 및 모델링 기술의 예가 영상 관절경과 함께 사용하기 위한 것으로 설명되었지만, 동일한 기술은 화상 포착의 다른 장치 및 형태와 함께 사용될 수 있다.
아울러, 자가 형광 촬영이 임의의 적절한 장치 또는 장치들의 조합을 사용하여 수행될 수 있고, 설명된 특정 장치로 제한되지 않는다. 예를 들어, 도 2d는 여기를 위한 가시광 광원 및 협대역 광원이 사이드 아암 내에 장착되는 분리된 LED들로부터 형성되는 구성을 도시한다. 상이한 색으로 발산하는 복수의 칩으로 만들어진 하나의 광원이 사이드 아암 내에 또는 내시경 내의 임의의 다른 위치에 위치되고, 가시광과 자가 형광에 적합한 광 사이에서 절환될 수 있는 것이 가능하다. 그러한 LED 광원은 조정 가능한 백색 LED로 불릴 수 있고, 가시광과 형광 여기 광 사이에서 필요한 대로 절환하도록 사용될 수 있다. 광대역 광 발산으로부터 협대역 광 발산으로 절환 또는 변화될 수 있는 LED (또는 다른 고체 상태 기술)이 이용 가능해지면, 이는 도 7에 도시된 2개의 LED 대신에 사용될 수 있다.
가시 또는 형광 여기를 위한 조명은 내시경의 조명 채널 이외의 방식으로 송출될 수 있다. 예를 들어, 형광 여기는 영상 관절경으로부터 분리된 프로브를 통해 송출될 수 있다. 이러한 경우에, 가시광 광원은 영상 관절경 내에 장착될 수 있고, 형광을 위한 LED 광원은 분리된 프로브 또는 기구 내에 위치된다. 형광을 위한 LED 광원은 개별 프로브의 원위 또는 근위 단부에 배치될 수 있다. 형광을 위한 LED 광원이 근위 단부에 위치되면, 여기 에너지는 섬유를 통해 원위로 송출될 수 있다. 형광을 위한 LED 및/또는 형광을 위한 여기 에너지를 송출하는 섬유는 드릴 가이드, 수공구, 또는 드릴 가이드, 내시경, 또는 분리된 프로브 둘레에 끼워지는 재사용 가능하거나 일회용인 캐뉼라와 같은, 관절경 시술 시에 사용되는 다른 유형의 기구 내에 매립될 수 있다. 또한, 조명은 독립된 자가 전력식 장치 상에서 발생되어, 송출 장치 상의 기둥에 의해 결합된 가요성 도광관을 거쳐 송출 장치로 송출될 수 있다. 이러한 최종 실시예에서, 여기 에너지는 독립형 장치 내의 단색 레이저, LED, 또는 필터링된 백색광원에 의해 발생될 수 있다.
따라서, 다른 구현예가 다음의 특허청구범위의 범주 내에 든다.

Claims (32)

  1. 영상 내시경 장치에 의해 포착된 화상을 나타내고 제1 색 공간 내에서 엔코딩되는 화상 데이터에 접근하는 단계;
    접근된 화상 데이터를 제1 색 공간으로부터 제1 색 공간과는 상이한 제2 색 공간으로 변환하는 단계;
    제2 색 공간 내에서 화상 데이터를 분석함으로써 화상 내의 특징부의 위치를 식별하는 단계;
    화상 내의 특징부의 위치를 표시하는 세분화(segmentation) 데이터를 저장하는 단계; 및
    세분화 데이터에 기초하여, 특징부의 식별된 위치의 표시와 함께 화상을 디스플레이하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서, 특징부의 식별된 위치의 표시와 함께 화상을 디스플레이하는 단계는:
    화상 데이터를 제2 색 공간으로부터 제3 색 공간으로 변환하는 단계; 및
    세분화 데이터 및 제3 색 공간 내의 화상 데이터에 기초하여, 특징부의 식별된 위치의 표시와 함께 화상을 디스플레이하는 단계
    를 포함하는 방법.
  3. 제1항 또는 제2항에 있어서, 하나 이상의 특징부는 조직의 유형, 해부학적 구조물, 또는 환자 내로 도입된 외부 물체를 포함하는 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 제2 색 공간 내에서 화상 데이터를 분석함으로써 화상 내의 특징부의 위치를 식별하는 단계는:
    제2 색 공간 내의 화상 데이터에 기초하여 화상 데이터 내의 픽셀의 색상 값의 히스토그램을 발생시키는 단계; 및
    특징부에 대응하는 히스토그램 내의 색상의 범위 내에 드는 픽셀을 식별하는 단계
    를 포함하고,
    세분화 데이터는 특징부에 대응하는 히스토그램 내의 색상의 범위 내에 드는 픽셀을 표시하는 방법.
  5. 제1항 내지 제3항 중 어느 한 항에 있어서, 제2 색 공간 내에서 화상 데이터를 분석함으로써 화상 내의 특징부의 위치를 식별하는 단계는:
    픽셀의 색상 값에 기초하여 제2 색 공간 내의 화상 데이터 내의 픽셀을 그룹으로 그룹화하는 단계;
    픽셀의 그룹들 중에서 픽셀의 제1 그룹을 결정하는 단계;
    픽셀의 그룹들 중에서 픽셀의 제2 그룹을 결정하는 단계; 및
    픽셀의 제1 그룹과 제2 그룹 사이의 상대 색 차이에 기초하여 픽셀의 제1 그룹 또는 제2 그룹 중 하나를 선택하는 단계
    를 포함하고,
    세분화 데이터는 픽셀의 선택된 그룹을 표시하는 방법.
  6. 제5항에 있어서,
    픽셀을 그룹화하는 단계는 제2 색 공간 내의 화상 데이터에 기초하여 화상 데이터 내의 픽셀의 색상 값의 히스토그램을 발생시키는 단계를 포함하고;
    픽셀의 제1 그룹을 결정하는 단계는 히스토그램 내의 색상의 제1 범위 내에 드는 픽셀의 제1 세트를 결정하는 단계를 포함하고;
    픽셀의 제2 그룹을 결정하는 단계는 히스토그램 내의 색상의 제2 범위 내에 드는 픽셀의 제2 세트를 결정하는 단계를 포함하고;
    픽셀의 제1 그룹 또는 제2 그룹 중 하나를 선택하는 단계는 색상의 제1 범위와 색상의 제2 범위 사이의 상대 색 차이에 기초하여 픽셀의 제1 세트 또는 제2 세트 중 하나를 선택하는 단계를 포함하는 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 제1 색 공간은 RGB, YUV, YPrPb, 또는 YcrCb 중 하나인 방법.
  8. 제1항 내지 제6항 중 어느 한 항에 있어서, 제2 색 공간은 HSV, Lab, 또는 HSY 중 하나인 방법.
  9. 영상 내시경 장치에 의해 포착된 화상을 나타내고 제1 색 공간 내에서 엔코딩되는 화상 데이터를 발생시키고; 화상 데이터를 컴퓨팅 장치로 송신하도록 구성된 영상 내시경 장치; 및
    영상 내시경 장치에 의해 송신된 화상 데이터를 수신하고; 수신된 화상 데이터를 제1 색 공간으로부터 제1 색 공간과는 상이한 제2 색 공간으로 변환하고; 제2 색 공간 내에서 화상 데이터를 분석함으로써 화상 내의 특징부의 위치를 식별하고; 화상 내의 특징부의 위치를 표시하는 세분화 데이터를 저장하고; 세분화 데이터에 기초하여, 특징부의 식별된 위치의 표시와 함께 디스플레이 장치 상에서 화상을 디스플레이하도록 구성된 컴퓨팅 장치
    를 포함하는 시스템.
  10. 제9항에 있어서, 특징부의 식별된 위치의 표시와 함께 디스플레이 장치 상에서 화상을 디스플레이하기 위해, 컴퓨팅 장치는:
    화상 데이터를 제2 색 공간으로부터 제3 색 공간으로 변환하고;
    세분화 데이터 및 제3 색 공간 내의 화상 데이터에 기초하여, 특징부의 식별된 위치의 표시와 함께 디스플레이 장치 상에서 화상을 디스플레이하도록,
    구성되는 시스템.
  11. 제9항 또는 제10항에 있어서, 하나 이상의 특징부는 조직의 유형, 해부학적 구조물, 또는 환자 내로 도입된 외부 물체를 포함하는 시스템.
  12. 제9항 내지 제11항 중 어느 한 항에 있어서, 제2 색 공간 내에서 화상 데이터를 분석함으로써 화상 내의 특징부의 위치를 식별하기 위해, 컴퓨팅 장치는:
    제2 색 공간 내의 화상 데이터에 기초하여 화상 데이터 내의 픽셀의 색상 값의 히스토그램을 발생시키고;
    특징부에 대응하는 히스토그램 내의 색상의 범위 내에 드는 픽셀을 식별하도록,
    구성되고,
    세분화 데이터는 특징부에 대응하는 히스토그램 내의 색상의 범위 내에 드는 픽셀을 표시하는 시스템.
  13. 제9항 내지 제11항 중 어느 한 항에 있어서, 제2 색 공간 내에서 화상 데이터를 분석함으로써 화상 내의 특징부의 위치를 식별하기 위해, 컴퓨팅 장치는:
    픽셀의 색상 값에 기초하여 제2 색 공간 내의 화상 데이터 내의 픽셀을 그룹으로 그룹화하고;
    픽셀의 그룹들 중에서 픽셀의 제1 그룹을 결정하고;
    픽셀의 그룹들 중에서 픽셀의 제2 그룹을 결정하고;
    픽셀의 제1 그룹과 제2 그룹 사이의 상대 색 차이에 기초하여 픽셀의 제1 그룹 또는 제2 그룹 중 하나를 선택하도록,
    구성되고,
    세분화 데이터는 픽셀의 선택된 그룹을 표시하는 시스템.
  14. 제13항에 있어서,
    픽셀을 그룹화하기 위해, 컴퓨팅 장치는 제2 색 공간 내의 화상 데이터에 기초하여 화상 데이터 내의 픽셀의 색상 값의 히스토그램을 발생시키도록 구성되고;
    픽셀의 제1 그룹을 결정하기 위해, 컴퓨팅 장치는 히스토그램 내의 색상의 제1 범위 내에 드는 픽셀의 제1 세트를 결정하도록 구성되고;
    픽셀의 제2 그룹을 결정하기 위해, 컴퓨팅 장치는 히스토그램 내의 색상의 제2 범위 내에 드는 픽셀의 제2 세트를 결정하도록 구성되고;
    픽셀의 제1 그룹 또는 제2 그룹 중 하나를 선택하기 위해, 컴퓨팅 장치는 색상의 제1 범위와 색상의 제2 범위 사이의 상대 색 차이에 기초하여 픽셀의 제1 세트 또는 제2 세트 중 하나를 선택하도록 구성되는 시스템.
  15. 제9항 내지 제14항 중 어느 한 항에 있어서, 제1 색 공간은 RGB, YUV, YPrPb, 또는 YcrCb 중 하나인 시스템.
  16. 제9항 내지 제14항 중 어느 한 항에 있어서, 제2 색 공간은 HSV, Lab, 또는 HSY 중 하나인 시스템.
  17. 영상 내시경 장치에 의해 포착된 영상을 나타내고 제1 색 공간 내에서 엔코딩되는 화상 데이터에 접근하는 단계;
    접근된 화상 데이터를 제1 색 공간으로부터 제1 색 공간과는 상이한 제2 색 공간으로 변환하는 단계;
    제2 색 공간 내에서 화상 데이터를 분석함으로써 영상 내의 대표 특징부의 위치를 식별하는 단계;
    화상 데이터의 복수의 프레임에 걸쳐 대표 특징부의 위치를 추적하는 단계;
    추적된 대표 특징부에 기초하여 해부학적 모델을 발생시키는 단계;
    해부학적 모델에 기초하여 영상 데이터 내의 목표 해부학적 특징부(landmark feature)의 위치를 결정하는 단계; 및
    목표 특징부의 위치의 표시와 함께 영상을 디스플레이하는 단계
    를 포함하는 방법.
  18. 제17항에 있어서, 목표 해부학적 특징부의 위치를 결정하는 단계는 해부학적 모델, 및 모델의 양태와 목표 해부학적 특징부의 양태 사이의 공지된 해부학적 관계에 기초하여, 목표 해부학적 특징부의 위치를 결정하는 단계를 포함하는 방법.
  19. 제17항 또는 제18항에 있어서, 추적된 대표 특징부에 기초하여 해부학적 모델을 발생시키는 단계는 복수의 프레임들 사이에서의 대표 특징부의 위치의 변화에 기초하여 대표 특징부의 이동을 결정하는 단계, 및 대표 특징부의 이동에 기초하여 해부학적 모델을 발생시키는 단계를 포함하는 방법.
  20. 제17항 내지 제19항 중 어느 한 항에 있어서, 제2 색 공간 내에서 화상 데이터를 분석함으로써 화상 내의 대표 특징부의 위치를 식별하는 단계는:
    제2 색 공간 내의 화상 데이터에 기초하여 화상 데이터 내의 픽셀의 색상 값의 히스토그램을 발생시키는 단계; 및
    특징부에 대응하는 히스토그램 내의 색상의 범위 내에 드는 픽셀을 식별하는 단계
    를 포함하고,
    세분화 데이터는 특징부에 대응하는 히스토그램 내의 색상의 범위 내에 드는 픽셀을 표시하는 방법.
  21. 제17항 내지 제19항 중 어느 한 항에 있어서, 제2 색 공간 내에서 화상 데이터를 분석함으로써 화상 내의 대표 특징부의 위치를 식별하는 단계는:
    픽셀의 색상 값에 기초하여 제2 색 공간 내의 화상 데이터 내의 픽셀을 그룹으로 그룹화하는 단계;
    픽셀의 그룹들 중에서 픽셀의 제1 그룹을 결정하는 단계;
    픽셀의 그룹들 중에서 픽셀의 제2 그룹을 결정하는 단계; 및
    픽셀의 제1 그룹과 제2 그룹 사이의 상대 색 차이에 기초하여 픽셀의 제1 그룹 또는 제2 그룹 중 하나를 선택하는 단계
    를 포함하고,
    세분화 데이터는 픽셀의 선택된 그룹을 표시하는 방법.
  22. 제21항에 있어서,
    픽셀을 그룹화하는 단계는 제2 색 공간 내의 화상 데이터에 기초하여 화상 데이터 내의 픽셀의 색상 값의 히스토그램을 발생시키는 단계를 포함하고;
    픽셀의 제1 그룹을 결정하는 단계는 히스토그램 내의 색상의 제1 범위 내에 드는 픽셀의 제1 세트를 결정하는 단계를 포함하고;
    픽셀의 제2 그룹을 결정하는 단계는 히스토그램 내의 색상의 제2 범위 내에 드는 픽셀의 제2 세트를 결정하는 단계를 포함하고;
    픽셀의 제1 그룹 또는 제2 그룹 중 하나를 선택하는 단계는 색상의 제1 범위와 색상의 제2 범위 사이의 상대 색 차이에 기초하여 픽셀의 제1 세트 또는 제2 세트 중 하나를 선택하는 단계를 포함하는 방법.
  23. 제17항 내지 제22항 중 어느 한 항에 있어서, 제1 색 공간은 RGB, YUV, YPrPb, 또는 YcrCb 중 하나인 방법.
  24. 제17항 내지 제22항 중 어느 한 항에 있어서, 제2 색 공간은 HSV, Lab, 또는 HSY 중 하나인 방법.
  25. 영상 내시경 장치에 의해 포착된 영상을 나타내고 제1 색 공간 내에서 엔코딩되는 화상 데이터를 발생시키고; 화상 데이터를 컴퓨팅 장치로 송신하도록 구성된 영상 내시경 장치; 및
    영상 내시경 장치에 의해 송신된 화상 데이터를 수신하고; 수신된 화상 데이터를 제1 색 공간으로부터 제1 색 공간과는 상이한 제2 색 공간으로 변환하고; 제2 색 공간 내에서 화상 데이터를 분석함으로써 영상 내의 대표 특징부의 위치를 식별하고; 화상 데이터의 복수의 프레임에 걸쳐 대표 특징부의 위치를 추적하고; 추적된 대표 특징부에 기초하여 해부학적 모델을 발생시키고; 해부학적 모델에 기초하여 영상 데이터 내의 목표 해부학적 특징부의 위치를 결정하고; 목표 특징부의 위치의 표시와 함께 디스플레이 장치 상에서 영상을 디스플레이하도록 구성된 컴퓨팅 장치
    를 포함하는 시스템.
  26. 제25항에 있어서, 목표 해부학적 특징부의 위치를 결정하기 위해, 컴퓨팅 장치는 해부학적 모델, 및 모델의 양태와 목표 해부학적 특징부의 양태 사이의 공지된 해부학적 관계에 기초하여, 목표 해부학적 특징부의 위치를 결정하도록 구성되는 시스템.
  27. 제25항 또는 제26항에 있어서, 추적된 대표 특징부에 기초하여 해부학적 모델을 발생시키기 위해, 컴퓨팅 장치는 복수의 프레임들 사이에서의 대표 특징부의 위치의 변화에 기초하여 대표 특징부의 이동을 결정하고, 대표 특징부의 이동에 기초하여 해부학적 모델을 발생시키도록 구성되는 시스템.
  28. 제25항 내지 제27항 중 어느 한 항에 있어서, 제2 색 공간 내에서 화상 데이터를 분석함으로써 화상 내의 특징부의 위치를 식별하기 위해, 컴퓨팅 장치는:
    제2 색 공간 내의 화상 데이터에 기초하여 화상 데이터 내의 픽셀의 색상 값의 히스토그램을 발생시키고;
    특징부에 대응하는 히스토그램 내의 색상의 범위 내에 드는 픽셀을 식별하도록,
    구성되고,
    세분화 데이터는 특징부에 대응하는 히스토그램 내의 색상의 범위 내에 드는 픽셀을 표시하는 시스템.
  29. 제25항 내지 제27항 중 어느 한 항에 있어서, 제2 색 공간 내에서 화상 데이터를 분석함으로써 화상 내의 특징부의 위치를 식별하기 위해, 컴퓨팅 장치는:
    픽셀의 색상 값에 기초하여 제2 색 공간 내의 화상 데이터 내의 픽셀을 그룹으로 그룹화하고;
    픽셀의 그룹들 중에서 픽셀의 제1 그룹을 결정하고;
    픽셀의 그룹들 중에서 픽셀의 제2 그룹을 결정하고;
    픽셀의 제1 그룹과 제2 그룹 사이의 상대 색 차이에 기초하여 픽셀의 제1 그룹 또는 제2 그룹 중 하나를 선택하도록,
    구성되고,
    세분화 데이터는 픽셀의 선택된 그룹을 표시하는 시스템.
  30. 제29항에 있어서,
    픽셀을 그룹화하기 위해, 컴퓨팅 장치는 제2 색 공간 내의 화상 데이터에 기초하여 화상 데이터 내의 픽셀의 색상 값의 히스토그램을 발생시키도록 구성되고;
    픽셀의 제1 그룹을 결정하기 위해, 컴퓨팅 장치는 히스토그램 내의 색상의 제1 범위 내에 드는 픽셀의 제1 세트를 결정하도록 구성되고;
    픽셀의 제2 그룹을 결정하기 위해, 컴퓨팅 장치는 히스토그램 내의 색상의 제2 범위 내에 드는 픽셀의 제2 세트를 결정하도록 구성되고;
    픽셀의 제1 그룹 또는 제2 그룹 중 하나를 선택하기 위해, 컴퓨팅 장치는 색상의 제1 범위와 색상의 제2 범위 사이의 상대 색 차이에 기초하여 픽셀의 제1 세트 또는 제2 세트 중 하나를 선택하도록 구성되는 시스템.
  31. 제25항 내지 제30항 중 어느 한 항에 있어서, 제1 색 공간은 RGB, YUV, YPrPb, 또는 YcrCb 중 하나인 시스템.
  32. 제25항 내지 제30항 중 어느 한 항에 있어서, 제2 색 공간은 HSV, Lab, 또는 HSY 중 하나인 시스템.
KR1020147026046A 2012-02-23 2013-02-22 영상 내시경 시스템 KR102028780B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201261602106P 2012-02-23 2012-02-23
US61/602,106 2012-02-23
US201261668743P 2012-07-06 2012-07-06
US61/668,743 2012-07-06
US201261708157P 2012-10-01 2012-10-01
US61/708,157 2012-10-01
PCT/US2013/027436 WO2013126780A1 (en) 2012-02-23 2013-02-22 Video endoscopic system

Publications (2)

Publication Number Publication Date
KR20140127887A true KR20140127887A (ko) 2014-11-04
KR102028780B1 KR102028780B1 (ko) 2019-10-04

Family

ID=47843433

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147026046A KR102028780B1 (ko) 2012-02-23 2013-02-22 영상 내시경 시스템

Country Status (10)

Country Link
US (2) US9715727B2 (ko)
EP (2) EP2817782B1 (ko)
JP (3) JP6596203B2 (ko)
KR (1) KR102028780B1 (ko)
CN (2) CN109567724A (ko)
AU (2) AU2013222242A1 (ko)
IN (1) IN2014DN07441A (ko)
MX (1) MX2014010163A (ko)
RU (1) RU2657951C2 (ko)
WO (1) WO2013126780A1 (ko)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11977998B2 (en) * 2014-05-15 2024-05-07 Storz Endoskop Produktions Gmbh Surgical workflow support system
US20160015469A1 (en) * 2014-07-17 2016-01-21 Kyphon Sarl Surgical tissue recognition and navigation apparatus and method
WO2016081411A1 (en) * 2014-11-18 2016-05-26 Smith & Nephew, Inc. Endocoupler with induction coupling
JP6585728B2 (ja) 2015-02-23 2019-10-02 リ−コール，インコーポレイティド 生検標本蛍光撮像装置および方法
EP3294109B1 (en) * 2015-05-12 2024-03-27 Avraham Levy Dynamic field of view endoscope
CA2984438A1 (en) 2015-06-26 2016-12-29 Li-Cor, Inc. Fluorescence biopsy specimen imager and methods
WO2017077882A1 (ja) 2015-11-04 2017-05-11 オリンパス株式会社 画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラム
US10708478B2 (en) * 2016-03-23 2020-07-07 Karl Storz Imaging, Inc. Image transformation and display for fluorescent and visible imaging
WO2017184940A1 (en) 2016-04-21 2017-10-26 Li-Cor, Inc. Multimodality multi-axis 3-d imaging
DE102016108095A1 (de) * 2016-05-02 2017-11-02 Olympus Winter & Ibe Gmbh Endoskopiesystem, Endoskop und Kamerakopf
US10278586B2 (en) 2016-06-23 2019-05-07 Li-Cor, Inc. Complementary color flashing for multichannel image presentation
US10993622B2 (en) 2016-11-23 2021-05-04 Li-Cor, Inc. Motion-adaptive interactive imaging method
JP6906987B2 (ja) 2017-03-10 2021-07-21 ソニー・オリンパスメディカルソリューションズ株式会社 内視鏡用カメラヘッド
JP6853076B2 (ja) * 2017-03-13 2021-03-31 ソニー・オリンパスメディカルソリューションズ株式会社 内視鏡装置
US10580130B2 (en) 2017-03-24 2020-03-03 Curadel, LLC Tissue identification by an imaging system using color information
EP3616158A1 (en) 2017-04-25 2020-03-04 Li-Cor, Inc. Top-down and rotational side view biopsy specimen imager and methods
US10852236B2 (en) 2017-09-12 2020-12-01 Curadel, LLC Method of measuring plant nutrient transport using near-infrared imaging
TW202023489A (zh) * 2018-11-08 2020-07-01 美商外科劇院有限責任公司 用於光學追蹤之系統及方法
JP7420916B2 (ja) * 2019-07-16 2024-01-23 サティスファイ ヘルス インコーポレイテッド 機械学習システムのリアルタイム展開
CN110969603B (zh) * 2019-11-26 2021-01-05 联博智能科技有限公司 病变位置的相对定位方法、装置及终端设备
EP4107748A1 (en) 2020-02-20 2022-12-28 Smith&Nephew, Inc. Methods for arthroscopic video analysis and devices therefor
CN115210821A (zh) 2020-04-03 2022-10-18 史密夫和内修有限公司 用于关节镜中的数字标记的用户界面
WO2021203077A1 (en) 2020-04-03 2021-10-07 Smith & Nephew, Inc. Methods for arthroscopic surgery video segmentation and devices therefor
CN111990953A (zh) * 2020-07-22 2020-11-27 浙江优亿医疗器械股份有限公司 一种关节探视器
US20220262098A1 (en) * 2021-02-12 2022-08-18 University Of Washington Method for classifying images
EP4329584A1 (en) * 2021-04-26 2024-03-06 Stryker Corporation Systems and methods for arthroscopic visualization
US11966486B2 (en) * 2021-08-18 2024-04-23 Verizon Patent And Licensing Inc. Systems and methods for image preprocessing and segmentation for visual data privacy
JP2024095405A (ja) * 2022-12-28 2024-07-10 株式会社アドバンテスト 蛍光検出装置
CN116721175B (zh) * 2023-08-09 2023-10-10 安翰科技(武汉)股份有限公司 一种图像显示方法、图像显示装置以及胶囊内窥镜系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010115413A (ja) * 2008-11-14 2010-05-27 Olympus Corp 画像処理装置、画像処理プログラムおよび画像処理方法
JP2010187756A (ja) * 2009-02-16 2010-09-02 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
US20120301447A1 (en) * 2009-11-03 2012-11-29 Jensen Michael C TRUNCATED EPIDERIMAL GROWTH FACTOR RECEPTOR (EGFRt) FOR TRANSDUCED T CELL SELECTION

Family Cites Families (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4756304A (en) * 1986-10-08 1988-07-12 Watanabe Robert S Arthroscopic video camera system
JPS63256916A (ja) * 1987-04-15 1988-10-24 Toshiba Corp 電子内視鏡装置
JPH034832A (ja) * 1989-06-01 1991-01-10 Toshiba Corp 電子内視鏡装置
US4969450A (en) * 1990-01-25 1990-11-13 Smith & Nephew Dyonics, Inc. Videoarthroscope with one-handed control
DE4238977C2 (de) * 1992-11-19 1996-12-12 Schoelly Fiberoptic Gmbh Vorrichtung zur Beleuchtung und Inspektion von Hohl- und Zwischenräumen
CA2159597C (en) * 1993-03-31 2005-05-17 Philip J. Branson Managing information in an endoscopy system
JPH07234365A (ja) * 1994-02-21 1995-09-05 Olympus Optical Co Ltd 内視鏡撮像装置
DE19629646C2 (de) 1996-07-23 1998-09-10 Wolf Gmbh Richard Verfahren und Vorrichtung zur automatischen Identifikation von Komponenten medizinischer Gerätesysteme
JP3615890B2 (ja) 1996-12-04 2005-02-02 フジノン株式会社 電子内視鏡装置
JPH10216144A (ja) 1997-02-06 1998-08-18 Olympus Optical Co Ltd 超音波診断治療装置
JPH10309258A (ja) 1997-05-13 1998-11-24 Olympus Optical Co Ltd 体腔内観察装置
JP4217357B2 (ja) * 1999-11-15 2009-01-28 オリンパス株式会社 内視鏡用撮像装置および内視鏡システム
US20020138008A1 (en) * 2000-01-13 2002-09-26 Kazuhiro Tsujita Method and apparatus for displaying fluorescence images and method and apparatus for acquiring endoscope images
US6895279B2 (en) 2000-09-15 2005-05-17 Alfred E. Mann Institute For Biomedical Engineering At The University Of Southern California Method and apparatus to treat disorders of gastrointestinal peristalsis
US6692431B2 (en) 2001-09-07 2004-02-17 Smith & Nephew, Inc. Endoscopic system with a solid-state light source
US8723936B2 (en) 2002-03-12 2014-05-13 Karl Storz Imaging, Inc. Wireless camera coupling with rotatable coupling
US8194122B2 (en) * 2002-03-12 2012-06-05 Karl Storz Imaging, Inc. Universal scope reader
US8599250B2 (en) 2002-03-12 2013-12-03 Karl Storz Imaging, Inc. Wireless camera coupling
JP2003334163A (ja) * 2002-03-14 2003-11-25 Olympus Optical Co Ltd 内視鏡画像処理装置
JP2004024656A (ja) 2002-06-27 2004-01-29 Fuji Photo Film Co Ltd 蛍光内視鏡装置
US7613335B2 (en) * 2003-02-12 2009-11-03 The University Of Iowa Research Foundation Methods and devices useful for analyzing color medical images
JP4547402B2 (ja) * 2003-04-25 2010-09-22 オリンパス株式会社 画像表示装置、画像表示方法および画像表示プログラム
JP3810381B2 (ja) * 2003-04-25 2006-08-16 オリンパス株式会社 画像表示装置、画像表示方法および画像表示プログラム
US7397364B2 (en) 2003-11-11 2008-07-08 Biosense Webster, Inc. Digital wireless position sensor
WO2005077249A1 (ja) 2004-02-16 2005-08-25 Olympus Corporation 内視鏡システム
JP4370201B2 (ja) * 2004-05-14 2009-11-25 オリンパス株式会社 内視鏡
WO2005110189A1 (ja) 2004-05-14 2005-11-24 Olympus Corporation 内視鏡
US8480566B2 (en) 2004-09-24 2013-07-09 Vivid Medical, Inc. Solid state illumination for endoscopy
JP2006198106A (ja) * 2005-01-19 2006-08-03 Olympus Corp 電子内視鏡装置
US7668450B2 (en) * 2005-01-28 2010-02-23 Stryker Corporation Endoscope with integrated light source
US8029439B2 (en) 2005-01-28 2011-10-04 Stryker Corporation Disposable attachable light source unit for an endoscope
US8672922B2 (en) 2005-12-20 2014-03-18 Intuitive Surgical Operations, Inc. Wireless communication in a robotic surgical system
US8290600B2 (en) 2006-07-21 2012-10-16 Boston Scientific Scimed, Inc. Electrical stimulation of body tissue using interconnected electrode assemblies
JP5121204B2 (ja) 2006-10-11 2013-01-16 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
US8498695B2 (en) * 2006-12-22 2013-07-30 Novadaq Technologies Inc. Imaging system with a single color image sensor for simultaneous fluorescence and color video endoscopy
CN100565582C (zh) * 2006-12-31 2009-12-02 四川大学华西医院 一种筛选食管微小病变的图像处理方法
EP1998165A1 (en) * 2007-06-01 2008-12-03 The European Community, represented by the European Commission Method of fluorescence imaging
JP5106928B2 (ja) 2007-06-14 2012-12-26 オリンパス株式会社 画像処理装置および画像処理プログラム
KR101393487B1 (ko) * 2007-10-25 2014-05-14 삼성전자주식회사 디스플레이장치 및 그의 화질개선방법
JP5312807B2 (ja) * 2008-01-08 2013-10-09 オリンパス株式会社 画像処理装置および画像処理プログラム
US9603512B2 (en) 2008-04-25 2017-03-28 Karl Storz Imaging, Inc. Wirelessly powered medical devices and instruments
DE102008027905A1 (de) * 2008-06-12 2009-12-17 Olympus Winter & Ibe Gmbh Verfahren und Endoskop zur Verbesserung von Endoskopbildern
JP2009302960A (ja) 2008-06-13 2009-12-24 Olympus Corp 映像信号処理装置並びにプログラム及び方法
RU2406144C1 (ru) * 2009-03-27 2010-12-10 Учреждение Российской академии наук Институт проблем управления им. В.А. Трапезникова РАН Способ компьютерной обработки и анализа изображений разнотипных объектов биологической природы
JP5361511B2 (ja) 2009-04-21 2013-12-04 オリンパス株式会社 内視鏡システム
WO2011005865A2 (en) 2009-07-07 2011-01-13 The Johns Hopkins University A system and method for automated disease assessment in capsule endoscopy
JP2011024135A (ja) * 2009-07-17 2011-02-03 Fuji Xerox Co Ltd 画像読取装置、画像形成装置、およびプログラム
US8363097B2 (en) * 2009-07-23 2013-01-29 Smith & Nephew, Inc. Endoscopic imaging system
JP5624745B2 (ja) 2009-10-23 2014-11-12 オリンパス株式会社 内視鏡システム
CN110477841B (zh) 2009-12-14 2022-05-24 史密夫和内修有限公司 可视化引导acl定位系统
US20110301447A1 (en) 2010-06-07 2011-12-08 Sti Medical Systems, Llc Versatile video interpretation, visualization, and management system
DE102010039731A1 (de) * 2010-08-25 2012-03-01 Olympus Winter & Ibe Gmbh Elektrisches Verbindungselement und Endoskopiesystem
WO2013084975A1 (ja) 2011-12-08 2013-06-13 オリンパス株式会社 蛍光センサおよび蛍光センサの製造方法
WO2013100030A1 (ja) 2011-12-28 2013-07-04 オリンパス株式会社 蛍光観察装置、蛍光観察方法および蛍光観察装置の作動方法
DE102011122602A1 (de) 2011-12-30 2013-07-04 Karl Storz Gmbh & Co. Kg Vorrichtung und Verfahren zur endoskopischen Fluoreszenzdetektion
WO2013121616A1 (ja) 2012-02-17 2013-08-22 オリンパスメディカルシステムズ株式会社 内視鏡装置
WO2013121610A1 (ja) 2012-02-17 2013-08-22 オリンパスメディカルシステムズ株式会社 内視鏡装置及び医用システム
EP2737843A4 (en) 2012-03-29 2015-05-06 Olympus Medical Systems Corp ENDOSCOPE SYSTEM
JP6103824B2 (ja) 2012-06-04 2017-03-29 オリンパス株式会社 蛍光内視鏡装置
US9629518B2 (en) 2012-12-27 2017-04-25 Arthrex, Inc. Contactless camera connection system
IN2013DE01670A (ko) 2013-06-03 2015-06-26 Samhotra Navneet
DE102013213247A1 (de) 2013-07-05 2015-01-08 Olympus Winter & Ibe Gmbh Videoendoskopiesystem, Kopplungseinrichtung, Videoendoskop und Kontrolleinrichtung
WO2016081411A1 (en) * 2014-11-18 2016-05-26 Smith & Nephew, Inc. Endocoupler with induction coupling

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010115413A (ja) * 2008-11-14 2010-05-27 Olympus Corp 画像処理装置、画像処理プログラムおよび画像処理方法
JP2010187756A (ja) * 2009-02-16 2010-09-02 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
US20120301447A1 (en) * 2009-11-03 2012-11-29 Jensen Michael C TRUNCATED EPIDERIMAL GROWTH FACTOR RECEPTOR (EGFRt) FOR TRANSDUCED T CELL SELECTION

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Automatic extraction and visualization of human inner structures from endoscopic image sequences *

Also Published As

Publication number Publication date
JP2015509404A (ja) 2015-03-30
KR102028780B1 (ko) 2019-10-04
EP2976987A3 (en) 2016-06-08
CN104246828A (zh) 2014-12-24
JP6843926B2 (ja) 2021-03-17
AU2013222242A1 (en) 2014-09-18
EP2817782B1 (en) 2023-08-09
JP2019188223A (ja) 2019-10-31
JP6920234B2 (ja) 2021-08-18
CN104246828B (zh) 2018-11-23
US20150062153A1 (en) 2015-03-05
IN2014DN07441A (ko) 2015-04-24
WO2013126780A1 (en) 2013-08-29
JP6596203B2 (ja) 2019-10-23
RU2657951C2 (ru) 2018-06-18
MX2014010163A (es) 2014-09-16
RU2014136476A (ru) 2016-04-10
CN109567724A (zh) 2019-04-05
US20170202443A1 (en) 2017-07-20
WO2013126780A9 (en) 2014-09-04
AU2018205109A1 (en) 2018-07-26
EP2976987A2 (en) 2016-01-27
EP2817782A1 (en) 2014-12-31
US10783626B2 (en) 2020-09-22
US9715727B2 (en) 2017-07-25
JP2018089424A (ja) 2018-06-14

Similar Documents

Publication Publication Date Title
JP6843926B2 (ja) ビデオ内視鏡システム
CN110325100B (zh) 内窥镜系统及其操作方法
US11123150B2 (en) Information processing apparatus, assistance system, and information processing method
CN107847117B (zh) 图像处理装置及图像处理方法
US20210153720A1 (en) Medical image processing apparatus, endoscope system, and method for operating medical image processing apparatus
US20210169306A1 (en) Medical image processing apparatus, endoscope system, and method for operating medical image processing apparatus
WO2019220801A1 (ja) 内視鏡画像処理装置、内視鏡画像処理方法、及びプログラム
WO2019016912A1 (ja) 診断支援装置、診断支援方法及びプログラム
JP2021045337A (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理方法、及びプログラム
US11627864B2 (en) Medical image processing apparatus, endoscope system, and method for emphasizing region of interest
US20230036858A1 (en) Systems and methods for machine readable identification of surgical tools in-situ
CN111568549A (zh) 一种具有实时成像功能的可视化系统
WO2022009478A1 (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム
JP2022181645A (ja) 内視鏡業務支援装置及び内視鏡業務支援システム並びに内視鏡業務支援装置の作動方法
JPWO2018220930A1 (ja) 画像処理装置、画像処理システム及び画像処理装置の作動方法

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20140918

Patent event code: PA01051R01D

Comment text: International Patent Application

AMND Amendment
PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20180117

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20181109

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20190621

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20181109

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20190621

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20190211

Comment text: Amendment to Specification, etc.

Patent event code: PX09012R01I

Patent event date: 20140925

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20190902

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20190723

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20190621

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20190211

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20140925

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190927

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190927

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20230708