JP6920234B2 - ビデオ内視鏡システム - Google Patents

ビデオ内視鏡システム Download PDF

Info

Publication number
JP6920234B2
JP6920234B2 JP2018031755A JP2018031755A JP6920234B2 JP 6920234 B2 JP6920234 B2 JP 6920234B2 JP 2018031755 A JP2018031755 A JP 2018031755A JP 2018031755 A JP2018031755 A JP 2018031755A JP 6920234 B2 JP6920234 B2 JP 6920234B2
Authority
JP
Japan
Prior art keywords
pixels
color space
image data
video
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018031755A
Other languages
English (en)
Other versions
JP2018089424A (ja
Inventor
ゲオルゲ・ミハルカ
バオドゥイ・トラン
カルロス・エー・ロドリゲス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Smith and Nephew Inc
Original Assignee
Smith and Nephew Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Smith and Nephew Inc filed Critical Smith and Nephew Inc
Publication of JP2018089424A publication Critical patent/JP2018089424A/ja
Application granted granted Critical
Publication of JP6920234B2 publication Critical patent/JP6920234B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00025—Operational features of endoscopes characterised by power management
    • A61B1/00027—Operational features of endoscopes characterised by power management characterised by power supply
    • A61B1/00029—Operational features of endoscopes characterised by power management characterised by power supply externally powered, e.g. wireless
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00131—Accessories for endoscopes
    • A61B1/00135—Oversleeves mounted on the endoscope prior to insertion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00112—Connection or coupling means
    • A61B1/00121—Connectors, fasteners and adapters, e.g. on the endoscope handle
    • A61B1/00124—Connectors, fasteners and adapters, e.g. on the endoscope handle electrical, e.g. electrical plug-and-socket connection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0669—Endoscope light sources at proximal end of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0676—Endoscope light sources at distal tip of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0684—Endoscope light sources using light emitting diodes [LED]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/317—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for bones or joints, e.g. osteoscopes, arthroscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2461—Illumination
    • G02B23/2469—Illumination using optical fibres
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6002—Corrections within particular colour systems
    • H04N1/6008—Corrections within particular colour systems with primary colour signals, e.g. RGB or CMY(K)
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00103—Constructional details of the endoscope body designed for single use
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

関連出願の相互参照
本出願は、2012年2月23日に出願した米国仮出願番号第61／602，106号、2012年7月6日に出願した米国仮出願番号第61／668，743号、および2012年10月1日に出願した米国仮出願第61／708，157号の優先権を主張するものである。
この文書は、ビデオ内視鏡システムに関する。
医療用内視鏡は、小さな穿孔を介して、（腹腔鏡／胸腔鏡手術などの）手術中に、体（例えば、空洞、関節）内の領域を検査するために使用される。いくつかの場合、内視鏡は、内視鏡の近位ハンドルから挿入管を通って遠位観察先端（distal viewing tip）まで延在する光ファイバのセットを備えた剛性または可撓性の細長い挿入管を含む。光源は、検査すべき領域が照明されるように、光ファイバに光を提供する。
一態様では、ビデオ内視鏡システムによってキャプチャされた画像を表す画像データがアクセスされる。画像データは、第1の色空間で符号化される。アクセスされた画像データは、第1の色空間から第2の色空間に変換される。第2の色空間は、第1の色空間と異なる。画像内の特徴の位置は、第2の色空間での画像データを解析することによって識別される。画像内の特徴の位置を示すセグメント化データは、記憶され、セグメント化データに基づいて、画像は、特徴の識別された位置の指標と共に表示される。
実装態様は、以下の特徴の1つまたは複数を含むことができる。特徴の識別された位置の指標と共に画像を表示するステップは、画像データを第2の色空間から第3の色空間に変換するステップと、セグメント化データおよび第3の色空間の画像データに基づいて、特徴の識別された位置の指標と共に画像を表示するステップとを含むことができる。1つまたは複数の特徴は、組織のタイプ、解剖学的構造、または、患者に導入される外部物体を含むことができる。
第2の色空間での画像データを解析することによって画像内の特徴の位置を識別するステップは、第2の色空間での画像データに基づいて画像データ内のピクセルの色相値のヒストグラムを生成するステップと、特徴に対応するヒストグラム内の色相の範囲内に入るピクセルを識別するステップとを含むことができ、セグメント化データは、特徴に対応するヒストグラム内の色相の範囲内に入るピクセルを示す。
第2の色空間での画像データを解析することによって画像内の特徴の位置を識別するステップは、第2の色空間での画像データ内のピクセルを、ピクセルの色相値に基づいてグループにグループ化するステップと、ピクセルのグループの中からピクセルの第1のグループを決定するステップと、ピクセルのグループの中からピクセルの第2のグループを決定するステップと、ピクセルの第1および第2のグループ間の相対的な色差に基づいて、ピクセルの第1または第2のグループのうちの一方を選択するステップとを含むことができ、セグメント化データは、選択されたピクセルのグループを示す。ピクセルをグループ化するステップは、第2の色空間での画像データに基づいて画像データ内のピクセルの色相値のヒストグラムを生成するステップを含むことができる。ピクセルの第1のグループを決定するステップは、ヒストグラム内の色相の第1の範囲内に入るピクセルの第1のセットを決定するステップを含むことができる。ピクセルの第2のグループを決定するステップは、ヒストグラム内の色相の第2の範囲内に入るピクセルの第2のセットを決定するステップを含むことができる。ピクセルの第1または第2のグループのうちの一方を選択するステップは、色相の第1の範囲と色相の第2の範囲との間の相対的な色差に基づいて、ピクセルの第1または第2のセットのうちの一方を選択するステップを含むことができる。
第1の色空間は、RGB、YUV、YPrPbまたはYcrCbのうちの1つであり得る。第2の色空間は、HSV、LabまたはHSYのうちの1つであり得る。
別の態様では、システムは、ビデオ内視鏡デバイスおよびコンピューティングデバイスを含む。ビデオ内視鏡デバイスは、ビデオ内視鏡デバイスによってキャプチャされた画像を表す画像データを生成するように構成され、画像データは、第1の色空間で符号化され、ビデオ内視鏡システムは、さらに、画像データをコンピューティングデバイスに送信するように構成される。コンピューティングデバイスは、ビデオ内視鏡デバイスによって送信された画像データを受信し、受信した画像データを第1の色空間から第2の色空間に変換するように構成され、第2の色空間は、第1の色空間と異なり、コンピューティングデバイスは、さらに、第2の色空間での画像データを解析することによって画像内の特徴の位置を識別し、画像内の特徴の位置を識別するセグメント化データを記憶し、セグメント化データに基づいて、表示デバイス上に、特徴の識別された位置の指標と共に画像を表示するように構成される。
実装態様は、以下の特徴の1つまたは複数を含むことができる。例えば、表示デバイス上に、特徴の識別された位置の指標と共に画像を表示するために、コンピューティングデバイスは、画像データを第2の色空間から第3の色空間に変換し、セグメント化データおよび第3の色空間の画像データに基づいて、表示デバイス上に、特徴の識別された位置の指標と共に画像を表示するように構成され得る。1つまたは複数の特徴は、組織のタイプ、解剖学的構造、または、患者に導入される外部物体を含むことができる。
第2の色空間での画像データを解析することによって画像内の特徴の位置を識別するために、コンピューティングデバイスは、第2の色空間での画像データに基づいて画像データ内のピクセルの色相値のヒストグラムを生成し、特徴に対応するヒストグラム内の色相の範囲内に入るピクセルを識別するように構成され得、セグメント化データは、特徴に対応するヒストグラム内の色相の範囲内に入るピクセルを示す。
第2の色空間での画像データを解析することによって画像内の特徴の位置を識別するために、コンピューティングデバイスは、第2の色空間での画像データ内のピクセルを、ピクセルの色相値に基づいてグループにグループ化し、ピクセルのグループの中からピクセルの第1のグループを決定し、ピクセルのグループの中からピクセルの第2のグループを決定し、ピクセルの第1および第2のグループ間の相対的な色差に基づいて、ピクセルの第1または第2のグループのうちの一方を選択するように構成され得、セグメント化データは、選択されたピクセルのグループを示す。
ピクセルをグループ化するために、コンピューティングデバイスは、第2の色空間での画像データに基づいて画像データ内のピクセルの色相値のヒストグラムを生成するように構成され得る。ピクセルの第1のグループを決定するために、コンピューティングデバイスは、ヒストグラム内の色相の第1の範囲内に入るピクセルの第1のセットを決定するように構成され得る。ピクセルの第2のグループを決定するために、コンピューティングデバイスは、ヒストグラム内の色相の第2の範囲内に入るピクセルの第2のセットを決定するように構成され得る。ピクセルの第1または第2のグループのうちの一方を選択するために、コンピューティングデバイスは、色相の第1の範囲と色相の第2の範囲との間の相対的な色差に基づいて、ピクセルの第1または第2のセットのうちの一方を選択するように構成され得る。
第1の色空間は、RGB、YUV、YPrPbまたはYcrCbのうちの1つであり得る。第2の色空間は、HSV、LabまたはHSYのうちの1つであり得る。
別の態様では、ビデオ内視鏡デバイスによってキャプチャされたビデオを表す画像データがアクセスされる。画像データは、第1の色空間で符号化される。アクセスされた画像データは、第1の色空間から第2の色空間に変換され、第2の色空間は、第1の色空間と異なる。目印の特徴の位置は、第2の色空間での画像データを解析することによってビデオ内で識別される。目印の特徴の位置は、画像データの複数のフレームにわたって追跡される。解剖学的モデルは、追跡された目印の特徴に基づいて生成される。ビデオ内のターゲットの解剖学的特徴の位置は、解剖学的モデルに基づいて決定される。ビデオは、ターゲットの特徴の位置の指標と共に表示される。
実装態様は、以下の特徴の1つまたは複数を含むことができる。例えば、ターゲットの解剖学的特徴の位置を決定するステップは、解剖学的モデル、ならびに、モデルおよびターゲットの解剖学的特徴の外観（aspect）間の既知の解剖学的関係に基づいて、ターゲットの解剖学的特徴の位置を決定するステップを含むことができる。追跡された目印の特徴に基づいて解剖学的モデルを生成するステップは、複数のフレーム間の目印の特徴の位置の変化に基づいて目印の特徴の移動を決定するステップと、目印の特徴の移動に基づいて解剖学的モデルを生成するステップとを含むことができる。
第2の色空間での画像データを解析することによって画像内の目印の特徴の位置を識別するステップは、第2の色空間での画像データに基づいて画像データ内のピクセルの色相値のヒストグラムを生成するステップと、特徴に対応するヒストグラム内の色相の範囲内に入るピクセルを識別するステップとを含むことができ、セグメント化データは、特徴に対応するヒストグラム内の色相の範囲内に入るピクセルを示す。
第2の色空間での画像データを解析することによって画像内の目印の特徴の位置を識別するステップは、第2の色空間での画像データ内のピクセルを、ピクセルの色相値に基づいてグループにグループ化するステップと、ピクセルのグループの中からピクセルの第1のグループを決定するステップと、ピクセルのグループの中からピクセルの第2のグループを決定するステップと、ピクセルの第1および第2のグループ間の相対的な色差に基づいて、ピクセルの第1または第2のグループのうちの一方を選択するステップとを含むことができ、セグメント化データは、選択されたピクセルのグループを示す。
ピクセルをグループ化するステップは、第2の色空間での画像データに基づいて、画像データ内のピクセルの色相値のヒストグラムを生成するステップを含むことができる。ピクセルの第1のグループを決定するステップは、ヒストグラム内の色相の第1の範囲内に入るピクセルの第1のセットを決定するステップを含むことができる。ピクセルの第2のグループを決定するステップは、ヒストグラム内の色相の第2の範囲内に入るピクセルの第2のセットを決定するステップを含むことができる。ピクセルの第1または第2のグループのうちの一方を選択するステップは、色相の第1の範囲と色相の第2の範囲との間の相対的な色差に基づいて、ピクセルの第1または第2のセットのうちの一方を選択するステップを含むことができる。
第1の色空間は、RGB、YUV、YPrPbまたはYcrCbのうちの1つであり得る。第2の色空間は、HSV、LabまたはHSYのうちの1つであり得る。
別の態様では、システムは、ビデオ内視鏡デバイスおよびコンピューティングデバイスを含む。ビデオ内視鏡デバイスは、ビデオ内視鏡デバイスによってキャプチャされたビデオを表す画像データを生成するように構成され、画像データは、第1の色空間で符号化され、ビデオ内視鏡デバイスは、さらに、画像データをコンピューティングデバイスに送信するように構成される。コンピューティングデバイスは、ビデオ内視鏡デバイスによって送信された画像データを受信し、受信した画像データを第1の色空間から第2の色空間に変換するように構成され、第2の色空間は、第1の色空間と異なり、コンピューティングデバイスは、さらに、第2の色空間での画像データを解析することによってビデオ内の目印の特徴の位置を識別し、画像データの複数のフレームにわたって目印の特徴の位置を追跡し、追跡された目印の特徴に基づいて解剖学的モデルを生成し、解剖学的モデルに基づいてビデオデータ内のターゲットの解剖学的特徴の位置を決定し、表示デバイス上に、ターゲットの特徴の位置の指標と共にビデオを表示するように構成される。
実施態様は、以下の特徴の1つまたは複数を含むことができる。例えば、ターゲットの解剖学的特徴の位置を決定するために、コンピューティングデバイスは、解剖学的モデル、ならびに、モデルおよびターゲットの解剖学的特徴の外観間の既知の解剖学的関係に基づいて、ターゲットの解剖学的特徴の位置を決定するように構成され得る。追跡された目印の特徴に基づいて解剖学的モデルを生成するために、コンピューティングデバイスは、複数のフレーム間の目印の特徴の位置の変化に基づいて目印の特徴の移動を決定し、目印の特徴の移動に基づいて解剖学的モデルを生成するように構成され得る。
第2の色空間での画像データを解析することによって画像内の特徴の位置を識別するために、コンピューティングデバイスは、第2の色空間での画像データに基づいて画像データ内のピクセルの色相値のヒストグラムを生成し、特徴に対応するヒストグラム内の色相の範囲内に入るピクセルを識別するように構成され得、セグメント化データは、特徴に対応するヒストグラム内の色相の範囲内に入るピクセルを示す。
第2の色空間での画像データを解析することによって画像内の特徴の位置を識別するために、コンピューティングデバイスは、第2の色空間での画像データ内のピクセルを、ピクセルの色相値に基づいてグループにグループ化し、ピクセルのグループの中からピクセルの第1のグループを決定し、ピクセルのグループの中からピクセルの第2のグループを決定し、ピクセルの第1および第2のグループ間の相対的な色差に基づいて、ピクセルの第1または第2のグループのうちの一方を選択するように構成され得、セグメント化データは、選択されたピクセルのグループを示す。
ピクセルをグループ化するために、コンピューティングデバイスは、第2の色空間での画像データに基づいて、画像データ内のピクセルの色相値のヒストグラムを生成するように構成され得る。ピクセルの第1のグループを決定するために、コンピューティングデバイスは、ヒストグラム内の色相の第1の範囲内に入るピクセルの第1のセットを決定するように構成され得る。ピクセルの第2のグループを決定するために、コンピューティングデバイスは、ヒストグラム内の色相の第2の範囲内に入るピクセルの第2のセットを決定するように構成され得る。ピクセルの第1または第2のグループのうちの一方を選択するために、コンピューティングデバイスは、色相の第1の範囲と色相の第2の範囲との間の相対的な色差に基づいて、ピクセルの第1または第2のセットのうちの一方を選択するように構成され得る。
第1の色空間は、RGB、YUV、YPrPbまたはYcrCbのうちの1つであり得る。第2の色空間は、HSV、LabまたはHSYのうちの1つであり得る。
1つまたは複数の実装態様の詳細は、添付の図面および以下の説明に記載されている。他の特徴、目的、および利点は、説明および図面から、ならびに、特許請求の範囲から明らかになるであろう。
医療システムの一例を示すブロック図である。 図1のシステムで使用され得るビデオ関節鏡の一例を示す図である。 図1のシステムで使用され得るビデオ関節鏡の一例を示す図である。 図1のシステムで使用され得るビデオ関節鏡の一例を示す図である。 図1のシステムで使用され得るビデオ関節鏡の一例を示す図である。 図1のシステムで使用され得るビデオ関節鏡の代替例を示す図である。 画像データ内の特徴をセグメント化し、対応する画像をセグメント化と共に表示するための処理の一例を示す図である。 RGB空間でキャプチャされた自家蛍光画像の一例を示す図である。 画像が代替色空間に変換された後に図5Aの画像に基づいて生成されたヒストグラムの一例を示す図である。 図5Bの集団に由来するセグメント化マスクを有する画像の一例を示す図である。 画像データ内の特徴を識別し、解剖学的モデル内でこれらの特徴を使用するためのプロセスの一例を示す図である。
図1は、医療システム100の一例を示すブロック図である。医療システム100は、ビデオ関節鏡および画像キャプチャデバイスなどのビデオ内視鏡デバイス102と、コンピューティングデバイス104と、表示デバイス106とを含む。一般に、ビデオ内視鏡デバイス102は、内部解剖学的構造の画像データをコンピューティングデバイス104に送り、コンピューティングデバイス104は、画像データ103を（例えばビデオ／フレームキャプチャデバイスを介して）受信する。コンピューティングデバイス104は、画像データ内のターゲットの組織または解剖学的構造を他の組織または構造からセグメント化するために、画像データに対して処理を実行し、外科医などのユーザにセグメント化を伝える方法で、表示デバイス106上に対応する画像を表示する。
特に、ビデオ内視鏡デバイス102は、内視鏡の近位ハンドルから挿入管を通って遠位観察先端まで延在する光ファイバのセットを備えた剛性または可撓性の細長い挿入管を含む。ビデオ内視鏡デバイスは、ビデオ内視鏡デバイスは、患者の小さな開口部を介して挿入管を挿入することによって、（腹腔鏡／胸腔鏡手術などの）手術中に、患者の体（例えば、空洞、関節）内の領域を検査するために使用される。1つまたは複数の光源は、ビデオ内視鏡デバイス102の本体内に含まれ、光ファイバに光を提供し、光ファイバは、光を観察先端まで運ぶ。光源は、広帯域の可視光の提供と、組織または物体の自家蛍光を生じさせるのに適した狭帯域光の提供との間で切り替えられ得る。いずれの場合でも、ビデオ内視鏡デバイスの光学系は、結果として生じる画像をカメラアセンブリに運び、カメラアセンブリは、画像を、画像に対応する画像データを含むビデオ信号に変換する。
コンピューティングデバイス104は、ビデオ内視鏡デバイス102からビデオ信号を受信するカメラインターフェース104aを含み、ビデオ内視鏡デバイス102に電力を提供し、ビデオ内視鏡デバイス102との双方向通信を提供する。コンピューティングデバイス104は、パーソナルコンピュータ、ワークステーション、ポータブルコンピューティングデバイス、コンソール、ラップトップ、ネットワーク端末、組み込みデバイス、などの任意の適切なタイプのコンピューティングデバイスであり得る。コンピューティングデバイス104は、ビデオ入力部104aをメモリシステム104b、プロセッサ104c、および入力／出力インターフェース104dに一緒に結合するデータバスまたは他の回路網などの相互接続メカニズムを含む。
メモリシステム104bは、例えば、フロッピー（登録商標）ディスク、ハードディスク、読み取り専用メモリ（ROM：Read Only Memory）、またはランダムアクセスメモリ（RAM：Random Access Memory）を含むことができる任意の適切なタイプのコンピュータ可読デバイスである。メモリシステム104bは、視覚化アプリケーション108aを記憶する。記憶された視覚化アプリケーション108bは、プロセッサ104cによって実行されたときに、プロセッサに以下に説明する動作を実行させる命令を含むことができる。コンピューティングデバイス104の動作中、プロセッサ104cは、視覚化アプリケーション108aを実行するために、相互接続を介してメモリシステム104bにアクセスする。他の実装態様では、プロセッサ104cおよびメモリシステム104bは、視覚化アプリケーション108bのロジックを実行するようにプログラムされ得るフィールドプログラマブルゲートアレイ（FPGA：Field Programmable Gate Array）で置き換えられ得る。
実行している視覚化アプリケーション108bは、ビデオ信号内の画像内のターゲットの組織または解剖学的構造を他の組織または構造からセグメント化するように、プロセッサ104cにビデオ信号を処理させる。例えば、プロセッサ104cは、画像データを、第1の色空間（例えば、内視鏡デバイス102によって生成されるRGB色空間）から、セグメント化に適した第2の色空間（例えば、HSV色空間）に変換し、セグメント化を実行するために、変換された画像データに対する処理を実行する。プロセッサ104cは、次いで、セグメント化データを維持しながら、画像データを第1の色空間（または、表示に適した異なる色空間）に変換し戻し、ターゲットの組織または構造を他の組織または構造からセグメント化する方法でビデオを表示デバイス106上に表示するために、画像データおよびセグメント化データを使用する。
別の例では、プロセッサ104cは、画像データを、第1の色空間から、セグメント化に適した第2の色空間に変換し、目印の特徴を識別するためにセグメント化を実行するために、変換された画像データに対して処理を実行する。プロセッサ104cは、次いで、目印の特徴を追跡し、解剖学的モデルを生成するために、目印の特徴の動きを使用する。プロセッサ104cは、モデルに基づいてターゲットの特徴を識別し、ターゲットの特徴の位置の指標と共にビデオを表示する。
図2A〜図2Dは、例えば、ビデオ内視鏡デバイス102のような、システム100で使用され得るビデオ関節鏡200の一例を示す。ビデオ関節鏡200は、剛性の挿入管202と、近位本体204とを含む。近位本体204は、挿入アセンブリ206と、フォーカスアセンブリ208と、カメラアタッチメントアセンブリ210とを含む。カメラアタッチメントアセンブリは、ビデオカメラアセンブリ212（あるいは、カメラヘッドと呼ばれる）を、例えば、Cマウントカップリング214を介して結合する。Cマウントカップリングを使用することは、ビデオ関節鏡200およびカメラヘッド212が別々に取り外され、滅菌されることを可能にすることができる。他の実装態様では、関節鏡200は、Cマウントではなく関節鏡カプラによってカメラヘッド212に結合される。
挿入アセンブリ206は、挿入アセンブリ206およびフォーカスアセンブリ208がジョイント216の周りに互いに対して回転され得るように、フォーカスアセンブリ208に結合される。挿入アセンブリ206の回転は、挿入管202の遠位端の配向を変化させることによって、視野を変化させる。
挿入アセンブリ206は、照明ポスト218を含み、照明ポスト218は、光を生成するための固体光源220を収容し、光は、照明光ファイバ222によって挿入管202の遠位端におよびその外に運ばれる。固体光源220は、例えば、2つのLED光源220aおよび220bを含む。
第1のLED光源220aは、例えば、蛍光変換を使用して可視広帯域で発光する広帯域LED光源である。例えば、広帯域LED光源220aは、白色光を発光することができる。可視光は、例えば、ガラス繊維束222aを、可視域において高い透過率で透過する。繊維束222aは、例えば、広帯域LED光源220aに突き合わせ結合され、高い結合効率および視野全体の照明を提供することができる約．86NAの高い開口数を含む。
第2のLED光源は、自動蛍光イメージングで使用され得る狭帯域の励起光（例えば、395nm）を発光する狭帯域LED光源である。低波長の光は、より低い波長での透過のために最適化されたプラスチックの単一または複数の繊維束222bを透過する。
照明は、必要に応じて、ユーザによって可視と蛍光励起との間で切り替えられ得る。切り替え可能な光源を有することは、デバイスが組織のタイプを区別するために外科手術で使用されることを可能にすることができる。例えば、前十字靭帯（ACL：anterior cruciate ligament）断裂の患者において、ドリルトンネルが復元のために骨に入るべき場所を決定する目的のために、対象の組織（挿入時のACLの残遺物）が識別され得るように、デバイス200は、狭帯域自家蛍光（AF：autofluorescence）モードに切り替えられ得る。切り替え可能な光モードでは、デバイス200は、所望の挿入部位におけるドリルガイド／カニューレの正確な位置決めを可能にするために、可視光と自家蛍光モードとの間で前後に切り替えられ得る。例えば、外科医は、最初に、自家蛍光を使用して、対象の組織を視覚化し、（ドリルガイド端は、可視光で視覚化することが容易であるので）可視光を用いてガイドを配置しようとすることができ、次いで、自家蛍光を使用して、対象の組織に対するドリルガイドの位置決めをチェックすることができる（ガイドが適切に配置されるまで繰り返すことができる）。損傷を受けた軟骨および／または半月板組織を含む他のタイプの組織も、以降の手順が実行され得るように、自家蛍光モードを使用して識別され得る。
フォーカスアセンブリ208は、シャンク（shank）部223と、フォーカス光学系228のセットと、フォーカスリング226とを含む。フォーカスリング226は、シャンク部223およびカメラアタッチメントアセンブリ210に対して回転するように構成される。フォーカスリング226の回転は、フォーカス光学系228をデバイス200の長手方向軸に沿って軸方向に調整し、照明された画像の焦点を合わせる。
動作中、選択された光源220aまたは220bは、照明光ファイバ222を介して作業領域に照明を提供する。作業領域からの照明された画像は、光路を介してカメラアセンブリ212に運ばれる。光路は、挿入管202の遠位端から、挿入管202内の画像光ファイバ224を介し、フォーカスアセンブリ208内のフォーカス光学系228のセットを介して、ビデオカメラアセンブリ212まで延在し、ビデオカメラアセンブリ212は、画像を画像データに変換するために、電荷結合素子（CCD：charged coupled device）アセンブリ230を含む。CCDアセンブリは、例えば、RGB画像データを生成するために、赤色CCD、緑色CCD、および青色CCDを含むことができる。他の場合には、CCDアセンブリは、例えば、RGBデータを送達するために、ベイヤーパターン構成を有する単一のセンサを含むことができる。画像データは、ビデオ信号内でコンピューティングデバイス104に運ばれる。
デバイス200は、電力をカメラヘッド212から光源220に供給するために、スリップリングおよびワイヤのセットも含む。特に、ビデオ関節鏡200は、Cマウントスリップリング232と、フォーカスアセンブリスリップリング234と、挿入アセンブリスリップリング236とを含む。ビデオ関節鏡200は、また、Cマウントスリップリング232とフォーカスアセンブリスリップリング234との間に延在するワイヤ238と、フォーカスアセンブリスリップリング234と挿入アセンブリスリップリング236との間に延在するワイヤ240とを含む。ワイヤの最終的なセットは、挿入アセンブリスリップリング236および光源220から延在する。電流は、カメラヘッド212から、Cマウントスリップリング232を越えて、ワイヤ238を介して、フォーカスアセンブリスリップリング234を越えて、ワイヤ240を介して、挿入アセンブリスリップリング236を越えて、最終的にワイヤ242を介して、光源220に供給される。スリップリング232、234、および236の使用は、カメラヘッド212、フォーカスリング226、シャンク部223、および挿入アセンブリ206が、カメラヘッド212から光源220に運ばれる電力を依然として有しながら、必要に応じて互いに対して回転することを可能にする。
図3は、例えば、ビデオ内視鏡デバイス102のような、システム100で使用され得るビデオ関節鏡300の代替例を示す。この代替例では、電力は、カメラヘッドから、ワイヤレス電力伝送システムを介して、ビデオ関節鏡に伝送される。特に、ビデオ関節鏡300では、Cマウントスリップリング232は、2つのコイル302および304に置き換えられる。第1のコイル302（エミッタ）は、カメラヘッド312内に配置され、第2のコイル304（レシーバ）は、カメラアタッチメントアセンブリ310内のビデオ関節鏡内に配置される。第1のコイル302は、近接場を用いる誘導結合を介して、第2のコイル304に電力を伝送する。電力は、次いで、デバイス200に関して説明したのと同様に、第2の（受信）コイル304から、電気ワイヤおよびスリップリングを介して、光源に伝送される。
代替例では、第2のコイル304は、照明ポスト218内または挿入アセンブリ206内の他の場所に配置され得る。この代替例では、電力は、遠距離場結合を介して第2のコイル304に伝送される。第2のコイル304は、挿入アセンブリ内に配置されるので、フォーカスアセンブリ208内のスリップリングおよびワイヤは、必要とされない。
図4は、画像データ内の特徴をセグメント化し、対応する画像をセグメント化と共に表示するためのプロセス400の一例を示す。プロセス400は、例えば、視覚化アプリケーション108bを実行するとき、プロセッサ104cによって実装されるが、他のシステムまたは構成は、プロセス400を実行することができる。プロセス400は、視野に導入された解剖学的外観または外部物体である画像フィールド内の対象の領域をよりよく視覚化するために、ビデオ内視鏡デバイスによってキャプチャされた画像を強調する。
プロセッサ104cは、ビデオ関節鏡などのビデオ内視鏡デバイスによってキャプチャされた画像を表す画像データにアクセスする（402）。画像データは、例えば、狭帯域光源220bを使用してキャプチャされた自家蛍光画像、または、例えば、広帯域光源220aを使用してキャプチャされた可視光画像に対応し得る。画像は、患者の内部組織または解剖学的構造のものであり得る。画像データは、画像のキャプチャに適した第1の色空間（キャプチャ色空間）を使用して符号化される。例えば、第1の色空間は、RGB、YUV、YPrPb、またはYcrC色空間のうちの1つである。
プロセッサ104cは、アクセスした画像データを、第1の色空間から、第1の色空間とは異なる第2の色空間に変換する（404）。第2の色空間は、対象の1つまたは複数の領域のセグメント化に適している（セグメント化色空間）。セグメント化色空間としての色空間の妥当性は、個々の色を区別し、色メタメリズム（metamerism）アーティファクトを低減し、リアルタイム処理ユニットでのサポートのための最も便利な実装態様を考慮に入れるその能力によって決定される。第2の色空間は、例えば、HSV、Lab、またはHSYであり得る。
プロセッサ104cは、第2の色空間での画像データを解析することによって、画像データ内の特徴の位置を識別する（406）。特徴は、組織、解剖学的構造、または、患者内に導入される外部物体を含むことができる。特徴を決定するために、プロセッサ104cは、例えば、特徴を決定するために、第2の色空間での画像データに対して色セグメント化を実行することができる。一例として、蛍光画像が第2の色空間（例えば、HSV）に変換された後、プロセッサ104cは、例えば、第2の色空間での画像データ内のピクセルの色相値のヒストグラムを生成することによって、画像内の色相の分布を解析することができる。ヒストグラム内の異なる集団（すなわち、色相の異なる範囲）に対応するピクセルのグループは、画像内の異なる組織に対応することができる。プロセッサ104cは、対象の組織（または、他の特徴）に対応するヒストグラムデータ内の集団（色相の範囲）内に入るピクセルを識別することができ、その集団内に入るピクセルを示すセグメント化データを生成することができる。
別の例では、プロセッサ104cは、特定の組織を識別するために、または、画像の他の領域から対象の組織に対応する画像の領域を分離するために、相対的な色差を使用することができる。例えば、特定の場合には、大腿のACL組織の色相は、典型的には、画像の背景部分および他の組織の色相と異なる。自家蛍光画像では、例えば、ACLに対応する領域は、しばしば、一般的に青色を有し、背景領域は、典型的には、より紫に見える。したがって、画像の背景領域は、典型的には、ACL組織を示す領域に対して赤色にシフトされる。プロセッサ104cは、ACL組織を背景から区別するために、この情報を使用することができる。
例えば、自家蛍光の膝の画像内のピクセルは、（例えば、ヒストグラムまたは他の技法を使用して）ピクセルの色相値に従ってグループ化され得る。ピクセルの第1のグループおよび第2のグループが、次いで、グループの中から識別される。例えば、ヒストグラムが使用されるとき、プロセッサ104cは、ヒストグラム内の、それぞれ色相の第1および第2の範囲内に入るピクセルの第1および第2のセットを決定することができる。第1および第2のグループは、例えば、最初に、最小飽和値ならびに最小強度値を満たさない無関係な情報を排除し、次いで、ヒストグラム内の別個の集団を識別するために、残りの集団をガウス分布に相関させることによって、または、代替的に、ローパスフィルタリングおよび外れ値除去を含む多段検出アルゴリズムを用い、次いで、処理された色相ヒストグラム分布内の別個の集団を識別する目的で、第1および第2の導関数のしきい値処理によって集団を検出することによって、識別され得る。第1および第2のグループの中から、プロセッサ104cは、ACL組織に対応するように（他のグループと比較して）より青色のピクセルを有するグループを選択し、これらのピクセルを示すセグメント化データを生成する。ヒストグラムが使用されるとき、プロセッサ104cは、より青色の色相の範囲内に入るピクセルのセットを選択することができる。
同様の方法で、色相によるピクセルの分布の解析は、画像内の追加のまたは異なる領域を示すことができる。いくつかの実施態様では、背景は、典型的には、画像の最も大きい領域であるので、最も多くのピクセルを含むピクセルのグループは、背景として指定され得る。
いくつかの状況では、異なる光学系、カメラセンサ、および処理システムの相互運用性は、画像内の色相の分布を解析することによって増強される。同じ照明条件の下で、異なるデバイスおよびデバイス構成は、異なる絶対的な色相の範囲を生成する可能性がある。それにもかかわらず、画像内の色相の分布（画像の異なる領域間の色相の差）の解析は、これらの変動にかかわらず、信頼できる精度を可能にすることができる。
プロセッサ104cは、特徴の位置を示すセグメント化データを画像データ内に格納し（408）、画像データを第2の色空間から第3の色空間に変換する（410）。第3の色空間は、表示デバイスでの表示に適しており、例えば、RGB、YUV、YPrPb、またはYcrCbのうちの1つであり得る。
セグメント化データ、および第3の色空間での画像データに基づいて、プロセッサ104cは、特徴の識別された位置の指標と共に画像を表示する（412）。特徴の位置は、例えば、処理の前に元の画像のグレースケール表現上に疑似カラーをオーバレイするために使用されるバイナリマスクによって識別され得る。別の例として、セグメント化データは、セグメント化が表示チャネルのうちの1つのみに現れるように、標準RGBチャネルの1つに直接マッピングされ、残りのチャネルから除外されるマスクを生成するために使用され得る。また、例えば、セグメント化データは、オーバレイとして元の画像上にブレンドされるアルファであるようなアウトライン領域を作成するために、さらに処理され得る。
システム100に関して上記で説明したが、プロセス400は、自家蛍光、蛍光、または可視エネルギー画像をキャプチャするための特定の媒介物（vehicle）とは独立して実行され得る。いくつかの実装態様では、組織の境界（例えば、縁）、または対象の他の領域は、検出され、ビデオ関節鏡200などのビデオ内視鏡からのライブビデオ出力をオーバレイされる。
いくつかの場合には、プロセス400は、予め定義されたキャリブレーションなしに対象の特徴を視覚化する際に支援するために実行され得る。他のプロセスは、励起照明下での光学系、カメラセンサ、任意の既存の処理パイプラインを介するシステムの信号応答の先験的な知識を必要とする可能性があり、ターゲットの組織または物体の信号応答を背景のシステム応答の信号応答から適切に分離するために、各個々のシステムの光学的および電子的応答の変動を補正するために、キャリブレーションをサポートする必要がある可能性がある。プロセス400は、適切な状況下では、そのようなキャリブレーションを必要としない可能性がある。
図5Aは、RGB空間でキャプチャされた自家蛍光画像500の一例を示す図である。画像500は、例えば、狭帯域光源220bを使用してキャプチャされ得る。画像は、大腿のACLフットプリント（footprint）領域502aおよび502bと、大腿顆からの軟骨504aおよび504bとを含む、人間の膝からの組織標本のものである。これらの構造の両方は、コラーゲンを有するが、ACLは、異なるタイプのコラーゲンを有し、結果として、薄青色で蛍光を発する大腿フットプリント502aおよび502bをもたらすが、軟骨504aおよび504bは、紫色の蛍光を発する。この例でのACLフットプリントは、対象の解剖学的構造である。
図5Bは、画像500がHSVなどの代替の色空間に変換された後に、画像500に基づいて生成されたヒストグラム520の一例を示す。ヒストグラムは、ピクセルの3つの主要なグループを有する。第1のグループ522は、約200度を中心とする。第2のグループ524は、約275度を中心とする。第3のグループ526は、約315度を中心とする。第3のグループ526は、ピクセルの最も高いカウントを含み、したがって、背景として指定され得る（いくつかの実装態様では、これらのピクセルは、ヒストグラムを形成する前に、フィルタ除去され得る）。この場合には、第1および第2のグループ522および524は、2つのタイプの組織に対応する。ACL組織は、大腿顆の軟骨に対してより青色であるので、ピクセルのより青色のグループ（第1のグループ522）は、ACL組織に対応するように選択される。
図5Cは、ヒストグラム520の集団から得られたセグメント化マスク532を有する画像530の一例を示す図である。セグメント化マスクは、ACLフットプリント（対象の解剖学的特徴）の位置を示す。この場合、元の画像は、ディスプレイの緑色チャネルで送られ、セグメント化マスクは、ディスプレイの赤色チャネルで送られる。この結果、対象の特徴（ACLフットプリント）上に示されている赤色セグメント化マスク532がもたらされ、解剖学的特徴の残りは、緑色で示される。
図6は、画像データ内の特徴を識別し、これらの特徴を解剖学的モデルで使用するためのプロセス600の一例を示す。プロセス600は、例えば、視覚化アプリケーション108bを実行するときにプロセッサ104cによって実装されるが、他のシステムまたは構成は、プロセス400を実行することができる。
一般に、プロセス600は、既知の解剖学的ポイントから構成される特徴ベースのモデルを構築するために、画像化された解剖学的構造内の目印の特徴を識別し、これらの目印の特徴を、潜在的には他の目印の特徴と共に使用するために、プロセス400に関して説明したようなセグメント化のための色空間変換を使用する。このモデルは、次いで、視野内のターゲットの解剖学的特徴または領域を識別し、ターゲットの特徴または領域を、それらを他の領域から区別する方法で表示するために使用され得る。いくつかの場合では、自家蛍光イメージングデータは、画像化された組織を表す特徴ベースのモデルの性能を向上させることができる。
プロセッサ104cは、例えば、関節鏡からのライブビデオの形態の、第1の色空間で符号化された画像データにアクセスする（602）。画像データは、例えば、狭帯域光源220bを使用してキャプチャされた自家蛍光画像、または、例えば、広帯域光源220aを使用してキャプチャされた可視光画像に対応することができる。画像は、患者の内部組織または解剖学的構造のものであり得る。画像データは、画像のキャプチャに適した第1の色空間（表示色空間）を使用して符号化される。例えば、第1の色空間は、RGB、YUV、YPrPb、またはYcrCb色空間のうちの1つである。
プロセッサ104cは、アクセスした画像データを、第1の色空間から、第1の色空間とは異なる第2の色空間に変換する（604）。第2の色空間は、アクション404に関して上記で説明したように、対象の1つまたは複数の領域のセグメント化に適している（セグメント化色空間）。
プロセッサ104cは、第2の色空間での画像データを解析することによって、画像データ内の1つまたは複数の目印の特徴の位置を識別する（606）。プロセッサ104cは、例えば、アクション406に関して上記で説明した技法のいずれかを使用してそれを行う。プロセッサ104cは、第1または第2の色空間での画像データを使用して、点または縁などの追加の目印の特徴の位置を識別することもできる。
プロセッサは、ビデオの複数のフレームにわたって目印の特徴の位置を追跡する（608）。ビデオの複数のフレームは、被写体に対して異なる位置で目印の特徴をキャプチャすることができる（例えば、ビデオは、複数の視点からキャプチャされる）。追跡された特徴の位置の変化に基づいて、プロセッサは、例えば、特徴が移動した様子を推定するために、動き推定技法を使用する。例えば、プロセッサは、追跡された特徴が移動した様子を記述する動きベクトルを決定する。
プロセッサは、追跡された特徴の移動に基づいて、三次元（3D）特徴ベースの解剖学的モデルを生成する（610）。3Dモデルが生成されると、プロセッサは、ターゲットの解剖学的特徴の位置を決定する（612）。例えば、モデルが大腿の一部を表すとき、ACLまたはPCL位置は、モデルの外観に基づいて決定され得る。プロセッサは、解剖学的特徴の比率、割合、および他の特徴などの既知の解剖学的関係を考慮することによって、解剖学的特徴の位置を推定することができる。例えば、大腿顆の曲率は、3Dモデルに基づいて決定され得る。この曲率値を使用して、ACL、PCL、または他の特徴の位置は、3Dモデルに対する膝の特徴のサイズおよび配置を記述する既知の比率に基づいて決定され得る。
プロセッサは、次いで、ターゲットの解剖学的特徴の位置の指標と共に、画像データに対応する画像を表示する（614）。例えば、対象の解剖学的特徴の位置は、関節鏡からのライブビデオフィード上に、オーバレイとして示される。プロセッサは、追跡された特徴の位置を追跡し続ける。被写体のビューが変化するにつれて、プロセッサは、対象の解剖学的特徴の位置の変化を示すために、ビデオ表示を更新する。その全体が参照により本明細書に組み込まれる、2010年12月14日に出願した（米国特許出願公開第2011／0141140号として公開された）米国特許出願第12，967，435号で説明されたものを含む、追加の特徴配置および視覚化技法が使用され得る。
いくつかの実装態様が説明された。それにもかかわらず、様々な修正がなされ得ることが理解されるであろう。例えば、画像処理およびモデル化技法の例は、ビデオ関節鏡と共に使用するために説明されているが、同じ技法は、画像キャプチャの他の装置および形態と共に使用され得る。
さらに、自家蛍光イメージングは、任意の適切なデバイスまたはデバイスの組み合わせを使用して実行され得、説明した特徴のデバイスに限定されない。例えば、図2Dは、可視光源、および励起用の狭帯域光源が、両方ともサイドアームに取り付けられた別個のLEDから形成されている構成を示す。異なる色で発光する多数のチップで作られた1つの光源が、サイドアームまたは内視鏡の任意の他の位置に配置され、可視光と自家蛍光に適した光との間で切り替えられ得ることが可能である。そのようなLED光源は、調整可能な白色LEDと呼ばれ得、可視光または蛍光励起光の間を必要に応じて切り替えるために使用され得る。広帯域から狭帯域の発光に切り替えられ得るまたは変更され得るLED（または、他の固体技術）が利用可能になる場合、図2Dに示す2つのLEDの代わりに使用され得る。
可視および蛍光励起の両方のための照明は、内視鏡の照明チャネル以外の方法で送達され得る。例えば、蛍光励起は、ビデオ関節鏡とは別のプローブを介して送達され得る。この場合には、可視光源は、ビデオ関節鏡に取り付けられ得、蛍光用のLED光源は、別個のプローブまたは器具に配置される。蛍光用のLED光源は、個々のプローブの遠位または近位端に配置され得る。蛍光用のLED光源が近位端に配置される場合、励起エネルギーは、ファイバを通って遠位方向に送達され得る。蛍光用のLEDおよび／または蛍光のための励起エネルギーを送達するファイバは、ドリルガイド、手持ち器具（hand instrument）、または、ドリルガイド、内視鏡、もしくは別個のプローブの周りに適合する再利用可能もしくは使い捨てのカニューレなどの、関節鏡手順で使用される他のタイプの器具内に組み込まれ得る。加えて、照明は、独立した自己給電デバイスで生成され得、送達デバイス上のポストに結合された可撓性光ガイドを介して、送達デバイスに送達され得る。この最後の実施形態では、励起エネルギーは、独立型デバイス内の単色レーザ、LED、またはフィルタ処理した白色光源によって生成され得る。
したがって、他の実装態様は、特許請求の範囲内にある。
本願の一態様は、ビデオ内視鏡デバイスによってキャプチャされた画像を表す画像データにアクセスするステップであって、前記画像データが第1の色空間で符号化される、ステップと、
前記アクセスされた画像データを前記第1の色空間から第2の色空間に変換するステップであって、前記第2の色空間が前記第1の色空間と異なる、ステップと、
前記第2の色空間での前記画像データを解析することによって、前記画像内の特徴の位置を識別するステップと、
前記画像内の前記特徴の前記位置を示すセグメント化データを記憶するステップと、
前記セグメント化データに基づいて、前記特徴の前記識別された位置の指標と共に前記画像を表示するステップと
を含む方法である。
本願の一態様は、前記画像を、前記特徴の識別された位置の指標と共に表示するステップが、
前記画像データを前記第2の色空間から第3の色空間に変換するステップと、
前記セグメント化データおよび前記第3の色空間の前記画像データに基づいて、前記特徴の前記識別された位置の指標と共に前記画像を表示するステップと
を含む、方法である。
本願の一態様は、前記1つまたは複数の特徴が、組織のタイプ、解剖学的構造、または、患者に導入される外部物体を含む、方法である。
本願の一態様は、前記第2の色空間での前記画像データを解析することによって前記画像内の前記特徴の前記位置を識別するステップが、
前記第2の色空間での前記画像データに基づいて前記画像データ内のピクセルの色相値のヒストグラムを生成するステップと、
前記特徴に対応する前記ヒストグラム内の色相の範囲内に入るピクセルを識別するステップと
を含み、前記セグメント化データが、前記特徴に対応する前記ヒストグラム内の前記色相の範囲内に入る前記ピクセルを示す、方法である。
本願の一態様は、前記第2の色空間での前記画像データを解析することによって前記画像内の前記特徴の前記位置を識別するステップが、
前記第2の色空間での前記画像データ内のピクセルを、前記ピクセルの色相値に基づいてグループにグループ化するステップと、
前記ピクセルのグループの中からピクセルの第1のグループを決定するステップと、
前記ピクセルのグループの中からピクセルの第2のグループを決定するステップと、
前記ピクセルの第1および第2のグループ間の相対的な色差に基づいて、前記ピクセルの第1または第2のグループのうちの一方を選択するステップと
を含み、前記セグメント化データが、前記選択されたピクセルのグループを示す、方法である。
本願の一態様は、ピクセルをグループ化するステップが、前記第2の色空間での前記画像データに基づいて前記画像データ内のピクセルの色相値のヒストグラムを生成するステップを含み、
ピクセルの第1のグループを決定するステップが、前記ヒストグラム内の前記色相の第1の範囲内に入るピクセルの第1のセットを決定するステップを含み、
ピクセルの第2のグループを決定するステップが、前記ヒストグラム内の前記色相の第2の範囲内に入るピクセルの第2のセットを決定するステップを含み、
前記ピクセルの第1または第2のグループのうちの一方を選択するステップが、前記色相の第1の範囲と前記色相の第2の範囲との間の相対的な色差に基づいて、前記ピクセルの第1または第2のセットのうちの一方を選択するステップを含む、方法である。
本願の一態様は、前記第1の色空間が、RGB、YUV、YPrPbまたはYcrCbのうちの1つである、方法である。
本願の一態様は、前記第2の色空間が、HSV、LabまたはHSYのうちの1つである、方法である。
本願の一態様は、ビデオ内視鏡デバイスによってキャプチャされた画像を表す画像データを生成し、前記画像データが第1の色空間で符号化され、
前記画像データをコンピューティングデバイスに送信するように構成されたビデオ内視鏡デバイスと、
前記ビデオ内視鏡デバイスによって送信された前記画像データを受信し、
前記受信した画像データを、前記第1の色空間から第2の色空間に変換し、前記第2の色空間が前記第1の色空間と異なり、
前記第2の色空間での前記画像データを解析することによって、前記画像内の特徴の位置を識別し、
前記画像内の前記特徴の前記位置を示すセグメント化データを記憶し、
前記セグメント化データに基づいて、表示デバイス上に、前記特徴の前記識別された位置の指標と共に前記画像を表示するように構成されたコンピューティングデバイスと
を備えるシステムである。
本願の一態様は、前記表示デバイス上に、前記特徴の前記識別された位置の指標と共に前記画像を表示するために、前記コンピューティングデバイスが、
前記画像データを前記第2の色空間から第3の色空間に変換し、
前記セグメント化データおよび前記第3の色空間の前記画像データに基づいて、前記表示デバイス上に、前記特徴の前記識別された位置の指標と共に前記画像を表示するように構成された、システムである。
本願の一態様は、前記1つまたは複数の特徴が、組織のタイプ、解剖学的構造、または、患者に導入される外部物体を含む、システムである。
本願の一態様は、前記第2の色空間での前記画像データを解析することによって前記画像内の前記特徴の前記位置を識別するために、前記コンピューティングデバイスが、
前記第2の色空間での前記画像データに基づいて前記画像データ内のピクセルの色相値のヒストグラムを生成し、
前記特徴に対応する前記ヒストグラム内の色相の範囲内に入るピクセルを識別するように構成され、前記セグメント化データが、前記特徴に対応する前記ヒストグラム内の前記色相の範囲内に入る前記ピクセルを示す、システムである。
本願の一態様は、前記第2の色空間での前記画像データを解析することによって前記画像内の前記特徴の前記位置を識別するために、前記コンピューティングデバイスが、
前記第2の色空間での前記画像データ内のピクセルを、前記ピクセルの色相値に基づいてグループにグループ化し、
前記ピクセルのグループの中からピクセルの第1のグループを決定し、
前記ピクセルのグループの中からピクセルの第2のグループを決定し、
前記ピクセルの第1および第2のグループ間の相対的な色差に基づいて、前記ピクセルの第1または第2のグループのうちの一方を選択するように構成され、前記セグメント化データが、前記選択されたピクセルのグループを示す、システムである。
本願の一態様は、ピクセルをグループ化するために、前記コンピューティングデバイスが、前記第2の色空間での前記画像データに基づいて、記画像データ内のピクセルの色相値のヒストグラムを生成するように構成され、
ピクセルの第1のグループを決定するために、前記コンピューティングデバイスが、前記ヒストグラム内の前記色相の第1の範囲内に入るピクセルの第1のセットを決定するように構成され、
ピクセルの第2のグループを決定するために、前記コンピューティングデバイスが、前記ヒストグラム内の色相の第2の範囲内に入るピクセルの第2のセットを決定するように構成され、
前記ピクセルの第1または第2のグループのうちの一方を選択するために、前記コンピューティングデバイスが、前記色相の第1の範囲と前記色相の第2の範囲との間の相対的な色差に基づいて、前記ピクセルの第1または第2のセットのうちの一方を選択するように構成された、システムである。
本願の一態様は、前記第1の色空間が、RGB、YUV、YPrPbまたはYcrCbのうちの1つである、システムである。
本願の一態様は、前記第2の色空間が、HSV、LabまたはHSYのうちの1つである、システムである。
本願の一態様は、ビデオ内視鏡デバイスによってキャプチャされたビデオを表す画像データにアクセスするステップであって、前記画像データが第1の色空間で符号化される、ステップと、
前記アクセスされた画像データを、前記第1の色空間から第2の色空間に変換するステップであって、前記第2の色空間が前記第1の色空間と異なる、ステップと、
前記第2の色空間での前記画像データを解析することによって、前記ビデオ内の目印の特徴の位置を識別するステップと、
前記画像データの複数のフレームにわたって、前記目印の特徴の位置を追跡するステップと、
前記追跡された目印の特徴に基づいて、解剖学的モデルを生成するステップと、
前記解剖学的モデルに基づいて、ビデオデータ内のターゲットの解剖学的特徴の位置を決定するステップと、
前記ターゲットの特徴の前記位置の指標と共に前記ビデオを表示するステップと
を含む方法である。
本願の一態様は、前記ターゲットの解剖学的特徴の前記位置を決定するステップが、前記解剖学的モデル、ならびに、前記モデルおよび前記ターゲットの解剖学的特徴の外観間の既知の解剖学的関係に基づいて、前記ターゲットの解剖学的特徴の前記位置を決定するステップを含む、方法である。
本願の一態様は、前記追跡された目印の特徴に基づいて解剖学的モデルを生成するステップが、前記複数のフレーム間の前記目印の特徴の位置の変化に基づいて前記目印の特徴の移動を決定するステップと、前記目印の特徴の前記移動に基づいて前記解剖学的モデルを生成するステップとを含む、方法である。
本願の一態様は、前記第2の色空間での前記画像データを解析することによって前記画像内の前記目印の特徴の前記位置を識別するステップが、
前記第2の色空間での前記画像データに基づいて前記画像データ内のピクセルの色相値のヒストグラムを生成するステップと、
前記特徴に対応する前記ヒストグラム内の色相の範囲内に入るピクセルを識別するステップと
を含み、セグメント化データが、前記特徴に対応する前記ヒストグラム内の前記色相の範囲内に入る前記ピクセルを示す、方法である。
本願の一態様は、前記第2の色空間での前記画像データを解析することによって前記画像内の前記目印の特徴の前記位置を識別するステップが、
前記第2の色空間での前記画像データ内のピクセルを、前記ピクセルの色相値に基づいてグループにグループ化するステップと、
前記ピクセルのグループの中からピクセルの第1のグループを決定するステップと、
前記ピクセルのグループの中からピクセルの第2のグループを決定するステップと、
前記ピクセルの第1および第2のグループ間の相対的な色差に基づいて、前記ピクセルの第1または第2のグループのうちの一方を選択するステップと
を含み、セグメント化データが、前記選択されたピクセルのグループを示す、方法である。
本願の一態様は、ピクセルをグループ化するステップが、前記第2の色空間での前記画像データに基づいて、前記画像内のピクセルの色相値のヒストグラムを生成するステップを含み、
ピクセルの第1のグループを決定するステップが、前記ヒストグラム内の前記色相の第1の範囲内に入るピクセルの第1のセットを決定するステップを含み、
ピクセルの第2のグループを決定するステップが、前記ヒストグラム内の色相の第2の範囲内に入るピクセルの第2のセットを決定するステップを含み、
前記ピクセルの第1または第2のグループのうちの一方を選択するステップが、前記色相の第1の範囲と前記色相の第2の範囲との間の相対的な色差に基づいて、前記ピクセルの第1または第2のセットのうちの一方を選択するステップを含む、方法である。
本願の一態様は、前記第1の色空間が、RGB、YUV、YPrPbまたはYcrCbのうちの1つである、方法である。
本願の一態様は、前記第2の色空間が、HSV、LabまたはHSYのうちの1つである、方法である。
本願の一態様は、ビデオ内視鏡デバイスによってキャプチャされたビデオを表す画像データを生成し、前記画像データが第1の色空間で符号化され、
前記画像データをコンピューティングデバイスに送信するように構成されたビデオ内視鏡デバイスと、
前記ビデオ内視鏡デバイスによって送信された前記画像データを受信し、
前記受信した画像データを前記第1の色空間から第2の色空間に変換し、前記第2の色空間が前記第1の色空間と異なり、
前記第2の色空間での前記画像データを解析することによって前記ビデオ内の目印の特徴の位置を識別し、
前記画像データの複数のフレームにわたって前記目印の特徴の位置を追跡し、
前記追跡された目印の特徴に基づいて解剖学的モデルを生成し、
前記解剖学的モデルに基づいてビデオデータ内のターゲットの解剖学的特徴の位置を決定し、
前記ターゲットの特徴の前記位置の指標と共に前記ビデオを表示デバイス上に表示するように構成されたコンピューティングデバイスと
を備えるシステムである。
本願の一態様は、前記ターゲットの解剖学的特徴の前記位置を決定するために、前記コンピューティングデバイスが、前記解剖学的モデル、ならびに、前記モデルおよび前記ターゲットの解剖学的特徴の外観間の既知の解剖学的関係に基づいて、前記ターゲットの解剖学的特徴の前記位置を決定するように構成された、システムである。
本願の一態様は、前記追跡された目印の特徴に基づいて解剖学的モデルを生成するために、前記コンピューティングデバイスが、前記複数のフレーム間の前記目印の特徴の位置の変化に基づいて前記目印の特徴の移動を決定し、前記目印の特徴の前記移動に基づいて前記解剖学的モデルを生成するように構成された、システムである。
本願の一態様は、前記第2の色空間での前記画像データを解析することによって前記画像内の前記特徴の前記位置を識別するために、前記コンピューティングデバイスが、
前記第2の色空間での前記画像データに基づいて前記画像データ内のピクセルの色相値のヒストグラムを生成し、
前記特徴に対応する前記ヒストグラム内の色相の範囲内に入るピクセルを識別するように構成され、セグメント化データが、前記特徴に対応する前記ヒストグラム内の前記色相の範囲内に入る前記ピクセルを示す、システムである。
本願の一態様は、前記第2の色空間での前記画像データを解析することによって前記画像内の前記特徴の前記位置を識別するために、前記コンピューティングデバイスが、
前記第2の色空間での前記画像データ内のピクセルを、前記ピクセルの色相値に基づいてグループにグループ化し、
前記ピクセルのグループの中からピクセルの第1のグループを決定し、
前記ピクセルのグループの中からピクセルの第2のグループを決定し、
前記ピクセルの第1および第2のグループ間の相対的な色差に基づいて、前記ピクセルの第1または第2のグループのうちの一方を選択するように構成され、セグメント化データが、前記選択されたピクセルのグループを示す、システムである。
本願の一態様は、ピクセルをグループ化するために、前記コンピューティングデバイスが、前記第2の色空間での前記画像データに基づいて、前記画像データ内のピクセルの色相値のヒストグラムを生成するように構成され、
ピクセルの第1のグループを決定するために、前記コンピューティングデバイスが、前記ヒストグラム内の前記色相の第1の範囲内に入るピクセルの第1のセットを決定するように構成され、
ピクセルの第2のグループを決定するために、前記コンピューティングデバイスが、前記ヒストグラム内の色相の第2の範囲内に入るピクセルの第2のセットを決定するように構成され、
前記ピクセルの第1または第2のグループのうちの一方を選択するために、前記コンピューティングデバイスが、前記色相の第1の範囲と前記色相の第2の範囲との間の相対的な色差に基づいて、前記ピクセルの第1または第2のセットのうちの一方を選択するように構成された、システムである。
本願の一態様は、前記第1の色空間が、RGB、YUV、YPrPbまたはYcrCbのうちの1つである、システムである。
本願の一態様は、前記第2の色空間が、HSV、LabまたはHSYのうちの1つである、システムである。
102 ビデオ内視鏡デバイス
104 コンピューティングデバイス
104a カメラインターフェース、ビデオ入力部
104b メモリシステム
104c プロセッサ
104d I/Oインターフェース
106 表示デバイス
108a 記憶された視覚化アプリケーション
108b 実行している視覚化アプリケーション

Claims (7)

  1. ビデオ内視鏡デバイス(102)において、
    第1のコイル(302)を有するビデオカメラアセンブリ(312)と、
    1つまたは複数の光源および第2のコイル(304)を有する近位本体であって、前記1つまたは複数の光源は光エネルギーを生成するように動作する、近位本体とを備えていて、
    前記ビデオカメラアセンブリは、前記近位本体に結合可能であり、
    コンピューティングデバイスのカメラインターフェースは、前記第1のコイルに伝送のための電力を供給するように動作し、
    前記第1のコイルは、前記1つまたは複数の光源への伝送のために前記第2のコイルに誘導結合を介して電力を伝送するように動作し、
    前記近位本体は、フォーカスアセンブリと挿入アセンブリとを含み、
    前記ビデオカメラアセンブリに対して、近位本体の一部であるフォーカスアセンブリのフォーカスリングおよび挿入アセンブリは、それらの軸の周りを自由に回転することができ、これによりビデオ内視鏡デバイスの使用中に光学的焦点合わせおよび視野変化を提供し、
    前記フォーカスアセンブリと挿入アセンブリとは、ジョイント(216)を介して機械的に結合されていて、それらの軸の周りを自由に回転することができ、前記挿入アセンブリの回転は視野変化を提供し、前記フォーカスリングの回転は光学的焦点合わせを提供し、
    前記1つまたは複数の光源および第2のコイル(304)は挿入アセンブリ内に配置されていて、
    前記第1のコイル(302)は、遠距離場結合を介して第2のコイル(304)に電力を伝送するように動作する
    ことを特徴とするビデオ内視鏡デバイス(102)。
  2. 挿入管と、
    少なくとも1つの光ファイバとを備えていて、
    前記挿入管は、前記挿入アセンブリに結合可能であり、
    前記少なくとも1つの光ファイバは、前記1つまたは複数の光源から前記挿入管の長さの少なくとも一部に沿って手術部位に光エネルギーを送達するように動作する
    ことを特徴とする請求項1に記載のビデオ内視鏡デバイス。
  3. 請求項2に記載のビデオ内視鏡デバイスと共に使用されるデバイスにおいて、該デバイスは、
    中空のカニューレ本体を有するカニューレであって、前記中空のカニューレ本体は、近位端および遠位端を有していて、ビデオ内視鏡デバイスの挿入管を受けるように構成されている、カニューレを備えていて、
    少なくとも1つの追加光源が、前記中空のカニューレ本体の一端に配置されていて、前記追加光源は、光エネルギーを生成するように動作する
    ことを特徴とするデバイス。
  4. 前記中空のカニューレ本体の一端に配置された少なくとも1つの追加光源は、励起光源であることを特徴とする請求項3に記載のデバイス。
  5. 前記中空のカニューレ本体の一端に配置された少なくとも1つの追加光源は、可視光源であることを特徴とする請求項3に記載のデバイス。
  6. 前記少なくとも1つの追加光源は、前記中空のカニューレ本体の近位端に配置されていることを特徴とする請求項3から5のうちのいずれか一項に記載のデバイス。
  7. 前記少なくとも1つの追加光源は、前記中空のカニューレ本体の遠位端に配置されていることを特徴とする請求項3から5のうちのいずれか一項に記載のデバイス。
JP2018031755A 2012-02-23 2018-02-26 ビデオ内視鏡システム Active JP6920234B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201261602106P 2012-02-23 2012-02-23
US61/602,106 2012-02-23
US201261668743P 2012-07-06 2012-07-06
US61/668,743 2012-07-06
US201261708157P 2012-10-01 2012-10-01
US61/708,157 2012-10-01
JP2014558895A JP6596203B2 (ja) 2012-02-23 2013-02-22 ビデオ内視鏡システム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014558895A Division JP6596203B2 (ja) 2012-02-23 2013-02-22 ビデオ内視鏡システム

Publications (2)

Publication Number Publication Date
JP2018089424A JP2018089424A (ja) 2018-06-14
JP6920234B2 true JP6920234B2 (ja) 2021-08-18

Family

ID=47843433

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2014558895A Active JP6596203B2 (ja) 2012-02-23 2013-02-22 ビデオ内視鏡システム
JP2018031755A Active JP6920234B2 (ja) 2012-02-23 2018-02-26 ビデオ内視鏡システム
JP2019127642A Active JP6843926B2 (ja) 2012-02-23 2019-07-09 ビデオ内視鏡システム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2014558895A Active JP6596203B2 (ja) 2012-02-23 2013-02-22 ビデオ内視鏡システム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2019127642A Active JP6843926B2 (ja) 2012-02-23 2019-07-09 ビデオ内視鏡システム

Country Status (10)

Country Link
US (2) US9715727B2 (ja)
EP (2) EP2976987A3 (ja)
JP (3) JP6596203B2 (ja)
KR (1) KR102028780B1 (ja)
CN (2) CN104246828B (ja)
AU (2) AU2013222242A1 (ja)
IN (1) IN2014DN07441A (ja)
MX (1) MX2014010163A (ja)
RU (1) RU2657951C2 (ja)
WO (1) WO2013126780A1 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11977998B2 (en) * 2014-05-15 2024-05-07 Storz Endoskop Produktions Gmbh Surgical workflow support system
US20160015469A1 (en) * 2014-07-17 2016-01-21 Kyphon Sarl Surgical tissue recognition and navigation apparatus and method
US10582833B2 (en) * 2014-11-18 2020-03-10 Smith & Nephew, Inc. Endocoupler with induction coupling
JP6585728B2 (ja) 2015-02-23 2019-10-02 リ−コール，インコーポレイティド 生検標本蛍光撮像装置および方法
WO2016181404A1 (en) 2015-05-12 2016-11-17 Avraham Levy A dynamic field of view endoscope
CN107709968A (zh) 2015-06-26 2018-02-16 利康公司 荧光活检样本成像仪及方法
WO2017077882A1 (ja) 2015-11-04 2017-05-11 オリンパス株式会社 画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラム
US10708478B2 (en) * 2016-03-23 2020-07-07 Karl Storz Imaging, Inc. Image transformation and display for fluorescent and visible imaging
WO2017184940A1 (en) 2016-04-21 2017-10-26 Li-Cor, Inc. Multimodality multi-axis 3-d imaging
DE102016108095A1 (de) * 2016-05-02 2017-11-02 Olympus Winter & Ibe Gmbh Endoskopiesystem, Endoskop und Kamerakopf
US10278586B2 (en) 2016-06-23 2019-05-07 Li-Cor, Inc. Complementary color flashing for multichannel image presentation
WO2018098162A1 (en) * 2016-11-23 2018-05-31 Li-Cor, Inc. Motion-adaptive interactive imaging method
JP6853076B2 (ja) * 2017-03-13 2021-03-31 ソニー・オリンパスメディカルソリューションズ株式会社 内視鏡装置
US10580130B2 (en) 2017-03-24 2020-03-03 Curadel, LLC Tissue identification by an imaging system using color information
WO2018200261A1 (en) 2017-04-25 2018-11-01 Li-Cor, Inc. Top-down and rotational side view biopsy specimen imager and methods
US10852236B2 (en) * 2017-09-12 2020-12-01 Curadel, LLC Method of measuring plant nutrient transport using near-infrared imaging
TW202023489A (zh) * 2018-11-08 2020-07-01 美商外科劇院有限責任公司 用於光學追蹤之系統及方法
WO2021010985A1 (en) * 2019-07-16 2021-01-21 DOCBOT, Inc. Real-time deployment of machine learning systems
CN110969603B (zh) * 2019-11-26 2021-01-05 联博智能科技有限公司 病变位置的相对定位方法、装置及终端设备
CN115136253A (zh) 2020-02-20 2022-09-30 史密夫和内修有限公司 用于关节镜视频分析的方法及用于其的装置
WO2021203077A1 (en) 2020-04-03 2021-10-07 Smith & Nephew, Inc. Methods for arthroscopic surgery video segmentation and devices therefor
WO2021203082A1 (en) * 2020-04-03 2021-10-07 Smith & Nephew, Inc. User interface for digital markers in arthroscopy
CN111990953A (zh) * 2020-07-22 2020-11-27 浙江优亿医疗器械股份有限公司 一种关节探视器
US20220262098A1 (en) * 2021-02-12 2022-08-18 University Of Washington Method for classifying images
JP2024515810A (ja) * 2021-04-26 2024-04-10 ストライカー コーポレイション 関節鏡可視化のためのシステム及び方法
US11966486B2 (en) * 2021-08-18 2024-04-23 Verizon Patent And Licensing Inc. Systems and methods for image preprocessing and segmentation for visual data privacy
JP2024095405A (ja) * 2022-12-28 2024-07-10 株式会社アドバンテスト 蛍光検出装置
CN116721175B (zh) * 2023-08-09 2023-10-10 安翰科技(武汉)股份有限公司 一种图像显示方法、图像显示装置以及胶囊内窥镜系统

Family Cites Families (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4756304A (en) * 1986-10-08 1988-07-12 Watanabe Robert S Arthroscopic video camera system
JPS63256916A (ja) 1987-04-15 1988-10-24 Toshiba Corp 電子内視鏡装置
JPH034832A (ja) * 1989-06-01 1991-01-10 Toshiba Corp 電子内視鏡装置
US4969450A (en) * 1990-01-25 1990-11-13 Smith & Nephew Dyonics, Inc. Videoarthroscope with one-handed control
DE4238977C2 (de) * 1992-11-19 1996-12-12 Schoelly Fiberoptic Gmbh Vorrichtung zur Beleuchtung und Inspektion von Hohl- und Zwischenräumen
ATE225964T1 (de) * 1993-03-31 2002-10-15 Luma Corp Informationsverwaltung in einem endoskopiesystem
JPH07234365A (ja) * 1994-02-21 1995-09-05 Olympus Optical Co Ltd 内視鏡撮像装置
DE19629646C2 (de) 1996-07-23 1998-09-10 Wolf Gmbh Richard Verfahren und Vorrichtung zur automatischen Identifikation von Komponenten medizinischer Gerätesysteme
JP3615890B2 (ja) 1996-12-04 2005-02-02 フジノン株式会社 電子内視鏡装置
JPH10216144A (ja) 1997-02-06 1998-08-18 Olympus Optical Co Ltd 超音波診断治療装置
JPH10309258A (ja) 1997-05-13 1998-11-24 Olympus Optical Co Ltd 体腔内観察装置
JP4217357B2 (ja) * 1999-11-15 2009-01-28 オリンパス株式会社 内視鏡用撮像装置および内視鏡システム
US20020138008A1 (en) * 2000-01-13 2002-09-26 Kazuhiro Tsujita Method and apparatus for displaying fluorescence images and method and apparatus for acquiring endoscope images
US6895279B2 (en) 2000-09-15 2005-05-17 Alfred E. Mann Institute For Biomedical Engineering At The University Of Southern California Method and apparatus to treat disorders of gastrointestinal peristalsis
US6692431B2 (en) 2001-09-07 2004-02-17 Smith & Nephew, Inc. Endoscopic system with a solid-state light source
US8599250B2 (en) 2002-03-12 2013-12-03 Karl Storz Imaging, Inc. Wireless camera coupling
US8194122B2 (en) * 2002-03-12 2012-06-05 Karl Storz Imaging, Inc. Universal scope reader
US8723936B2 (en) * 2002-03-12 2014-05-13 Karl Storz Imaging, Inc. Wireless camera coupling with rotatable coupling
JP2003334163A (ja) 2002-03-14 2003-11-25 Olympus Optical Co Ltd 内視鏡画像処理装置
JP2004024656A (ja) 2002-06-27 2004-01-29 Fuji Photo Film Co Ltd 蛍光内視鏡装置
US7613335B2 (en) * 2003-02-12 2009-11-03 The University Of Iowa Research Foundation Methods and devices useful for analyzing color medical images
JP3810381B2 (ja) 2003-04-25 2006-08-16 オリンパス株式会社 画像表示装置、画像表示方法および画像表示プログラム
JP4547402B2 (ja) 2003-04-25 2010-09-22 オリンパス株式会社 画像表示装置、画像表示方法および画像表示プログラム
US7397364B2 (en) 2003-11-11 2008-07-08 Biosense Webster, Inc. Digital wireless position sensor
JP4461100B2 (ja) 2004-02-16 2010-05-12 オリンパス株式会社 内視鏡システム
JP4370201B2 (ja) * 2004-05-14 2009-11-25 オリンパス株式会社 内視鏡
WO2005110189A1 (ja) 2004-05-14 2005-11-24 Olympus Corporation 内視鏡
US8480566B2 (en) * 2004-09-24 2013-07-09 Vivid Medical, Inc. Solid state illumination for endoscopy
JP2006198106A (ja) 2005-01-19 2006-08-03 Olympus Corp 電子内視鏡装置
US7668450B2 (en) * 2005-01-28 2010-02-23 Stryker Corporation Endoscope with integrated light source
US8029439B2 (en) 2005-01-28 2011-10-04 Stryker Corporation Disposable attachable light source unit for an endoscope
US8672922B2 (en) 2005-12-20 2014-03-18 Intuitive Surgical Operations, Inc. Wireless communication in a robotic surgical system
US8290600B2 (en) 2006-07-21 2012-10-16 Boston Scientific Scimed, Inc. Electrical stimulation of body tissue using interconnected electrode assemblies
JP5121204B2 (ja) 2006-10-11 2013-01-16 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
US8498695B2 (en) * 2006-12-22 2013-07-30 Novadaq Technologies Inc. Imaging system with a single color image sensor for simultaneous fluorescence and color video endoscopy
CN100565582C (zh) 2006-12-31 2009-12-02 四川大学华西医院 一种筛选食管微小病变的图像处理方法
EP1998165A1 (en) 2007-06-01 2008-12-03 The European Community, represented by the European Commission Method of fluorescence imaging
JP5106928B2 (ja) 2007-06-14 2012-12-26 オリンパス株式会社 画像処理装置および画像処理プログラム
KR101393487B1 (ko) * 2007-10-25 2014-05-14 삼성전자주식회사 디스플레이장치 및 그의 화질개선방법
JP5312807B2 (ja) * 2008-01-08 2013-10-09 オリンパス株式会社 画像処理装置および画像処理プログラム
US9603512B2 (en) * 2008-04-25 2017-03-28 Karl Storz Imaging, Inc. Wirelessly powered medical devices and instruments
DE102008027905A1 (de) 2008-06-12 2009-12-17 Olympus Winter & Ibe Gmbh Verfahren und Endoskop zur Verbesserung von Endoskopbildern
JP2009302960A (ja) 2008-06-13 2009-12-24 Olympus Corp 映像信号処理装置並びにプログラム及び方法
JP5305850B2 (ja) * 2008-11-14 2013-10-02 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
JP2010187756A (ja) 2009-02-16 2010-09-02 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
RU2406144C1 (ru) * 2009-03-27 2010-12-10 Учреждение Российской академии наук Институт проблем управления им. В.А. Трапезникова РАН Способ компьютерной обработки и анализа изображений разнотипных объектов биологической природы
JP5361511B2 (ja) 2009-04-21 2013-12-04 オリンパス株式会社 内視鏡システム
WO2011005865A2 (en) * 2009-07-07 2011-01-13 The Johns Hopkins University A system and method for automated disease assessment in capsule endoscopy
JP2011024135A (ja) * 2009-07-17 2011-02-03 Fuji Xerox Co Ltd 画像読取装置、画像形成装置、およびプログラム
US8363097B2 (en) * 2009-07-23 2013-01-29 Smith & Nephew, Inc. Endoscopic imaging system
JP5624745B2 (ja) 2009-10-23 2014-11-12 オリンパス株式会社 内視鏡システム
JP5956342B2 (ja) * 2009-11-03 2016-07-27 シティ・オブ・ホープＣｉｔｙ ｏｆ Ｈｏｐｅ 形質導入Ｔ細胞選択のためのトランケート上皮増殖因子レセプタ（ＥＧＦＲｔ）
AU2010337104B2 (en) 2009-12-14 2016-04-14 Smith & Nephew, Inc. Visualization guided ACL localization system
US20110301447A1 (en) * 2010-06-07 2011-12-08 Sti Medical Systems, Llc Versatile video interpretation, visualization, and management system
DE102010039731A1 (de) 2010-08-25 2012-03-01 Olympus Winter & Ibe Gmbh Elektrisches Verbindungselement und Endoskopiesystem
WO2013084975A1 (ja) 2011-12-08 2013-06-13 オリンパス株式会社 蛍光センサおよび蛍光センサの製造方法
CN104010558B (zh) 2011-12-28 2017-03-01 奥林巴斯株式会社 荧光观察装置、荧光观察方法以及荧光观察装置的工作方法
DE102011122602A1 (de) 2011-12-30 2013-07-04 Karl Storz Gmbh & Co. Kg Vorrichtung und Verfahren zur endoskopischen Fluoreszenzdetektion
EP2732752B1 (en) 2012-02-17 2019-05-01 Olympus Corporation Medical system
JP5558635B2 (ja) 2012-02-17 2014-07-23 オリンパスメディカルシステムズ株式会社 内視鏡装置
EP2737843A4 (en) 2012-03-29 2015-05-06 Olympus Medical Systems Corp ENDOSCOPE SYSTEM
JP6103824B2 (ja) 2012-06-04 2017-03-29 オリンパス株式会社 蛍光内視鏡装置
US9629518B2 (en) 2012-12-27 2017-04-25 Arthrex, Inc. Contactless camera connection system
IN2013DE01670A (ja) 2013-06-03 2015-06-26 Samhotra Navneet
DE102013213247A1 (de) 2013-07-05 2015-01-08 Olympus Winter & Ibe Gmbh Videoendoskopiesystem, Kopplungseinrichtung, Videoendoskop und Kontrolleinrichtung
US10582833B2 (en) * 2014-11-18 2020-03-10 Smith & Nephew, Inc. Endocoupler with induction coupling

Also Published As

Publication number Publication date
RU2657951C2 (ru) 2018-06-18
EP2976987A3 (en) 2016-06-08
MX2014010163A (es) 2014-09-16
KR20140127887A (ko) 2014-11-04
CN109567724A (zh) 2019-04-05
RU2014136476A (ru) 2016-04-10
JP2018089424A (ja) 2018-06-14
IN2014DN07441A (ja) 2015-04-24
WO2013126780A9 (en) 2014-09-04
CN104246828B (zh) 2018-11-23
JP6843926B2 (ja) 2021-03-17
CN104246828A (zh) 2014-12-24
WO2013126780A1 (en) 2013-08-29
EP2817782A1 (en) 2014-12-31
US20170202443A1 (en) 2017-07-20
US10783626B2 (en) 2020-09-22
EP2817782B1 (en) 2023-08-09
JP2015509404A (ja) 2015-03-30
JP2019188223A (ja) 2019-10-31
AU2018205109A1 (en) 2018-07-26
US9715727B2 (en) 2017-07-25
US20150062153A1 (en) 2015-03-05
JP6596203B2 (ja) 2019-10-23
KR102028780B1 (ko) 2019-10-04
AU2013222242A1 (en) 2014-09-18
EP2976987A2 (en) 2016-01-27

Similar Documents

Publication Publication Date Title
JP6843926B2 (ja) ビデオ内視鏡システム
US11123150B2 (en) Information processing apparatus, assistance system, and information processing method
CN110325100B (zh) 内窥镜系统及其操作方法
JP6006199B2 (ja) 蛍光観察装置
JP5771757B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
WO2017159335A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
CN107427202B (zh) 用于照射人类或动物身体内部的感兴趣结构的设备、系统和方法
JP7015385B2 (ja) 内視鏡画像処理装置、内視鏡装置の作動方法、及びプログラム
JP7387859B2 (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
WO2019130868A1 (ja) 画像処理装置、プロセッサ装置、内視鏡システム、画像処理方法、及びプログラム
US20220151467A1 (en) Medical image processing apparatus, endoscope system, medical image processing method, and program
US20230036858A1 (en) Systems and methods for machine readable identification of surgical tools in-situ
US11978209B2 (en) Endoscope system, medical image processing device, and operation method therefor
JPWO2018220930A1 (ja) 画像処理装置、画像処理システム及び画像処理装置の作動方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180306

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190902

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200617

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20200617

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200630

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20200706

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20200717

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20200727

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20200824

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20210104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210405

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210517

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20210531

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20210705

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20210705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210726

R150 Certificate of patent or registration of utility model

Ref document number: 6920234

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150