JP7261835B2 - 内視鏡観察システムの作動方法、内視鏡観察システム、およびソフトウェアプログラム製品 - Google Patents

内視鏡観察システムの作動方法、内視鏡観察システム、およびソフトウェアプログラム製品 Download PDF

Info

Publication number
JP7261835B2
JP7261835B2 JP2021104422A JP2021104422A JP7261835B2 JP 7261835 B2 JP7261835 B2 JP 7261835B2 JP 2021104422 A JP2021104422 A JP 2021104422A JP 2021104422 A JP2021104422 A JP 2021104422A JP 7261835 B2 JP7261835 B2 JP 7261835B2
Authority
JP
Japan
Prior art keywords
image
light
white
special light
viewing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021104422A
Other languages
English (en)
Other versions
JP2022002701A (ja
Inventor
ユルゲンス トルシュテン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Winter and Ibe GmbH
Original Assignee
Olympus Winter and Ibe GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Winter and Ibe GmbH filed Critical Olympus Winter and Ibe GmbH
Publication of JP2022002701A publication Critical patent/JP2022002701A/ja
Application granted granted Critical
Publication of JP7261835B2 publication Critical patent/JP7261835B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00186Optical arrangements with imaging filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A61B1/051Details of CCD assembly
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0676Endoscope light sources at distal tip of an endoscope
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/032Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Endoscopes (AREA)

Description

発明の詳細な説明
本発明は、内視鏡観察システムの作動方法、内視鏡観察システム、およびソフトウェアプログラム製品に関する。
最新の内視鏡観察システムは、RGBスペクトル全体を備えた、可視スペクトル(VIS)に不可欠な白色光照明を用いる白色光モードに加えて、種々の特殊光観察モードを提供している。このような特殊光観察(SLI)モードは、例えば、狭帯域光観察(NBI)、近赤外蛍光観察(NIRF)、および赤色光観察(RDI)を含む。RDIは、オリンパステクノロジーが特許権を有する方法であって、米国特許第10,034,600B2号および米国特許第9,775,497号B2に開示されている。このリストは網羅的なものではない。
近赤外蛍光観察(NIRF)は、血管灌流を分析・評価するため、肝胆道系の組織を確認するため、リンパ節を見つけるため、またはICG(インドシアニングリーン)、CY5.5、ZW800あるいはZW-1などの外因性造影剤の投与後に尿管を可視化するために用いることができる。赤色光観察(RDI)は、動脈の出血源を特定するために用いることができる。狭帯域光観察(NBI)は、例えば、ポリープを切除すべきか否かを決定するためにNICE分類1型の腸ポリープとNICE分類2型の腸ポリープとを区別するなど、良性過形成とがん組織またはがんの前駆体とを区別することに役立ち得る。
通常の検査および手術は、視覚化のための白色光照明(VIS)を用いて医師により行われる。その白色光画像において、特殊光観察モードでのより精密な検査を必要とする異常を医師が発見した場合、医師は自身の訓練および経験に基づいて適切な特殊光観察モードを選択する。
これを背景に、本発明の目的は、改良された形の内視鏡観察を用いて、検査または手術中に医師を支援することである。
この目的は、少なくとも1つのCMOSイメージセンサを有するビデオ内視鏡と、白色光および少なくとも1つの特殊光を発生するように設計された光源ユニットと、画像評価ユニットと、コントロールユニットと、表示装置とを備える内視鏡観察システムを用いた、内視鏡観察法により実現され、上記の方法は、白色光画像が、白色光照明の下でビデオ内視鏡を用いて取得され、少なくとも1つの所定の特徴を有する少なくとも1つの構造の有無を確認するために、画像評価ユニットによりリアルタイムで評価され、画像評価ユニットが、少なくとも1つの白色光画像において少なくとも1つの所定の特徴を有する少なくとも1つの構造の存在を検出した場合、光源ユニットが少なくとも1つの特殊光を用いて特殊光照明を発生させる特殊光観察モードが設定され、特殊光観察モードでは、特殊光照明の下でビデオストリームの1つまたは複数の画像が取得されて、白色光画像において検出された所定の特徴を備える構造を含む白色光画像の部分領域を特定することと、イメージセンサのこの部分領域のみを読み取ることと、を備える特殊光処理モードにおける画像処理を施され、部分領域から読み取られた画像データは、1つの特殊光画像または複数の特殊光画像として更に処理される点において、更に発展している。
本発明による方法は、内視鏡ビデオシステム、すなわちビデオ内視鏡または内視鏡用のカメラヘッドの大多数が、CCDイメージセンサではなくCMOSイメージセンサを備えているという事実に基づいている。CCDイメージセンサと違って、多くのCMOSイメージセンサは「関心領域」(ROI)と呼ばれる部分領域における読み取りのみ可能であり、これにより読み取り速度が大幅に速くなる。部分領域は、通常、長方形の領域であり、本発明の文脈においては、妥当な場合、例えば、長方形の長辺の長さの2%から20%を占める境界を有する構造を完全に含むような寸法の長方形の領域である。例えば、腸ポリープは、通常、画像における上記の画像領域の約10%から20%を占める。多くの臨床的状況において、この種のROIは、上記の画像全体の相当する面積にわたって広がる。そのような場合、例えば1980x1080ピクセルのHD解像度を有するCMOSイメージセンサは、例えば対向する頂点が例えば600/200および1061/662といった座標を有する長方形の領域などの、ポリープを含む対応する部分領域において、独占的かつ非常に速やかに読み取りが可能である。結果として生じる、腸ポリープを含むROIは、461x462ピクセル(約213,000ピクセル)の大きさを有し、したがって上記のフルHD画像の大きさのほぼ10分の1に過ぎない。
本発明による方法を用いれば、白色光観察モードでCMOSイメージセンサの画像データ全体が読み取られるよりも、CMOSイメージセンサの部分領域が読み取られ、処理される方が速いため、特殊光観察モードが作動された場合であっても、高い画像リフレッシュレートを得ることが可能である。部分領域が選択されていなければ、白色光画像および特殊光画像の交互シーケンスの場合の画像リフレッシュレートは、例えば50Hzから25Hzのように半分になり、白色光画像シーケンスは25Hzとなり、特殊光画像シーケンスも25Hzとなるであろう。急速な動きの場合、これによってモーションアーチファクトが生じ得る。
多くの特殊光観察モードはまた、不鮮明である。求められる高い光感度または利得係数のため、かなりの画像ノイズが生じる。ノイズは、露光時間を増やすことまたは連続するフレームを組み合わせることにより、低減させることができる。これらの手段は、部分領域を選択しない通常の時系列観察では非常に限定されるが、特殊光条件下において本発明によって可能なより高い画像リフレッシュレートを、より密接な連続によって特殊光画像の実効露光時間を増やすために用いることができる。
本発明による方法は、白色光画像上で所定の特徴を有する構造が自動的に検出される画像認識を行うことにより、担当医師を支援することも可能にする。そのような構造は、例えば灌流血管、リンパ節、動脈出血または腸ポリープなどであってもよいが、このリストは網羅的なものではない。これらの構造の所定の特徴は、豊富な画像資料に基づいて広く知られ、また明確に文書化されており、自動画像評価によって特定することができる。この場合、本発明によれば、特定された構造がより詳細に、より正確に表示される適切な特殊光観察が設定される。医師は、特殊光観察モードを設定するための決定から解放され、何もすることなく特殊光観察が示される。
進行中の検査は、通常、ビデオストリームとして処理される。本発明による方法は、その進行中のビデオストリームに適用可能であるが、医師が所望する場合は、精密検査および文書作成に用いるため、スナップショット機能を用いてビデオストリームから分離された個々の画像にも適用可能である。
部分領域は画像評価ユニットにおいて選択され、CMOSイメージセンサのどの部分領域が読み取られるかについての命令が、画像評価ユニットから直接的に、またはコントロールユニットを介して発せられる。画像評価ユニットは、例えばプログラムまたはプログラムのサブルーチンなどの機能ユニットとして、コントロールユニット内にソフトウェアとして組み込まれてもよい。
様々な検査における正常な状態とは、関連する構造が見当たらないことである。この場合、画像評価ユニットが白色光画像において少なくとも1つの所定の特徴を有する構造を検出しなければ、白色光画像が表示装置を用いて有利に表示される。
実施形態において、1つの特殊光画像または複数の特殊光画像は、単独で、または白色光画像に重ね合わされた1つの合成画像または複数の合成画像として、表示装置を用いて表示される。特殊光画像を単独で表示することは、医師の訓練された観察眼によって容易に解釈可能な、手を加えていない表示であるという利点を有する。上記の構造の位置において、特殊光画像が白色光画像に一致するように重ね合わされた合成画像を表示することは、特殊光画像を周囲の構造にはめ込むという利点を提供する。この種の融合画像または合成画像は、拡張現実画像(ARI)と呼ぶことができる。合成画像に関して、特殊光画像は、特殊光画像では見えない白色光画像の下部構造がまだ見えるように、例えば5%から50%など一定の透明度を有した状態で、または透明度0%から5%の不透明な状態で、白色光画像に重ね合わせることが可能である。
ビデオストリームで表示される合成画像シーケンスを備える実施形態において、画像評価ユニットが、白色光画像において少なくとも1つの所定の特徴を有する少なくとも1つの構造の存在を検出した場合、白色光および特殊光の交互照明がビデオ画像シーケンスと同期して発せられ、それぞれの場合に、1つの白色光画像および1つの特殊光画像から成る1組が処理され、合成画像に結合される。この合成画像ビデオストリームからの個々のフレームはスナップショット機能を用いて取得可能であり、より精密な検査および文書作成に用いることができる。したがって、本特許出願および本発明の範囲において、「特殊光観察モード」の用語は、白色光画像および特殊光画像が交互シーケンスで取得され、更に処理されて結合される場合も含む。
一実施形態において、ビデオ画像シーケンスおよび同期する白色光および特殊光の交互照明は、特殊光照明および特殊光画像取得の持続時間が、白色光照明および白色光画像取得の持続時間より短い時間的リズムで発生する。特殊光画像取得のそれぞれの場合に、CMOSイメージセンサの1つの部分領域のみが読み取られ、その部分領域の画像データのみが画像評価ユニット内で更に処理されるため、特に、特殊光画像には構造認識が適用されないため、このことが可能となる。したがって、画像表示の頻度、すなわち個々のフレームの連続を半減させることはもはや不要であり、むしろ純白色光ビデオシーケンスと同様に高い頻度を有する画像シーケンスを実現することが可能であるため、モーションアーチファクトがかなり防止される。これを実行するための1つの可能性は、画像評価ユニットと一体化し得るコントロールユニットにあり、コントロールユニットはビデオ内視鏡内のイメージセンサおよび光源ユニットに、対応して同期する時系列において画像またはサブ画像を取得し、白色光照明および特殊光照明を提供するよう命令する。
実施形態において、光源ユニットは、特殊光として、狭帯域光観察(NBI)用の照明、近赤外蛍光観察(NIRF)用の照明、および赤色光観察(RDI)用の照明のうちの1つ以上の照明を発生させるように設計され、具体的には、RDI照明は出血が検出された場合に発生され、および/またはNBI照明は腸ポリープが検出された場合に発生される。画像評価装置は、所定の特徴を有する検出された構造に基づいて、利用可能な複数の特殊光モードのうちの1つを選択するように設計されていてもよい。あるいは、所定の特徴および特殊光モードが、事前選択および設定されるか、既に事前選択および設定されていてもよい。このことは、例えば、出血が予想され、検出され、止血される結腸内視鏡検査または手術などにおいて、特定の構造を探す検査の場合に有用であろう。
実施形態において、少なくとも1つの所定の特徴を有する構造が検出され、および/またはその構造を含む部分領域が選択され、および/または人工知能に基づく画像評価アルゴリズムを用いて、特殊光モードが選択される。そのような場合、画像評価アルゴリズムは、具体的にはCNNに基づき、少なくとも1つの所定の特徴を有する構造を含む白色光画像を用いて事前訓練された1つ以上の分類ニューラルネットワークに基づいてもよい。
更に、実施形態において、画像評価ユニットは対応する構造の存在を探すために特殊光画像を評価し、具体的には、構造の存在を確認するか、そうでなければ、再び特殊光観察モードから離脱するよう促す。特殊光観察モードは、関係する構造を非常に高コントラストで、それゆえ明確に認識できるように表示するのに特に適しているため、こうした構造に関する特殊光画像の評価は、対応する構造の存在に関して高い有意性をもたらす。特殊光画像には白色光画像の1つの部分領域しか存在せず、それゆえ評価すべきデータ量が小さいので、対応する画像評価も白色光画像の場合よりも速い。
本発明の目的は、少なくとも1つのCMOSイメージセンサを有するビデオ内視鏡と、白色光および少なくとも1つの特殊光を発生するように設計された光源ユニットと、画像評価ユニットと、コントロールユニットと、表示装置とを備える内視鏡観察システムによっても実現され、内視鏡観察システムにおいて、コントロールユニットは、信号伝達のため、光源ユニット、ビデオ内視鏡、および画像評価ユニットに接続され、画像評価ユニットは、信号伝達のため、ビデオ内視鏡に接続されており、ビデオ内視鏡と、光源ユニットと、画像評価ユニットと、コントロールユニットと、表示装置とを有する観察システムは、本発明による前述の方法を実行するように設計および構成されている。
本発明による観察システムのビデオ内視鏡は、内視鏡シャフトの遠位領域あるいはハンドルのいずれかにCMOSセンサを備えてもよく、または内視鏡と、イメージセンサとしてCMOSセンサを備えるカメラヘッドとの組み合わせとして設計されてもよい。
さらに、本発明の目的は、本発明による内視鏡観察システムのためのプログラムコード手段を備えるソフトウェアプログラム製品によっても実現され、ソフトウェアプログラム製品は、観察システムの画像評価ユニットにおいて実行される画像評価プログラムコンポーネントと、観察システムのコントロールユニットにおいて実行される制御プログラムコンポーネントとを備えており、画像評価プログラムコンポーネントおよび制御プログラムコンポーネントは、画像評価ユニットおよびコントロールユニットにおいて実行される場合には、本発明による前述の方法を実行するように設計されている。
本発明による内視鏡観察システムおよび本発明によるソフトウェアプログラム製品は、本発明による前述の方法に関連し、この方法の利点、特徴、および特性を同様に実現する。
本発明の更なる特徴は、請求項および添付の図面とともに本発明による実施形態の説明から明らかになるであろう。本発明による実施形態は、個々の特徴または複数の特徴の組み合わせを実現し得る。
本発明の範囲において、「特に」または「好ましくは」によって指定された特徴は、任意選択的な特徴であると解される。
本発明は、文中においてより詳細には説明されない本発明による具体的内容の全てに関して図面を明示的に参照する、図面に関連した例示的な実施形態に基づいて、本発明の概念を限定することなく、以下で説明される。
本発明による内視鏡観察システムの概略図である。 観察の概念の概略図である。 本発明による方法のための例示的なフロー図である。
上記の図面において、同一または類似の要素および/または部品には、それぞれ同一の参照符号が与えられているため、再度の紹介は常に省略される。
図1は、本発明による内視鏡観察システム10の動作状況における概略図である。例えば、腸ポリープ、出血、灌流血管等の所定の特徴を有する構造6が発見される検査が、患者の体2の体腔4において、ビデオ内視鏡20を用いて行われる。
ビデオ内視鏡20は、ハンドル28に接した内視鏡シャフト22を備え、そのシャフト22の遠位端には、入射レンズ24およびここでは図示されていない光学系の後方に、CMOSイメージセンサ26が配置されている。あるいは、ビデオ内視鏡20は、従来の内視鏡とカメラヘッドとの組み合わせとして設計されてもよい。
ビデオ内視鏡20は光源ユニット30に接続されているが、光源ユニット30はビデオ内視鏡20の一部であってもよく、あるいは内視鏡観察システム10の制御装置の一部であってもよい。様々な光源およびフィルタユニットを有する光源ユニット30は、1つ以上の特殊光照明手順に従って白色光および特殊光を交互に発生させるように設計されており、その光はビデオ内視鏡20を介して体腔4内に向けられて、検査周辺部を照らす。
観察システム10は、光源ユニット30およびビデオ内視鏡20に接続された画像評価ユニット40とコントロールユニット50とを更に備え、また画像評価ユニット40に接続された表示装置60も備える。上記の様々な構成要素、特に画像評価ユニット40およびコントロールユニット50は、本発明による方法を実行するように設計されている。この目的のために、これらのユニットは、画像評価および制御を行うプログラムコード手段を備えている。
図2は、観察の概念を概略的な形で表している。撮像および画像の取得は、画像評価ユニット40を用いた評価の対象となる白色光画像42の取り込みに基づく。この種の白色光画像42は、例えば、HD解像度を有してもよく、白色光照明の下で光源ユニット30から生成される。白色光画像42が、例えば灌流血管、出血、腸ポリープ等の特徴など所定の特徴を有する構造6を含む場合、画像評価ユニット40は、構造6を含む白色光画像42の部分領域44を特定する。
構造6が検出されたため、特殊光観察用の特殊光照明が次の画像用に設定され、CMOSセンサ26が部分領域44のみにおいて読み取られる。読み取られた部分領域44の表示、特に擬似カラー表示が、白色光画像42上の正確な位置に特殊光画像46として重ねられ、表示装置60上において担当医師に対して表示される合成画像48を作り出す。合成画像48は、いずれの場合も、白色光画像および特殊光画像のペアが取得されて組み合わされたり、より詳しい検査および文書作成のための個別画像として用いられたりする、特殊光観察モードにおけるビデオストリームの一部であってもよい。好ましくは、特殊光観察モードにおけるビデオストリームの場合、ビデオ内視鏡20と構造6とが互いに相対移動可能であるため、各白色光画像は分析され、部分領域44は再決定される。
特定の特殊光観察モードの選択は、例えば、1つのみの特殊光観察モードが関係する結腸内視鏡検査などの特定の検査を行う医師により事前に実行されるか、または画像評価ユニット40における画像評価アルゴリズムが、発見された構造6に基づいてどの特殊光観察モードを選択するかを決定する。この種の選択アルゴリズムは、例えば、対応する構造とそれぞれ最適な特殊光観察モードとを特定および分類するために、対応する構造を有する以前に取得された白色光画像を用いて訓練されたニューラルネットワークに基づいてもよい。
図3は、本発明による方法の例示的なフロー図である。まず、白色光画像42の取得(方法ステップ100)から始まり、次に、所定の特徴を有する構造6の有無を確認するために白色光画像42が分析される(方法ステップ102)。構造6が発見されない場合、白色光画像42がそのまま表示され(方法ステップ104)、新たな白色光画像42が取得される(方法ステップ100)。白色光画像42において構造6が実際に発見された場合、白色光画像42における構造6の位置する部分領域44が特定される。続いて、対応する特殊光照明を備える、予め設定された、または適切な特殊光観察モードが設定され(方法ステップ106)、設定された特殊光照明の下で画像が取得され、CMOSイメージセンサ26の画像データが部分領域44内のみで読み取られ、特殊光画像46として更に処理される(方法ステップ108)。そして、特殊光画像46は白色光画像42に重ねられて、合成画像48として表示される(方法ステップ110)。このプロセスは、検査が完了するまで、または本発明による検査モードが終了するまで、方法ステップ100から繰り返される。
図面のみから得られる特徴および他の特徴と組み合わせて開示されている個々の特徴を含む、全ての挙げられた特徴は、単独および組み合わせて本発明に不可欠なものとして考えられる。本発明による実施形態は、個々の特徴または複数の特徴の組み合わせにより実現し得る。
[符号の説明]
2…体、4…体腔、6…構造、10…内視鏡観察システム、20…ビデオ内視鏡、22…内視鏡シャフト、24…入射レンズ、26…CMOSイメージセンサ、28…ハンドル、30…光源ユニット、40…画像評価ユニット、42…白色光画像、44…部分領域、46…特殊光画像、48…合成画像、50…コントロールユニット、60…表示装置、100…白色光画像の取得、102…白色光画像の分析、104…白色光画像の表示、106…特殊光観察モードの設定、108…特殊光画像の取得、110…合成画像の生成および表示

Claims (14)

  1. 少なくとも1つのCMOSイメージセンサ(26)を有するビデオ内視鏡(20)と、白色光および少なくとも1つの特殊光を発生するように設計された光源ユニット(30)と、画像評価ユニット(40)と、コントロールユニット(50)と、表示装置(60)とを備える内視鏡観察システム(10)の作動方法であって、
    前記ビデオ内視鏡(20)が、白色光照明の下で白色光画像(42)を取得する工程と、
    前記画像評価ユニット(40)が、少なくとも1つの所定の特徴を有する少なくとも1つの構造(6)の有無を確認するために前記白色光画像(42)をリアルタイムで評価する工程と、
    前記画像評価ユニット(40)が、少なくとも1つの白色光画像(42)において少なくとも1つの所定の特徴を有する少なくとも1つの構造(6)の存在を検出した場合、特殊光観察モードを設定し、前記コントロールユニット(50)が、前記光源ユニット(30)に前記少なくとも1つの特殊光を用いて特殊光照明を発生させる工程と
    前記ビデオ内視鏡(20)が、前記特殊光照明の下でビデオストリームの1つまたは複数の画像取得する工程と
    前記画像評価ユニット(40)が、前記白色光画像において検出された前記所定の特徴を備える前記構造(6)を含む、前記白色光画像(42)の部分領域(44)を特定することと、前記イメージセンサ(26)の前記部分領域(44)のみを読み取ることと、を備える特殊光処理モードにおける画像処理を施す工程と
    前記画像評価ユニット(40)が、前記部分領域(44)から読み取られた画像データ、1つの特殊光画像(46)または複数の特殊光画像(46)として更に処理する工程とを含むことを特徴とする内視鏡観察システム(10)の作動方法。
  2. 前記画像評価ユニット(40)が前記白色光画像(42)において少なくとも1つの所定の特徴を有する構造を検出しなかった場合、前記白色光画像(42)は前記表示装置(60)を用いて表示されることを特徴とする、請求項1に記載の内視鏡観察システム(10)の作動方法。
  3. 前記1つの特殊光画像(46)または複数の特殊光画像(46)は、単独で、または白色光画像(42)に重ね合わされた1つの合成画像(48)または複数の合成画像(48)として、前記表示装置(60)を用いて表示されることを特徴とする、請求項1または2に記載の内視鏡観察システム(10)の作動方法。
  4. 前記画像評価ユニット(40)が、前記白色光画像(42)において少なくとも1つの所定の特徴を有する少なくとも1つの構造(6)の存在を検出した場合、交互の白色光および特殊光照明がビデオ画像シーケンスと同期して発生され、それぞれの場合に、1つの白色光画像(42)と1つの特殊光画像(46)から成る1組が処理され、合成画像(48)に結合されることを特徴とする、請求項1から3のいずれか1項に記載の内視鏡観察システム(10)の作動方法。
  5. 前記ビデオ画像シーケンスおよび前記同期する交互の白色光および特殊光照明は、前記特殊光照明および特殊光画像取得の時間が、前記白色光照明および白色光画像取得の時間より短い時間的リズムで発生することを特徴とする、請求項4に記載の内視鏡観察システム(10)の作動方法。
  6. 前記光源ユニット(30)は、特殊光として、狭帯域光観察(NBI)用の照明、近赤外蛍光観察(NIRF)用の照明、および赤色光観察(RDI)用の照明のうちの1つ以上の照明を発生させるように設計され、NBI照明は腸ポリープが検出された場合に発生されることを特徴とする、請求項1から5のいずれか1項に記載の内視鏡観察システム(10)の作動方法。
  7. RDI照明は出血が検出された場合に発生されることを特徴とする、請求項6に記載の内視鏡観察システム(10)の作動方法。
  8. 前記画像評価ユニット(40)は、前記画像評価ユニット(40)により検出された前記所定の特徴を有する前記構造(6)に基づいて、利用可能な複数の特殊光モードのうちの1つを選択するように設計されていることを特徴とする、請求項1から7のいずれか1項に記載の内視鏡観察システム(10)の作動方法。
  9. 前記所定の特徴および前記特殊光モードは、事前選択および設定されるか、既に事前選択および設定されていることを特徴とする、請求項に記載の内視鏡観察システム(10)の作動方法。
  10. 少なくとも1つの所定の特徴を有する前記構造(6)が検出されること、および/または前記構造(6)を含む前記部分領域(44)が選択されること、および/または人工知能に基づく画像評価アルゴリズムを用いて前記特殊光モードが選択されることを特徴とする、請求項に記載の内視鏡観察システム(10)の作動方法。
  11. 前記画像評価アルゴリズムは、少なくとも1つの所定の特徴を有する前記構造(6)を含む白色光画像(42)を用いて事前訓練された1つ以上の分類ニューラルネットワークに基づくことを特徴とする、請求項10に記載の内視鏡観察システム(10)の作動方法。
  12. 前記画像評価ユニット(40)は、対応する構造(6)の有無を確認するために前記特殊光画像(46)を評価することを特徴とする、請求項1から10のいずれか1項に記載の内視鏡観察システム(10)の作動方法。
  13. 内視鏡観察システム(10)であって、少なくとも1つのCMOSイメージセンサ(26)を有するビデオ内視鏡(20)と、白色光および少なくとも1つの特殊光を発生するように設計された光源ユニット(30)と、画像評価ユニット(40)と、コントロールユニット(50)と、表示装置(60)とを備え、前記コントロールユニット(50)は、信号伝達のため、前記光源ユニット(30)、前記ビデオ内視鏡(20)、および前記画像評価ユニット(40)に接続され、前記画像評価ユニット(40)は、信号伝達のため、前記ビデオ内視鏡(20)に接続されており、前記ビデオ内視鏡(20)と、前記光源ユニット(30)と、前記画像評価ユニット(40)と、前記コントロールユニット(50)と、前記表示装置(60)とを有する前記観察システム(10)は、請求項1から12のいずれか1項に記載の内視鏡観察システム(10)の作動方法を実行するように設計および構成されていることを特徴とする、内視鏡観察システム(10)。
  14. 請求項13に記載の内視鏡観察システム(10)のためのプログラムコード手段を備えるソフトウェアプログラム製品であって、前記内視鏡観察システム(10)の前記画像評価ユニット(40)において実行される画像評価プログラムコンポーネントと、前記観察システム(10)の前記コントロールユニット(50)において実行される制御プログラムコンポーネントとを備えており、前記画像評価プログラムコンポーネントおよび前記制御プログラムコンポーネントは、前記画像評価ユニット(40)および前記コントロールユニット(50)において実行される場合には、請求項1から12のいずれか1項に記載の内視鏡観察システム(10)の作動方法を実行するように設計されていることを特徴とする、ソフトウェアプログラム製品。
JP2021104422A 2020-06-23 2021-06-23 内視鏡観察システムの作動方法、内視鏡観察システム、およびソフトウェアプログラム製品 Active JP7261835B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020116473.4 2020-06-23
DE102020116473.4A DE102020116473A1 (de) 2020-06-23 2020-06-23 Verfahren zur endoskopischen Bildgebung, endoskopisches Bildgebungssystem und Softwareprogrammprodukt

Publications (2)

Publication Number Publication Date
JP2022002701A JP2022002701A (ja) 2022-01-11
JP7261835B2 true JP7261835B2 (ja) 2023-04-20

Family

ID=76392242

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021104422A Active JP7261835B2 (ja) 2020-06-23 2021-06-23 内視鏡観察システムの作動方法、内視鏡観察システム、およびソフトウェアプログラム製品

Country Status (5)

Country Link
US (1) US11857165B2 (ja)
EP (1) EP3928680B1 (ja)
JP (1) JP7261835B2 (ja)
CN (1) CN113827171B (ja)
DE (1) DE102020116473A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021107075A1 (de) 2021-03-22 2022-09-22 Olympus Winter & Ibe Gmbh Verfahren, System und Softwareprogrammprodukt zum Erstellen von Trainingsdaten für endoskopische Anwendungen
US20230051869A1 (en) * 2021-08-11 2023-02-16 Terumo Cardiovascular Systems Corporation Endoscopic vessel harvesting with thermal management and augmented reality display

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005027120A (ja) 2003-07-03 2005-01-27 Olympus Corp 双方向データ通信システム
JP2014124331A (ja) 2012-12-26 2014-07-07 Hoya Corp 電子内視鏡システム
WO2019239942A1 (ja) 2018-06-15 2019-12-19 ソニー株式会社 手術用観察装置、手術用観察方法、手術用光源装置、及び手術用の光照射方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100411631B1 (ko) * 2001-10-18 2003-12-18 주식회사 메디미르 형광 내시경 장치 및 그 장치를 이용한 진단부위 조상 방법
ES2341079B1 (es) * 2008-12-11 2011-07-13 Fundacio Clinic Per A La Recerca Biomedica Equipo para vision mejorada por infrarrojo de estructuras vasculares,aplicable para asistir intervenciones fetoscopicas, laparoscopicas y endoscopicas y proceso de tratamiento de la señal para mejorar dicha vision.
JP5541914B2 (ja) * 2009-12-28 2014-07-09 オリンパス株式会社 画像処理装置、電子機器、プログラム及び内視鏡装置の作動方法
JP2011200410A (ja) * 2010-03-25 2011-10-13 Fujifilm Corp キャリブレーション手段を備えた内視鏡システムおよびそのキャリブレーション方法
DE102011123037B3 (de) 2011-09-05 2019-10-10 Carl Zeiss Ag Verfahren zum Aufnehmen von Bildern eines Beobachtungsobjektes mit einem elektronischen Bildsensor und optisches Beobachtungsgerät
WO2013145407A1 (ja) 2012-03-30 2013-10-03 オリンパスメディカルシステムズ株式会社 内視鏡装置
JP6355527B2 (ja) * 2014-10-31 2018-07-11 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2016147435A1 (ja) 2015-03-17 2016-09-22 オリンパス株式会社 内視鏡装置
WO2017042812A2 (en) * 2015-09-10 2017-03-16 Magentiq Eye Ltd. A system and method for detection of suspicious tissue regions in an endoscopic procedure
WO2018029962A1 (ja) * 2016-08-08 2018-02-15 ソニー株式会社 内視鏡装置及び内視鏡装置の制御方法
US11302439B2 (en) * 2017-06-27 2022-04-12 Sony Corporation Medical image processing apparatus, medical image processing method, and computing device
JP7038641B2 (ja) 2018-11-02 2022-03-18 富士フイルム株式会社 医療診断支援装置、内視鏡システム、及び作動方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005027120A (ja) 2003-07-03 2005-01-27 Olympus Corp 双方向データ通信システム
JP2014124331A (ja) 2012-12-26 2014-07-07 Hoya Corp 電子内視鏡システム
WO2019239942A1 (ja) 2018-06-15 2019-12-19 ソニー株式会社 手術用観察装置、手術用観察方法、手術用光源装置、及び手術用の光照射方法

Also Published As

Publication number Publication date
US11857165B2 (en) 2024-01-02
JP2022002701A (ja) 2022-01-11
CN113827171A (zh) 2021-12-24
CN113827171B (zh) 2024-05-03
EP3928680B1 (de) 2022-09-28
US20210397865A1 (en) 2021-12-23
DE102020116473A1 (de) 2021-12-23
EP3928680A1 (de) 2021-12-29

Similar Documents

Publication Publication Date Title
JP6633641B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
JP7261835B2 (ja) 内視鏡観察システムの作動方法、内視鏡観察システム、およびソフトウェアプログラム製品
JP6640866B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
JP7282796B2 (ja) 医用画像処理装置、医用画像処理装置の作動方法、及びプログラム、診断支援装置並びに内視鏡システム
JP2012511361A5 (ja) 血管などの血管構造の赤外線の改善された画像処理および機能的分析のための装置ならびに画像処理ユニット
JP7337073B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JP2012245161A (ja) 内視鏡装置
WO2019087790A1 (ja) 検査支援装置、内視鏡装置、検査支援方法、及び検査支援プログラム
WO2006087981A1 (ja) 医用画像処理装置、管腔画像処理装置、管腔画像処理方法及びそれらのためのプログラム
JP7411772B2 (ja) 内視鏡システム
JP6132901B2 (ja) 内視鏡装置
JP6188992B1 (ja) 画像解析装置、画像解析システム、画像解析装置の作動方法
WO2019220848A1 (ja) 内視鏡装置、内視鏡操作方法、及びプログラム
CN110913746A (zh) 诊断辅助装置、诊断辅助方法及程序
US20210406737A1 (en) System and methods for aggregating features in video frames to improve accuracy of ai detection algorithms
JP7050817B2 (ja) 画像処理装置、プロセッサ装置、内視鏡システム、画像処理装置の動作方法及びプログラム
JP7326308B2 (ja) 医療画像処理装置及び医療画像処理装置の作動方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
US20150363942A1 (en) Image processing device, endoscope apparatus, image processing method, and information storage device
JP7387859B2 (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
JP7256275B2 (ja) 医療画像処理装置、内視鏡システム、医療画像処理装置の作動方法及びプログラム
JP7478245B2 (ja) 医療画像装置及びその作動方法
US20220014690A1 (en) Infrared Imaging System Having Structural Data Enhancement
KR101630364B1 (ko) 내시경을 이용한 의료 영상 시스템 및 이의 제어 방법
JP2023039245A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2022146941A (ja) 内視鏡用途のための訓練データを生成するための方法、システム、及びソフトウェアプログラム製品

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211207

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230410

R150 Certificate of patent or registration of utility model

Ref document number: 7261835

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150