JP7451679B2 - 内視鏡システム、内視鏡及び距離算出方法 - Google Patents
内視鏡システム、内視鏡及び距離算出方法 Download PDFInfo
- Publication number
- JP7451679B2 JP7451679B2 JP2022507037A JP2022507037A JP7451679B2 JP 7451679 B2 JP7451679 B2 JP 7451679B2 JP 2022507037 A JP2022507037 A JP 2022507037A JP 2022507037 A JP2022507037 A JP 2022507037A JP 7451679 B2 JP7451679 B2 JP 7451679B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- nth
- image
- subject
- lights
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004364 calculation method Methods 0.000 title claims description 8
- 238000012545 processing Methods 0.000 claims description 120
- 238000005286 illumination Methods 0.000 claims description 30
- 238000000034 method Methods 0.000 claims description 26
- 239000013307 optical fiber Substances 0.000 claims description 16
- 230000003287 optical effect Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 230000035945 sensitivity Effects 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims 1
- 238000005259 measurement Methods 0.000 description 52
- 238000003384 imaging method Methods 0.000 description 37
- 230000003902 lesion Effects 0.000 description 11
- 230000003595 spectral effect Effects 0.000 description 11
- 108010054147 Hemoglobins Proteins 0.000 description 10
- 102000001554 Hemoglobins Human genes 0.000 description 10
- 239000000470 constituent Substances 0.000 description 8
- 208000037062 Polyps Diseases 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 206010028980 Neoplasm Diseases 0.000 description 4
- 238000010521 absorption reaction Methods 0.000 description 4
- 201000011510 cancer Diseases 0.000 description 4
- 238000000691 measurement method Methods 0.000 description 4
- 210000000436 anus Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 238000002366 time-of-flight method Methods 0.000 description 2
- 108010064719 Oxyhemoglobins Proteins 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000002052 colonoscopy Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000020169 heat generation Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000003750 lower gastrointestinal tract Anatomy 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 210000002438 upper gastrointestinal tract Anatomy 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0605—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for spatially modulated illumination
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1076—Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions inside body cavities, e.g. using catheters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Radiology & Medical Imaging (AREA)
- Signal Processing (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Description
図1は、内視鏡システム10の構成例である。内視鏡システム10は、パターン光投影部250と撮像部270と処理部110と観察用照明光出射部260とを含む。図1には内視鏡システム10が制御装置100を含み、測距処理を行う処理部110が制御装置100に含まれる場合を示すが、これに限定されず、制御装置100の外部に設けられた情報処理装置等に、測距処理を行う処理部110が設けられる構成としてもよい。内視鏡システム10は例えば医療用の内視鏡システムであり、上部消化管又は下部消化管に用いられるビデオスコープ、或いは外科手術に用いられる硬性鏡等を想定できる。
図4は、パターン光PT1~PT3の波長λ1~λ3を説明する図である。図4には、ヘモグロビンHbと酸化ヘモグロビンHbO2の分光特性を示す。なお以下では、ヘモグロビンHbと酸化ヘモグロビンHbO2を合わせて単にヘモグロビンと呼ぶ。
図6は、内視鏡システム10の第1詳細構成例である。内視鏡システム10は、スコープ200と制御装置100と表示部300とを含む。なお図1等で既に説明した構成要素には同一の符号を付し、その構成要素の説明を適宜に省略する。
Claims (16)
- 第1~第n波長の光を出射する光源と、
前記第1~第n波長の光を平行光にするレンズと、
前記平行光に含まれる第1~第n波長の光の成分を、互いに位置が異なる第1~第nライン状光に収束させるDOE(Diffract ive Optical Element)と、
前記第1~第nライン状光に基づいて、第1~第nパターン光を被写体に投影するスリットと、
第1~第nパターン光が投影された前記被写体の像を1フレームの画像として撮像するイメージャと、
前記イメージャにより撮像された前記画像に基づいて、前記被写体までの距離又は前記被写体の形状を算出する様に構成されたプロセッサと、
を含むことを特徴とする内視鏡システム。 - 請求項1において、
前記光源、前記レンズ、前記DOE及び前記スリットは、
前記1フレームの画像が撮像されるフレームにおいて、前記第1~第nパターン光を同時に前記被写体に投影することを特徴とする内視鏡システム。 - 請求項1において、
観察用照明光を出射する観察用光源を含み、
第1フレームにおいて、前記観察用光源は前記観察用照明光を出射し、前記イメージャは、前記観察用照明光により照明された前記被写体の像を撮像し、
前記第1フレームとは異なる第2フレームにおいて、前記光源、前記レンズ、前記DOE及び前記スリットは前記第1~第nパターン光を前記被写体に投影し、前記イメージャは、前記第1~第nパターン光が投影された前記被写体の像を撮像することを特徴とする内視鏡システム。 - 請求項3において、
前記プロセッサは、
前記第1フレームにおいて前記イメージャにより撮像された画像に基づいて観察画像を生成し、
前記第2フレームにおいて前記イメージャにより撮像された画像に基づいて前記距離又は前記形状を算出し、
前記観察画像と、前記距離又は前記形状とに基づくAI処理により、注目部位の存在の検出又は状態の判別に係る判定を行うことを特徴とする内視鏡システム。 - 請求項3において、
前記プロセッサは、
前記第1フレームにおいて前記イメージャにより撮像された画像に基づいて観察画像を生成し、前記観察画像をディスプレイに表示させ、
前記観察画像の表示のバックグランド処理として、前記第2フレームにおいて前記イメージャにより撮像された画像に基づいて前記距離又は前記形状を算出し、
前記距離又は前記形状に基づく情報を前記観察画像に付加して前記ディスプレイに表示させることを特徴とする内視鏡システム。 - 請求項1において、
前記第1~第nパターン光の波長は、460nm以上700nm以下の範囲に属することを特徴とする内視鏡システム。 - 請求項6において、
前記第1~第nパターン光の波長は、460nm以上520nm以下の範囲に属することを特徴とする内視鏡システム。 - 請求項1において、
前記イメージャは、
第1~第n色の光を受光する第1~第n色画素を有するイメージセンサを含み、
前記第1~第nパターン光の波長を第1~第n波長とし、前記第i色画素(iは1以上n以下の整数)の前記第j波長(jは1以上n以下の整数)における感度をaijとしたとき、
前記プロセッサは、
前記感度aijと、前記1フレームの画像における前記第1~第n色の強度値とに基づいて、前記第1~第nパターン光の各パターン光が投影されたときの前記被写体の像を抽出し、前記各パターン光が投影されたときの前記被写体の像に基づく位相から、前記被写体までの前記距離又は前記被写体の前記形状を算出することを特徴とする内視鏡システム。 - 請求項8において、
n=3であり、
前記第1~第n色は、R、G及びBであり、
前記aijを要素とする行列Aの各行ベクトルは1次独立であり、
前記プロセッサは、
前記1フレームの画像の各位置において、前記第i色の強度値piに対して
qj=(A-1)jipi
の演算を行うことで、前記第jパターン光が投影された前記被写体の像の前記各位置における強度値qjを決定し、前記強度値qjに基づく位相から、前記被写体までの前記距離又は前記被写体の前記形状を算出することを特徴とする内視鏡システム。 - 請求項1において、
前記プロセッサは、
前記形状の算出対象である注目部位の周辺までの前記距離に基づいて、前記注目部位の傾きを算出し、前記傾きに基づいて前記注目部位の前記形状を傾き補正することを特徴とする内視鏡システム。 - 請求項1において、
前記DOEは、
前記平行光に含まれる前記第1~第n波長の成分のm次回折光(mは1以上の整数)を出射し、
前記m次回折光は、m次以外の回折光よりも強度が高いことを特徴とする内視鏡システム。 - 請求項1において、
前記DOEと前記スリットの間に設けられるマスクを含み、
前記DOEは、
前記平行光に含まれる前記第1~第n波長の成分のm次回折光を出射し、
前記m次回折光は、m次以外の回折光よりも強度が高く、
前記マスクは、
前記m次回折光による前記第1~第nライン状光を通過させ、前記m次以外の回折光をマスクすることを特徴とする内視鏡システム。 - 請求項1において、
前記第1~第n波長は、等間隔であることを特徴とする内視鏡システム。 - 請求項1において、
光ファイバを含み、
前記光源は、前記第1~第n波長のレーザ光を出射し、
前記光ファイバは、前記レーザ光を導光し、
前記レンズは、前記光ファイバの出射光を前記平行光にするコリメートレンズであることを特徴とする内視鏡システム。 - 第1~第n波長の光を平行光にするレンズと、
前記平行光に含まれる第1~第n波長の光の成分を、互いに位置が異なる第1~第nライン状光に収束させるDOE(Diffract ive Optical Element)と、
前記第1~第nライン状光に基づいて、第1~第nパターン光を被写体に投影するスリットと、
前記第1~第nパターン光が投影された前記被写体の像を1フレームの画像として撮像するイメージャと、
を含むことを特徴とする内視鏡。 - 光源が、第1~第n波長の光を出射し、
レンズが、前記第1~第n波長の光を平行光にし、
DOE(Diffract ive Optical Element)が、前記平行光に含まれる第1~第n波長の光の成分を、互いに位置が異なる第1~第nライン状光に収束させ、
スリットが、前記第1~第nライン状光に基づいて、第1~第nパターン光を被写体に出射し、
イメージャが、第1~第nパターン光が出射された前記被写体の像を1フレームの画像として撮像し、
プロセッサが、前記イメージャにより撮像された前記画像に基づいて、前記被写体までの距離又は前記被写体の形状を算出することを特徴とする距離算出方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/010203 WO2021181508A1 (ja) | 2020-03-10 | 2020-03-10 | 内視鏡システム |
Publications (3)
Publication Number | Publication Date |
---|---|
JPWO2021181508A1 JPWO2021181508A1 (ja) | 2021-09-16 |
JPWO2021181508A5 JPWO2021181508A5 (ja) | 2022-11-04 |
JP7451679B2 true JP7451679B2 (ja) | 2024-03-18 |
Family
ID=77671260
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022507037A Active JP7451679B2 (ja) | 2020-03-10 | 2020-03-10 | 内視鏡システム、内視鏡及び距離算出方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230000331A1 (ja) |
JP (1) | JP7451679B2 (ja) |
CN (1) | CN115243597A (ja) |
WO (1) | WO2021181508A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006314557A (ja) | 2005-05-12 | 2006-11-24 | Olympus Medical Systems Corp | 生体観測装置 |
US20090225321A1 (en) | 2008-03-05 | 2009-09-10 | Clark Alexander Bendall | Fringe projection system and method for a probe suitable for phase-shift analysis |
JP2015531271A (ja) | 2012-09-14 | 2015-11-02 | ソニー株式会社 | 外科用画像処理システム、外科用画像処理方法、プログラム、コンピュータ可読記録媒体、医用画像処理装置、および画像処理検査装置 |
JP2017070609A (ja) | 2015-10-09 | 2017-04-13 | サイバネットシステム株式会社 | 画像処理装置及び画像処理方法 |
JP2017536171A (ja) | 2014-11-06 | 2017-12-07 | ソニー株式会社 | 軸上色収差を有するレンズを含む撮像システム、内視鏡及び撮像方法 |
-
2020
- 2020-03-10 WO PCT/JP2020/010203 patent/WO2021181508A1/ja active Application Filing
- 2020-03-10 JP JP2022507037A patent/JP7451679B2/ja active Active
- 2020-03-10 CN CN202080098153.8A patent/CN115243597A/zh active Pending
-
2022
- 2022-09-08 US US17/940,153 patent/US20230000331A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006314557A (ja) | 2005-05-12 | 2006-11-24 | Olympus Medical Systems Corp | 生体観測装置 |
US20090225321A1 (en) | 2008-03-05 | 2009-09-10 | Clark Alexander Bendall | Fringe projection system and method for a probe suitable for phase-shift analysis |
JP2015531271A (ja) | 2012-09-14 | 2015-11-02 | ソニー株式会社 | 外科用画像処理システム、外科用画像処理方法、プログラム、コンピュータ可読記録媒体、医用画像処理装置、および画像処理検査装置 |
JP2017536171A (ja) | 2014-11-06 | 2017-12-07 | ソニー株式会社 | 軸上色収差を有するレンズを含む撮像システム、内視鏡及び撮像方法 |
JP2017070609A (ja) | 2015-10-09 | 2017-04-13 | サイバネットシステム株式会社 | 画像処理装置及び画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115243597A (zh) | 2022-10-25 |
WO2021181508A1 (ja) | 2021-09-16 |
JPWO2021181508A1 (ja) | 2021-09-16 |
US20230000331A1 (en) | 2023-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10104363B2 (en) | Optical system in 3D focus scanner | |
US10383549B2 (en) | Intraoral three-dimensional measuring device, intraoral three-dimensional measuring method, and intraoral three-dimensional measurement result display method | |
US8577212B2 (en) | Handheld dental camera and method for carrying out optical 3D measurement | |
US20180213207A1 (en) | Endoscope employing structured light providing physiological feature size measurement | |
JP6454489B2 (ja) | 観察システム | |
US9300931B2 (en) | Image pickup system | |
US10806336B2 (en) | Endoscopic diagnosis apparatus, lesion portion size measurement method, program, and recording medium | |
CN110891471B (zh) | 采用结构光提供生理特征尺寸测量的内窥镜 | |
TWI597042B (zh) | Endoscopic with distance measuring function and distance measuring method | |
JP2023099679A (ja) | 内視鏡システム及び、データ作成方法 | |
JP7451679B2 (ja) | 内視鏡システム、内視鏡及び距離算出方法 | |
JP6738465B2 (ja) | 内視鏡システム | |
CN106576136B (zh) | 摄像装置、摄像装置的工作方法 | |
JP2021510337A (ja) | 内視鏡非接触測定デバイス | |
JP2002065585A (ja) | 内視鏡装置 | |
US20170192219A1 (en) | Image generating system, image generating method, and image generating apparatus | |
US20230194851A1 (en) | Endoscope System with Adaptive Lighting Control | |
WO2017064746A1 (ja) | 撮像装置、内視鏡装置及び撮像方法 | |
JP2020069308A (ja) | 内視鏡システム | |
JP2017086803A (ja) | 計測装置、内視鏡システム、及び計測方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220905 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220905 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231017 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240306 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7451679 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |