JP2023553792A - 撮像システム、腹腔鏡及び対象物を撮像するための方法 - Google Patents
撮像システム、腹腔鏡及び対象物を撮像するための方法 Download PDFInfo
- Publication number
- JP2023553792A JP2023553792A JP2023528630A JP2023528630A JP2023553792A JP 2023553792 A JP2023553792 A JP 2023553792A JP 2023528630 A JP2023528630 A JP 2023528630A JP 2023528630 A JP2023528630 A JP 2023528630A JP 2023553792 A JP2023553792 A JP 2023553792A
- Authority
- JP
- Japan
- Prior art keywords
- sensor
- image data
- imaging system
- optical path
- focus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 127
- 238000000034 method Methods 0.000 title claims description 25
- 230000003287 optical effect Effects 0.000 claims abstract description 182
- 230000008859 change Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 description 10
- 238000001228 spectrum Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 238000002357 laparoscopic surgery Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000001356 surgical procedure Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 210000000683 abdominal cavity Anatomy 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000005672 electromagnetic field Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00188—Optical arrangements with focusing or zooming features
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00193—Optical arrangements adapted for stereoscopic vision
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00194—Optical arrangements adapted for three-dimensional imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2407—Optical details
- G02B23/2415—Stereoscopic endoscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2476—Non-optical details, e.g. housings, mountings, supports
- G02B23/2484—Arrangements in relation to a camera or imaging device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Radiology & Medical Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Astronomy & Astrophysics (AREA)
- General Physics & Mathematics (AREA)
- Endoscopes (AREA)
Abstract
光を伝達するように構成された光学チャネル(2)と、第1光路(11)に沿って対象物(3)を撮像することによって第1画像データを生成するように構成された第1センサ(10)と、第2光路(21)に沿って前記対象物(3)を撮像することによって第2画像データを生成するように構成された第2センサ(20)と、を含む撮像システム(1)が提供される。前記第1センサ(10)と前記第2センサ(20)とは、焦点がシフトされている。さらに、前記第1光路(11)及び前記第2光路(21)は、少なくとも一部が光学チャネル(2)を通ってガイドされる。
Description
本発明は、撮像システム、腹腔鏡及び対象物を撮像するための方法に関する。
撮像システムは、撮像される対象物の画像を取得するために使用される場合がある。撮像システムは、しばしばビデオスコープ又はビデオプローブと呼ばれるビデオスコープとして使用される腹腔鏡又は内視鏡に設けられる場合がある。このような腹腔鏡には、腹腔鏡の対象物のためのイメージセンサが取り付けられ、検査中の対象物の画像を取得するように構成される。検査中の対象物は、体内の臓器、又は機械の内部など、アクセスが困難な別の種類の対象物であるかもしれない。したがって、腹腔鏡は、内部のスペースが少ないスリムな装置である。そのため、腹腔鏡の内部に、撮像される対象物の詳細な画像を取得するために使用され得る撮像システムを組み込むことが困難であった。
欧州特許出願公開第1691667号明細書は、腹腔鏡と、腹腔鏡からの患者の患部の画像情報を変換して保存するように適合されたコンピュータと、画像情報を出力するために使用されるモニタと、を含む立体視腹腔鏡装置を開示する。腹腔鏡は、マニピュレータ及び一対の平行な左右の支持ロッドを含む支持ユニットと、所定の角度範囲内で互いに離間するように適合された左右一対のフレキシブルチューブを含むフレキシブルチューブユニットと、マニピュレータの操作により腹腔内の患部を撮影するようにフレキシブルチューブユニットの先端部に設置された左右一対のカメラを含む二眼カメラアッセンブリと、を備える。このような構成により、患者の患部の画像情報を立体視写真に加工することができ、精密な診断や腹腔鏡手術が可能となる。
しかし、立体視技術は、両眼視による立体視の方法によって、写真に奥行き(depth:深度)の錯覚を生じさせるだけの技術である。しかし、撮像の対象物を詳細に解析するためには、実際の深度情報を提供することが望まれる。
したがって、本発明の実施形態の目的は、対象物の実際の深度情報の決定に使用可能な画像を取得できる撮像システム、腹腔鏡及び対象物を撮像するための方法を提供することにある。
この目的は、請求項1の特徴を含む撮像システム、請求項12の特徴を含む腹腔鏡、及び請求項13の特徴を含む対象物を撮像するための方法によって解決される。
本発明の一態様によれば、光を伝達するように構成された光学チャネルと、第1光路に沿って対象物を撮像することによって第1画像データを生成するように構成された第1センサと、第2光路に沿って対象物を撮像することによって第2画像データを生成するように構成された第2センサとを備え、第1センサと第2センサとは、焦点がシフトされており、第1光路及び第2光路は、少なくとも一部が光学チャネルを通ってガイドされる、撮像システムが提供される。
撮像システムは、光学撮像システムであってもよく、第1センサ及び第2センサを用いて対象物の画像データを作成するようにしてもよい。すなわち、第1画像データ及び第2画像データは、同じ視野角から対象物の同じ部分を撮像してもよい。これは、第1及び第2画像データを素早く連続して又は同時に生成することができるデュアルセンサ撮像システムを提供することによって達成される。撮像データは、好ましくは、画像のシーケンス、例えば、ビデオストリームを含む。さらに、第1光路及び第2光路は、同じ光学チャネルを通ってガイドされるので、第1センサ及び第2センサの対象物が撮像される方向(すなわち、視野角)は同じである。この結果、追加の位置合わせや記録処理を実行することなく、第1画像データと第2画像データとが互いに完全に重なるように自動的に記録される。第1センサと第2センサとは、焦点がシフトされているので、第1画像データは、第2画像データと比較して、異なるフォーカスポイント(すなわち、画像データによって対象物が鮮明に描写される点)を有する。すなわち、第1センサは、光学チャネルの遠位端から第1距離d1を有する点に焦点を合わせ、第2センサは、光学チャネルの遠位端から第2距離d2を有する更なる点に焦点を合わせてもよい。第1距離d1と第2距離d2との差は、2つのセンサの焦点シフトとなり得る。焦点シフトは、撮像システムのハードウェアによって決定されてもよい。より詳細には、焦点シフトは、撮像システム内のセンサの配置によって及び/又は撮像システム内の光学系によって提供されてもよい。したがって、焦点距離及び/又は光路は、センサの特定の配置又は光学系によって、短縮又は延長され得る(以下により詳細に説明する)。
撮影システムは、人体や動物の内臓に関する診断や治療に必然的な情報を提供するために使用される腹腔鏡の中に設けられてもよい。さらに、腹腔鏡は、大型機械のメンテナンスに使用することができ、例えば、アクセスが困難な歯車を交換する必要があるか否かを、機械全体を分解することなく確認することができる。撮像システムの複数のセンサは、各センサが独自の焦点を有するデュアルセンサを有するカメラヘッドが提供され得るように、腹腔鏡のカメラヘッド内に収容され得る。換言すれば、複数のセンサは、シャフト内にセンサが存在しないように、専らカメラヘッド内に収容され得る。したがって、シャフトをスリムにして、例えば、狭い空洞(cavity)でも問題なく操作することができるようにしてもよい。したがって、複数のセンサは、操作している間に、点検される空洞の外側にある場合がある。とりわけ、このことは、内視鏡の重量分布が、カメラヘッドと比べてシャフトが比較的に軽い重量を有するように有利に変更され得るという事実をもたらす。内視鏡は、ユーザ又はロボットによって、カメラヘッド又はその近傍に保持されるので、内視鏡の操作は、更に簡略化される可能性がある。すなわち、各センサは、これらのセンサが互いに対して焦点シフトされるような独自のフォーカスポイントを有していてもよい。例えば、各センサは、それ独自の焦点距離を有してもよい。すなわち、複数のセンサの焦点距離は異なっていてもよい。さらに、腹腔鏡は、カメラヘッドから突出し、撮像されるべき対象物の近傍にもたらされ得るシャフトを有してもよい。すなわち、シャフトは、例えば、少なくとも一部が人体内又は狭い空洞内に挿入されてもよく、シャフトが光学チャネルを含んでいてもよい。シャフトは、その近位端でカメラヘッドに接続されることがある。カメラヘッドは、シャフトから取り外すことができる。換言すれば、複数のセンサは、シャフトから分離することができる。したがって、シャフト自体を分解することなく、複数のセンサを容易に交換、変更、修理、メンテナンス等することができる場合がある。つまり、シャフトは、引き続き使用することができ、カメラヘッドのみを交換することができる。シャフトの遠位端は、撮像される対象物に面していてもよい。シャフトだけでなく、光学チャネルも、少なくとも部分的に可撓性を有するように構成されることがある。さらに、シャフトは、制御可能に移動可能であってもよい(例えば、シャフトの遠位端を方向転換させるように制御可能に曲げられる)。この結果、腹腔鏡は、それが使用されるべきあらゆる環境に適応することができ、他の対象物の背後に位置する領域まで到達することができる。シャフト内には、シャフトの屈曲とは無関係に、第1光路及び第2光路をシャフトの近位端からシャフトの遠位端に導くように構成された光学チャネルが(例えば、導波管の形態で)設けられることがある。さらに、シャフトの遠位端及び/又は近位端において、第1光路及び第2光路を導波管内及び導波管外に適切に導くために、光学デバイス(例えば、単一レンズ又は複数レンズのアレイ)が、それぞれに設けられる場合がある。
第1センサ及び第2センサのシフトした焦点(例えば、各センサの異なる焦点距離)は、各センサの光路の少なくとも1つに、少なくとも1つの追加のレンズを設けることによって実現することができる。しかし、少なくとも1つの光路に、1つの追加のレンズのみが設けられてもよい。さらに、対象物からの光を複数のセンサに適切に導くために、更なる複数のレンズ、又は光学系が設けられてもよい。本発明の一実施形態による撮像システムを使用すれば、互いに完全に重なり合い、追加の記録処理を必要とせずに、更に直接に処理することができる第1及び第2画像データが得られる。例えば、それぞれが異なる焦点(例えば、フォーカルポイント)を有する完全に重なる画像は、対象物の深度情報を決定するために使用されてもよい(更なる詳細は後述する)。
光学チャネルは、細長いボディであってもよい。さらに、光学チャネルは、中空であってもよいし、透明な材料で作られていてもよい。光学チャネルは、第1センサ及び第2センサに面する近位端と、撮像される対象物に面する遠位端とを有してもよい。遠位端は、撮像システムから突出していてもよく、第1光路及び第2光路の出口ポートであってもよい。したがって、第1光路及び第2光路は、第1センサの視野角と第2センサの視野角とが同じになるように、遠位端で互いに位置合わせされる。光学チャネルは、遠位端で光学チャネルを出る光路が発散して延び、好ましくは30°~90°、好ましくは50°~70°の延び角を有するように構成されてもよい(すなわち、光路は、より大きなシーンを捕らえるように光学チャネルを出ると円錐形になり得る)。例えば、光学チャネルは、光ファイバーで作られてもよい。さらに、光学チャネルは、光学チャネルが曲線を描く場合であっても光を導くことができるように、少なくとも部分的に撓むことができる。好ましくは、光学チャネルは、それが設けられる腹腔鏡のシャフトに応じて可撓性を有する。したがって、障害物の背後に位置する対象物は、シャフトを障害物の周りに経路選択することによって容易に撮像され得る。撮像システムは、1つの光学チャネルのみを有していてもよい。したがって、撮像システムは、撮像システムを操作するために必要なスペースが少なくて済むように、コンパクトにすることができる。一方、立体撮像システムは、固有のシステム条件により、2つ以上の光学チャネルを有する場合があり、したがって、操作のためにより多くのスペースを必要とする場合がある。
第1及び第2センサは、イメージセンサ又はセンサチップとも呼ばれるフォトセンサであってもよく、好ましくは、相補型金属酸化膜半導体(CMOS)センサ、相補型対称金属酸化膜半導体(COS-MOS)センサとも呼ばれる。さらに、第1センサ及び第2センサは、電荷結合素子(CCD)センサであってもよい。また、第1センサ及び第2センサは、同じ種類のセンサであってもよい。或いは、第1センサは、第2センサと比較して、異なるセンサであってもよい。異なる種類のセンサを設けることにより、異なる画質及び/又は異なる画像情報を取得することができる。例えば、低解像度の画像データは、対象物の大まかな情報を提供するために使用され、一方、高解像度の画像は、更なる処理において、詳細な情報のために使用されることがある。好ましくは、少なくとも1つのセンサの最小解像度は、1080×1920ピクセルである。好ましくは、各センサは、同じ解像度を有する。以下では、第1センサ及び第2センサと称するが、撮像システムは、2つ以上のセンサを備えていてもよく、各センサは、独自の光路を有している。すなわち、3つのセンサが設けられている場合、3つの光路も設けられているなどである。例えば、撮像システムは、3つ、4つ、5つ又はそれ以上のセンサを有することができる。この場合、各センサの各光路は、少なくとも一部が同じ光学チャネルを通ってガイドされる。より多くのセンサの使用は、撮像される対象物が大きな空間的広がりを有する場合、又は撮像される対象の非常に詳細な情報を取得する場合に、特に有用である。さらに、各センサは、センサ上に照射される光の量を制御するように構成された独自のシャッタを有することができる。この結果、シャッタースピードを調整することにより、センサーを異なる光条件に適応させることができる。或いは、センサーは、画像データの連続的なビデオストリームを取得することもできる。
CMOSセンサが使用される場合、画像データは、センサによって出力される電圧信号であろう。好ましくは、センサの各画素は、特定の電圧信号を有することができる。すなわち、CMOSセンサは、デジタル信号を出力することができる。また、CCDセンサが用いられる場合、画像データは、電荷信号であってもよい。電圧信号は、電磁界によって劣化し難いので、撮像システムのセンサとして、CMOSセンサが用いられることが好ましい。
画像データは、複数のセンサの出力であってもよい。さらに、画像データは、1つ又は複数のカラーチャネルの輝度情報を含んでもよい。カラーチャネルは、特定の光スペクトルを表すことがある。例えば、画像データは、緑カラーチャネル、RGBカラーチャネル及び/又はNIR(近赤外線)カラーチャネルの情報を含んでもよい。RGBカラーチャネルは、緑カラーチャネル、赤カラーチャネル及び青カラーチャネルを含むと見なされる。さらに、各センサは、異なる色チャネルの情報を含む画像データを提供することができる。すなわち、第1センサは、緑カラーチャネルの情報を含む第1画像データを提供することができ、一方、第2センサは、NIRチャネルの情報を含む第2画像データを提供することができる。さらに、NIR-NIR、RGB-RGB、緑-緑、NIR-RGB、緑-NIR、緑-RGBなど、各センサの異なるカラーチャネルの更なる組み合わせも可能である。ここで、各カラーチャネルは、異なる波長帯によって定義され得る。画像データの更なる処理のために、撮像システムは、処理ユニット(例えば、コンピュータ)に接続されるか又は接続可能であってもよく、又は制御ユニットを有していてもよい。制御ユニットは、画像データを更に処理するように構成されてもよい。例えば、制御ユニットは、画像データ内に含まれる情報、例えば、輝度分布を示すヒストグラムを決定してもよい。さらに、画像データは、対象物を描写した画像又は写真から構成されてもよい。悪い光条件に対処するために、撮像システムは、撮像される対象物を照らすように構成された光源を備えてもよい。より詳細には、光源は、光源の光を光学チャネル内又は光学チャネルと平行に撮像される対象物に導くように構成された、追加の導波器と結合されることがある。
光路とは、光線が対象物から複数のセンサに至る経路のことである。すなわち、光は、撮像すべき対象物によって反射され、光路に導入され、光路にガイドされ、光路によって出力され、第1及び第2センサによって撮像され得る。光路は、それぞれのセンサで受光される光線によって規定されてもよい。換言すれば、光路の長さは、センサから撮像される対象物までの長さを測定することができる。さらに、各光路内には、対象物からの光線を各センサに適切に導くように構成された複数レンズ又は複数レンズのアレイが設けられることがある。さらに、撮像システムは、第1光路及び/又は第2光路を分割するように構成された少なくとも1つのプリズムを含むことができる。好ましくは、プリズムは、ビームスプリッタプリズムとして構成される。プリズムは、特定の波長をフィルタリングするように、すなわち、光の特定の波長のみを転送するように構成されていてもよい。したがって、センサに伝達される波長は、予め決定されることがある。例えば、緑カラーチャネルに対応する波長のみがプリズムによって伝達されることがある。さらに、プリズムは、一方の光路の長さを他方の光路に対して増大させることもできる。したがって、プリズムが複数のタスクを有することにより、撮像システムは、最小限のコンポーネントで実現され得る。さらに、撮像システムは、撮像システムの開口を制御するように構成された光路又は光学チャネルに少なくとも1つの開口を含むことができる。すなわち、絞りが広く開けば開くほど、画像の被写界深度は浅くなり、逆もまた然りである。一般に、絞りが大きく開いている場合、画像データは、より良い品質を有し、より多くの情報を含む。したがって、絞りは、最大開度となるように調整することが好ましい。この結果、深度のフィールドは、比較的狭くてもよい。さらに、撮像システムは、各光路に対して1つの絞りを有していてもよい。
第1センサと第2センサとのシフトされた焦点は、各センサに異なる焦点距離を設けることによって提供されてもよい。第1センサ及び第2センサの焦点距離は、撮像システム内に設けられた光学レンズの主軸からそれぞれの光路に沿ったフォーカスポイントまでの距離であってもよい。光学レンズは、センサに画像を投影するように構成されてもよい。各センサは、別々のレンズに割り当てられていてもよい。すなわち、センサが2つある場合、撮像システムは、2つの光学レンズを有していてもよい。さらに、焦点距離は、撮像システムが光を収束又は発散させる強さを示す指標であってもよい。焦点距離が、正であれば光を収束させ、負であれば光を発散させることを示す。焦点距離が短いシステムは、光線をより鋭く曲げ、より短い距離で焦点を合わせ、より早く発散させる。例えば、第1センサーと第2センサーとの焦点距離の比は、0.1~1、好ましくは、0.3~0.7の範囲にあることができる。この範囲では、対象物の最良の撮像がアーカイブされ得る。換言すれば、上記の比率を有することで、第1センサのフォーカスポイントと第2のセンサのフォーカスポイントとの間の距離は、最適な範囲にある。より詳細には、第1画像データと第2画像データとが、互いに結合又は比較される場合、上記の比率は、完全に焦点から外れているために、対象物の情報が失われることがないことを保証する。換言すれば、焦点が合っている部分の間の距離が、過度に大きくならないようにするための比率である。
本発明によれば、追加の記録処理なしに、互いに完全に記録される少なくとも2つの画像データが受信又は生成されることがある。すなわち、少なくとも2つのセンサによって生成された対象物の画像データは、同じサイズ、同じ位置を有し、同じ視点から撮像されることがある。したがって、対象物のいくつかの部分は、第1画像データ上で焦点が合っている可能性があり、対象物のいくつかの他の部分は、第2画像データ上で焦点が合っている可能性がある。さらに、対象物のある部分は、第1画像データ上で部分的に焦点が合っており、第2画像データ上で部分的に焦点が合っている場合がある。この結果、両方の画像データを互いに組み合わせたり、比較したりすることで、対象物の単一画像や対象物の立体画像と比較して、対象物のより多くの情報(例えば、より多くのディテール、深度情報など)を含む全体画像や全体データを生成することができる。画像データの前記組み合わせ又は比較は、両方の画像データが完全に重なるように互いに記録されているため、容易に行われる。すなわち、画像データが更に処理される前に、画像データを互いに記録する必要はない。換言すれば、第1画像データ及び第2画像データは、対象物の全く同じ部分(すなわち、シーン)を含むことができる。この結果、本発明は、完全に重なり合い、したがって、容易に処理することができる画像データを生成する非常に効率的な方法を提供する。好ましくは、複数のセンサの焦点シフトは、撮像システムによって事前に(すなわち、対象物の撮像の前に)決定される。すなわち、焦点シフトは、撮像システムのハードウェアによって設定され得る。
好ましくは、第1光路と第2光路とは、異なる長さを有する。したがって、第1センサのフォーカスポイントは、第2センサのフォーカスポイントと比較して、異なる位置に配置される。好ましくは、少なくとも1つのセンサと光路の近位端との間の距離、及び/又は、複数のセンサ間の距離は、調整可能であってもよい。この結果、各センサの焦点距離は異なってもよく、すなわち、それぞれのセンサから、それぞれの画像データによってシャープに描写される対象物の点までの距離が異なってもよい。光路の異なる長さを設けることは、第1センサ及び第2センサの異なる焦点距離(すなわち、第1センサ及び第2センサの焦点シフト)を実現するための簡単且つ安定した方法である。例えば、複数のセンサは、光学チャネルの近位端から異なる距離を有していてもよい。すなわち、第1センサは、第2センサと比較して、光学チャネルの近位端から遠く離れた位置にあるように、撮像システム内に配置されてもよい。この結果、同じセンサ及び同じ画像設定(例えば、絞り、シャッター速度等)が使用され得る一方で、異なるフォーカスポイント(すなわち、第1センサ及び第2センサの焦点シフト)は、撮像システム内の複数のセンサの異なる位置により確保される。この結果、第1画像データ及び第2画像データを取得するために、同じ構成要素が使用され得る。したがって、撮像システムを簡素化し、製造コストを低減することができる。
好ましくは、第1センサ及び第2センサは、対象物を同時に撮像するように更に構成される。すなわち、第1画像データ及び第2画像データは、同時に生成又は取得され得る。この結果、第1画像データが取得されたときと、第2画像データが取得されたときとの間に、対象物が移動したり形状が変化したりする可能性がないため、第1画像データ及び第2画像データの両方が互いに完全に記録される。すなわち、第1画像データと第2画像データとは、個々のフォーカスポイント(すなわち、焦点/ぼかし)のみで互いに異なる可能性がある。したがって、撮像システムは、撮像システム内に設けられた両方のセンサに使用される1つのシャッターのみを含むことができる。したがって、システムは、更に簡素化され得ると同時に、第1画像データ及び第2画像データの完全な重なり合いが保証される。
好ましくは、システムは、第1光路及び/又は第2光路に配置され、第1センサ及び/又は第2センサの焦点を変化させるように構成されたフォーカスシステムを更に含む。したがって、少なくとも1つのセンサの焦点(例えば、フォーカスポイント又は焦点距離)を調整することができる。換言すれば、第1センサのフォーカスポイント及び/又は第2センサのフォーカスポイント間の距離が変更されてもよい。この結果、撮像システムは、異なる空間的拡張を有する異なる対象物に適合させることができる。さらに、撮像システムは、異なるアプリケーションに適合させることができる。例えば、画像処理システムが腹腔鏡検査中に使用される場合(すなわち、腹腔鏡と組み合わせて)、第1センサは、シャフトの遠位端から測定した6cmの距離に焦点を合わせ、第2センサは、シャフトの遠位端から測定した9cmの距離で焦点を合わせることができる。したがって、センサーの焦点シフトは3cmである。焦点シフトは、特定の用途に応じて、正又は負であってもよい。このため、撮像システムは、複数の用途で使用されてもよく、複数の対象物が撮像システムを用いて撮像されてもよい。例えば、フォーカスシステムは、第1センサのフォーカスポイントと第2センサのフォーカスポイントとの間の上記の定義された比が得られるように、複数のセンサの少なくとも1つのフォーカスポイントを調整するように構成されてもよい。
好ましくは、システムは、第1センサ及び/又は第2センサの焦点(例えば、焦点距離)が調整され得るように、フォーカスシステムを制御するように構成されたフォーカス手段を更に備える。フォーカス手段は、ユーザの手で把持されるように構成されたフォーカスリングであってもよい。したがって、フォーカス手段は、ユーザが把持できるように、撮像システムの外側(及び腹腔鏡の外側)に露出されてもよい。フォーカスリングの位置(すなわち、回転)は、撮像される対象物の複数のセンサからの距離に依存することがある。対象物までの距離が大きいほど、複数のセンサー上の対象物の少なくとも一部をシャープに描写するために、フォーカスリングを回転させる必要があり、逆もまた然りである。フォーカス手段は、ユーザの手の他の指が画像処理システム(すなわち、腹腔鏡)を保持する間に、ユーザの数本の指(例えば、2本の指)だけがそれに接触することができるような大きさにすることができる。この結果、撮像システムは、片手で操作可能であることが好ましい。すなわち、ユーザは、焦点調節や撮像システムの保持のために、撮像システムを両手で操作する必要がない。この結果、撮像システムは、操作性の向上を実現する。さらに、フォーカス手段は、制御ユニットによって自動的に操作されるようにしてもよい。より詳細には、画像データの取得前に、特定の用途に応じて各センサの焦点を調整するように、制御ユニットによってフォーカス手段が制御される場合がある。代替的に又は追加的に、フォーカス手段は、所定のステップ(すなわち、値を増加させる)で各センサの焦点距離を調節するように制御ユニットによって制御されることができる。各ステップにおいて、画像データは、第1センサ及び第2センサによって取得され得る。ステップサイズは、0.1mm~5mmの範囲であってもよく、好ましくは、0.5mm~2mmの範囲である。フォーカス手段は、内視鏡のカメラヘッドに設けられてもよい。したがって、シャフトには、フォーカス手段が設けられていない場合がある。これにより、シャフトの重量を低く抑えることができる。この結果、内視鏡全体の操作性を向上させることができる。さらに、内視鏡の操作時に、フォーカス手段を検査中の空洞(例えば、人体)の外側に配置することができる。したがって、フォーカス手段は、ユーザ又はロボットが容易にアクセスできるようにすることができる。
好ましくは、第1画像データ及び第2画像データは、同一のシーン、例えば、対象物の全く同じ部分を表す。センサーの焦点(例えば、焦点距離)に応じて、及び/又は、使用される異なる種類のセンサーに応じて、第1画像データの視野は、第2画像データの視野よりも小さく、又はその逆もあり得る。第1画像データ及び第2画像データ内で対象物の同一の視野を提供するために、より大きな視野をカバーする画像データは、対象物の同一の視野を正確に含むように(例えば、画像データの一部、例えば、外縁を切り取ることによって)調整されることがある。この結果、両方の画像データは、容易な方法で比較可能又は結合可能であり得る。例えば、両方の画像データにおいて、画像データの端が基準点として使用されることがある。換言すれば、第1画像データによって表される対象物の部分と第2画像データとが正確に重なり合う。したがって、画像データの更なる処理は、更に改善され、簡略化され得る。
好ましくは、撮像システムは、第1画像データ及び第2画像データに基づいて、対象物の深度情報を生成するように構成された制御ユニットを更に含む。換言すれば、撮像システムは、画像データを更に処理するための制御ユニットを含んでもよい。制御ユニットは、コンピュータに類似したデバイスであってもよく、入力データを受信し、入力データを処理し、処理されたデータを出力するように構成され得る。特に、対象物の2D座標を含む画像データ(例えば、複数の画像データ)が入力データであり、対象物の第3の座標(すなわち、深度情報又は3D形状情報)が出力データであってもよい。なお、深度情報の生成は、複数の画像データが利用され得る一例である。すなわち、制御ユニットは、対象物の深度マップ(例えば、3次元画像データ)を出力してもよい。具体的には、深度マップは、対象物の各点の空間的な位置、又は座標を記述する3つの座標をそれぞれ有する点の散布図であってもよい。すなわち、制御ユニットは、第1画像データ及び第2画像データに基づいて、深度マップを決定するように構成されてもよい。
さらに、制御ユニットは、画像データを、パッチと呼ばれる1つ又はいくつかの(例えば、>9)画素のセグメントに分割するように構成されてもよい。さらに、制御ユニットは、第1画像データのパッチと第2画像データのパッチとを比較するように構成されてもよい。パッチは、矩形パッチ又は二次曲線パッチであってもよい。特に、制御ユニットは、各パッチにおいて、対象物がどの程度シャープに描写されているかを判定する(すなわち、各パッチのシャープネスを判定する)ように構成されていてもよい。パッチは、複数のサイズを有することができる。すなわち、それぞれの画像データに設けられるパッチの大きさは、画像データによって描写される対象物に応じて、及び/又は、特定の適用(例えば、手術の種類)に応じて変化し得る。すなわち、多くのテクスチャが存在する領域では、パッチサイズは小さくてもよく(例えば、5×5ピクセル)、一方、画像データの画素強度がより均質である領域、すなわち、テクスチャが少ない領域では、ピクセルサイズは大きくてもよい(例えば、50×50又は最大1000ピクセル)。例えば、画像データのうち、エッジが多く描写されている領域にテクスチャが多く存在する場合がある。したがって、テクスチャが多い領域では、この領域の高精度な情報を得るためにパッチサイズを小さくし(すなわち、解像度を高くし)、一方、テクスチャが少ない領域では、制御ユニットによって行われる処理を加速するために、パッチサイズを大きくするので、撮像システムは、高効率で動作し得る。
好ましくは、第1画像データにおける少なくとも1つ又は各第1パッチの位置は、第1画像データにおける少なくとも1つ又は各第2パッチの位置に対応する。好ましくは、少なくとも1つの第1パッチは、少なくとも1つの第2パッチと同じサイズ、好ましくは、20×20ピクセルのサイズを有する。すなわち、第1パッチは、第1画像データ内で、第2画像データ内の第2パッチと同じ位置を有する。より詳細には、第1画像データと第2画像データとが互いに記録されている場合、第1パッチと第2パッチとは互いに重なり合う。したがって、各パッチについて、制御ユニットによって深度値(すなわち、Z座標)が決定されてもよい(すなわち、各パッチについて3D空間におけるx、y及びz座標が決定される)。パッチは、1画素又は数画素の大きさを有することができる。しかし、必要な計算資源は、画像データ内に含まれるパッチの数に依存する。したがって、好ましくは、各パッチは、20×20ピクセルの大きさを有することができる。このような大きさであれば、システムの効率が確保されるとともに、深度マップの精度が確保される。
さらに、制御ユニットは、第1画像データの各パッチ及び第2画像データの各パッチのシャープネスを決定するように構成されてもよい。複数のパッチが同じシャープネスを有する場合があることに留意されたい。各パッチのシャープネスは、それぞれのパッチのエントロピーに比例する。換言すれば、シャープネスは、エントロピーと同義である。第1画像データのパッチを第1パッチとし、第2画像データのパッチを第2パッチとすることができる。第1パッチと第2パッチとは、互いに完全に重なり合っている(すなわち、同じシーン/対象物の一部を描写している)場合がある。換言すれば、第1パッチと第2パッチ(一対のパッチともいう)は、第1画像データ内及び第2画像データ内の同じ場所に位置していてもよい。上記で説明したように、第1センサの焦点距離と第2センサの焦点距離とは、予め設定されている場合がある。したがって、第1センサの焦点距離と第2センサの焦点距離とは既知である。下記の式(1)を用いて、制御ユニットは、第1パッチ及び第2パッチによって描写される対象物の部分の深度(すなわち、z座標)を決定してもよい。
但し、dは、第1パッチ及び第2パッチに描写される対象物の部分の未知の距離(すなわち、深度又はz座標)、d1は、第1センサの焦点距離、I1は、第1パッチのシャープネス、d2は、第2センサの焦点距離、I2は、第2パッチのシャープネスである。
上記の式(1)を用いて有用な深度情報を得るために、第1センサ及び第2センサの焦点距離、並びにパッチサイズを慎重に選択する必要がある。好ましくは、焦点距離は、実行される特定の適用(例えば、実行される特定の手術又は腹腔鏡検査)に依存する。例えば、第1センサの焦点距離は、シャフトの遠位端から測定して6cmであってもよく、第2センサの焦点距離は、シャフトの遠位端から測定して9cmであってもよい。第1センサの焦点距離は、手術の種類から決定される経験値であってもよい(例えば、腹腔鏡検査の場合、腹腔鏡の先端(すなわち、シャフトの遠位端)から測定して6cmとすることができる)。
画像のシャープネスは、特定のパッチの画像の情報密度(例えば、エントロピー)によって表されてもよい。制御ユニットは、第1画像データ及び第2画像データの各パッチの対(すなわち、各第1パッチ及び対応する各第2パッチ)に対して、上記の式1を適用するように構成されていてもよい。この結果、画像データのパッチの各対の深度値が、制御ユニットによって決定され得る。深度情報を有する制御ユニットは、深度情報と、パッチのそれぞれの対のx及びy座標とを用いて、深度マップを作成するように構成されてもよい。換言すれば、制御ユニットは、パッチのそれぞれの対のx、y及びz3座標に基づい3Dモデルを作成するように構成されることがある。
代替的又は追加的に、制御ユニットは、フォーカススタッキングの方法を使用して3Dモデルを作成するように構成されてもよい。深度マップを作成するために使用され得る更なる方法は、いわゆるフォーカス/デフォーカスからの深度である。さらに、制御ユニットは、少なくとも2つの2次元画像データ(すなわち、第1画像データ及び第2画像データ)に基づいて、深度情報(すなわち、3次元画像データ)を作成するために、上記の方法の1つ又は複数を実行するように構成されていてもよい。具体的には、制御ユニットは、深度マップを作成するための少なくとも2つの方法を組み合わせるように構成されてもよい。特に、画像データの他のパッチと比較して相対的に高いテクスチャを有する画像データのパッチに対して、上記の式1を適用してもよい。また、画像データの他の領域と比較して相対的に悪いテクスチャを有する画像データの他の領域に対して、シェイプフロムライトニング法を適用してもよい。この結果、画像データの異なる部分に異なる方法を適用することによって、深度マップ生成の性能が著しく改善される可能性がある。このため、本発明の少なくとも1つの実施形態は、2つのセンサによって得られた画像データの焦点の相対的な差異を3D形状情報に変換することができる。換言すれば、画像データ内の全てのパッチの3D座標は、各センサによって生成されたそれぞれのパッチ(すなわち、1つの画素又は画素の配列の)の焦点/ぼかしを比較することによって計算/決定することができる。任意選択で、制御ユニットは、得られた深度マップをフィルタリングすることによって、深度マップを更に処理するように構成されてもよい。より詳細には、誤った深度情報を削除するために、制御ユニットは、互いに隣接する深度マップの深度情報を比較するように構成されてもよい。万が一、ある深度が隣接する深度に比べて過度に高い又は低い(すなわち、前段階の閾値を超える)場合、この深度情報が誤りである可能性が高いため、制御ユニットは、そのような深度情報を削除するように構成されてもよい。この結果、制御ユニットによって出力される深度マップは、精度が向上する可能性がある。
好ましくは、制御ユニットは、第1画像データの少なくとも1つの第1パッチのエントロピーと、第2画像データの少なくとも1つの第2パッチのエントロピーとを比較することによって、深度情報を生成するように更に構成されている。画像のシャープネスは、エントロピーと同義語である。エントロピーは、画像データ内に含まれる情報(すなわち、画像データのパッチのシャープネスを示す指標)の一例である。
すなわち、第1画像データと第2画像データとは、そのエントロピーに基づいて互いに比較され得る。したがって、制御ユニットは、第1画像データのエントロピーと、第2画像データのエントロピーとを決定するように構成されてもよい。具体的には、エントロピーが高いほど、それぞれの画像データに焦点が合っていることを意味する。したがって、エントロピーが低いほど、それぞれの画像データに焦点が合っていない(すなわち、暈けている)ことになる。なお、エントロピーは、下記の式(2)で求めることができる。
但し、kは、1つのチャネル又はバンド(例えば、観察対象のグレーチャネル又はグリーンチャネル)のレベル数であり、pkは、グレーレベルkに関連する確率である。さらに、バンドとして、RGBチャネル及び/又はNIRチャネルを使用することができる。また、対象物の特定部分の深さを判定するための上記の式(1)で用いたシャープネスI1及びI2は、それぞれエントロピーで代用することができる。すなわち、上記の式(2)を用いて、第1パッチについてエントロピーH1が決定され、第2パッチについて(さらに各パッチの対について)エントロピーH2が決定される。そして、H1及びH2は、第1パッチ及び第2パッチに描写された対象物の特定部分の深度を決定するための式(1)におけるI1及びI2の代わりに使用される。すなわち、エントロピーは、シャープネスと同義である。
以下、深度推定精度を向上させるための3つのオプション機能の概要を説明する。
好ましくは、制御ユニットは、少なくとも1つのセンサの焦点の調整を監視するように構成されてもよい。例えば、制御ユニットは、フォーカス手段の操作を検出することができる。焦点は、人間のユーザによって、及び/又は、撮像システムを操作するロボットによって調整されてもよい。すなわち、センサの少なくとも1つの焦点が調整される場合、制御ユニットは、その調整量を監視してもよい。換言すれば、制御ユニットは、各センサの焦点のシフト(すなわち、距離)を検出してもよい。また、制御ユニットは、画像データに基づいて、画像データのどの部分がシャープに描写されているかを検出してもよい(例えば、エッジ検出を用いて)。さらに、制御ユニットは、対象物のシャープに描写された部分が、例えば、内視鏡の先端からどの程度の距離にあるかを知見してもよい。画像データ内の焦点の位置と、画像データのどの部分がシャープに描写されているかという知識を組み合わせることによって、制御ユニットは、深度推定を向上させることができる。すなわち、制御ユニットは、現時点で画像データのどの部分がシャープに描写されているか、各センサの焦点位置はどこにあるかという情報を得ることができる。その結果、制御ユニットは、画像データのシャープに描写された部分の深度を決定してもよい。また、監視は、リアルタイムで行われてもよい。したがって、深度推定の継続的な改善が可能である。焦点調整の監視は、光学的エンコーダ、電気的測定、及び/又は、他の機械的センサを設けることによって実現され得る。上記の手段の少なくとも1つを用いることで、焦点調整を効率的に測定することができる。また、これらの測定手段を組み合わせて使用することにより、測定精度を向上させることができる。
好ましくは、制御ユニットは、撮像システムの動作を監視するように構成されてもよい。すなわち、制御ユニットによって撮像システムの空間的な位置が監視されてもよい。例えば、撮像システムが内視鏡に設けられている場合、制御ユニットは、内視鏡の空間的な位置を検出してもよい。好ましくは、位置がリアルタイムで検出される。そして、この情報は、深度推定精度を向上させるために利用されてもよい。空間的な位置は、光学トラッカー、電磁トラッカー、及び/又は、アクチュエータの監視によって検出され得る。アクチュエータは、ロボットによって撮像システムを操作するために使用され得る。すなわち、ロボットが、撮像システムを操作する際に撮像システムを移動させる場合、制御ユニットは、そのような移動を検出し、この結果、撮像システムの現在の空間的な位置を決定することができるであろう。さらに、撮像システムは、加速度センサ及び/又は回転センサを含むことができる。したがって、撮像システムの動きは、正確に監視され得る。撮像システムの既知の空間的な位置と、画像データのどの部分が鮮明に描かれているかという情報(上記の概要を参照)とに基づいて、深度推定精度を更に向上させることができる。
好ましくは、制御ユニットは、画像データ内の既知の対象物の大きさを用いて、深度情報を推定するように構成されてもよい。すなわち、制御ユニットは、既知の対象物の寸法を知見することによって、(例えば、内視鏡の先端側からの)既知の対象物までの距離を決定するように構成されていてもよい。対象物は、検査中の空洞内に存在するマーキングであってもよい。さらに、マーキングは、検査中(例えば、手術中)に追加的に使用される器具に設けられることもある。さらに、対象物は、器具そのものであってもよいし、検査対象の空洞内に存在する他の対象物であってもよい。したがって、深度推定精度を向上させるために、光学的な較正が実行される場合がある。
深度推定精度を向上させることは、深度推定の誤った結果を減少させるために有用であり得る。深度推定が、第1画像データ及び第2画像データの一部のコントラストに基づいて行われる場合があることに起因して、誤った結果が生じる場合がある(上記の概要を参照)。先に定義された3つの特徴は、例えば、深度推定が正しいか否かをチェックするために使用され得る。後者の特徴は、光学的な較正を実行するために必要な追加の構造的な手段が存在しないため、有利であり得る。換言すれば、光学的な較正は、追加のセンサなどを必要とすることなく、制御ユニットによって実行され得る。しかしながら、深度推定精度を向上させるために、上記の特徴のうちの2つ又は3つ全てが実行されてもよい。さらに、上記のように得られた情報は、撮像システム(例えば、撮像システムを構成する内視鏡)の歪みを補償するためにも使用され得る。上記の特徴の少なくとも1つは、コンピュータビジョンの技術を用いて実施することができる。コンピュータビジョンは、コンピュータがデジタル画像又は動画から高レベルの理解を得る方法を扱う学際的な科学分野であると考えられる。工学の観点から、人間の視覚系が行うことができるタスクを理解し、自動化することを求めることができる。コンピュータビジョンの課題には、デジタル画像の取得、処理、分析、理解、及び数値や記号情報を生成するための現実世界からの高次元データの抽出方法(例えば、意思決定の形式)が含まれる。この文脈での理解とは、視覚的なイメージ(画像データ)を、思考プロセスに意味を持たせ、適切な行動を引き出すことができる世界の記述に変換することを意味する場合がある。この画像理解は、幾何学、物理学、統計学、学習理論の助けを借りて構築されたモデルを用いて、画像データから記号情報を切り離すことと見なすことができる。
好ましくは、光学チャネルは、第1センサ及び第2センサの視野が可変であるように回転可能である。特に、光学チャネルの遠位端部のみが回転するように構成されてもよい。すなわち、光学チャネルは、一部のみ回転させることができる。センサは、光学チャネルの回転に対して固定されていてもよい。或いは、光学チャネルの遠位端に設けられた光学デバイス(例えば、単一レンズ又は複数レンズのアレイ)は、回転されることによって視野を変化させるように構成されていてもよい。したがって、光学チャネルの近位端は、撮像システム内に固定的に保持され、遠位端は、撮像される対象物に向けられるように回転されることがある。光学チャネルの回転可能な部分は、撮像システムから突出することができる。光学チャネルは、光学チャネルが湾曲することなく真っ直ぐに延びる初期位置を有することができる。さらに、光学チャネルは、初期位置において、光学チャネルの軸を中心に回転してもよい。具体的には、光学チャネルは、初期位置における光路の軸に対して約20°~40°、好ましくは、約30°傾斜しているように構成されていてもよい。さらに、光路は、光路が光学チャネルを出た後、円錐形状を有していてもよい。前述の円錐は、光学チャネルの少なくとも一部を中心軸で回転させることにより傾斜させることができる。具体的には、回転されることによって、光路は、光学チャネルの中心軸に対して30°だけ偏位することができる。さらに、光学チャネルの少なくとも遠位端は、複数のセンサに対して移動可能であってもよい。その結果、撮像システムは、狭い空間や空洞であっても、複数の用途で使用することができる。すなわち、第1及び第2画像データを取得するために、光学チャネルの一部のみが、撮像される対象物に向けられることがある。したがって、アクセスが困難な対象物であっても、撮像システムによって撮像される可能性がある。さらに、光学チャネルの軸を中心に視野を回転させることができ、光学チャネルの軸に対して視野を傾斜させることができることにより、検査対象の空洞の全周囲を見渡すことができる。例えば、撮像システムを構成する内視鏡は、空洞の全体像を把握するために空洞内で移動させる必要がない。
好ましくは、第1センサと第2センサは、互いに対して傾斜するように配置される。すなわち、センサの少なくとも2つは、互いに対して傾斜している。例えば、複数のセンサは、これらの高感度表面が互いに傾斜している場合に、互いに対して傾斜している。傾斜は、センサが互いに同一平面上にある構成と比較して、撮像システムがよりコンパクトになり得るという効果を提供する。好ましくは、複数のセンサは、検査対象の空洞に挿入されるように構成されたシャフト要素とは別個のカメラヘッドに収容される。したがって、カメラヘッドは、複数のセンサを傾斜して配置することにより、コンパクトな寸法を有することができる。すなわち、コンパクトなカメラヘッドを確保するために、シャフトの方向に沿ったカメラヘッドの延長が制限される場合がある。特に、複数のセンサーは、互いに対して実質的に90°傾斜していることがある。実質的に90°とは、複数のセンサの間に90°プラスマイナス10°の角度を形成する、複数のセンサの配置を意味する場合がある。したがって、許容されるレベルの公差を考慮して、撮像システムを効率的に製造することができる。
好ましくは、第1センサ及び第2センサは、第1画像データ及び第2画像データを生成するために、RGB光スペクトル、緑光スペクトル及び/又はNIR光スペクトルを使用するように構成される。したがって、特定の用途に応じて、所定の条件下で多くの情報を含む光スペクトルが使用され得る。具体的には、緑光スペクトルは、比較的悪い光条件下で多くの情報を有する。一方、NIR光スペクトルは、ほぼ暗い光条件下で多くの情報を提供する。この結果、異なる光条件下での画像データによって、形状や情報を容易に認識又は判断することができる。さらに、第1センサと第2センサとは、異なる光スペクトル/チャネルを使用することができる。例えば、第1センサは、緑のスペクトルを使用し、第2センサは、NIRのスペクトルを使用することができる。この結果、光条件が変化しても、深度情報を決定することができる。
本発明の更なる態様によれば、上記の撮像システムを備える腹腔鏡が提供される。すなわち、腹腔鏡は、上記の撮像システムを構成するカメラヘッドを含む内視鏡であってもよい。撮像システムを収容するカメラヘッドは、カメラアダプタを介して腹腔鏡に接続されてもよい。フォーカスリングは、カメラヘッドと腹腔鏡のテレスコープとを橋渡しするように、腹腔鏡のカメラアダプタに配置されることができる。テレスコープは、腹腔鏡のシャフトであってもよい。光学チャネルは、シャフト内に配置されることがある。さらに、シャフトは、光学チャネルが腹腔鏡(例えば、テレスコープ)の遠位端で回転できるようにフレキシブルであってもよいし、腹腔鏡の遠位端から突出してもよい。さらに、腹腔鏡は、光源を含んでいてもよい。光源は、光学チャネルの遠位端が向けられる領域を照らすように調整可能であってもよい。したがって、光の状態が悪い場合でも、第1び第2画像データを適切に生成することができる。光源は、好ましくは、LED光源であってもよい。この結果、1つのカメラヘッドを用いて少なくとも2つの焦点シフトされた画像データを取得することができる腹腔鏡が提供され得る。この結果、腹腔鏡は、高度に統合された設計を有することができ、広い分野の用途に使用することができる。腹腔鏡は、ロボットによって操作されるように構成されてもよい。すなわち、腹腔鏡は、ロボットから操作コマンドを受信し、ロボットに情報(例えば、画像データ)を送信するように構成されたインタフェースを有していてもよい。したがって、腹腔鏡は、少なくとも部分的に自動化された手術環境において使用することができる。
本発明の更なる態様によれば、対象物を撮像する方法が提供され、この方法は、第1センサを用いて第1光路に沿って対象物を撮像することによって対象物の第1画像データを生成することと、第2センサを用いて第2光路に沿って対象物を撮像することによって対象物の第2画像データを生成することと、を含み、第1センサ及び第2センサは、焦点シフトされており、第1光路及び第2光路は、少なくとも一部が同じ光学チャネルを介してガイドされる。
好ましくは、この方法は、第1画像データ及び第2画像データをパッチに分割することをさらに含み、第1画像データのパッチ及び第2画像データのパッチは、互いに対応する。換言すれば、第1画像データのパッチは、第2画像データの対応するパッチと全く同じ領域をカバーする。第1画像データの対応するパッチと、第2画像データの対応するパッチとは、一対のパッチと見なすことができる。
好ましくは、本方法は、深度情報を生成するように、第1画像データ及び第2画像データを互いに比較すること、をさらに含む。
好ましくは、複数の画像は、少なくとも一対のパッチを比較することによって、互いに比較される。
好ましくは、第1画像データと第2画像データとは、同時に生成される。
装置に関連して説明された利点及び特徴は、方法にも適用可能であり、その逆もまた然りである。明示的に説明されていない場合、個々の実施形態又はその個々の側面及び特徴は、そのような組み合わせ又は交換が有意義であり、本発明の意味においてであればいつでも、説明した本発明の範囲を限定又は拡大することなく、互いに組み合わせ又は交換することができる。本発明の一態様に関して記載されている利点は、適用可能な限り、本発明の他の態様の利点でもある。
次に、本発明の有用な実施形態について、添付の図面を参照しながら説明する。同様の要素又は特徴は、図面において同じ参照符号で指し示されている。
図1は、本発明の実施形態に係る撮像システム1を模式的に示す図である。なお、図1には、x軸、y軸、z軸を有する座標系が描かれている。撮像システム1は、対象物3を撮像するように構成されている。撮像システム1は、第1画像データ及び第2画像データを生成するように構成された第1センサ10及び第2センサ20を含む。さらに、第1センサ10及び第2センサ20は、焦点シフトされる。本実施形態では、両センサ10、20は、CMOSセンサである。画像データは、x-y平面における空間情報(すなわち、2次元情報)を含む。したがって、撮像システム1は、第1センサ10と対象物3との間に延びる第1光路11と、第2センサ20と対象物3との間に延びる第2光路21とを含む。さらに、撮像システム1は、対象物3に面する遠位端5と、第1センサ10及び第2センサ20に面する近位端6とを有する光学チャネル2を含む。光学チャネル2は、その中心軸Cに沿って延びる細長い透明体であり、本実施形態では、中心軸Cはz軸に沿って延びている。第1及び第2光路11、21は、それぞれ第1及び第2センサ10、20から、撮像システム1内に設けられたビームスプリッタプリズム7まで延びている。ビームスプリッタプリズム7において、第1光路11と第2光路21は、ビームスプリッタプリズム7によって合流/分割され、さらに光学チャネル2の近位端6まで延びる。すなわち、ビームスプリッタプリズム7は、センサ10、20と光学チャネル2との間の光路11、21に設けられている。そして、第1及び第2光路は、光学レンズ(図示せず)によって導かれる。別の実施形態では、各光路は、それぞれ光学レンズを有する。その後、第1及び第2光路11、21 は、いずれも光学チャネル2を通して導かれる。光チャネルの遠位端5からは、両方の光路が同じように対象物3に向かって導かれる。この結果、第1センサ10及び第2センサ20は、同じ視点を有する(すなわち、同じ視野を有する)対象物の同じ部分を撮像し得る。さらに、撮像システム1は、第1センサ10及び第2センサ20の焦点(例えば、焦点距離)を調整するように構成されたフォーカスシステム4を含む。本実施形態では、フォーカス系はレンズ配置であり、光学チャネル2内に設けられている。すなわち、フォーカスシステム4は、両センサ10、20の焦点を同時に調整することができるように配置されている。すなわち、光学チャネルは、フォーカスシステム4が設けられる2つの部分の間に作られてもよい。図示していない更なる実施形態では、各センサのフォーカスを個別に調整することができるような、各センサ用のフォーカスシステムが設けられる。本実施形態では、2つのセンサ10、20のフォーカスは、第1及び第2画像データの取得に先立って設定される。
さらに、第1センサ10と第2センサ20とは、焦点シフトされるように撮像システム1内に配置されている。すなわち、第1センサ10は、第2センサ20と比較して、異なるフォーカス(すなわち、異なるフォーカス距離)を有する。換言すれば、第1センサ10のフォーカスポイントは、第2センサ20のフォーカスポイントと比較して、異なる位置に配置されている。本実施形態では、第2光路21に追加のレンズ8を設けることで、シフトされた焦点を実現する。すなわち、第1光路と第2光路を導くために使用され得る光学系(図示せず)に加えて、追加のレンズ8が設けられる。その結果、対象物3の同じ部分を、第1センサ10と第2センサ20の両方でシャープに撮像することはできない。図1に描写された実施形態では、対象物3の第1部分31は、第1センサ10によってシャープな態様で撮像されるが、第2センサ20によって撮像される第1部分31は暈ける(すなわち、シャープな態様で描写されない)。
図2は、本発明の実施形態に係る撮像システム1を模式的に示す図である。図2に描写された撮像システム1は、図1に描写された撮像システム1と同じである。図1に対する違いは、z軸に沿った異なる位置にある対象物3の第2部分32が描写されていることである。さらに、第2部分32は、第2センサ20によってシャープな態様で撮像され、一方、第2部分32は、第1センサ10によって暈けた態様で撮像される。なお、図に描写されている第1部分31及び第2部分32は、説明の簡略化のために図面では省略されている対象物3の部分である。すなわち、撮像される対象物3の一部は、第1センサ10でシャープとなり、撮像される対象物3の別の一部は、第2センサ20でシャープとなる。この結果、両センサの像軸(第1光路11及び第2光路21)が少なくとも一部同一でありながら、センサが焦点シフトしているデュアルセンサ光学撮像システムが提供される。したがって、完全に記録された画像データを取得することができる。しかしながら、図面に描写されていない更なる実施形態によれば、撮像システムは、上記の実施形態の2つのセンサと同様の方法で構成及び配置された2つ以上のセンサをそれぞれ含む。
さらに、撮像システム1は、第1画像データ及び第2画像データを複数のパッチに分割するように構成された制御ユニットを含む。本実施形態では、各パッチは、20×20画素の大きさを有している。さらに、制御ユニットは、各パッチの画像情報(すなわち、エントロピー)を決定する。すなわち、第1画像データは、第2画像データと同じパッチで分割される。この結果、パッチの対が決定される場合がある。パッチの対は、第1画像データの第1パッチと、これに対応する第2画像データの第2パッチとで構成されてもよい。次に、各パッチのエントロピーと、第1センサ10及び第2センサ20の既知の焦点距離とを用いて、パッチのそれぞれの対の深さ(すなわち、z座標)が決定される。これは、パッチの各対について行われる。
いくつかの実施形態では、フォーカスシステム4は、センサ10、20のフォーカスポイントを所定の増分でシフトするように操作される。いくつかの実施形態では、フォーカスシステム4は、制御ユニットによって自動的に制御及び操作される。別の実施形態では、フォーカスシステム4は、フォーカス手段(例えば、フォーカスリング)104(図3を参照)を介して、ユーザによって手動で操作され得る。各増分において、画像データは、第1センサ10及び第2センサ20によって生成される。画像データは、第1センサ10及び第2センサ20によって同時に又は連続的に生成され得る。本実施形態では、制御ユニットは、以下の式(1)を用いてパッチの各対の深度を決定する。
但し、dは、第1パッチ及び第2パッチに描写される対象物の部分の未知の距離(すなわち、深度又はz座標)、d1は、第1センサの焦点距離、I1は、第1パッチのシャープネス、d2は、第2センサの焦点距離、I2は、第2パッチのシャープネスであ
アルゴリズムが機能するためには、第1センサ10及び第2センサ20の焦点距離と、パッチサイズの選択との慎重な選択が必要であるため、これらの要素は、画像化される対象物の特定の構成に応じて慎重に選択されるべきであることに注意されたい。各センサ10、20の焦点距離は既知である。したがって、各パッチの深度情報は、上記の式(1)を用いて決定することができる。
図3には、本発明の実施形態に係る撮像システム1の一部が描写されている。具体的には、図3では、2組の模式図が描かれている。各図面において、光学チャネル2が模式的に描写されている。さらに、第1及び第2光路11、21が概略的に描写されている(すなわち、第1光路11と第2光路21とが重なっている)。光路は、円錐形状を有する光学チャネルの遠位端6から延びる(すなわち、発散して走る)。本実施形態では、円錐形状は、60°の鋭角αを有する。したがって、本実施形態の光学チャネル2は、その遠位端に、60°の発散角を有するように、第1光路11及び第2光路21を発散するように構成されるレンズを含む。
図3の第1段目では、光学チャネル2が初期位置に描写されている。図3の第2段目では、光学チャネルは、光路11、21を異なる方向に向けるように、少なくとも部分的に回転される。特に、本実施形態によれば、光学チャネル2は、少なくとも部分的にz軸を中心に回転可能である。したがって、第1及び第2光路11、21は、z軸を中心に回転させることができる。本実施形態では、光路は、光路の中心軸Dがz軸に対して30°の角度を有するように傾斜している(図3における第2段目の図面を参照)。第2行目の左側の図面は、光路11、21を光学チャネル2の下側に向かわせた状態を示し、一方、第2行目の右側の図面は、光路11、21を光学チャネル2の上側に向かわせた状態を示す。すなわち、光路11、21 は、z軸の全周にわたって回転させることができる。
図4では、本発明の実施形態による腹腔鏡100が描かれている。腹腔鏡100は、ハウジング102内に撮像システム1を含む。腹腔鏡は、遠位端103を有するシャフト101を有する。光学チャネル2は、腹腔鏡100のシャフト101内に設けられている。さらに、腹腔鏡100は、腹腔鏡の遠位端103から第1光路11及び第2光路12に沿って対象物3に向かって光を照射するように構成された光源(図示せず)を含む。
上述の議論は、本システムを単に例示することを意図しており、添付の特許請求の範囲を特定の実施形態又は実施形態群に限定するものとして解釈されるべきではない。したがって、本システムは、例示的な実施形態を参照して特に詳細に説明されたが、多数の修正及び代替の実施形態が、後続の特許請求の範囲に規定される本システムのより広い、意図された精神及び範囲から逸脱することなく、当業者によって考案され得ることも理解されるべきである。したがって、明細書及び図面は、例示として見なされるべきであり、添付の特許請求の範囲を限定することを意図していない。
1 撮像システム
2 光学チャネル
3 対象物
4 フォーカスシステム
5 光学チャネルの遠位端
6 光学チャネルの近位端
7 ビームスプリッタプリズム
8 レンズ
10 第1センサ
11 第1光路
20 第2センサ
21 第2光路
31 対象物の第1部分
32 対象物の第2部分
100 腹腔鏡
101 シャフト
102 ハウジング
103 腹腔鏡の遠位端
104 フォーカス手段
α 光路の角度
C 光学チャネルの軸
D 光路の軸
x x軸
y y軸
z z軸
2 光学チャネル
3 対象物
4 フォーカスシステム
5 光学チャネルの遠位端
6 光学チャネルの近位端
7 ビームスプリッタプリズム
8 レンズ
10 第1センサ
11 第1光路
20 第2センサ
21 第2光路
31 対象物の第1部分
32 対象物の第2部分
100 腹腔鏡
101 シャフト
102 ハウジング
103 腹腔鏡の遠位端
104 フォーカス手段
α 光路の角度
C 光学チャネルの軸
D 光路の軸
x x軸
y y軸
z z軸
Claims (15)
- 光を伝達するように構成された光学チャネル(2)と、
第1光路(11)に沿って対象物(3)を撮像することによって第1画像データを生成するように構成された第1センサ(10)と、
第2光路(21)に沿って前記対象物(3)を撮像することによって第2画像データを生成するように構成された第2センサ(20)と、を含み、
前記第1センサ(10)と前記第2センサ(20)とは、焦点がシフトされており、
前記第1光路(11)及び前記第2光路(21)は、少なくとも一部が光学チャネル(2)を通ってガイドされる、撮像システム(1)。 - 前記第1光路(11)及び前記第2光路(21)は、異なる長さを有する請求項1に記載の撮像システム(1)。
- 前記第1センサ(10)及び前記第2センサ(20)は、前記対象物(3)を同時に撮像するようにさらに構成される請求項1又は2に記載の撮像システム(1)。
- 前記第1光路(11)及び/又は前記第2光路(21)に配置され、前記第1センサ(10)及び/又は前記第2センサ(20)の焦点を変化させるように構成されるフォーカスシステム(4)をさらに含む請求項1~3のいずれか1項に記載の撮像システム(1)。
- 前記第1センサ(10)及び/又は前記第2センサ(20)の焦点が調整され得るように、前記フォーカスシステム(4)を制御するように構成されたフォーカス手段(104)をさらに含む請求項4に記載の撮像システム(1)。
- 前記第1画像データ及び前記第2画像データは、前記対象物(3)の同一の領域を表す請求項1~5のいずれか1項に記載の撮像システム(1)。
- 前記第1画像データ及び前記第2画像データに基づいて、前記対象物の深度情報を生成するように構成された制御ユニットをさらに含む請求項1~6のいずれか1項に記載の撮像システム(1)。
- 前記制御ユニットは、前記第1画像データの少なくとも1つの第1パッチのエントロピーと、前記第2画像データの少なくとも1つの第2パッチのエントロピーとを比較することによって、前記深度情報を生成するようにさらに構成されており、前記第1画像データにおける前記少なくとも1つの第1パッチの位置は、前記第2画像データにおける前記少なくとも1つの第2パッチの位置と対応する請求項7に記載の撮像システム(1)。
- 前記少なくとも1つの第1パッチは、前記少なくとも1つの第2パッチと同じサイズ、好ましくは、20×20ピクセルのサイズを有する請求項8に記載の撮像システム(1)。
- 前記光学チャネル(2)は、前記第1センサ(10)及び前記第2センサ(20)の視野が可変であるように回転可能である請求項1~9のいずれか1項に記載の撮像システム(1)。
- 前記第1センサ(10)及び第2センサ(20)が、互いに対して傾斜するように配置される請求項1~10のいずれか1項に記載の撮像システム(1)。
- 請求項1~11のいずれか1項に記載の撮像システム(1)を含む腹腔鏡(100)。
- 第1センサ(10)を用いて第1光路(11)に沿って対象物を撮像することにより、前記対象物の第1画像データを生成することと、
第2センサ(20)を用いて第2光路(21)に沿って前記対象物を撮像することにより、前記対象物の第2画像データを生成することと、を含み、
前記第1センサ(10)と前記第2センサ(20)とは、焦点がシフトされ、
前記第1光路(11)及び前記第2光路(21)は、少なくとも一部が同一の光学チャネル(2)を通ってガイドされる、対象物を撮像するための方法。 - 深度情報を生成するように、前記第1画像データと前記第2画像データとを互いに比較する工程をさらに含む請求項13に記載の方法。
- 前記第1画像データ及び前記第2画像データは、同時に生成される請求項13又は14に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP20207498.5 | 2020-11-13 | ||
EP20207498.5A EP4000494B1 (en) | 2020-11-13 | 2020-11-13 | Imaging system, laparoscope and method for imaging an object |
PCT/EP2021/081374 WO2022101338A1 (en) | 2020-11-13 | 2021-11-11 | Imaging system and laparoscope for imaging an object |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023553792A true JP2023553792A (ja) | 2023-12-26 |
Family
ID=73448907
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023528630A Pending JP2023553792A (ja) | 2020-11-13 | 2021-11-11 | 撮像システム、腹腔鏡及び対象物を撮像するための方法 |
Country Status (5)
Country | Link |
---|---|
EP (2) | EP4000494B1 (ja) |
JP (1) | JP2023553792A (ja) |
KR (1) | KR20230106593A (ja) |
CN (1) | CN116830009A (ja) |
WO (1) | WO2022101338A1 (ja) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100556232B1 (ko) | 2003-07-23 | 2006-03-03 | 국립암센터 | 이격조절이 가능한 양안구조 복강경 |
US8784301B2 (en) * | 2011-08-12 | 2014-07-22 | Intuitive Surgical Operations, Inc. | Image capture unit and method with an extended depth of field |
US11510600B2 (en) * | 2012-01-04 | 2022-11-29 | The Trustees Of Dartmouth College | Method and apparatus for quantitative and depth resolved hyperspectral fluorescence and reflectance imaging for surgical guidance |
CN106236006B (zh) * | 2016-08-31 | 2017-11-14 | 杨晓峰 | 3d光学分子影像腹腔镜成像系统 |
CN109259717B (zh) * | 2018-08-27 | 2020-08-14 | 彭波 | 一种立体内窥镜及内窥镜测量方法 |
-
2020
- 2020-11-13 EP EP20207498.5A patent/EP4000494B1/en active Active
-
2021
- 2021-11-11 KR KR1020237014008A patent/KR20230106593A/ko unknown
- 2021-11-11 CN CN202180070587.1A patent/CN116830009A/zh active Pending
- 2021-11-11 EP EP21805978.0A patent/EP4243668A1/en active Pending
- 2021-11-11 WO PCT/EP2021/081374 patent/WO2022101338A1/en active Application Filing
- 2021-11-11 JP JP2023528630A patent/JP2023553792A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4000494A1 (en) | 2022-05-25 |
EP4000494B1 (en) | 2023-08-16 |
KR20230106593A (ko) | 2023-07-13 |
CN116830009A (zh) | 2023-09-29 |
WO2022101338A1 (en) | 2022-05-19 |
EP4243668A1 (en) | 2023-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2002331723B2 (en) | Image acquisition with depth enhancement | |
US10708553B2 (en) | Measurement support device, endoscope system, processor for endoscope system | |
CN111308690B (zh) | 一种光场电子内窥设备及其成像方法 | |
JP7462890B2 (ja) | プレノプティック・カメラ・システムを較正するための方法及びシステム | |
WO2018230098A1 (ja) | 内視鏡システム、内視鏡システムの作動方法 | |
CN104939793A (zh) | 基于液体透镜的可调焦3-d胶囊内窥镜系统 | |
JP2018181333A (ja) | 医学−光学式表示システムを作動させるための方法 | |
US20160225150A1 (en) | Method and Apparatus for Object Distance and Size Estimation based on Calibration Data of Lens Focus | |
US20220094901A1 (en) | Endoscopic imaging systems for generating three dimensional images, and associated systems and methods | |
CN109091099A (zh) | 双目视觉的高清微型电子内窥镜系统 | |
JP5278878B2 (ja) | 管内面形状測定装置 | |
CN106068093B (zh) | 内窥镜系统 | |
JP6210483B2 (ja) | 立体内視鏡画像からの3次元形状取得装置 | |
US11699215B2 (en) | Imaging device, method and program for producing images of a scene having an extended depth of field with good contrast | |
JP2023553792A (ja) | 撮像システム、腹腔鏡及び対象物を撮像するための方法 | |
US11310481B2 (en) | Imaging device, system, method and program for converting a first image into a plurality of second images | |
CN110623626A (zh) | 用于二维腹腔镜的二维-三维成像转换器 | |
US11648080B2 (en) | Medical observation control device and medical observation system that correct brightness differences between images acquired at different timings | |
US20230394707A1 (en) | Methods and systems for calibrating and/or verifying a calibration of an imaging system such as a surgical imaging system | |
WO2022179895A1 (en) | Rotatable endoscope system having a rotatable insertion tube | |
US20240078694A1 (en) | Image processing apparatus, image processing method, and recording medium | |
Shi et al. | Microscopic Three-dimensional Reconstruction based on Structured Light | |
CN117994193A (zh) | 一种内窥镜成像方法及系统 | |
KR20240065115A (ko) | 다중 이미지 재구성 및 정합 방법 | |
WO2021176442A1 (en) | A multi focal endoscope |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A529 | Written submission of copy of amendment under article 34 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A529 Effective date: 20230517 |